Birçok şirket, müşterilerine daha iyi hizmet verebilmek için işlemek, düzenlemek ve sınıflandırmak zorunda oldukları çok sayıda belge karşısında bunalır. Bunlara örnek olarak kredi başvuruları, vergi beyannamesi ve fatura verilebilir. Bu tür belgeler daha yaygın olarak görüntü formatlarında alınır ve çoğunlukla çok sayfalı ve düşük kaliteli formattadır. Daha rekabetçi ve uygun maliyetli olmak ve aynı zamanda güvenli ve uyumlu kalmak için bu şirketler, otomatik ve ölçeklenebilir bir şekilde işlem sürelerini azaltmak ve sınıflandırma doğruluğunu artırmak için belge işleme yeteneklerini geliştirmelidir. Bu şirketler, belgelerin işlenmesinde aşağıdaki zorluklarla karşı karşıyadır:
- Uygunsuz, istenmeyen veya rahatsız edici içeriği tespit etmek için belgeler üzerinde denetleme yapmak
- Küçük şirketler tarafından benimsenen manuel belge sınıflandırması zaman alıcı, hataya açık ve pahalıdır.
- Kural tabanlı sistemlere sahip OCR teknikleri yeterince akıllı değildir ve belge biçimindeki değişikliklere uyum sağlayamaz
- Makine öğrenimi (ML) yaklaşımlarını benimseyen şirketler, genellikle modellerini gelen belge hacmindeki ani artışlarla başa çıkacak şekilde ölçeklendirecek kaynaklara sahip değildir.
Bu gönderi, bu zorlukları ele alıyor ve bu sorunları verimli bir şekilde çözen bir mimari sunuyor. nasıl kullanabileceğinizi gösteriyoruz Amazon Rekognisyon ve Amazon Metin Yazısı belgelerin işlenmesinde insan çabalarını optimize etmek ve azaltmak. Amazon Rekognition, belgenizdeki denetleme etiketlerini tanımlar ve bunları kullanarak sınıflandırır. Amazon Rekognition Özel Etiketleri. Amazon Textract, belgelerinizden metin çıkarır.
Bu gönderide, herhangi bir manuel çabaya veya özel koda ihtiyaç duymadan belgeleri işlemek için iki ML ardışık düzen oluşturmayı (eğitim ve çıkarım) ele alıyoruz. Çıkarım hattındaki üst düzey adımlar şunları içerir:
- Amazon Rekognition'ı kullanarak yüklenen belgelerde denetleme gerçekleştirin.
- Belgeleri, Rekognition Özel Etiketleri kullanarak W-2'ler, faturalar, banka hesap özetleri ve ödeme taslakları gibi farklı kategorilerde sınıflandırın.
- Amazon Textract'ı kullanarak basılı metin, el yazısı, formlar ve tablolar gibi belgelerden metin ayıklayın.
Çözüme genel bakış
Bu çözüm, ölçeklenebilir ve uygun maliyetli bir mimari uygulamak için aşağıdaki AI hizmetlerini, sunucusuz teknolojileri ve yönetilen hizmetleri kullanır:
- Amazon DinamoDB - Her ölçekte tek basamaklı milisaniye performansı sunan bir anahtar-değer ve belge veritabanı.
- Amazon EventBridge – Uygulamalarınızdan, entegre hizmet olarak yazılım (SaaS) uygulamalarından ve AWS hizmetlerinden oluşturulan olayları kullanarak, olaya dayalı uygulamalar oluşturmak için sunucusuz bir olay veri yolu.
- AWS Lambda – Verilerdeki değişiklikler, sistem durumundaki değişimler veya kullanıcı eylemleri gibi tetikleyicilere yanıt olarak kod çalıştırmanıza izin veren sunucusuz bir bilgi işlem hizmeti.
- Amazon Rekognisyon – Resim ve videolardaki nesneleri, insanları, metinleri, sahneleri ve etkinlikleri tanımlamak ve uygunsuz içeriği tespit etmek için ML kullanır.
- Amazon Rekognition Özel Etiketleri – İş gereksinimlerinize özel görüntülerdeki nesneleri ve sahneleri tanımlamak için özel modeller eğitmenize yardımcı olmak için bilgisayarla görme ve aktarım öğrenimi için AutoML kullanır.
- Amazon Basit Depolama Hizmeti (Amazon S3) – Belgeleriniz için bir nesne deposu görevi görür ve ince ayarlı erişim kontrolleriyle merkezi yönetime izin verir.
- Amazon Adım İşlevleri – Lambda işlevlerini ve birden çok hizmeti iş açısından kritik uygulamalarda sıralamayı kolaylaştıran sunucusuz bir işlev düzenleyici.
- Amazon Metin Yazısı - Taranan belgelerden PDF, JPEG veya PNG formatlarında metin ve veri çıkarmak için ML kullanır.
Aşağıdaki diyagram, çıkarım boru hattının mimarisini göstermektedir.
İş akışımız aşağıdaki adımları içerir:
- Kullanıcı, belgeleri giriş S3 klasörüne yükler.
- Yükleme, bir Amazon S3 Etkinlik Bildirimi gerçek zamanlı olayları doğrudan EventBridge'e iletmek için. “ ile eşleşen Amazon S3 olayları
object created
” için tanımlanmış filtre EventBridge kuralı Step Functions iş akışını başlatır. - Step Functions iş akışı, aşağıdaki görevleri gerçekleştiren bir dizi Lambda işlevini tetikler:
- İlk işlev, ön işleme görevlerini gerçekleştirir ve Amazon Rekognition'a API çağrıları yapar:
- Gelen belgeler görüntü biçimindeyse (JPG veya PNG gibi), işlev Amazon Rekognition API'sini çağırır ve belgeleri S3 nesneleri olarak sağlar. Ancak belge PDF biçimindeyse işlev, Amazon Rekognition API'yi çağırırken görüntü baytlarını akar.
- Bir belge birden çok sayfa içeriyorsa, işlev belgeyi ayrı sayfalara böler ve bunları ayrı ayrı işlemeden önce çıktı S3 klasöründeki bir ara klasöre kaydeder.
- Ön işleme görevleri tamamlandığında işlev, uygunsuz, istenmeyen veya rahatsız edici içeriği algılamak için Amazon Rekognition'a bir API çağrısı yapar ve belgeleri sınıflandırmak için eğitimli Rekognition Özel Etiketler modeline başka bir API çağrısı yapar.
- İkinci işlev, giriş belgesinden metin çıkarmak ve onu çıkış S3 klasöründe depolamak için bir iş başlatmak üzere Amazon Textract'a bir API çağrısı yapar.
- Üçüncü işlev, denetleme etiketi, belge sınıflandırması, sınıflandırma güveni, Amazon Textract iş kimliği ve dosya yolu gibi belge meta verilerini bir DynamoDB tablosunda saklar.
- İlk işlev, ön işleme görevlerini gerçekleştirir ve Amazon Rekognition'a API çağrıları yapar:
İş akışını ihtiyacınıza göre ayarlayabilirsiniz, örneğin bu iş akışına aşağıdakileri kullanarak bir doğal dil işleme (NLP) özelliği ekleyebilirsiniz. Amazon Kavramak çıkarılan metin hakkında fikir edinmek için.
Eğitim hattı
Bu mimariyi dağıtmadan önce, Rekognition Özel Etiketleri kullanarak belgeleri farklı kategorilerde sınıflandırmak için özel bir model eğitiyoruz. Eğitim hattında, belgeleri şu şekilde etiketliyoruz: Amazon SageMaker Yer Gerçeği. Ardından, bir modeli Tanıma Özel Etiketleri ile eğitmek için etiketli belgeleri kullanırız. Bu örnekte, bir Amazon Adaçayı Yapıcı not defterinde bu adımları gerçekleştirebilirsiniz, ancak Rekognition Özel Etiketler konsolunu kullanarak resimlere açıklama da ekleyebilirsiniz. Talimatlar için bkz. Resimleri etiketleme.
Veri kümesi
Modeli eğitmek için W2'leri ve faturaları içeren aşağıdaki genel veri kümelerini kullanıyoruz:
Sektörünüzle ilgili başka bir veri kümesi kullanabilirsiniz.
Aşağıdaki tablo, eğitim ve test arasındaki veri kümesi ayrımlarını özetlemektedir.
Sınıf | Eğitim Seti | Deneme seti |
Faturalar | 352 | 75 |
W-2'ler | 86 | 16 |
Toplam | 438 | 91 |
AWS CloudFormation ile eğitim ardışık düzenini dağıtın
Bir dağıtıyorsun AWS CloudFormation gerekli olanı sağlamak için şablon AWS Kimlik ve Erişim Yönetimi (IAM) rolleri ve SageMaker not defteri örneği de dahil olmak üzere eğitim işlem hattının bileşenleri.
- ABD Doğu (K. Virginia) Bölgesinde aşağıdaki CloudFormation şablonunu başlatın:
- İçin Yığın adı, gibi bir ad girin
document-processing-training-pipeline
. - Klinik Sonraki.
- içinde Yetenekler ve dönüşümler bölümünde, AWS CloudFormation'ın oluşturabileceğini onaylamak için onay kutusunu seçin. IAM kaynakları.
- Klinik Yığın oluştur.
Yığın ayrıntıları sayfası, yığının durumunu şu şekilde göstermelidir: CREATE_IN_PROGRESS
. Durumun değişmesi 5 dakika kadar sürebilir CREATE_COMPLETE
. Tamamlandığında, çıktıları şuradan görüntüleyebilirsiniz: Çıkışlar sekmesi.
- Yığın başarıyla başlatıldıktan sonra SageMaker konsolunu açın ve Dizüstü bilgisayar örnekleri navigasyon adında.
- ile bir örnek arayın
DocProcessingNotebookInstance-
önek ve durumu InService olana kadar bekleyin. - Altında İşlemler, seçmek Jupyter'ı aç.
Örnek not defterini çalıştırın
Dizüstü bilgisayarınızı çalıştırmak için aşağıdaki adımları izleyin:
- Seçin
Rekognition_Custom_Labels
örnek defter.
- Klinik koşmak örnek not defterindeki hücreleri sırayla çalıştırmak için.
Not defteri, eğitim ve test görüntüleri hazırlama, bunları etiketleme, bildirim dosyaları oluşturma, bir modeli eğitme ve eğitimli modeli Tanıma Özel Etiketleri ile çalıştırmanın tüm yaşam döngüsünü gösterir. Alternatif olarak, modeli Tanıma Özel Etiketler konsolunu kullanarak eğitebilir ve çalıştırabilirsiniz. Talimatlar için bkz. Model eğitimi (Konsol).
Defter kendini açıklayıcıdır; Modelin eğitimini tamamlamak için adımları takip edebilirsiniz.
- Bir yere not edin
ProjectVersionArn
sonraki bir adımda çıkarım boru hattını sağlamak için.
SageMaker dizüstü bilgisayar bulut sunucuları için, kullanım süresine bağlı olarak seçtiğiniz bulut sunucusu türü için ücretlendirilirsiniz. Modeli eğitmeyi bitirdiyseniz, boşta kalan kaynakların maliyetinden kaçınmak için dizüstü bilgisayar örneğini durdurabilirsiniz.
AWS CloudFormation ile çıkarım ardışık düzenini dağıtın
Çıkarım işlem hattını dağıtmak için aşağıdaki adımları tamamlayın:
- ABD Doğu (K. Virginia) Bölgesinde aşağıdaki CloudFormation şablonunu başlatın:
- İçin Yığın adı, gibi bir ad girin
document-processing-inference-pipeline
. - İçin DinamoDBTabloAdı, benzersiz bir DynamoDB tablo adı girin; örneğin,
document-processing-table
. - İçin GirişBucketName, yığının oluşturduğu S3 paketi için benzersiz bir ad girin; örneğin,
document-processing-input-bucket
.
Giriş belgeleri, işlenmeden önce bu kovaya yüklenir. Giriş paketinin adını oluştururken yalnızca küçük harf kullanın ve boşluk bırakmayın. Ayrıca, bu işlem yeni bir S3 kovası oluşturur, bu nedenle mevcut bir kovanın adını kullanmayın. Daha fazla bilgi için, bkz Grup Adlandırma Kuralları.
- İçin ÇıktıBucketName, çıktı paketiniz için benzersiz bir ad girin; örneğin, d
ocument-processing-output-bucket
.
Bu kova, çıktı belgelerini işlendikten sonra saklar. Ayrıca, çok sayfalı PDF giriş belgelerinin sayfalarını, Lambda işleviyle bölündükten sonra depolar. Giriş paketinizle aynı adlandırma kurallarını izleyin.
- İçin TanımaÖzelEtiketModelARN, giriş
ProjectVersionArn
Jupyter not defterinden not ettiğiniz değer. - Klinik Sonraki.
- Üzerinde Yığın seçeneklerini yapılandırma sayfasında, etiketler dahil olmak üzere yığın için ek parametreleri ayarlayın.
- Klinik Sonraki.
- içinde Yetenekler ve dönüşümler bölümünde, AWS CloudFormation'ın IAM kaynakları oluşturabileceğini onaylamak için onay kutusunu seçin.
- Klinik Yığın oluştur.
Yığın ayrıntıları sayfası, yığının durumunu şu şekilde göstermelidir: CREATE_IN_PROGRESS
. Durumun değişmesi 5 dakika kadar sürebilir CREATE_COMPLETE
. Tamamlandığında, çıktıları şuradan görüntüleyebilirsiniz: Çıkışlar sekmesi.
Bir belgeyi boru hattı üzerinden işleyin
Hem eğitim hem de çıkarım ardışık düzenlerini devreye aldık ve artık çözümü kullanmaya ve bir belgeyi işlemeye hazırız.
- Amazon S3 konsolunda giriş paketini açın.
- S3 klasörüne örnek bir belge yükleyin.
Bu, iş akışını başlatır. İşlem, DynamoDB tablosunu belge sınıflandırması ve denetleme etiketleriyle doldurur. Amazon Textract'tan gelen çıktı, şuradaki çıktı S3 kovasına iletilir: TextractOutput
klasör.
İş akışına birkaç farklı örnek belge gönderdik ve DynamoDB tablosunda doldurulmuş aşağıdaki bilgileri aldık.
DynamoDB tablosundaki öğeleri veya çıktı S3 klasörüne yüklenen belgeleri görmüyorsanız, Amazon CloudWatch Günlükleri ilgili Lambda işlevini araştırın ve hataya neden olan olası hataları arayın.
Temizlemek
Bu çözüm için dağıtılan kaynakları temizlemek için aşağıdaki adımları tamamlayın:
- CloudFormation konsolunda seçin Yığınları.
- Bu çözüm için dağıtılan yığınları seçin.
- Klinik Sil.
Bu adımlar S3 klasörlerini, DynamoDB tablosunu ve eğitilmiş Tanıma Özel Etiketler modelini silmez. Silinmezlerse depolama ücreti ödemeye devam edersiniz. Artık ihtiyacınız yoksa, bu kaynakları doğrudan ilgili hizmet konsolları aracılığıyla silmelisiniz.
Sonuç
Bu gönderide, belgeleri denetlemek, sınıflandırmak ve işlemek için ölçeklenebilir, güvenli ve otomatik bir yaklaşım sunduk. Birden fazla sektördeki şirketler, işlerini geliştirmek ve müşterilerine daha iyi hizmet vermek için bu çözümü kullanabilir. Daha hızlı belge işleme ve daha yüksek doğruluk sağlar ve veri çıkarmanın karmaşıklığını azaltır. Ayrıca, gelen belgelerin işlenmesinde yer alan insan işgücünü azaltarak daha iyi güvenlik ve kişisel veri mevzuatına uyum sağlar.
Daha fazla bilgi için, bkz: Amazon Rekognition Özel Etiketler kılavuzu, Amazon Rekognition geliştirici kılavuzu ve Amazon Textract geliştirici kılavuzu. Amazon Rekognition Özel Etiketleri konusunda yeniyseniz, 3 ay süren ve ayda 10 ücretsiz eğitim saati ve ayda 4 ücretsiz çıkarım saati içeren Ücretsiz Katmanımızı kullanarak deneyin. Amazon Rekognition ücretsiz kullanımı, 5,000 ay boyunca ayda 12 görüntünün işlenmesini içerir. Amazon Textract ücretsiz kullanımı ayrıca üç ay sürer ve Detect Document Text API için ayda 1,000 sayfa içerir.
Yazarlar Hakkında
Jay Rao AWS'de Baş Çözüm Mimarıdır. Müşterilere teknik ve stratejik rehberlik sağlamaktan ve AWS'de çözümler tasarlamalarına ve uygulamalarına yardımcı olmaktan keyif alıyor.
Uçenna Egbe AWS'de Ortak Çözüm Mimarıdır. Boş zamanını şifalı otlar, çaylar, süper yiyecekler ve bunları günlük diyetine nasıl dahil edebileceği hakkında araştırma yaparak geçiriyor.
- Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
- KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/moderate-classify-and-process-documents-using-amazon-rekognition-and-amazon-texttract/
- "
- 000
- 10
- 100
- 116
- Hakkımızda
- erişim
- karşısında
- eylemler
- faaliyetler
- Ek
- AI
- AI hizmetleri
- Amazon
- Başka
- api
- uygulamaları
- yaklaşım
- mimari
- Ortak
- Otomatik
- AWS
- Banka
- önce
- fatura
- sınır
- kutu
- inşa etmek
- bina
- otobüs
- iş
- çağrı
- yetenekleri
- neden
- merkezi
- zorluklar
- değişiklik
- yüklü
- yükler
- Klinik
- sınıflandırma
- kod
- Şirketler
- rekabet
- uyma
- uyumlu
- hesaplamak
- bilgisayar
- güven
- konsolos
- içeren
- içerik
- devam etmek
- uyan
- uygun maliyetli
- kapak
- yaratmak
- oluşturur
- Oluşturma
- görenek
- Müşteriler
- veri
- veritabanı
- teslim edilen
- sağlıyor
- dağıtmak
- konuşlandırılmış
- Dizayn
- ayrıntılar
- Geliştirici
- Diyet
- farklı
- direkt olarak
- evraklar
- verimli biçimde
- çaba
- çabaları
- Keşfet
- Etkinlikler
- olaylar
- gelişmek
- örnek
- örnekler
- mevcut
- Hulasa
- Yüz
- Başarısızlık
- Daha hızlı
- Ad
- takip et
- takip etme
- Airdrop Formu
- biçim
- formlar
- Ücretsiz
- işlev
- fonksiyonlar
- Ayrıca
- sap
- yardım et
- yardım
- daha yüksek
- Ne kadar
- Ancak
- HTTPS
- insan
- belirlemek
- Kimlik
- görüntü
- uygulamak
- iyileştirmek
- dahil
- içerir
- Dahil olmak üzere
- bireysel
- Endüstri
- sanayi
- bilgi
- giriş
- anlayışlar
- entegre
- Akıllı
- ilgili
- IT
- İş
- etiketleme
- Etiketler
- dil
- başlattı
- öğrenme
- Mevzuat
- makine
- makine öğrenme
- YAPAR
- yönetilen
- yönetim
- Manuel
- Maç
- olabilir
- ML
- model
- modelleri
- Ay
- ay
- Daha
- çoklu
- Doğal (Madenden)
- Navigasyon
- gerekli
- ihtiyaçlar
- defter
- açık
- operasyon
- optimize
- sipariş
- İnsanlar
- performans
- kişisel
- kişisel bilgi
- potansiyel
- Anapara
- sorunlar
- süreç
- işleme
- sağlamak
- sağlar
- sağlama
- halka açık
- gerçek zaman
- Alınan
- azaltmak
- azaltarak
- uygun
- Kaynaklar
- yanıt
- kurallar
- koşmak
- koşu
- ölçeklenebilir
- ölçek
- Sahneler
- güvenli
- güvenlik
- Dizi
- Serverless
- hizmet
- Hizmetler
- set
- Basit
- So
- Yazılım
- hizmet olarak yazılım
- katı
- çözüm
- Çözümler
- çözer
- alanlarda
- bölmek
- Splits
- yığın
- başlar
- Eyalet
- ifadeleri
- Durum
- kalmak
- hafızası
- mağaza
- mağaza
- Stratejik
- gönderilen
- Başarılı olarak
- sistem
- Sistemler
- görevleri
- vergi
- Teknik
- teknikleri
- Teknolojileri
- test
- Test yapmak
- İçinden
- zaman
- zaman tükeniyor
- zamanlar
- Eğitim
- transfer
- benzersiz
- us
- kullanım
- değer
- Doğrulama
- Videolar
- Görüntüle
- Virjinya
- vizyonumuz
- hacim
- beklemek
- olmadan
- işgücü