Üretken yapay zeka ile AWS akıllı belge işlemeyi geliştirme | Amazon Web Hizmetleri

Veri sınıflandırması, ayıklaması ve analizi, ciltler dolusu belgeyle uğraşan kuruluşlar için zorlayıcı olabilir. Geleneksel belge işleme çözümleri manueldir, pahalıdır, hataya açıktır ve ölçeklendirilmesi zordur. AI hizmetleriyle AWS akıllı belge işleme (IDP) Amazon Metin Yazısı, taranan herhangi bir belge veya görüntüden verileri hızlı ve doğru bir şekilde işlemek için endüstri lideri makine öğrenimi (ML) teknolojisinden yararlanmanıza olanak tanır. Üretken yapay zeka (üretken yapay zeka), belge işleme iş akışlarını daha da otomatik hale getirmek için Amazon Textract'ı tamamlar. Anahtar alanların normalleştirilmesi ve girdi verilerinin özetlenmesi gibi özellikler, hata olasılığını azaltırken belge işleme iş akışlarını yönetmek için daha hızlı döngüleri destekler.

Üretken yapay zeka, temel modeller (FM'ler) adı verilen büyük makine öğrenimi modelleri tarafından yönlendirilir. FM'ler, geleneksel olarak karmaşık belge işleme iş yüklerini çözme yönteminizi dönüştürüyor. Mevcut yeteneklere ek olarak işletmelerin, finansal raporlar ve banka hesap özetleri gibi belgelerden borç ve alacak verileri dahil olmak üzere belirli bilgi kategorilerini özetlemeleri gerekir. FM'ler, çıkarılan verilerden bu tür içgörüler oluşturmayı kolaylaştırır. İnsan incelemesinde harcanan zamanı optimize etmek ve çalışan üretkenliğini artırmak için telefon numaralarındaki eksik rakamlar, eksik belgeler veya sokak numarası olmayan adresler gibi hatalar otomatik bir şekilde işaretlenebilir. Mevcut senaryoda, insan incelemesi ve karmaşık betikler kullanarak bu tür görevleri gerçekleştirmek için kaynakları ayırmanız gerekir. Bu yaklaşım sıkıcı ve pahalıdır. FM'ler, bu görevleri daha az kaynakla daha hızlı tamamlamaya yardımcı olabilir ve çeşitli girdi biçimlerini daha sonra işlenebilecek standart bir şablona dönüştürebilir. AWS'de aşağıdakiler gibi hizmetler sunuyoruz: Amazon Ana Kayası, FM'lerle üretken yapay zeka uygulamaları oluşturmanın ve ölçeklendirmenin en kolay yolu. Amazon Bedrock, önde gelen yapay zeka girişimlerinin ve Amazon'un FM'lerini bir API aracılığıyla kullanıma sunan, tam olarak yönetilen bir hizmettir, böylece gereksinimlerinize en uygun modeli bulabilirsiniz. biz de sunuyoruz Amazon SageMaker Hızlı BaşlangıçML uygulayıcılarının çok çeşitli açık kaynaklı FM'ler arasından seçim yapmasına olanak tanır. Makine öğrenimi uygulayıcıları FM'leri özel olarak dağıtabilir Amazon Adaçayı Yapıcı izole edilmiş bir ağ ortamından bulut sunucuları oluşturun ve model eğitimi ve konuşlandırma için SageMaker'ı kullanarak modelleri özelleştirin.

Ricoh müşterilerinin işletmeleri genelinde bilgi akışını yönetmelerine ve optimize etmelerine yardımcı olmak için tasarlanmış iş yeri çözümleri ve dijital dönüşüm hizmetleri sunar. Portföy Çözümü Geliştirmeden Sorumlu Başkan Yardımcısı Ashok Shenoy, "Soru-Cevap, özetleme ve standartlaştırılmış çıktılar gibi yeni yeteneklerden yararlanarak müşterilerimizin işlerini daha hızlı ve daha doğru bir şekilde yapmalarına yardımcı olmak için IDP çözümlerimize üretken yapay zekayı ekliyoruz. AWS, her bir müşterilerimizin verilerini ayrı ve güvende tutarken üretken yapay zekadan yararlanmamıza olanak tanıyor."

Bu gönderide, üretken yapay zeka ile AWS'deki IDP çözümünüzü nasıl geliştireceğinizi paylaşıyoruz.

IDP ardışık düzenini iyileştirme

Bu bölümde, geleneksel IDP ardışık düzeninin FM'ler tarafından nasıl artırılabileceğini inceliyor ve Amazon Textract'ı FM'lerle birlikte kullanan örnek bir kullanım durumunu inceliyoruz.

AWS IDP üç aşamadan oluşur: sınıflandırma, ayıklama ve zenginleştirme. Her aşama hakkında daha fazla ayrıntı için, bkz. AWS AI hizmetleriyle akıllı belge işleme: 1. Bölüm ve Bölüm 2. Sınıflandırma aşamasında, FM'ler artık herhangi bir ek eğitim almadan belgeleri sınıflandırabilir. Bu, model daha önce benzer örnekler görmemiş olsa bile belgelerin kategorize edilebileceği anlamına gelir. Ayıklama aşamasındaki FM'ler tarih alanlarını normalleştirir ve adresleri ve telefon numaralarını doğrularken tutarlı biçimlendirme sağlar. Zenginleştirme aşamasındaki FM'ler çıkarım, mantıksal akıl yürütme ve özetleme sağlar. FM'leri her bir IDP aşamasında kullandığınızda, iş akışınız daha düzenli olacak ve performans artacaktır. Aşağıdaki diyagram, üretici yapay zekaya sahip IDP ardışık düzenini göstermektedir.

IDP boru hattının çıkarma aşaması

FM'ler kendi yerel formatlarındaki (PDF'ler, img, jpeg ve tiff gibi) belgeleri doğrudan girdi olarak işleyemediğinde, belgeleri metne dönüştürmek için bir mekanizma gerekir. Metni FM'lere göndermeden önce belgeden çıkarmak için Amazon Textract'ı kullanabilirsiniz. Amazon Textract ile satırları ve kelimeleri ayıklayabilir ve bunları sonraki FM'lere iletebilirsiniz. Aşağıdaki mimari, daha sonraki işlemler için FM'lere göndermeden önce her türden belgeden doğru metin ayıklamak için Amazon Textract'ı kullanır.

Tipik olarak, belgeler yapılandırılmış ve yarı yapılandırılmış bilgilerden oluşur. Amazon Textract, tablolardan ve formlardan ham metin ve verileri ayıklamak için kullanılabilir. Tablolar ve formlardaki veriler arasındaki ilişki, iş süreçlerinin otomatikleştirilmesinde hayati bir rol oynar. Bazı bilgi türleri FM'ler tarafından işlenemez. Sonuç olarak, bu bilgileri bir alt mağazada saklamayı veya FM'lere göndermeyi seçebiliriz. Aşağıdaki şekil, Amazon Textract'ın FM'ler tarafından işlenmesi gereken metin satırlarına ek olarak, bir belgeden yapılandırılmış ve yarı yapılandırılmış bilgileri nasıl ayıklayabildiğinin bir örneğini göstermektedir.

FM'lerle özetlemek için AWS sunucusuz hizmetleri kullanma

Daha önce örneklendirdiğimiz IDP ardışık düzeni, AWS sunucusuz hizmetler kullanılarak sorunsuz bir şekilde otomatikleştirilebilir. Yüksek oranda yapılandırılmamış belgeler, büyük işletmelerde yaygındır. Bu belgeler, bankacılık sektöründeki Menkul Kıymetler ve Borsa Komisyonu (SEC) belgelerinden sağlık sigortası sektöründeki teminat belgelerine kadar uzanabilir. AWS'de üretken yapay zekanın gelişmesiyle birlikte, bu sektörlerdeki kişiler bu belgelerden otomatikleştirilmiş ve uygun maliyetli bir şekilde özet almanın yollarını arıyor. Sunucusuz hizmetler, hızlı bir şekilde IDP için çözüm oluşturma mekanizmasının sağlanmasına yardımcı olur. gibi hizmetler AWS Lambda, AWS Basamak İşlevleri, ve Amazon EventBridge aşağıdaki şemada gösterildiği gibi FM'lerin entegrasyonuyla belge işleme boru hattının oluşturulmasına yardımcı olabilir.

The örnek uygulama Önceki mimaride kullanılan olaylar tarafından yönlendirilen. Bir olay son zamanlarda meydana gelen bir durum değişikliği olarak tanımlanır. Örneğin, bir nesne bir sunucuya yüklendiğinde Amazon Basit Depolama Hizmeti (Amazon S3) klasörü, Amazon S3 bir Nesne Oluşturuldu olayı yayınlar. Amazon S3'ten gelen bu olay bildirimi, bir Lambda işlevini veya Step Functions iş akışını tetikleyebilir. Bu tür mimariye mimari denir. olay güdümlü mimari. Bu gönderide, örnek uygulamamız, örnek bir tıbbi taburcu belgesini işlemek ve belgenin ayrıntılarını özetlemek için olaya dayalı bir mimari kullanıyor. Akış şu şekilde çalışır:

1. Bir S3 klasörüne bir belge yüklendiğinde, Amazon S3 bir Nesne Oluşturuldu olayını tetikler.
2. EventBridge varsayılan olay veriyolu, olayı bir EventBridge kuralına dayalı olarak Step Functions'a yayar.
3. Durum makinesi iş akışı, Amazon Textract'tan başlayarak belgeyi işler.
4. Bir Lambda işlevi, analiz edilen verileri bir sonraki adım için dönüştürür.
5. durum makinesi çağırır a SageMaker uç noktasıdoğrudan AWS SDK entegrasyonunu kullanarak FM'yi barındıran.
6. Bir özet S3 hedef grubu, FM'den toplanan özet yanıtı alır.

Örnek uygulamayı bir ile kullandık. flan-t5 Sarılma yüz modeli Step Functions iş akışını kullanarak aşağıdaki örnek hasta taburcu özetini özetlemek için.

Step Functions iş akışında kullanılanlar AWS SDK entegrasyonu Amazon Textract'ı aramak için Analiz etBelge ve SageMaker çalışma zamanı Uç Noktayı Çağır API'ler, aşağıdaki şekilde gösterildiği gibi.

Bu iş akışı, bir hedef klasörde depolanan bir özet JSON nesnesi ile sonuçlanır. JSON nesnesi aşağıdaki gibi görünür:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

Geniş ölçekte sunucusuz uygulama ile IDP kullanarak bu özetleri oluşturmak, kuruluşların uygun maliyetli bir şekilde anlamlı, özlü ve sunulabilir veriler elde etmesine yardımcı olur. Step Functions, belgeleri işleme yöntemini her seferinde bir belgeyle sınırlamaz. Onun dağıtılmış harita özelliği, çok sayıda belgeyi bir zamanlamaya göre özetleyebilir.

The örnek uygulama kullanan bir flan-t5 Sarılma yüz modeli; ancak, istediğiniz bir FM uç noktasını kullanabilirsiniz. Modelin eğitimi ve çalıştırılması örnek uygulamanın kapsamı dışındadır. Örnek bir uygulama dağıtmak için GitHub deposundaki talimatları izleyin. Önceki mimari, Step Functions kullanarak bir IDP iş akışını nasıl düzenleyebileceğiniz konusunda bir kılavuzdur. Bakın IDP Üretken Yapay Zeka atölyesi AWS AI hizmetleri ve FM'ler ile bir uygulamanın nasıl oluşturulacağına ilişkin ayrıntılı talimatlar için.

Çözümü kurun

Adımlarını izleyin. README çözüm mimarisini ayarlamak için dosya (SageMaker bitiş noktaları hariç). Kendi SageMaker bitiş noktanızı kullandıktan sonra, uç nokta adını şablona bir parametre olarak iletebilirsiniz.

Temizlemek

Maliyetlerden tasarruf etmek için eğitimin bir parçası olarak dağıttığınız kaynakları silin:

1. Temizleme bölümündeki adımları izleyin. README dosyası.
2. S3 klasörünüzdeki tüm içeriği silin ve ardından klasörü Amazon S3 konsolu aracılığıyla silin.
3. SageMaker konsolu aracılığıyla oluşturmuş olabileceğiniz tüm SageMaker uç noktalarını silin.

Sonuç

Üretken yapay zeka, içgörüler elde etmek için belgeleri IDP ile nasıl işleyebileceğinizi değiştiriyor. AWS FM'lerin yanı sıra Amazon Textract gibi AWS AI hizmetleri, her türden belgenin doğru bir şekilde işlenmesine yardımcı olabilir. AWS'de üretken yapay zeka ile çalışma hakkında daha fazla bilgi için bkz. AWS'de Üretken Yapay Zeka ile Derlemeye Yönelik Yeni Araçlar Duyurusu.

---

Yazarlar Hakkında

Sonali Sahu AWS'de AI/ML hizmetleri ekibiyle akıllı belge işlemede lider konumdadır. O bir yazar, düşünce lideri ve tutkulu bir teknoloji uzmanıdır. Temel odak alanı AI ve ML'dir ve sık sık dünya çapında AI ve ML konferanslarında ve buluşmalarında konuşur. Sağlık, finans sektörü ve sigorta sektörlerinde sektör uzmanlığı ile teknoloji ve teknoloji endüstrisinde hem geniş hem de derin deneyime sahiptir.

Kül Lal AWS'de yapay zeka hizmetleri için ürün pazarlamasına liderlik eden Kıdemli Ürün Pazarlama Müdürüdür. 9 yıllık pazarlama deneyimine sahiptir ve Akıllı belge işleme için ürün pazarlama çabalarına liderlik etmiştir. Washington Üniversitesi'nde İşletme Yüksek Lisansını yaptı.

Mrunal Daftari Amazon Web Services'ta Kurumsal Kıdemli Çözümler Mimarıdır. Boston, MA'da yerleşiktir. Kendisi bir bulut tutkunu ve müşteriler için basit ve iş sonuçlarına yönelik çözümler bulma konusunda çok tutkulu. Bulut teknolojileriyle çalışmayı, olumlu iş sonuçları sağlayan basit, ölçeklenebilir çözümler sağlamayı, bulutu benimseme stratejisini ve yenilikçi çözümler tasarlamayı ve operasyonel mükemmelliği desteklemeyi seviyor.

Dhiraj Mahapatro AWS'de Baş Sunucusuz Uzman Çözüm Mimarıdır. Kurumsal finansal hizmetlerin, uygulamalarını modernize etmek ve inovasyon hızlarını artırmak için sunucusuz ve olaya dayalı mimarileri benimsemesine yardımcı olma konusunda uzmanlaşmıştır. Son zamanlarda, finansal hizmetler sektörü müşterileri için konteyner iş yüklerini ve üretken yapay zekanın pratik kullanımını sunucusuz ve EDA'ya yaklaştırmak için çalışıyor.

Yakup Hauskens 15 yılı aşkın stratejik iş geliştirme ve ortaklık deneyimine sahip bir Baş Yapay Zeka Uzmanıdır. Son 7 yılda, yapay zeka destekli yeni B2B hizmetleri için pazara açılma stratejilerinin oluşturulmasına ve uygulanmasına öncülük etmiştir. Son zamanlarda, akıllı belge işleme iş akışlarına üretken yapay zeka ekleyerek ISV'lerin gelirlerini artırmalarına yardımcı oluyor.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. Otomotiv / EV'ler, karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• Blok Ofsetleri. Çevre Dengeleme Sahipliğini Modernleştirme. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/