Îmbunătățirea procesării inteligente a documentelor AWS cu IA generativă | Amazon Web Services

Clasificarea, extragerea și analiza datelor pot fi o provocare pentru organizațiile care se ocupă cu volume de documente. Soluțiile tradiționale de procesare a documentelor sunt manuale, costisitoare, predispuse la erori și dificil de scalat. Procesarea inteligentă a documentelor (IDP) AWS, cu servicii AI, cum ar fi Text Amazon, vă permite să profitați de tehnologia de învățare automată (ML) lider în industrie pentru a procesa rapid și precis datele din orice document sau imagine scanată. Inteligența artificială generativă (IA generativă) completează Amazon Texttract pentru a automatiza și mai mult fluxurile de lucru de procesare a documentelor. Caracteristici precum normalizarea câmpurilor cheie și rezumarea datelor de intrare susțin cicluri mai rapide pentru gestionarea fluxurilor de lucru ale procesului de documente, reducând în același timp potențialul de erori.

AI generativă este condusă de modele mari ML numite modele de fundație (FM). FM transformă modul în care puteți rezolva sarcinile de lucru tradiționale complexe de procesare a documentelor. Pe lângă capacitățile existente, companiile trebuie să rezuma anumite categorii de informații, inclusiv datele de debit și credit din documente precum rapoartele financiare și extrasele bancare. FM-urile facilitează generarea unor astfel de informații din datele extrase. Pentru a optimiza timpul petrecut în evaluarea umană și pentru a îmbunătăți productivitatea angajaților, greșeli precum cifrele lipsă din numerele de telefon, documentele lipsă sau adresele fără numere stradale pot fi semnalate într-un mod automat. În scenariul actual, trebuie să dedicați resurse pentru a îndeplini astfel de sarcini folosind revizuire umană și scripturi complexe. Această abordare este plictisitoare și costisitoare. FM pot ajuta la finalizarea acestor sarcini mai rapid, cu mai puține resurse și la transformarea diferitelor formate de intrare într-un șablon standard care poate fi procesat în continuare. La AWS, oferim servicii precum Amazon Bedrock, cel mai simplu mod de a construi și scala aplicații AI generative cu FM. Amazon Bedrock este un serviciu complet gestionat care face ca FM-urile de la startup-uri de IA de top și Amazon să fie disponibile printr-un API, astfel încât să puteți găsi modelul care se potrivește cel mai bine cerințelor dvs. Oferim si noi Amazon SageMaker JumpStart, care le permite practicienilor ML să aleagă dintr-o selecție largă de FM open-source. Practicanții de ML pot implementa FM-uri către dedicat Amazon SageMaker instanțe dintr-un mediu izolat în rețea și personalizați modelele folosind SageMaker pentru instruirea și implementarea modelelor.

Ricoh oferă soluții la locul de muncă și servicii de transformare digitală concepute pentru a ajuta clienții să gestioneze și să optimizeze fluxul de informații în cadrul afacerilor lor. Ashok Shenoy, VP Portfolio Solution Development, spune: „Adăugăm IA generativă la soluțiile noastre IDP pentru a ajuta clienții noștri să își desfășoare munca mai rapid și mai precis, utilizând noi capabilități, cum ar fi întrebări și răspunsuri, rezumate și rezultate standardizate. AWS ne permite să profităm de IA generativă, păstrând în același timp datele fiecărui client separat și în siguranță.”

În această postare, vă împărtășim cum să vă îmbunătățiți soluția IDP pe AWS cu IA generativă.

Îmbunătățirea conductei IDP

În această secțiune, analizăm modul în care conducta IDP tradițională poate fi mărită de FM și parcurgem un exemplu de caz de utilizare folosind Amazon Texttract cu FM.

AWS IDP este compus din trei etape: clasificare, extracție și îmbogățire. Pentru mai multe detalii despre fiecare etapă, consultați Procesarea inteligentă a documentelor cu serviciile AWS AI: Partea 1 și Partea 2. În etapa de clasificare, FM pot acum clasifica documentele fără nicio pregătire suplimentară. Aceasta înseamnă că documentele pot fi clasificate chiar dacă modelul nu a mai văzut exemple similare. FM în etapa de extragere normalizează câmpurile de date și verifică adresele și numerele de telefon, asigurând în același timp o formatare consecventă. FM în etapa de îmbogățire permit inferența, raționamentul logic și rezumarea. Când utilizați FM în fiecare etapă IDP, fluxul dvs. de lucru va fi mai eficient și performanța se va îmbunătăți. Următoarea diagramă ilustrează conducta IDP cu AI generativă.

Etapa de extracție a conductei IDP

Când FM-urile nu pot procesa direct documente în formatele lor native (cum ar fi PDF-uri, img, jpeg și tiff) ca intrare, este necesar un mecanism de conversie a documentelor în text. Pentru a extrage textul din document înainte de a-l trimite către FM, puteți utiliza Amazon Texttract. Cu Amazon Texttract, puteți extrage linii și cuvinte și le puteți transmite către FM din aval. Următoarea arhitectură utilizează Amazon Texttract pentru extragerea corectă a textului din orice tip de document înainte de a-l trimite către FM pentru procesare ulterioară.

De obicei, documentele sunt compuse din informații structurate și semi-structurate. Amazon Texttract poate fi folosit pentru a extrage text brut și date din tabele și formulare. Relația dintre datele din tabele și formulare joacă un rol vital în automatizarea proceselor de afaceri. Este posibil ca anumite tipuri de informații să nu fie procesate de către FM. Ca rezultat, putem alege fie să stocăm aceste informații într-un magazin din aval, fie să le trimitem către FM. Următoarea figură este un exemplu despre modul în care Amazon Texttract poate extrage informații structurate și semistructurate dintr-un document, în plus față de liniile de text care trebuie procesate de către FM.

Utilizarea serviciilor AWS fără server pentru a rezuma cu FM

Conducta IDP pe care am ilustrat-o mai devreme poate fi automatizată fără probleme folosind serviciile AWS fără server. Documentele foarte nestructurate sunt frecvente în marile întreprinderi. Aceste documente se pot întinde de la documentele Comisiei de Valori Mobiliare (SEC) din industria bancară până la documente de acoperire în industria asigurărilor de sănătate. Odată cu evoluția AI generativă la AWS, oamenii din aceste industrii caută modalități de a obține un rezumat din acele documente într-un mod automat și rentabil. Serviciile fără server ajută la furnizarea mecanismului de a construi rapid o soluție pentru IDP. Servicii precum AWS Lambdas, Funcții pas AWS, și Amazon EventBridge poate ajuta la construirea conductei de procesare a documentelor cu integrarea FM, așa cum se arată în diagrama următoare.

aplicație de probă folosit în arhitectura precedentă este condus de evenimente. O eveniment este definită ca o schimbare de stare care a avut loc recent. De exemplu, când un obiect este încărcat într-un Serviciul Amazon de stocare simplă (Amazon S3), Amazon S3 emite un eveniment Object Created. Această notificare de eveniment de la Amazon S3 poate declanșa o funcție Lambda sau un flux de lucru Step Functions. Acest tip de arhitectură este denumit ca un arhitectură bazată pe evenimente. În această postare, aplicația noastră exemplu utilizează o arhitectură bazată pe evenimente pentru a procesa un eșantion de document de externare medicală și a rezuma detaliile documentului. Fluxul funcționează după cum urmează:

1. Când un document este încărcat într-un compartiment S3, Amazon S3 declanșează un eveniment Object Created.
2. Autobuzul de evenimente implicit EventBridge propagă evenimentul la Funcțiile pas pe baza unei reguli EventBridge.
3. Fluxul de lucru al mașinii de stare procesează documentul, începând cu Amazon Texttract.
4. O funcție Lambda transformă datele analizate pentru următorul pas.
5. Mașina de stat invocă a Punct final SageMaker, care găzduiește FM folosind integrarea directă AWS SDK.
6. Un grup de destinație S3 rezumat primește răspunsul rezumat adunat de la FM.

Am folosit aplicația eșantion cu a flan-t5 Model de față îmbrățișată pentru a rezuma următorul exemplu de rezumat al externarii pacientului utilizând fluxul de lucru Step Functions.

Fluxul de lucru Step Functions folosește Integrare AWS SDK pentru a apela Amazon Text Analizați documentul și SageMaker runtime InvokeEndpoint API-uri, așa cum se arată în figura următoare.

Acest flux de lucru are ca rezultat un obiect JSON rezumat care este stocat într-un compartiment de destinație. Obiectul JSON arată după cum urmează:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

Generarea acestor rezumate folosind IDP cu implementare fără server la scară ajută organizațiile să obțină date semnificative, concise și prezentabile într-un mod rentabil. Step Functions nu limitează metoda de procesare a documentelor la un document la un moment dat. Este hartă distribuită caracteristica poate rezuma un număr mare de documente într-un program.

aplicație de probă folosește un flan-t5 Model de față îmbrățișată; cu toate acestea, puteți utiliza un punct final FM la alegere. Antrenarea și rularea modelului nu fac parte din domeniul de aplicare al exemplului de aplicație. Urmați instrucțiunile din depozitul GitHub pentru a implementa un exemplu de aplicație. Arhitectura precedentă este o îndrumare despre cum puteți orchestra un flux de lucru IDP folosind funcțiile pas. Consultați Atelier de IA generativă IDP pentru instrucțiuni detaliate despre cum să construiți o aplicație cu servicii AWS AI și FM.

Configurați soluția

Urmați pașii din README fișier pentru a seta arhitectura soluției (cu excepția punctelor finale SageMaker). După ce aveți propriul punct final SageMaker disponibil, puteți transmite numele punctului final ca parametru șablonului.

A curăța

Pentru a economisi costuri, ștergeți resursele pe care le-ați implementat ca parte a tutorialului:

1. Urmați pașii din secțiunea de curățare a fișierului README fișier.
2. Ștergeți orice conținut din compartimentul dvs. S3 și apoi ștergeți compartimentul prin consola Amazon S3.
3. Ștergeți toate punctele finale SageMaker pe care le-ați creat prin consola SageMaker.

Concluzie

Inteligența artificială generativă schimbă modul în care puteți procesa documentele cu IDP pentru a obține informații. Serviciile AWS AI, cum ar fi Amazon Texttract, împreună cu AWS FMs, pot ajuta la procesarea cu acuratețe a oricărui tip de documente. Pentru mai multe informații despre lucrul cu AI generativă pe AWS, consultați Anunțăm noi instrumente pentru construirea cu IA generativă pe AWS.

---

Despre Autori

Sonali Sahu conduce procesarea inteligentă a documentelor cu echipa de servicii AI/ML din AWS. Ea este autoare, lider de gândire și tehnolog pasionat. Domeniul ei de interes principal este AI și ML și vorbește frecvent la conferințe și întâlniri AI și ML din întreaga lume. Ea are atât o experiență vastă, cât și profundă în tehnologie și industria tehnologiei, cu expertiză în industrie în domeniul sănătății, sectorul financiar și asigurări.

Ashish Lal este un Senior Product Marketing Manager care conduce marketingul de produse pentru serviciile AI la AWS. Are 9 ani de experiență în marketing și a condus efortul de marketing al produsului pentru procesarea inteligentă a documentelor. Și-a luat masterul în Administrarea Afacerilor la Universitatea din Washington.

Mrunal Daftari este Architect Senior Solutions Enterprise la Amazon Web Services. Are sediul în Boston, MA. Este un pasionat de cloud și foarte pasionat de găsirea de soluții pentru clienți care sunt simple și care abordează rezultatele afacerii lor. Îi place să lucreze cu tehnologiile cloud, oferind soluții simple și scalabile care generează rezultate pozitive în afaceri, strategie de adoptare a cloud-ului și proiectează soluții inovatoare și stimulează excelența operațională.

Dhiraj Mahapatro este arhitect principal de soluții de specialitate fără server la AWS. El este specializat în a ajuta serviciile financiare ale întreprinderilor să adopte arhitecturi fără server și bazate pe evenimente pentru a-și moderniza aplicațiile și a-și accelera ritmul de inovare. Recent, el a lucrat la aducerea încărcăturilor de lucru ale containerelor și a utilizării practice a inteligenței artificiale generative mai aproape de serverless și EDA pentru clienții din industria serviciilor financiare.

Jacob Hauskens este un specialist principal AI cu peste 15 ani de experiență în dezvoltarea strategică a afacerilor și parteneriate. În ultimii 7 ani, el a condus crearea și implementarea strategiilor de introducere pe piață pentru noi servicii B2B bazate pe inteligență artificială. Recent, el a ajutat ISV-urile să-și crească veniturile adăugând AI generativă la fluxurile de lucru inteligente de procesare a documentelor.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. Automobile/VE-uri, carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• BlockOffsets. Modernizarea proprietății de compensare a mediului. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/