AWS-i intelligentse dokumenditöötluse täiustamine generatiivse tehisintellektiga | Amazoni veebiteenused

Andmete klassifitseerimine, eraldamine ja analüüs võib olla keeruline organisatsioonidele, mis tegelevad dokumentide mahuga. Traditsioonilised dokumenditöötluslahendused on käsitsi, kallid, veatundlikud ja neid on raske skaleerida. AWS intelligentne dokumenditöötlus (IDP) koos tehisintellekti teenustega nagu Amazoni tekst, võimaldab teil kasutada tööstusharu juhtivat masinõppe (ML) tehnoloogiat, et kiiresti ja täpselt töödelda mis tahes skannitud dokumendi või pildi andmeid. Generatiivne tehisintellekt (generatiivne AI) täiendab Amazon Textracti, et veelgi automatiseerida dokumentide töötlemise töövooge. Sellised funktsioonid nagu võtmeväljade normaliseerimine ja sisendandmete kokkuvõte toetavad kiiremaid tsükleid dokumendiprotsesside töövoogude haldamisel, vähendades samal ajal vigade tekkimise võimalust.

Generatiivset AI-d juhivad suured ML-mudelid, mida nimetatakse alusmudeliteks (FM). FM-id muudavad traditsiooniliselt keerukate dokumentide töötlemise töökoormuste lahendamise viisi. Lisaks olemasolevatele võimalustele peavad ettevõtted tegema kokkuvõtte konkreetsete teabekategooriate kohta, sealhulgas deebet- ja krediidiandmed sellistest dokumentidest nagu finantsaruanded ja pangaväljavõtted. FM-id hõlbustavad sellise ülevaate loomist ekstraktitud andmetest. Inimeste ülevaatamisele kulutatud aja optimeerimiseks ja töötajate tootlikkuse parandamiseks saab automaatselt märgistada vigu, nagu puuduolevad numbrid telefoninumbrites, puuduvad dokumendid või aadressid ilma tänavanumbriteta. Praeguses stsenaariumis peate pühendama ressursse selliste ülesannete täitmiseks, kasutades inimülevaatust ja keerulisi skripte. See lähenemine on tüütu ja kulukas. FM-id võivad aidata neid ülesandeid kiiremini ja vähemate ressurssidega täita ning muuta erinevad sisendvormingud standardseks malliks, mida saab edasi töödelda. AWS-is pakume selliseid teenuseid nagu Amazonase aluspõhi, lihtsaim viis generatiivsete AI-rakenduste loomiseks ja skaleerimiseks FM-idega. Amazon Bedrock on täielikult hallatav teenus, mis teeb juhtivate tehisintellekti idufirmade ja Amazoni FM-id API kaudu kättesaadavaks, et saaksite leida oma vajadustele kõige paremini sobiva mudeli. Pakume ka Amazon SageMaker JumpStart, mis võimaldab ML-i praktikutel valida laia valiku avatud lähtekoodiga FM-ide hulgast. ML-praktikud saavad FM-e kasutada spetsiaalselt Amazon SageMaker eksemplare võrgust eraldatud keskkonnast ja kohandage mudeleid SageMakeri abil mudeli koolituseks ja juurutamiseks.

Ricoh pakub töökohalahendusi ja digitaalse ümberkujundamise teenuseid, mis on loodud selleks, et aidata klientidel hallata ja optimeerida teabevoogu nende ettevõtete vahel. Ashok Shenoy, portfellilahenduste arenduse asepresident, ütleb: „Lisame oma IDP-lahendustele generatiivse tehisintellekti, et aidata klientidel oma tööd kiiremini ja täpsemalt teha, kasutades uusi võimalusi, nagu küsimused ja vastused, kokkuvõte ja standardsed väljundid. AWS võimaldab meil ära kasutada generatiivset AI-d, hoides samal ajal iga kliendi andmed eraldi ja turvalisena.

Selles postituses jagame, kuidas täiustada oma IDP-lahendust AWS-is generatiivse tehisintellektiga.

IDP torujuhtme täiustamine

Selles jaotises vaatleme, kuidas traditsioonilist IDP-konveieri saab FM-idega täiendada, ja vaatame läbi näite, kasutades Amazon Textracti koos FM-idega.

AWS IDP koosneb kolmest etapist: klassifitseerimine, ekstraheerimine ja rikastamine. Iga etapi kohta lisateabe saamiseks vaadake Arukas dokumenditöötlus AWS AI teenustega: 1. osa ja Osa 2. Salastamise etapis saavad FM-id nüüd dokumente salastada ilma täiendava koolituseta. See tähendab, et dokumente saab kategoriseerida ka siis, kui mudel pole varem sarnaseid näiteid näinud. Ekstraheerimisetapis olevad FM-id normaliseerivad kuupäevavälju ning kontrollivad aadresse ja telefoninumbreid, tagades samal ajal järjepideva vormingu. Rikastamisetapis olevad FM-id võimaldavad järeldada, loogiliselt arutleda ja kokkuvõtteid teha. Kui kasutate FM-e igas IDP etapis, on teie töövoog sujuvam ja jõudlus paraneb. Järgmine diagramm illustreerib IDP torujuhet generatiivse AI-ga.

IDP torujuhtme ekstraheerimise etapp

Kui FM-id ei saa otse sisendina töödelda dokumente nende algvormingus (nt PDF-id, img-, jpeg- ja tiff-failid), on vaja mehhanismi dokumentide tekstiks teisendamiseks. Dokumendist teksti eraldamiseks enne selle FM-i saatmist saate kasutada Amazon Textracti. Amazon Textracti abil saate ridu ja sõnu eraldada ning edastada allavoolu FM-idele. Järgmine arhitektuur kasutab Amazon Textracti mis tahes tüüpi dokumentidest täpseks teksti eraldamiseks enne selle FM-i saatmist edasiseks töötlemiseks.

Tavaliselt koosnevad dokumendid struktureeritud ja poolstruktureeritud teabest. Amazon Textracti saab kasutada toorteksti ja andmete eraldamiseks tabelitest ja vormidest. Tabelites ja vormides olevate andmete suhe mängib äriprotsesside automatiseerimisel üliolulist rolli. FM-id ei pruugi teatud tüüpi teavet töödelda. Selle tulemusel saame valida, kas salvestada selle teabe allavoolu poodi või saata see FM-idele. Järgmisel joonisel on näide sellest, kuidas Amazon Textract saab lisaks tekstiridadele, mida FM-id peavad töötlema, dokumendist ekstraheerima struktureeritud ja poolstruktureeritud teavet.

AWS-i serverita teenuste kasutamine FM-idega kokkuvõtete tegemiseks

Varem illustreeritud IDP-konveieri saab AWS-i serverita teenuste abil sujuvalt automatiseerida. Väga struktureerimata dokumendid on suurettevõtetes tavalised. Need dokumendid võivad hõlmata väärtpaberi- ja börsikomisjoni (SEC) dokumente pangandussektoris kuni tervisekindlustussektori kattedokumentideni. Seoses generatiivse tehisintellekti arenguga AWS-is otsivad nendes tööstusharudes tegutsevad inimesed viise, kuidas saada nendest dokumentidest automatiseeritud ja kulutõhusalt kokkuvõtet. Serverita teenused aitavad luua mehhanismi IDP-le lahenduse kiireks loomiseks. Teenused nagu AWS Lambda, AWS-i astmefunktsioonidja Amazon EventBridge võib aidata luua dokumenditöötluse torujuhtme koos FM-ide integreerimisega, nagu on näidatud järgmisel diagrammil.

. proovi rakendus kasutatakse eelmises arhitektuuris sündmustest juhitud. sündmus on määratletud kui oleku muutus, mis on hiljuti toimunud. Näiteks kui objekt laaditakse üles Amazoni lihtne salvestusteenus (Amazon S3) ämber, Amazon S3 väljastab objekti loodud sündmuse. See Amazon S3 sündmuseteade võib käivitada lambda funktsiooni või sammufunktsioonide töövoo. Seda tüüpi arhitektuuri nimetatakse an sündmustepõhine arhitektuur. Selles postituses kasutab meie näidisrakendus meditsiinilise tühjendusdokumendi näidistöötlemiseks ja dokumendi üksikasjade kokkuvõtte tegemiseks sündmustepõhist arhitektuuri. Voog toimib järgmiselt:

1. Kui dokument laaditakse üles S3 ämbrisse, käivitab Amazon S3 sündmuse Object Created.
2. EventBridge'i sündmuste vaikesiin edastab sündmuse EventBridge'i reegli alusel sammufunktsioonidesse.
3. Olekumasina töövoog töötleb dokumenti, alustades Amazon Textractiga.
4. Lambda-funktsioon teisendab analüüsitud andmed järgmise sammu jaoks.
5. Riigimasin kutsub a SageMakeri lõpp-punkt, mis hostib FM-i, kasutades otsest AWS SDK integratsiooni.
6. Kokkuvõtlik S3 sihtkoha salp võtab vastu FM-ilt kogutud kokkuvõtliku vastuse.

Kasutasime näidisrakendust koos a flan-t5 Kallistav näomudel et teha kokkuvõte järgmisest patsiendi väljakirjutamise kokkuvõttest, kasutades Step Functions töövoogu.

Step Functions töövoog kasutab AWS SDK integreerimine helistada Amazoni tekstile Analüüsidokument ja SageMakeri käitusaeg InvokeEndpoint API-sid, nagu on näidatud järgmisel joonisel.

Selle töövoo tulemuseks on kokkuvõtlik JSON-objekt, mis salvestatakse sihtkoha ämbrisse. JSON-objekt näeb välja järgmine:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

Nende kokkuvõtete loomine IDP-ga serverivaba juurutamisega mastaabis aitab organisatsioonidel saada sisukaid, sisutihedaid ja esinduslikke andmeid kuluefektiivsel viisil. Step Functions ei piira dokumentide töötlemise meetodit ühe dokumendiga korraga. Selle hajutatud kaart funktsioon võib ajakava alusel kokku võtta suure hulga dokumente.

. proovi rakendus kasutab a flan-t5 Kallistav näomudel; siiski saate kasutada oma valitud FM-lõpp-punkti. Mudeli koolitamine ja käitamine ei kuulu näidisrakenduse ulatusse. Näidisrakenduse juurutamiseks järgige GitHubi hoidlas olevaid juhiseid. Eelnev arhitektuur on juhis selle kohta, kuidas saate sammufunktsioonide abil IDP töövoogu korraldada. Vaadake IDP generatiivse AI töötuba üksikasjalikke juhiseid selle kohta, kuidas luua rakendus AWS AI teenuste ja FM-idega.

Seadistage lahendus

Järgige jaotises README faili lahenduse arhitektuuri määramiseks (välja arvatud SageMakeri lõpp-punktid). Kui teil on oma SageMakeri lõpp-punkt saadaval, saate lõpp-punkti nime malli parameetrina edastada.

Koristage

Kulude säästmiseks kustutage õpetuse osana juurutatud ressursid.

1. Järgige jaotise puhastamise juhiseid README faili.
2. Kustutage kogu sisu oma S3 ämbrist ja seejärel kustutage ämber Amazon S3 konsooli kaudu.
3. Kustutage kõik SageMakeri lõpp-punktid, mille olete loonud SageMakeri konsooli kaudu.

Järeldus

Generatiivne AI muudab seda, kuidas saate dokumente IDP-ga töödelda, et saada teadmisi. AWS-i AI-teenused, nagu Amazon Textract, koos AWS-i FM-idega võivad aidata täpselt töödelda mis tahes tüüpi dokumente. Lisateavet generatiivse AI-ga töötamise kohta AWS-is leiate aadressilt Teatame uutest tööriistadest generatiivse AI-ga ehitamiseks AWS-is.

---

Autoritest

Sonali Sahu juhib intelligentset dokumenditöötlust koos AI/ML teenuste meeskonnaga AWS-is. Ta on autor, mõttejuht ja kirglik tehnoloog. Tema põhivaldkonnaks on AI ja ML ning ta esineb sageli AI ja ML konverentsidel ja kohtumistel üle maailma. Tal on nii laialdane kui ka sügav kogemus tehnoloogias ja tehnoloogiatööstuses ning tervishoiu, finantssektori ja kindlustuse valdkonnas.

Ashish Lal on tooteturunduse vanemjuht, kes juhib AWS-is tehisintellektiteenuste tooteturundust. Tal on 9-aastane turunduskogemus ja ta on juhtinud intelligentse dokumenditöötluse toodete turundustegevust. Ta omandas ärijuhtimise magistrikraadi Washingtoni ülikoolis.

Mrunal Daftari on ettevõtte Amazon Web Services vanemlahenduste arhitekt. Ta asub Bostonis, MA. Ta on pilve entusiast ja soovib väga kirglikult leida klientidele lihtsaid ja nende äritulemusi käsitlevaid lahendusi. Talle meeldib töötada pilvetehnoloogiatega, pakkudes lihtsaid, skaleeritavaid lahendusi, mis toovad kaasa positiivseid äritulemusi, pilve kasutuselevõtu strateegiat ning kavandada uuenduslikke lahendusi ja edendada toimimist.

Dhiraj Mahapatro on AWS-i peamine serverivabade lahenduste arhitekt. Ta on spetsialiseerunud ettevõtete finantsteenuste abistamisele serveriteta ja sündmustepõhisel arhitektuuril, et ajakohastada nende rakendusi ja kiirendada uuenduste tempot. Viimasel ajal on ta töötanud konteinerite töökoormuse ja generatiivse tehisintellekti praktilise kasutamise lähendamiseks serverita ja EDA-le finantsteenuste sektori klientide jaoks.

Jacob Hauskens on tehisintellekti peaspetsialist, kellel on üle 15-aastane strateegilise äriarenduse ja partnerluse kogemus. Viimased 7 aastat on ta juhtinud uute tehisintellektil põhinevate B2B teenuste turuleviimise strateegiate loomist ja rakendamist. Viimasel ajal on ta aidanud ISV-del oma tulusid kasvatada, lisades intelligentsetele dokumenditöötluse töövoogudele generatiivse tehisintellekti.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Autod/elektrisõidukid, Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• BlockOffsets. Keskkonnakompensatsiooni omandi ajakohastamine. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/