Az AWS intelligens dokumentumfeldolgozás fejlesztése generatív AI-val | Amazon webszolgáltatások

Az adatok osztályozása, kinyerése és elemzése kihívást jelenthet azoknak a szervezeteknek, amelyek nagy mennyiségű dokumentummal foglalkoznak. A hagyományos dokumentumfeldolgozási megoldások kéziek, drágák, hibásak és nehezen méretezhetők. AWS intelligens dokumentumfeldolgozás (IDP), AI szolgáltatásokkal, mint pl Amazon szöveg, lehetővé teszi az iparágban vezető gépi tanulási (ML) technológia előnyeinek kihasználását bármely beszkennelt dokumentumból vagy képből származó adatok gyors és pontos feldolgozásához. A generatív mesterséges intelligencia (generatív AI) kiegészíti az Amazon Textractot a dokumentumfeldolgozási munkafolyamatok további automatizálása érdekében. Az olyan szolgáltatások, mint a kulcsmezők normalizálása és a bemeneti adatok összegzése, gyorsabb ciklusokat támogatnak a dokumentumfeldolgozási munkafolyamatok kezelésében, miközben csökkentik a hibalehetőséget.

A generatív AI-t a nagyméretű ML-modellek, az úgynevezett alapozó modellek (FM-ek) hajtják. Az FM-ek átalakítják a hagyományosan összetett dokumentumfeldolgozási feladatok megoldásának módját. A meglévő képességek mellett a vállalkozásoknak össze kell foglalniuk bizonyos információkategóriákat, beleértve a terhelési és jóváírási adatokat olyan dokumentumokból, mint a pénzügyi jelentések és a banki kivonatok. Az FM-ek megkönnyítik az ilyen betekintést a kinyert adatokból. Az emberi felülvizsgálatra fordított idő optimalizálása és az alkalmazottak termelékenységének javítása érdekében az olyan hibákat, mint a hiányzó számjegyek a telefonszámokban, a hiányzó dokumentumok vagy az utcaszám nélküli címek, automatizált módon meg lehet jelölni. A jelenlegi forgatókönyvben erőforrásokat kell fordítania az ilyen feladatok emberi ellenőrzés és összetett szkriptek segítségével történő végrehajtására. Ez a megközelítés fárasztó és drága. Az FM-ek segíthetik ezeket a feladatokat gyorsabban, kevesebb erőforrással elvégezni, és a változó beviteli formátumokat szabványos sablonokká alakíthatják, amelyek tovább feldolgozhatók. Az AWS-nél olyan szolgáltatásokat kínálunk, mint pl Amazon alapkőzet, a generatív AI-alkalmazások FM-ekkel való létrehozásának és méretezésének legegyszerűbb módja. Az Amazon Bedrock egy teljesen felügyelt szolgáltatás, amely API-n keresztül elérhetővé teszi a vezető mesterséges intelligencia induló vállalkozások és az Amazon FM-jeit, így megtalálhatja az igényeinek leginkább megfelelő modellt. mi is kínálunk Amazon SageMaker JumpStart, amely lehetővé teszi az ML szakemberek számára, hogy a nyílt forráskódú FM-ek széles választékából válasszanak. Az ML-gyakorlók FM-eket dedikáltan telepíthetnek Amazon SageMaker példányokat egy hálózattól elszigetelt környezetből, és testreszabhatja a modelleket a SageMaker segítségével a modell betanítására és telepítésére.

Ricoh munkahelyi megoldásokat és digitális átalakítási szolgáltatásokat kínál, amelyek célja, hogy segítsenek ügyfeleiknek kezelni és optimalizálni az információáramlást vállalkozásaik között. Ashok Shenoy, a portfóliómegoldások fejlesztésének alelnöke azt mondja: „Generatív AI-val bővítjük IDP-megoldásainkat, hogy segítsük ügyfeleinket gyorsabban és pontosabban elvégezni a munkájukat azáltal, hogy olyan új funkciókat használunk, mint a Q&A, az összegzés és a szabványos kimenetek. Az AWS lehetővé teszi számunkra, hogy kihasználjuk a generatív AI előnyeit, miközben ügyfeleink adatait elkülönítve és biztonságban tartjuk.”

Ebben a bejegyzésben megosztjuk, hogyan javíthatja IDP-megoldását AWS-en generatív AI-val.

Az IDP-csővezeték fejlesztése

Ebben a részben áttekintjük, hogy a hagyományos IDP-folyamat hogyan egészíthető ki FM-ekkel, és egy példát mutatunk be az Amazon Textract FM-ekkel történő felhasználásával.

Az AWS IDP három szakaszból áll: osztályozás, extrakció és dúsítás. Az egyes szakaszokkal kapcsolatos további részletekért lásd: Intelligens dokumentumfeldolgozás AWS AI szolgáltatásokkal: 1. rész és a rész 2. A minősítési szakaszban az FM-ek további képzés nélkül minősíthetik a dokumentumokat. Ez azt jelenti, hogy a dokumentumok akkor is kategorizálhatók, ha a modell még nem látott hasonló példákat. A kibontási szakaszban lévő FM-ek normalizálják a dátummezőket, és ellenőrzik a címeket és telefonszámokat, miközben biztosítják a konzisztens formázást. A dúsítási szakaszban lévő FM-ek következtetéseket, logikus érvelést és összegzést tesznek lehetővé. Ha FM-eket használ minden IDP-szakaszban, a munkafolyamat egyszerűbbé válik, és a teljesítmény javul. A következő diagram az IDP folyamatot szemlélteti generatív AI-val.

Az IDP-csővezeték kivonási szakasza

Ha az FM-ek nem tudják közvetlenül feldolgozni a natív formátumukban (például PDF-ben, img-ben, jpeg-ben és tiffben) lévő dokumentumokat bemenetként, szükség van egy mechanizmusra a dokumentumok szöveggé konvertálására. Ha ki szeretné bontani a szöveget a dokumentumból, mielőtt elküldi az FM-ekre, használja az Amazon Textractot. Az Amazon Textract segítségével kivonhatja a sorokat és a szavakat, és továbbíthatja azokat a későbbi FM-eknek. A következő architektúra az Amazon Textractot használja a pontos szövegkivonathoz bármilyen típusú dokumentumból, mielőtt elküldené azokat FM-ekre további feldolgozás céljából.

A dokumentumok jellemzően strukturált és félig strukturált információkból állnak. Az Amazon Textract segítségével nyers szöveget és adatokat nyerhet ki táblázatokból és űrlapokból. A táblázatokban és űrlapokban lévő adatok közötti kapcsolat létfontosságú szerepet játszik az üzleti folyamatok automatizálásában. Előfordulhat, hogy bizonyos típusú információkat az FM-ek nem dolgoznak fel. Ennek eredményeként választhatunk, hogy ezeket az információkat egy downstream áruházban tároljuk, vagy elküldjük FM-ekre. A következő ábra egy példa arra, hogy az Amazon Textract hogyan tud strukturált és félig strukturált információkat kinyerni egy dokumentumból, az FM-ek által feldolgozandó szövegsorok mellett.

AWS szerver nélküli szolgáltatások használata az FM-ekkel való összefoglaláshoz

A korábban bemutatott IDP-folyamat zökkenőmentesen automatizálható az AWS szerver nélküli szolgáltatások segítségével. Az erősen strukturálatlan dokumentumok gyakoriak a nagyvállalatoknál. Ezek a dokumentumok kiterjedhetnek az Értékpapír- és Tőzsdefelügyelet (SEC) bankszektorbeli dokumentumaitól az egészségbiztosítási ágazat fedezeti dokumentumaiig. Az AWS-nél a generatív mesterséges intelligencia fejlődésével ezekben az iparágakban az emberek keresik a módot arra, hogy automatizált és költséghatékony módon összefoglalót kapjanak ezekből a dokumentumokból. A kiszolgáló nélküli szolgáltatások biztosítják a gyors megoldást az IDP számára. Szolgáltatások, mint pl AWS Lambda, AWS lépésfunkciókés Amazon EventBridge segíthet a dokumentumfeldolgozó folyamat felépítésében az FM-ek integrálásával, amint az a következő ábrán látható.

A minta alkalmazás az előző architektúrában használt események vezérlik. Egy esemény a definíció szerint a közelmúltban bekövetkezett állapotváltozás. Például amikor egy objektumot feltöltenek egy Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödör, az Amazon S3 Object Created eseményt bocsát ki. Ez az Amazon S3 eseményértesítése elindíthat egy Lambda funkciót vagy egy Step Functions munkafolyamatot. Az ilyen típusú építészetet an eseményvezérelt architektúra. Ebben a bejegyzésben példaalkalmazásunk eseményvezérelt architektúrát használ egy minta orvosi mentesítési dokumentum feldolgozásához és a dokumentum részleteinek összefoglalásához. Az áramlás a következőképpen működik:

1. Amikor egy dokumentumot feltöltenek egy S3 tárolóba, az Amazon S3 egy objektum létrehozása eseményt indít el.
2. Az EventBridge alapértelmezett eseménybusza egy EventBridge-szabály alapján továbbítja az eseményt a Step Functions-nak.
3. Az állapotgép munkafolyamata feldolgozza a dokumentumot, kezdve az Amazon Textracttal.
4. A lambda függvény átalakítja az elemzett adatokat a következő lépéshez.
5. Az államgépezet behívja a SageMaker végpont, amely az FM-et közvetlen AWS SDK-integrációval üzemelteti.
6. Egy összefoglaló S3 célállomás fogadja az FM-ről gyűjtött összefoglaló választ.

A minta alkalmazást a flan-t5 Ölelkező arcmodell hogy összefoglalja a következő minta betegelbocsátási összefoglalót a Step Functions munkafolyamat segítségével.

A Step Functions munkafolyamat használja AWS SDK integráció hogy felhívja az Amazon Textractot AnalyzeDocument és a SageMaker futásidejű InvokeEndpoint API-kat, amint az a következő ábrán látható.

Ez a munkafolyamat egy összefoglaló JSON-objektumot eredményez, amelyet a célcsoportban tárolunk. A JSON objektum a következőképpen néz ki:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

Ezeknek az összefoglalóknak az IDP-vel, kiszolgáló nélküli megvalósítással történő létrehozása segít a szervezeteknek költséghatékony módon értelmes, tömör és bemutatható adatokhoz jutni. A Step Functions nem korlátozza a dokumentumok feldolgozásának módját egyszerre egy dokumentumra. Az elosztott térkép A funkció nagyszámú dokumentumot tud összefoglalni ütemezetten.

A minta alkalmazás használja a flan-t5 Ölelkező arcmodell; azonban használhat egy választott FM-végpontot. A modell betanítása és futtatása kívül esik a minta alkalmazás hatókörén. Kövesse a GitHub-tárhely utasításait egy példaalkalmazás üzembe helyezéséhez. Az előző architektúra útmutatást ad arra vonatkozóan, hogy miként vezényelhet le egy IDP-munkafolyamatot a Step Functions segítségével. Utal IDP Generatív AI workshop részletes útmutatást kaphat arról, hogyan készíthet alkalmazást AWS AI szolgáltatásokkal és FM-ekkel.

Állítsa be a megoldást

Kövesse a README fájlt a megoldás architektúrájának beállításához (kivéve a SageMaker végpontokat). Miután rendelkezésre áll a saját SageMaker-végpontja, átadhatja a végpont nevét paraméterként a sablonnak.

Tisztítsuk meg

A költségek megtakarítása érdekében törölje az oktatóanyag részeként telepített erőforrásokat:

1. Kövesse a tisztítási szakaszban található lépéseket README fájlt.
2. Töröljön minden tartalmat az S3 tárolóból, majd törölje a tárolót az Amazon S3 konzolon keresztül.
3. Törölje a SageMaker-konzolon keresztül esetleg létrehozott SageMaker-végpontokat.

Következtetés

A generatív mesterséges intelligencia megváltoztatja a dokumentumok IDP segítségével történő feldolgozásának módját, hogy betekintést nyerjen. Az AWS AI-szolgáltatások, mint például az Amazon Textract és az AWS FM-ek, segíthetnek bármilyen típusú dokumentum pontos feldolgozásában. A generatív mesterséges intelligencia AWS rendszeren végzett munkájáról további információkért lásd: Új eszközök bejelentése a generatív AI-val való építéshez az AWS-en.

---

A szerzőkről

Sonali Sahu vezető szerepet tölt be az intelligens dokumentumfeldolgozásban az AI/ML szolgáltatási csapattal az AWS-ben. Szerző, gondolatvezető és szenvedélyes technológus. Fő területe az AI és az ML, és gyakran felszólal AI és ML konferenciákon és találkozókon szerte a világon. Széles és mély tapasztalattal rendelkezik a technológia és a technológiai ipar területén, valamint iparági szakértelemmel rendelkezik az egészségügy, a pénzügyi szektor és a biztosítás területén.

Ashish Lal Senior Product Marketing Manager, aki az AI-szolgáltatások termékmarketingjét vezeti az AWS-nél. 9 éves marketing tapasztalattal rendelkezik, és vezette az Intelligens dokumentumfeldolgozás termékmarketing tevékenységét. Üzleti adminisztrációból szerzett mesterfokozatot a Washingtoni Egyetemen.

Mrunal Daftari az Amazon Web Services vállalati megoldások vezető építészmérnöke. Székhelye Boston, MA. Ő a felhő rajongója, és nagyon szenvedélyesen keres olyan megoldásokat az ügyfelek számára, amelyek egyszerűek és megfelelnek az üzleti eredményeknek. Szeret felhőtechnológiákkal dolgozni, egyszerű, skálázható megoldásokat kínál, amelyek pozitív üzleti eredményeket hoznak létre, a felhőbe való átvételi stratégiát, valamint innovatív megoldásokat tervez, és a működési kiválóságot szolgálja.

Dhiraj Mahapatro az AWS szerver nélküli specialista megoldások fő építésze. Arra specializálódott, hogy segítse a vállalati pénzügyi szolgáltatásokat a szerver nélküli és eseményvezérelt architektúrák átvételében alkalmazásaik korszerűsítésére és innovációs ütemük felgyorsítására. A közelmúltban azon dolgozik, hogy a konténerek munkaterhelését és a generatív mesterséges intelligencia gyakorlati használatát közelebb hozza a kiszolgáló nélküli és az EDA-hoz a pénzügyi szolgáltatási ágazat ügyfelei számára.

Jacob Hauskens vezető mesterséges intelligencia specialista, több mint 15 éves stratégiai üzleti fejlesztési és partnerségi tapasztalattal. Az elmúlt 7 évben ő vezette új, mesterséges intelligencia által vezérelt B2B szolgáltatások piacra lépési stratégiáinak létrehozását és megvalósítását. A közelmúltban azáltal segítette az ISV-ket, hogy növeljék bevételeiket azáltal, hogy az intelligens dokumentumfeldolgozási munkafolyamatokhoz intelligens AI-t adnak hozzá.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Autóipar / elektromos járművek, Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• BlockOffsets. A környezetvédelmi ellentételezési tulajdon korszerűsítése. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/