Bemutatjuk az egylépcsős osztályozást és entitásfelismerést az Amazon Comprehend segítségével az intelligens dokumentumfeldolgozás érdekében

„Az intelligens dokumentumfeldolgozó (IDP) megoldások adatokat nyernek ki a nagy volumenű, ismétlődő dokumentumfeldolgozási feladatok automatizálásának támogatására, valamint elemzésre és betekintésre. Az IDP természetes nyelvi technológiákat és számítógépes látásmódot használ a strukturált és strukturálatlan tartalomból, különösen a dokumentumokból való adatok kinyerésére az automatizálás és a kiegészítés támogatása érdekében.  – Gartner

Az Amazon intelligens dokumentumfeldolgozásának (IDP) célja a nagy mennyiségű dokumentum feldolgozásának automatizálása gépi tanulás (ML) segítségével a termelékenység növelése, az emberi munkával kapcsolatos költségek csökkentése és a zökkenőmentes felhasználói élmény biztosítása érdekében. Az ügyfelek jelentős mennyiségű időt és erőfeszítést fordítanak a dokumentumok azonosítására és a kritikus információk kinyerésére a különféle felhasználási esetekben. Ma, Amazon Comprehend támogatja a sima szöveges dokumentumok osztályozását, amely megköveteli, hogy a dokumentumokat félig strukturált formátumban (beolvasott, digitális PDF vagy képek, például PNG, JPG, TIFF) kell előfeldolgozni, majd a sima szöveges kimenet segítségével következtetéseket levonni a egyéni besorolás modell. Hasonlóképpen a egyéni entitás felismerés valós időben előfeldolgozásra van szükség a félig strukturált dokumentumok, például a PDF és képfájlok esetében a szöveg kinyeréséhez. Ez a kétlépcsős folyamat bonyolultabbá teszi a dokumentumfeldolgozási munkafolyamatokat.

Tavaly mi bejelentette a natív dokumentumformátumok támogatását egyéni elnevezésű entitásfelismeréssel (NER) aszinkron munkák. A mai napon örömmel jelentjük be az egylépéses dokumentumosztályozást és valós idejű elemzést a NER számára a natív formátumú (PDF, TIFF, JPG, PNG) félig strukturált dokumentumokhoz az Amazon Comprehend segítségével. Konkrétan a következő képességeket hirdetjük meg:

• Natív formátumú dokumentumok támogatása az egyéni osztályozás valós idejű elemzéséhez és aszinkron feladatokhoz
• Natív formátumú dokumentumok támogatása az egyéni entitásfelismerés valós idejű elemzéséhez

Ezzel az új kiadással az Amazon Comprehend egyéni osztályozás és egyéni entitásfelismerés (NER) közvetlenül támogatja a PDF, TIFF, PNG és JPEG formátumú dokumentumokat, anélkül, hogy UTF8 kódolású egyszerű szöveget kellene kivonni belőlük. Az alábbi ábra összehasonlítja az előző folyamatot az új eljárással és támogatással.

Ez a funkció leegyszerűsíti a dokumentumfeldolgozási munkafolyamatokat azáltal, hogy kiküszöböli az egyszerű szöveg dokumentumokból történő kinyeréséhez szükséges előfeldolgozási lépéseket, és csökkenti a feldolgozásuk teljes idejét.

Ebben a bejegyzésben egy magas szintű IDP-munkafolyamat-megoldást, néhány iparági felhasználási esetet, az Amazon Comprehend új funkcióit és azok használatát tárgyaljuk.

A megoldás áttekintése

Kezdjük azzal, hogy feltárunk egy gyakori használati esetet a biztosítási ágazatban. Egy tipikus biztosítási igénylési folyamat egy kárigénycsomagot foglal magában, amely több dokumentumot is tartalmazhat. A biztosítási igény benyújtásakor az olyan dokumentumokat tartalmaz, mint a biztosítási igényűrlap, az eseményjelentések, a személyazonossági okmányok és a harmadik felek követelései. A biztosítási kárigények feldolgozásához és elbírálásához szükséges dokumentumok mennyisége a kárigény típusától és az érintett üzleti folyamatoktól függően akár több száz, sőt több ezer oldalt is elérhet. A biztosítási kárképviseletek és -bírálók általában több száz órát töltenek azzal, hogy több száz vagy akár több ezer kárbejelentésből kézzel szitálnak, válogatnak és kinyernek információkat.

A biztosítási ágazathoz hasonlóan a fizetési ágazat is nagy mennyiségű félig strukturált dokumentumot dolgoz fel határokon átnyúló fizetési megállapodásokhoz, számlákhoz és forex kivonatokhoz. Az üzleti felhasználók idejük nagy részét manuális tevékenységekkel töltik, mint például a szükséges információk azonosítása, rendszerezése, érvényesítése, kinyerése és továbbadása a későbbi alkalmazásoknak. Ez a manuális folyamat fárasztó, ismétlődő, hibákra hajlamos, drága és nehezen méretezhető. A hasonló kihívásokkal küzdő egyéb iparágak közé tartozik a jelzálog- és hitelezés, az egészségügy és az élettudományok, a jogi, számviteli és adókezelés. A vállalkozások számára rendkívül fontos, hogy ilyen nagy mennyiségű dokumentumot időben, nagy pontossággal és névleges kézi erőfeszítéssel dolgozzanak fel.

Az Amazon Comprehend kulcsfontosságú lehetőségeket biztosít a dokumentumok osztályozásának és nagy mennyiségű dokumentumból történő információkinyerés automatizálásához, nagy pontossággal, méretezhető és költséghatékony módon. A következő diagram egy IDP logikai munkafolyamatot mutat be az Amazon Comprehend segítségével. A munkafolyamat magja a dokumentumok osztályozásából és információkinyeréséből áll a NER használatával az Amazon Comprehend egyedi modellekkel. A diagram azt is bemutatja, hogyan lehet az egyedi modelleket folyamatosan fejleszteni, hogy nagyobb pontosságot biztosítsanak a dokumentumok és az üzleti folyamatok fejlődésével.

Egyedi dokumentum besorolás

Az Amazon Comprehend egyéni besorolásával a dokumentumokat előre meghatározott kategóriákba (osztályokba) rendezheti. Magas szinten a következők a lépések az egyéni dokumentumosztályozó beállításához és a dokumentumosztályozás végrehajtásához:

1. Készítsen képzési adatokat az egyéni dokumentumosztályozó betanításához.
2. Ügyféldokumentum-osztályozó betanítása a képzési adatokkal.
3. A modell betanítása után opcionálisan telepíthet egy valós idejű végpontot.
4. Végezze el a dokumentumok osztályozását aszinkron feladattal vagy valós időben a végpont használatával.

Az 1. és 2. lépést általában egy IDP-projekt elején hajtják végre, miután azonosították az üzleti folyamathoz kapcsolódó dokumentumosztályokat. Az egyéni osztályozó modellt ezután időszakonként át lehet képezni a pontosság javítása és új dokumentumosztályok bevezetése érdekében. Egyéni besorolási modellt is betaníthat több osztályú mód or többcímkés mód. A képzés mindegyikhez kétféleképpen végezhető: CSV-fájl vagy kiterjesztett jegyzékfájl használatával. Hivatkozni Edzési adatok előkészítése az egyéni osztályozási modell képzésével kapcsolatos további részletekért. Az egyéni osztályozó modell betanítása után a dokumentumot bármelyik használatával osztályozhatja valós idejű elemzés vagy aszinkron munka. A valós idejű elemzéshez egy telepítendő végpont a betanított modellel, és a felhasználási esettől függően a legalkalmasabb kisméretű dokumentumokhoz. Nagyszámú dokumentum esetén az aszinkron osztályozási feladat a legalkalmasabb.

Egyéni dokumentumosztályozási modell betanítása

Az új funkció bemutatására egy egyedi besorolási modellt tanítottunk ki többcímkés módban, amely képes besorolni a biztosítási dokumentumokat a hét különböző osztály egyikébe. Az osztályok INSURANCE_ID, PASSPORT, LICENSE, INVOICE_RECEIPT, MEDICAL_TRANSCRIPTION, DISCHARGE_SUMMARYés CMS1500. A mintadokumentumokat natív PDF, PNG és JPEG formátumba szeretnénk besorolni, egy Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödör, az osztályozási modellt használva. Aszinkron osztályozási feladat elindításához hajtsa végre a következő lépéseket:

1. Az Amazon Comprehend konzolon válassza a lehetőséget Elemző munkák a navigációs ablaktáblában.
2. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Állás létrehozása.
   
3. A Név, adja meg az osztályozási feladat nevét.
4. A Elemzés típusaválaszt Egyedi besorolás.
5. A Osztályozó modell, válassza ki a megfelelő képzett osztályozási modellt.
6. A Változat, válassza ki a megfelelő modellváltozatot.
   

A Beviteli adat részben megadjuk a dokumentumaink tárolási helyét.

7. A Bemeneti formátum, választ Fájlonként egy dokumentum.
8. A Dokumentum olvasási módválaszt Dokumentumolvasási művelet kényszerítése.
9. A Dokumentum olvasási művelet, választ Textact észleli a dokumentum szövegét.

Ez lehetővé teszi az Amazon Comprehend számára a Amazon szöveg DetectDocumentText API a dokumentumok olvasásához az osztályozás futtatása előtt. Az DetectDocumentText Az API hasznos szövegsorok és szavak kinyerésében a dokumentumokból. Ön is választhat Szövegelemző dokumentum mert Dokumentum olvasási művelet, ebben az esetben az Amazon Comprehend az Amazon Textractot használja AnalyzeDocument API a dokumentumok olvasásához. A ... val AnalyzeDocument API, választhatja a kicsomagolást Asztalok, Űrlapok, vagy mindkettő. Az Dokumentum olvasási mód Az opció lehetővé teszi az Amazon Comprehend számára, hogy a színfalak mögött kinyerje a szöveget a dokumentumokból, ami segít csökkenteni a dokumentumból a szöveg kinyerésének többletlépését, amelyre a dokumentumfeldolgozási munkafolyamatban szükség van.

Az Amazon Comprehend egyéni osztályozó képes feldolgozni az általa generált nyers JSON-válaszokat is DetectDocumentText és a AnalyzeDocument API-k, minden módosítás vagy előfeldolgozás nélkül. Ez hasznos a meglévő munkafolyamatoknál, ahol az Amazon Textract már részt vesz a szöveg kinyerésében a dokumentumokból. Ebben az esetben az Amazon Textract JSON-kimenete közvetlenül betáplálható az Amazon Comprehend dokumentumosztályozási API-kba.

10. A Kimeneti adatok szakasz, for S3 hely, adjon meg egy Amazon S3 helyet, ahová szeretné, hogy az aszinkron feladat írja a következtetés eredményeit.
11. A többi opciót hagyja alapértelmezettként.
12. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Állás létrehozása a munka megkezdéséhez.
    

A munka állapotát a oldalon tekintheti meg Elemző munkák cimre.

Amikor a feladat befejeződött, megtekinthetjük az elemzési feladat kimenetét, amely a feladat konfigurálása során biztosított Amazon S3 helyen van tárolva. Az egyoldalas PDF-minta CMS1500 dokumentumunk osztályozási kimenete a következő. A kimenet egy JSON lines formátumú fájl, amelyet az olvashatóság javítása érdekében formáztak.

{
  "Classes": [
    { "Name": "CMS1500", "Score": 0.9998 },
    { "Name": "DISCHARGE_SUMMARY", "Score": 0.0001 },
    { "Name": "INSURANCE_ID", "Score": 0 },
    { "Name": "PASSPORT", "Score": 0 },
    { "Name": "LICENSE", "Score": 0 },
    { "Name": "INVOICE_RECEIPT", "Score": 0 },
    { "Name": "MEDICAL_TRANSCRIPTION", "Score": 0 }
  ],
  "DocumentMetadata": {
    "PageNumber": 1,
    "Pages": 1
  },
  "DocumentType": "NativePDFScanned",
  "File": "sample-cms1500.pdf",
  "Version": "2022-08-30"
}

Az előző minta egy egyoldalas PDF dokumentum; az egyéni besorolás azonban képes többoldalas PDF dokumentumok kezelésére is. Többoldalas dokumentumok esetén a kimenet több JSON-sort tartalmaz, ahol minden sor a dokumentum egyes oldalainak osztályozási eredménye. A következő példa egy többoldalas osztályozási kimenetre:

{"Classes": [{"Name": "CMS1500", "Score": 0.4718}, {"Name": "MEDICAL_TRANSCRIPTION", "Score": 0.0841}, {"Name": "PASSPORT", "Score": 0.0722}], "DocumentMetadata": {"PageNumber": 1, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

{"Classes": [{"Name": "DISCHARGE_SUMMARY", "Score": 0.9998}, {"Name": "CMS1500", "Score": 0.0001}, {"Name": "INVOICE_RECEIPT", "Score": 0.0}], "DocumentMetadata": {"PageNumber": 2, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

{"Classes": [{"Name": "DISCHARGE_SUMMARY", "Score": 0.9998}, {"Name": "CMS1500", "Score": 0.0001}, {"Name": "INVOICE_RECEIPT", "Score": 0.0}], "DocumentMetadata": {"PageNumber": 3, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

{"Classes": [{"Name": "DISCHARGE_SUMMARY", "Score": 0.9998}, {"Name": "CMS1500", "Score": 0.0001}, {"Name": "INVOICE_RECEIPT", "Score": 0.0}], "DocumentMetadata": {"PageNumber": 4, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

Egyéni entitás felismerés

Az Amazon Comprehend egyedi entitásfelismerő segítségével dokumentumokat elemezhet, és olyan entitásokat bonthat ki, mint például a termékkódok vagy az üzleti specifikus entitások, amelyek megfelelnek az Ön egyedi igényeinek. Magas szinten a következők a lépések az egyéni entitásfelismerő beállításához és az entitásészlelés végrehajtásához:

1. Készítse elő a tanítási adatokat az egyéni entitásfelismerő betanításához.
2. Tanítson meg egy egyéni entitásfelismerőt a betanítási adatokkal.
3. A modell betanítása után opcionálisan telepíthet egy valós idejű végpontot.
4. Végezze el az entitásészlelést aszinkron job segítségével vagy valós időben a végpont használatával.

Az egyéni entitásfelismerő modellt időszakonként át lehet képezni a pontosság javítása és új entitástípusok bevezetése érdekében. Egyéni entitásfelismerő modellt bármelyik segítségével betaníthat entitáslisták or annotációk. Az Amazon Comprehend mindkét esetben megismeri a dokumentumok típusát és a kontextust, ahol az entitások előfordulnak, hogy felállítson egy entitásfelismerő modellt, amely általánosítással képes új entitásokat észlelni. Hivatkozni Az edzési adatok előkészítése ha többet szeretne megtudni a képzési adatok egyéni entitásfelismerő számára történő előkészítéséről.

Az egyéni entitásfelismerő modell betanítása után az entitásészlelés bármelyik használatával elvégezhető valós idejű elemzés vagy aszinkron munka. A valós idejű elemzéshez egy telepítendő végpont a betanított modellel, és a felhasználási esettől függően a legalkalmasabb kisméretű dokumentumokhoz. Nagyszámú dokumentum esetén az aszinkron osztályozási feladat a legalkalmasabb.

Egyéni entitásfelismerési modell betanítása

Az entitásészlelés valós idejű demonstrálásához egy egyéni entitásfelismerő modellt tanítottunk meg biztosítási dokumentumokkal és kibővített jegyzékfájlokkal egyéni megjegyzésekkel, és telepítettük a végpontot a betanított modell segítségével. Az entitástípusok a következők Law Firm, Law Office Address, Insurance Company, Insurance Company Address, Policy Holder Name, Beneficiary Name, Policy Number, Payout, Required Actionés Sender. Az entitásokat a natív PDF, PNG és JPEG formátumú, S3 tárolóban tárolt mintadokumentumokból szeretnénk észlelni a felismerési modell segítségével.

Vegye figyelembe, hogy a PDF-dokumentumokkal betanított egyéni entitásfelismerési modell segítségével egyéni entitásokat vonhat ki PDF-, TIFF-, kép-, Word- és egyszerű szöveges dokumentumokból. Ha a modell szöveges dokumentumok és entitáslista használatával van betanítva, csak egyszerű szöveges dokumentumokat használhat az entitások kibontására.

Egy mintadokumentum entitásait kell észlelnünk bármilyen natív PDF, PNG és JPEG formátumban a felismerési modell segítségével. Szinkron entitásészlelési feladat elindításához hajtsa végre a következő lépéseket:

1. Az Amazon Comprehend konzolon válassza a lehetőséget Valós idejű elemzés a navigációs ablaktáblában.
2. Alatt Elemzés típusaválassza szokás.
3. A Egyéni entitás felismerés, válassza ki az egyéni modell típusát.
4. A Endpoint, válassza ki az entitásfelismerő modellhez létrehozott valós idejű végpontot.
5. választ Fájl feltöltés És válasszon Válassz fájlt a PDF vagy képfájl feltöltéséhez következtetés céljából.
6. Bontsa ki a Speciális dokumentumbevitel szakasz és a számára Dokumentum olvasási mód, választ Szolgáltatás alapértelmezett.
7. A Dokumentum olvasási művelet, választ Textact észleli a dokumentum szövegét.
8. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Elemez a dokumentum valós idejű elemzéséhez.
   

Az elismert entitások listája a Insights szakasz. Minden entitás tartalmazza az entitásértéket (a szöveget), az entitás típusát, ahogy azt a betanítási folyamat során meghatározta, és a megfelelő megbízhatósági pontszámot.

További részletekért és az egyéni entitásfelismerő modell betanításáról és az aszinkron elemzési feladatok segítségével történő aszinkron következtetés végrehajtásáról szóló teljes áttekintésért lásd: Az Amazon Comprehend segítségével egyedi entitásokat nyerhet ki a dokumentumokból natív formátumukban.

Következtetés

Ez a bejegyzés bemutatta, hogyan osztályozhatja és kategorizálhatja a félig strukturált dokumentumokat a natív formátumukban, és hogyan lehet felismerni belőlük az üzletspecifikus entitásokat az Amazon Comprehend segítségével. Használhat valós idejű API-kat az alacsony késleltetésű felhasználási esetekben, vagy használhat aszinkron elemzési feladatokat tömeges dokumentumfeldolgozáshoz.

Következő lépésként javasoljuk, hogy látogassa meg az Amazon Comprehend oldalt GitHub tárház teljes kódmintákat, hogy kipróbálhassa ezeket az új funkciókat. Meglátogathatja a Amazon Comprehend fejlesztői útmutató és a Amazon Comprehend fejlesztői erőforrások videókhoz, oktatóanyagokhoz, blogokhoz és egyebekhez.

A szerzőkről

Wrick Talukdar vezető építész az Amazon Comprehend Service csapatánál. Együttműködik az AWS-ügyfelekkel, hogy segítse őket a gépi tanulás széles körben történő alkalmazásában. Munkán kívül szeret olvasni és fotózni.

Anjan Biswas vezető mesterséges intelligencia-szolgáltatási építész, aki az AI/ML-re és az adatelemzésre összpontosít. Anjan a világméretű mesterséges intelligencia-szolgáltatások csapatának tagja, és az ügyfelekkel dolgozik, hogy segítsen nekik megérteni és megoldásokat kidolgozni az AI és az ML üzleti problémáira. Anjan több mint 14 éves tapasztalattal rendelkezik a globális ellátási lánc, gyártó és kiskereskedelmi szervezetekkel kapcsolatban, és aktívan segíti az ügyfeleket az AWS AI-szolgáltatások megkezdésében és bővítésében.

Godwin Sahayaraj Vincent az AWS vállalati megoldások építésze, aki szenvedélyesen foglalkozik a gépi tanulással, és útmutatást ad az ügyfeleknek az AWS-munkaterhelések és architektúrák tervezéséhez, telepítéséhez és kezeléséhez. Szabadidejében szeret krikettezni a barátaival és teniszezni három gyerekével.