Introducerea clasificării într-un singur pas și recunoașterea entităților cu Amazon Comprehend pentru procesarea inteligentă a documentelor

„Soluțiile de procesare inteligentă a documentelor (IDP) extrag date pentru a sprijini automatizarea sarcinilor repetitive de procesare a documentelor de mare volum și pentru analiză și perspectivă. IDP utilizează tehnologii de limbaj natural și viziunea computerizată pentru a extrage date din conținutul structurat și nestructurat, în special din documente, pentru a sprijini automatizarea și creșterea.”  – Gartner

Scopul procesării inteligente a documentelor (IDP) de la Amazon este de a automatiza procesarea unor cantități mari de documente folosind învățarea automată (ML) pentru a crește productivitatea, a reduce costurile asociate cu munca umană și pentru a oferi o experiență de utilizator fără întreruperi. Clienții petrec o cantitate semnificativă de timp și efort identificând documente și extragând informații critice din acestea pentru diferite cazuri de utilizare. Astăzi, Amazon Comprehend acceptă clasificarea documentelor cu text simplu, care necesită preprocesarea documentelor în formate semi-structurate (scanat, PDF digital sau imagini precum PNG, JPG, TIFF) și apoi să utilizați rezultatul text simplu pentru a efectua inferențe cu dvs. clasificare personalizată model. În mod similar, pentru recunoașterea personalizată a entității în timp real, preprocesarea pentru extragerea textului este necesară pentru documentele semi-structurate, cum ar fi fișierele PDF și imagini. Acest proces în doi pași introduce complexități în fluxurile de lucru de procesare a documentelor.

Anul trecut, noi a anunțat suport pentru formatele de documente native cu recunoaștere personalizată a entității cu nume (NER) locuri de muncă asincrone. Astăzi, suntem încântați să anunțăm clasificarea documentelor într-un singur pas și analiza în timp real pentru NER pentru documente semi-structurate în formate native (PDF, TIFF, JPG, PNG) folosind Amazon Comprehend. Mai exact, anunțăm următoarele capabilități:

• Suport pentru documente în formate native pentru analiză în timp real cu clasificare personalizată și joburi asincrone
• Suport pentru documente în formate native pentru recunoașterea personalizată a entităților analize în timp real

Cu această nouă lansare, clasificarea personalizată Amazon Comprehend și recunoașterea personalizată a entităților (NER) acceptă documente în formate precum PDF, TIFF, PNG și JPEG direct, fără a fi nevoie să extragă text simplu codificat UTF8 din acestea. Figura următoare compară procesul anterior cu noua procedură și suport.

Această caracteristică simplifică fluxurile de lucru de procesare a documentelor eliminând orice pași de preprocesare necesari pentru extragerea textului simplu din documente și reduce timpul total necesar procesării acestora.

În această postare, discutăm despre designul unei soluții de flux de lucru IDP la nivel înalt, câteva cazuri de utilizare în industrie, noile caracteristici ale Amazon Comprehend și cum să le folosiți.

Prezentare generală a soluției

Să începem prin a explora un caz comun de utilizare în industria asigurărilor. Un proces tipic de reclamație de asigurare implică un pachet de reclamații care poate conține mai multe documente. Atunci când este depusă o cerere de asigurare, aceasta include documente precum formularul de cerere de asigurare, rapoarte de incident, documente de identitate și documente de revendicare a terților. Volumul de documente pentru procesarea și adjudecarea unei daune de asigurare poate ajunge la sute și chiar mii de pagini, în funcție de tipul de reclamație și de procesele de afaceri implicate. Reprezentanții de daune de asigurări și adjudecătorii petrec de obicei sute de ore cernind, sortând și extragând manual informații din sute sau chiar mii de dosare de daune.

Similar cu cazul de utilizare al industriei asigurărilor, industria plăților procesează, de asemenea, volume mari de documente semistructurate pentru acorduri de plată transfrontalieră, facturi și extrase valutare. Utilizatorii de afaceri își petrec cea mai mare parte a timpului pe activități manuale, cum ar fi identificarea, organizarea, validarea, extragerea și transmiterea informațiilor necesare către aplicațiile din aval. Acest proces manual este obositor, repetitiv, predispus la erori, costisitor și dificil de scalat. Alte industrii care se confruntă cu provocări similare includ creditele ipotecare și împrumuturile, asistența medicală și științele vieții, juridic, contabilitate și management fiscal. Este extrem de important pentru companii să proceseze astfel de volume mari de documente în timp util, cu un nivel ridicat de acuratețe și efort manual nominal.

Amazon Comprehend oferă capabilități cheie pentru a automatiza clasificarea documentelor și extragerea de informații dintr-un volum mare de documente cu o acuratețe ridicată, într-un mod scalabil și rentabil. Următoarea diagramă arată un flux de lucru logic IDP cu Amazon Comprehend. Miezul fluxului de lucru constă în clasificarea documentelor și extragerea informațiilor folosind NER cu modele personalizate Amazon Comprehend. Diagrama demonstrează, de asemenea, modul în care modelele personalizate pot fi îmbunătățite continuu pentru a oferi acuratețe mai mari pe măsură ce documentele și procesele de afaceri evoluează.

Clasificarea documentelor personalizate

Cu clasificarea personalizată Amazon Comprehend, vă puteți organiza documentele în categorii (clase) predefinite. La un nivel înalt, următorii sunt pașii pentru a configura un clasificator de documente personalizat și pentru a realiza clasificarea documentelor:

1. Pregătiți datele de antrenament pentru a pregăti un clasificator de documente personalizat.
2. Antrenați un clasificator de documente pentru clienți cu datele de instruire.
3. După ce modelul este antrenat, implementați opțional un punct final în timp real.
4. Efectuați clasificarea documentelor fie cu o lucrare asincronă, fie în timp real folosind punctul final.

Pașii 1 și 2 se fac de obicei la începutul unui proiect IDP după ce sunt identificate clasele de documente relevante pentru procesul de afaceri. Un model de clasificator personalizat poate fi apoi reantrenat periodic pentru a îmbunătăți acuratețea și pentru a introduce noi clase de documente. Puteți antrena un model de clasificare personalizat fie în modul cu mai multe clase or modul cu mai multe etichete. Antrenamentul poate fi făcut pentru fiecare în unul din două moduri: folosind un fișier CSV sau folosind un fișier manifest augmentat. A se referi la Pregătirea datelor de antrenament pentru mai multe detalii despre formarea unui model de clasificare personalizat. După ce un model de clasificator personalizat este antrenat, un document poate fi clasificat fie folosind analiză în timp real sau un job asincron. Analiza în timp real necesită un punctul final care urmează să fie implementat cu modelul instruit și este cel mai potrivit pentru documente mici în funcție de cazul de utilizare. Pentru un număr mare de documente, un job de clasificare asincron este cel mai potrivit.

Antrenați un model personalizat de clasificare a documentelor

Pentru a demonstra noua caracteristică, am antrenat un model de clasificare personalizat în modul cu mai multe etichete, care poate clasifica documentele de asigurare într-una din șapte clase diferite. Clasele sunt INSURANCE_ID, PASSPORT, LICENSE, INVOICE_RECEIPT, MEDICAL_TRANSCRIPTION, DISCHARGE_SUMMARY, și CMS1500. Dorim să clasificăm documentele eșantioane în format nativ PDF, PNG și JPEG, stocate într-un Serviciul Amazon de stocare simplă (Amazon S3), cu ajutorul modelului de clasificare. Pentru a începe o lucrare de clasificare asincronă, parcurgeți următorii pași:

1. În consola Amazon Comprehend, alegeți Joburi de analiză în panoul de navigare.
2. Alege Creați loc de muncă.
   
3. Pentru Nume si Prenume, introduceți un nume pentru postul dvs. de clasificare.
4. Pentru Tipul analizei¸ alege Clasificare personalizată.
5. Pentru Model de clasificator, alegeți modelul de clasificare instruit corespunzător.
6. Pentru Versiune, alegeți versiunea potrivită a modelului.
   

În Date de intrare secțiunea, vă oferim locația în care sunt stocate documentele noastre.

7. Pentru formatul de intrare, alege Un document pe dosar.
8. Pentru Modul citire document¸ alege Forțați acțiunea de citire a documentului.
9. Pentru Acțiune de citire a documentului, alege Text detectează textul documentului.

Acest lucru permite Amazon Comprehend să utilizeze Text Amazon DetectDocumentText API pentru a citi documentele înainte de a rula clasificarea. The DetectDocumentText API-ul este util în extragerea liniilor și cuvintelor de text din documente. De asemenea, puteți alege Document de analiză a textului pentru Acțiune de citire a documentului, caz în care Amazon Comprehend utilizează Amazon Text Analizați documentul API pentru a citi documentele. Cu AnalyzeDocument API, puteți alege să extrageți Mese, Formulare, sau amândouă. Modul citire document opțiunea permite Amazon Comprehend să extragă textul din documente în culise, ceea ce ajută la reducerea pasului suplimentar de extragere a textului din document, care este necesar în fluxul nostru de lucru de procesare a documentelor.

Clasificatorul personalizat Amazon Comprehend poate procesa și răspunsuri JSON brute generate de DetectDocumentText și AnalyzeDocument API-uri, fără nicio modificare sau preprocesare. Acest lucru este util pentru fluxurile de lucru existente în care Amazon Texttract este deja implicat în extragerea textului din documente. În acest caz, rezultatul JSON de la Amazon Texttract poate fi alimentat direct către API-urile de clasificare a documentelor Amazon Comprehend.

10. În Date de ieșire secțiune, pt Locația S3, specificați o locație Amazon S3 în care doriți ca jobul asincron să scrie rezultatele inferenței.
11. Lăsați opțiunile rămase ca implicite.
12. Alege Creați loc de muncă pentru a începe treaba.
    

Puteți vizualiza starea jobului pe Joburi de analiză .

Când lucrarea este finalizată, putem vizualiza rezultatul jobului de analiză, care este stocat în locația Amazon S3 furnizată în timpul configurării jobului. Rezultatul clasificării pentru documentul nostru PDF CMS1500 cu o singură pagină este după cum urmează. Ieșirea este un fișier în format de linii JSON, care a fost formatat pentru a îmbunătăți lizibilitatea.

{
  "Classes": [
    { "Name": "CMS1500", "Score": 0.9998 },
    { "Name": "DISCHARGE_SUMMARY", "Score": 0.0001 },
    { "Name": "INSURANCE_ID", "Score": 0 },
    { "Name": "PASSPORT", "Score": 0 },
    { "Name": "LICENSE", "Score": 0 },
    { "Name": "INVOICE_RECEIPT", "Score": 0 },
    { "Name": "MEDICAL_TRANSCRIPTION", "Score": 0 }
  ],
  "DocumentMetadata": {
    "PageNumber": 1,
    "Pages": 1
  },
  "DocumentType": "NativePDFScanned",
  "File": "sample-cms1500.pdf",
  "Version": "2022-08-30"
}

Exemplul precedent este un document PDF cu o singură pagină; cu toate acestea, clasificarea personalizată poate gestiona și documente PDF cu mai multe pagini. În cazul documentelor cu mai multe pagini, rezultatul conține mai multe linii JSON, unde fiecare linie este rezultatul clasificării fiecărei pagini dintr-un document. Următorul este un exemplu de ieșire de clasificare pe mai multe pagini:

{"Classes": [{"Name": "CMS1500", "Score": 0.4718}, {"Name": "MEDICAL_TRANSCRIPTION", "Score": 0.0841}, {"Name": "PASSPORT", "Score": 0.0722}], "DocumentMetadata": {"PageNumber": 1, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

{"Classes": [{"Name": "DISCHARGE_SUMMARY", "Score": 0.9998}, {"Name": "CMS1500", "Score": 0.0001}, {"Name": "INVOICE_RECEIPT", "Score": 0.0}], "DocumentMetadata": {"PageNumber": 2, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

{"Classes": [{"Name": "DISCHARGE_SUMMARY", "Score": 0.9998}, {"Name": "CMS1500", "Score": 0.0001}, {"Name": "INVOICE_RECEIPT", "Score": 0.0}], "DocumentMetadata": {"PageNumber": 3, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

{"Classes": [{"Name": "DISCHARGE_SUMMARY", "Score": 0.9998}, {"Name": "CMS1500", "Score": 0.0001}, {"Name": "INVOICE_RECEIPT", "Score": 0.0}], "DocumentMetadata": {"PageNumber": 4, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

Recunoașterea entității personalizate

Cu un sistem de recunoaștere a entităților personalizate Amazon Comprehend, puteți analiza documente și extrage entități precum coduri de produse sau entități specifice companiei care se potrivesc nevoilor dvs. particulare. La un nivel înalt, următorii sunt pașii pentru a configura un dispozitiv de recunoaștere a entităților personalizate și pentru a efectua detectarea entității:

1. Pregătiți datele de antrenament pentru a instrui un dispozitiv de recunoaștere personalizat de entități.
2. Antrenați un dispozitiv de recunoaștere personalizat de entități cu datele de antrenament.
3. După ce modelul este antrenat, implementați opțional un punct final în timp real.
4. Efectuați detectarea entităților fie cu un job asincron, fie în timp real folosind punctul final.

Un model personalizat de recunoaștere a entităților poate fi reantrenat periodic pentru a îmbunătăți acuratețea și pentru a introduce noi tipuri de entități. Puteți antrena un model personalizat de recunoaștere a entităților cu oricare liste de entități or adnotări. În ambele cazuri, Amazon Comprehend învață despre tipul de documente și contextul în care apar entitățile pentru a construi un model de recunoaștere a entităților care se poate generaliza pentru a detecta noi entități. A se referi la Pregătirea datelor de antrenament pentru a afla mai multe despre pregătirea datelor de antrenament pentru dispozitivul de recunoaștere personalizat de entități.

După ce un model personalizat de recunoaștere a entităților este antrenat, detectarea entității poate fi efectuată fie folosind analiză în timp real sau un job asincron. Analiza în timp real necesită un punctul final care urmează să fie implementat cu modelul instruit și este cel mai potrivit pentru documente mici în funcție de cazul de utilizare. Pentru un număr mare de documente, un job de clasificare asincron este cel mai potrivit.

Antrenați un model personalizat de recunoaștere a entităților

Pentru a demonstra detectarea entității în timp real, am antrenat un model personalizat de recunoaștere a entității cu documente de asigurare și fișiere manifest augmentate folosind adnotări personalizate și am implementat punctul final folosind modelul antrenat. Tipurile de entități sunt Law Firm, Law Office Address, Insurance Company, Insurance Company Address, Policy Holder Name, Beneficiary Name, Policy Number, Payout, Required Action, și Sender. Dorim să detectăm entități din documente eșantion în format nativ PDF, PNG și JPEG, stocate într-o găleată S3, folosind modelul de recunoaștere.

Rețineți că puteți utiliza un model personalizat de recunoaștere a entităților care este antrenat cu documente PDF pentru a extrage entități personalizate din documente PDF, TIFF, imagine, Word și text simplu. Dacă modelul dvs. este antrenat folosind documente text și o listă de entități, puteți utiliza doar documente text simplu pentru a extrage entitățile.

Trebuie să detectăm entitățile dintr-un document eșantion în orice format nativ PDF, PNG și JPEG folosind modelul de recunoaștere. Pentru a începe o lucrare de detectare a entităților sincrone, parcurgeți următorii pași:

1. În consola Amazon Comprehend, alegeți Analiză în timp real în panoul de navigare.
2. În Tipul analizei, Selectați pachet personalizat.
3. Pentru Recunoașterea entității personalizate, alegeți tipul de model personalizat.
4. Pentru Punct final, alegeți punctul final în timp real pe care l-ați creat pentru modelul dvs. de recunoaștere a entității.
5. Selectați Incarca fisier Și alegeți Alegeți Fișier pentru a încărca fișierul PDF sau imagine pentru deducere.
6. extinde Introducere avansată a documentelor sectiune si pentru Modul citire document, alege Serviciu prestabilit.
7. Pentru Acțiune de citire a documentului, alege Text detectează textul documentului.
8. Alege Analiza pentru a analiza documentul în timp real.
   

Entitățile recunoscute sunt enumerate în Insights secțiune. Fiecare entitate conține valoarea entității (textul), tipul de entitate așa cum a fost definit de dvs. în timpul procesului de instruire și scorul de încredere corespunzător.

Pentru mai multe detalii și o prezentare completă despre cum să antrenați un model personalizat de recunoaștere a entităților și să îl utilizați pentru a efectua inferențe asincrone folosind lucrări de analiză asincronă, consultați Extrageți entități personalizate din documente în formatul lor nativ cu Amazon Comprehend.

Concluzie

Această postare a demonstrat cum puteți clasifica și clasifica documentele semi-structurate în formatul lor nativ și puteți detecta entitățile specifice afacerii din ele folosind Amazon Comprehend. Puteți utiliza API-uri în timp real pentru cazuri de utilizare cu latență redusă sau puteți utiliza lucrări de analiză asincronă pentru procesarea în bloc a documentelor.

Ca pas următor, vă încurajăm să vizitați Amazon Comprehend GitHub depozit pentru mostre complete de cod pentru a încerca aceste noi funcții. De asemenea, puteți vizita Ghidul dezvoltatorului Amazon Comprehend și Amazon Comprehend resurse pentru dezvoltatori pentru videoclipuri, tutoriale, bloguri și multe altele.

Despre autori

Wrick Talukdar este arhitect senior cu echipa Amazon Comprehend Service. El lucrează cu clienții AWS pentru a-i ajuta să adopte învățarea automată la scară largă. În afara serviciului, îi place să citească și să fotografieze.

Anjan Biswas este un arhitect senior de soluții de servicii AI, cu accent pe AI/ML și Data Analytics. Anjan face parte din echipa de servicii AI la nivel mondial și lucrează cu clienții pentru a-i ajuta să înțeleagă și să dezvolte soluții la problemele de afaceri cu AI și ML. Anjan are peste 14 ani de experiență de lucru cu lanțul global de aprovizionare, producție și organizații de vânzare cu amănuntul și ajută în mod activ clienții să înceapă și să se extindă pe serviciile AWS AI.

Godwin Sahayaraj Vincent este un arhitect de soluții de întreprindere la AWS, pasionat de învățarea automată și de oferirea de îndrumare clienților pentru a proiecta, implementa și gestiona sarcinile de lucru și arhitecturile lor AWS. În timpul liber, îi place să joace cricket cu prietenii săi și tenis cu cei trei copii ai săi.