Personalizați regulile de afaceri pentru procesarea inteligentă a documentelor cu revizuire umană și vizualizare BI

O cantitate masivă de documente de afaceri sunt procesate zilnic în toate industriile. Multe dintre aceste documente sunt pe hârtie, scanate în sistemul dumneavoastră ca imagini sau într-un format nestructurat, cum ar fi PDF. Fiecare companie poate aplica reguli unice asociate cu mediul său de afaceri în timpul procesării acestor documente. Modul de a extrage informații cu acuratețe și de a le procesa în mod flexibil este o provocare cu care se confruntă multe companii.

Procesarea inteligentă a documentelor (IDP) Amazon vă permite să profitați de tehnologia de învățare automată (ML) lider în industrie, fără experiență anterioară în ML. Această postare prezintă o soluție inclusă în Atelierul Amazon IDP prezentând modul de procesare a documentelor pentru a servi reguli de afaceri flexibile folosind serviciile Amazon AI. Puteți utiliza următorul pas cu pas Caiet Jupyter pentru a finaliza laboratorul.

Text Amazon vă ajută să extrageți cu ușurință text din diverse documente și AI augmentată Amazon (Amazon A2I) vă permite să implementați o revizuire umană a predicțiilor ML. Șablonul implicit Amazon A2I vă permite să construiți un canal de revizuire umană bazat pe reguli, cum ar fi atunci când scorul de încredere al extracției este mai mic decât un prag predefinit sau lipsesc cheile necesare. Dar într-un mediu de producție, aveți nevoie de pipeline de procesare a documentelor pentru a suporta reguli de afaceri flexibile, cum ar fi validarea formatului șirului, verificarea tipului și intervalului de date și validarea câmpurilor din documente. Această postare arată cum puteți utiliza Amazon Texttract și Amazon A2I pentru a personaliza o conductă generică de procesare a documentelor care să accepte reguli de afaceri flexibile.

Prezentare generală a soluțiilor

Pentru soluția noastră de probă, folosim Formularul fiscal 990, un formular US IRS (Internal Revenue Service) care oferă publicului informații financiare despre o organizație non-profit. Pentru acest exemplu, acoperim doar logica de extragere pentru unele dintre câmpurile de pe prima pagină a formularului. Puteți găsi mai multe exemple de documente pe site-ul Site-ul IRS.

Următoarea diagramă ilustrează conducta IDP care acceptă reguli de afaceri personalizate cu revizuire umană.

Arhitectura este compusă din trei etape logice:

• Extracție – Extrageți date din Formularul fiscal 990 (folosim pagina 1 ca exemplu).
  • Preluați o imagine de probă stocată într-un Serviciul Amazon de stocare simplă Găleată (Amazon S3)
  • Apelați API-ul Amazon Text analyze_document utilizând Interogări funcția de extragere a textului din pagină.
• Validare – Aplicați reguli de afaceri flexibile cu o analiză uman-in-the-loop.
  • Validați datele extrase în raport cu regulile de afaceri, cum ar fi validarea lungimii unui câmp ID.
  • Trimiteți documentul către Amazon A2I pentru ca un om să verifice dacă vreo regulă de afaceri eșuează.
  • Evaluatorii folosesc Amazon A2I UI (un site web personalizabil) pentru a verifica rezultatul extracției.
• Vizualizare BI - Folosim Amazon QuickSight pentru a construi un tablou de bord de business intelligence (BI) care să arate informații despre proces.

Personalizați regulile de afaceri

Puteți defini o regulă de afaceri generică în următorul format JSON. În exemplul de cod, definim trei reguli:

• Prima regulă este pentru câmpul ID angajator. Regula eșuează dacă scorul de încredere Amazon Texttract este mai mic de 99%. Pentru această postare, am stabilit pragul scorului de încredere ridicat, care se va sparge prin design. Puteți ajusta pragul la o valoare mai rezonabilă pentru a reduce efortul uman inutil într-un mediu real, cum ar fi 90%.
• A doua regulă este pentru câmpul DLN (identificatorul unic al formularului fiscal), care este necesar pentru logica de procesare din aval. Această regulă eșuează dacă câmpul DLN lipsește sau are o valoare goală.
• A treia regulă este și pentru câmpul DLN, dar cu un alt tip de condiție: LengthCheck. Regula se încalcă dacă lungimea DLN nu este de 16 caractere.

Următorul cod arată regulile noastre de afaceri în format JSON:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

Puteți extinde soluția adăugând mai multe reguli de afaceri urmând aceeași structură.

Extrageți text folosind o interogare Amazon Texttract

În soluția exemplu, numim API-ul Amazon Text analyze_document întrebare caracteristică pentru extragerea câmpurilor punând întrebări specifice. Nu trebuie să cunoașteți structura datelor din document (tabel, formular, câmp implicit, date imbricate) sau să vă faceți griji cu privire la variațiile între versiunile și formatele documentului. Interogările folosesc o combinație de indicii vizuale, spațiale și lingvistice pentru a extrage informațiile pe care le căutați cu mare acuratețe.

Pentru a extrage valoare pentru câmpul DLN, puteți trimite o solicitare cu întrebări în limbi naturale, cum ar fi „Ce este DLN?” Amazon Texttract returnează textul, încrederea și alte metadate dacă găsește informații corespunzătoare pe imagine sau document. Următorul este un exemplu de solicitare de interogare Amazon Text:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

Definiți modelul de date

Soluția eșantion construiește datele într-un format structurat pentru a servi evaluării regulilor de afaceri generice. Pentru a păstra valorile extrase, puteți defini un model de date pentru fiecare pagină de document. Următoarea imagine arată cum textul de pe pagina 1 se mapează la câmpurile JSON.

Fiecare câmp reprezintă textul unui document, caseta de selectare sau celula tabelului/formularului din pagină. Obiectul JSON arată ca următorul cod:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

Puteți găsi definiția detaliată a structurii JSON în GitHub repo.

Evaluați datele în raport cu regulile de afaceri

Exemplul de soluție vine cu o clasă Condiție — un motor de reguli generice care preia datele extrase (așa cum sunt definite în modelul de date) și regulile (așa cum sunt definite în regulile de afaceri personalizate). Returnează două liste cu condiții nereușite și îndeplinite. Putem folosi rezultatul pentru a decide dacă ar trebui să trimitem documentul către Amazon A2I pentru examinare umană.

Codul sursă al clasei Condition este în eșantion GitHub repo. Acceptă logica de validare de bază, cum ar fi validarea lungimii unui șir, a intervalului de valori și a pragului scorului de încredere. Puteți modifica codul pentru a accepta mai multe tipuri de condiții și o logică complexă de validare.

Creați o interfață web Amazon A2I personalizată

Amazon A2I vă permite să personalizați interfața de utilizare web a recenzentului prin definirea unui șablonul de sarcină al lucrătorului. Șablonul este o pagină web statică în HTML și JavaScript. Puteți transmite date către pagina personalizată a evaluatorului utilizând Lichid sintaxă.

În soluția de probă, șablon personalizat de interfață de utilizare Amazon A2I afișează pagina în stânga și condițiile de defecțiune în dreapta. Evaluatorii îl pot folosi pentru a corecta valoarea extragerii și pentru a adăuga comentariile lor.

Următoarea captură de ecran arată interfața noastră personalizată Amazon A2I. Afișează documentul imagine original în stânga și următoarele condiții eșuate în dreapta:

• Numerele DLN trebuie să aibă 16 caractere. DLN-ul real are 15 caractere.
• Scorul de încredere al employer_id este mai mic de 99%. Scorul real de încredere este de aproximativ 98%.

Evaluatorii pot verifica manual aceste rezultate și pot adăuga comentarii în SCHIMBAREA MOTIVULUI casete de text.

Pentru mai multe informații despre integrarea Amazon A2I în orice flux de lucru ML personalizat, consultați peste 60 șabloane pentru lucrători prefabricate pe depozitul GitHub și Utilizați Amazon Augmented AI cu tipuri de sarcini personalizate.

Procesați ieșirea Amazon A2I

După ce recenzentul care utilizează interfața de utilizare personalizată Amazon A2I verifică rezultatul și alege Trimite mesaj, Amazon A2I stochează un fișier JSON în folderul bucket S3. Fișierul JSON include următoarele informații la nivel rădăcină:

• Definiția fluxului Amazon A2I ARN și numele buclei umane
• Răspunsuri umane (aportul recenzentului colectat de interfața personalizată Amazon A2I)
• Conținut de intrare (datele originale trimise către Amazon A2I la pornirea sarcinii buclei umane)

Următorul este un exemplu de JSON generat de Amazon A2I:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

Puteți implementa logica de extragere, transformare și încărcare (ETL) pentru a analiza informațiile din JSON de ieșire Amazon A2I și a le stoca într-un fișier sau bază de date. Soluția de probă vine cu a Fișier CSV cu datele prelucrate. Îl puteți folosi pentru a construi un tablou de bord BI urmând instrucțiunile din secțiunea următoare.

Creați un tablou de bord în Amazon QuickSight

Exemplul de soluție include o etapă de raportare cu un tablou de bord de vizualizare oferit de Amazon QuickSight. Tabloul de bord BI arată valori cheie, cum ar fi numărul de documente procesate automat sau manual, cele mai populare câmpuri care au necesitat o examinare umană și alte informații. Acest tablou de bord vă poate ajuta să obțineți o supraveghere a conductei de procesare a documentelor și să analizați motivele comune care cauzează revizuirea umană. Puteți optimiza fluxul de lucru reducând și mai mult aportul uman.

Eșantionul de tablou de bord include valori de bază. Puteți extinde soluția folosind Amazon QuickSight pentru a afișa mai multe informații despre date.

Extindeți soluția pentru a accepta mai multe documente și reguli de afaceri

Pentru a extinde soluția pentru a accepta mai multe pagini de document cu regulile de afaceri corespunzătoare, trebuie să faceți următoarele modificări:

• Creați un model de date pentru noua pagină în structura JSON reprezentând toate valorile pe care doriți să le extrageți din pagini. Consultați Definiți modelul de date secțiune pentru un format detaliat.
• Utilizați Amazon Texttract pentru a extrage text din document și pentru a completa valorile în modelul de date.
• Adăugați reguli de afaceri corespunzătoare paginii în format JSON. Consultați Personalizați regulile de afaceri secțiune pentru formatul detaliat.

Interfața de utilizare personalizată Amazon A2I din soluție este generică, care nu necesită o modificare pentru a accepta noile reguli de afaceri.

Concluzie

Procesarea inteligentă a documentelor este la mare căutare, iar companiile au nevoie de o conductă personalizată pentru a susține logica lor unică de afaceri. Amazon A2I oferă, de asemenea, un șablon încorporat integrat cu Amazon Texttract pentru a vă implementa cazurile de utilizare a analizei umane. De asemenea, vă permite să personalizați pagina recenzentului pentru a răspunde cerințelor flexibile.

Această postare v-a ghidat printr-o soluție de referință folosind Amazon Texttract și Amazon A2I pentru a construi o conductă IDP care acceptă reguli de afaceri flexibile. Îl poți încerca folosind Caiet Jupyter în depozitul atelierului GitHub IDP.

Despre autori

Lana Zhang este un arhitect senior de soluții la echipa AWS WWSO AI Services cu experiență în AI și ML pentru procesarea inteligentă a documentelor și moderarea conținutului. Este pasionată de promovarea serviciilor AWS AI și de a ajuta clienții să-și transforme soluțiile de afaceri.

Sonali Sahu conduce echipa de arhitect de soluții AI/ML de procesare inteligentă a documentelor la Amazon Web Services. Este o tehnofilă pasionată și îi place să lucreze cu clienții pentru a rezolva probleme complexe folosind inovația. Domeniul ei de interes principal este inteligența artificială și învățarea automată pentru procesarea inteligentă a documentelor.