Tilpass forretningsregler for intelligent dokumentbehandling med menneskelig gjennomgang og BI-visualisering

En enorm mengde forretningsdokumenter behandles daglig på tvers av bransjer. Mange av disse dokumentene er papirbaserte, skannet inn i systemet som bilder eller i et ustrukturert format som PDF. Hvert selskap kan bruke unike regler knyttet til sin forretningsbakgrunn mens de behandler disse dokumentene. Hvordan hente ut informasjon nøyaktig og behandle den fleksibelt er en utfordring mange bedrifter står overfor.

Amazon Intelligent Document Processing (IDP) lar deg dra nytte av industriledende maskinlæringsteknologi (ML) uten tidligere ML-erfaring. Dette innlegget introduserer en løsning inkludert i Amazon IDP-verksted viser frem hvordan du behandler dokumenter for å betjene fleksible forretningsregler ved hjelp av Amazon AI-tjenester. Du kan bruke følgende trinn-for-trinn Jupyter notisbok for å fullføre laboratoriet.

amazontekst hjelper deg enkelt å trekke ut tekst fra ulike dokumenter, og Amazon Augmented AI (Amazon A2I) lar deg implementere en menneskelig gjennomgang av ML-spådommer. Standard Amazon A2I-mal lar deg bygge en pipeline for menneskelig vurdering basert på regler, for eksempel når utvinningstillitspoengene er lavere enn en forhåndsdefinert terskel eller nødvendige nøkler mangler. Men i et produksjonsmiljø trenger du dokumentbehandlingspipelinen for å støtte fleksible forretningsregler, for eksempel validering av strengformatet, verifisering av datatype og rekkevidde og validering av felt på tvers av dokumenter. Dette innlegget viser hvordan du kan bruke Amazon Textract og Amazon A2I til å tilpasse en generisk dokumentbehandlingspipeline som støtter fleksible forretningsregler.

Løsningsoversikt

For vår prøveløsning bruker vi Skatteskjema 990, et US IRS (Internal Revenue Service)-skjema som gir offentligheten økonomisk informasjon om en ideell organisasjon. For dette eksemplet dekker vi kun utvinningslogikken for noen av feltene på den første siden av skjemaet. Du kan finne flere eksempeldokumenter på IRS nettsted.

Følgende diagram illustrerer IDP-pipeline som støtter tilpassede forretningsregler med menneskelig gjennomgang.

Arkitekturen består av tre logiske stadier:

• Utvinning – Trekk ut data fra 990-skatteskjemaet (vi bruker side 1 som eksempel).
  • Hent et eksempelbilde lagret i en Amazon enkel lagringstjeneste (Amazon S3) bøtte.
  • Kall Amazon Textract analyse_document API ved å bruke Spørringer funksjon for å trekke ut tekst fra siden.
• Validering – Bruk fleksible forretningsregler med en menneskelig gjennomgang.
  • Valider de utpakkede dataene mot forretningsregler, for eksempel å validere lengden på et ID-felt.
  • Send dokumentet til Amazon A2I slik at et menneske kan gjennomgå det hvis noen forretningsregler mislykkes.
  • Anmeldere bruker Amazon A2I UI (et tilpassbart nettsted) for å bekrefte utvinningsresultatet.
• BI visualisering - Vi bruker Amazon QuickSight å bygge et business intelligence (BI) dashbord som viser prosessinnsikten.

Tilpass forretningsregler

Du kan definere en generisk forretningsregel i følgende JSON-format. I eksempelkoden definerer vi tre regler:

• Den første regelen er for arbeidsgiver-ID-feltet. Regelen mislykkes hvis Amazon Textract-konfidenspoengsummen er lavere enn 99 %. For dette innlegget satte vi terskelen for konfidenspoeng høyt, som vil bryte med design. Du kan justere terskelen til en mer rimelig verdi for å redusere unødvendig menneskelig innsats i et virkelig miljø, for eksempel 90 %.
• Den andre regelen er for DLN-feltet (den unike identifikatoren til skatteskjemaet), som kreves for nedstrømsbehandlingslogikken. Denne regelen mislykkes hvis DLN-feltet mangler eller har en tom verdi.
• Den tredje regelen gjelder også for DLN-feltet, men med en annen tilstandstype: LengthCheck. Regelen brytes hvis DLN-lengden ikke er 16 tegn.

Følgende kode viser forretningsreglene våre i JSON-format:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

Du kan utvide løsningen ved å legge til flere forretningsregler etter samme struktur.

Trekk ut tekst ved hjelp av en Amazon Textract-spørring

I eksempelløsningen kaller vi Amazon Textract analyse_document API spørring funksjon for å trekke ut felt ved å stille spesifikke spørsmål. Du trenger ikke å kjenne strukturen til dataene i dokumentet (tabell, skjema, implisitt felt, nestede data) eller bekymre deg for variasjoner på tvers av dokumentversjoner og formater. Forespørsler bruker en kombinasjon av visuelle, romlige og språklige signaler for å trekke ut informasjonen du søker med høy nøyaktighet.

For å trekke ut verdi for DLN-feltet kan du sende en forespørsel med spørsmål på naturlige språk, for eksempel "Hva er DLN?" Amazon Textract returnerer teksten, konfidensen og andre metadata hvis den finner tilsvarende informasjon på bildet eller dokumentet. Følgende er et eksempel på en Amazon Textract-forespørsel:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

Definer datamodellen

Eksempelløsningen konstruerer dataene i et strukturert format for å tjene den generiske forretningsregelevalueringen. For å beholde utpakkede verdier kan du definere en datamodell for hver dokumentside. Følgende bilde viser hvordan teksten på side 1 tilordnes JSON-feltene.

Hvert felt representerer et dokuments tekst, avmerkingsboks eller tabell/skjemacelle på siden. JSON-objektet ser ut som følgende kode:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

Du kan finne den detaljerte JSON-strukturdefinisjonen i GitHub repo.

Vurder dataene mot forretningsregler

Eksempelløsningen kommer med en Condition-klasse – en generisk regelmotor som tar de utpakkede dataene (som definert i datamodellen) og reglene (som definert i de tilpassede forretningsreglene). Den returnerer to lister med mislykkede og oppfylte betingelser. Vi kan bruke resultatet til å bestemme om vi skal sende dokumentet til Amazon A2I for menneskelig vurdering.

Kildekoden for tilstandsklassen er i eksemplet GitHub repo. Den støtter grunnleggende valideringslogikk, for eksempel å validere en strengs lengde, verdiområde og terskel for konfidenspoeng. Du kan endre koden for å støtte flere tilstandstyper og kompleks valideringslogikk.

Lag et tilpasset Amazon A2I-nettgrensesnitt

Amazon A2I lar deg tilpasse anmelderens nettgrensesnitt ved å definere en arbeider oppgave mal. Malen er en statisk nettside i HTML og JavaScript. Du kan sende data til den tilpassede anmeldersiden ved å bruke Flytende syntaks.

I prøveløsningen er tilpasset Amazon A2I UI-mal viser siden til venstre og feilforholdene til høyre. Anmeldere kan bruke den til å korrigere utvinningsverdien og legge til kommentarer.

Følgende skjermbilde viser vår tilpassede Amazon A2I UI. Den viser det originale bildedokumentet til venstre og følgende feiltilstander til høyre:

• DLN-numrene skal være på 16 tegn. Selve DLN har 15 tegn.
• Konfidenspoengsummen til employer_id er lavere enn 99 %. Den faktiske konfidensscore er rundt 98%.

Anmelderne kan manuelt bekrefte disse resultatene og legge til kommentarer i ENDRE GRUNN tekstbokser.

For mer informasjon om integrering av Amazon A2I i en tilpasset ML-arbeidsflyt, se over 60 forhåndsbygde arbeidermaler på GitHub-repoen og Bruk Amazon Augmented AI med tilpassede oppgavetyper.

Behandle Amazon A2I-utgangen

Etter at anmelderen bruker Amazon A2I tilpasset brukergrensesnitt verifiserer resultatet og velger Send, Amazon A2I lagrer en JSON-fil i S3-bøttemappen. JSON-filen inneholder følgende informasjon om rotnivået:

• Amazon A2I-flytdefinisjonen ARN og menneskelig loop-navn
• Menneskelige svar (anmelderens innspill samlet inn av det tilpassede Amazon A2I-grensesnittet)
• Inndatainnhold (de originale dataene sendt til Amazon A2I når du starter den menneskelige løkkeoppgaven)

Følgende er et eksempel på JSON generert av Amazon A2I:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

Du kan implementere uttrekk, transformere og laste (ETL) logikk for å analysere informasjon fra Amazon A2I-utdata-JSON og lagre den i en fil eller database. Prøveløsningen leveres med en CSV-fil med behandlede data. Du kan bruke den til å bygge et BI-dashbord ved å følge instruksjonene i neste avsnitt.

Lag et dashbord i Amazon QuickSight

Eksempelløsningen inkluderer et rapporteringsstadium med et visualiseringsdashbord servert av Amazon QuickSight. BI-dashbordet viser nøkkelberegninger som antall dokumenter som behandles automatisk eller manuelt, de mest populære feltene som krevde menneskelig gjennomgang og annen innsikt. Dette dashbordet kan hjelpe deg med å få oversikt over dokumentbehandlingspipelinen og analysere de vanlige årsakene til menneskelig vurdering. Du kan optimalisere arbeidsflyten ved å redusere menneskelig innsats ytterligere.

Eksempeldashbordet inneholder grunnleggende beregninger. Du kan utvide løsningen ved å bruke Amazon QuickSight for å vise mer innsikt i dataene.

Utvid løsningen for å støtte flere dokumenter og forretningsregler

For å utvide løsningen til å støtte flere dokumentsider med tilsvarende forretningsregler, må du gjøre følgende endringer:

• Lag en datamodell for den nye siden i JSON-struktur som representerer alle verdiene du vil trekke ut av sidene. Referere til Definer datamodellen delen for et detaljert format.
• Bruk Amazon Textract til å trekke ut tekst fra dokumentet og fylle ut verdier til datamodellen.
• Legg til forretningsregler som tilsvarer siden i JSON-format. Referere til Tilpass forretningsregler delen for detaljert format.

Det tilpassede Amazon A2I-grensesnittet i løsningen er generisk, som ikke krever en endring for å støtte nye forretningsregler.

konklusjonen

Intelligent dokumentbehandling er etterspurt, og bedrifter trenger en tilpasset pipeline for å støtte deres unike forretningslogikk. Amazon A2I tilbyr også en innebygd mal integrert med Amazon Textract for å implementere brukssakene dine for menneskelig vurdering. Den lar deg også tilpasse anmeldersiden for å oppfylle fleksible krav.

Dette innlegget guidet deg gjennom en referanseløsning som bruker Amazon Textract og Amazon A2I for å bygge en IDP-pipeline som støtter fleksible forretningsregler. Du kan prøve det ved å bruke Jupyter notisbok i GitHub IDP workshop repo.

Om forfatterne

Lana Zhang er senior løsningsarkitekt ved AWS WWSO AI Services-teamet med ekspertise innen AI og ML for intelligent dokumentbehandling og innholdsmoderering. Hun brenner for å promotere AWS AI-tjenester og hjelpe kunder med å transformere sine forretningsløsninger.

Sonali Sahu leder Intelligent Document Processing AI/ML Solutions Architect-teamet hos Amazon Web Services. Hun er en lidenskapelig teknofil og liker å jobbe med kunder for å løse komplekse problemer ved hjelp av innovasjon. Hennes kjernefokusområde er kunstig intelligens og maskinlæring for intelligent dokumentbehandling.