Tilpas forretningsregler for intelligent dokumentbehandling med menneskelig gennemgang og BI-visualisering

En massiv mængde af forretningsdokumenter behandles dagligt på tværs af brancher. Mange af disse dokumenter er papirbaserede, scannet ind i dit system som billeder eller i et ustruktureret format som PDF. Hver virksomhed kan anvende unikke regler forbundet med dens forretningsbaggrund, mens de behandler disse dokumenter. Hvordan man kan udtrække information præcist og behandle dem fleksibelt er en udfordring, mange virksomheder står over for.

Amazon Intelligent Document Processing (IDP) giver dig mulighed for at drage fordel af brancheførende maskinlæringsteknologi (ML) uden tidligere ML-erfaring. Dette indlæg introducerer en løsning inkluderet i Amazon IDP workshop viser, hvordan man behandler dokumenter for at betjene fleksible forretningsregler ved hjælp af Amazon AI-tjenester. Du kan bruge følgende trin-for-trin Jupyter notesbog at fuldføre laboratoriet.

amazontekst hjælper dig med nemt at udtrække tekst fra forskellige dokumenter, og Amazon Augmented AI (Amazon A2I) giver dig mulighed for at implementere en menneskelig gennemgang af ML-forudsigelser. Standard Amazon A2I-skabelonen giver dig mulighed for at opbygge en pipeline for menneskelig gennemgang baseret på regler, som f.eks. når ekstraktionssikkerhedsscoren er lavere end en foruddefineret tærskel eller påkrævede nøgler mangler. Men i et produktionsmiljø har du brug for dokumentbehandlingspipelinen til at understøtte fleksible forretningsregler, såsom validering af strengformatet, verificering af datatypen og -området og validering af felter på tværs af dokumenter. Dette indlæg viser, hvordan du kan bruge Amazon Textract og Amazon A2I til at tilpasse en generisk dokumentbehandlingspipeline, der understøtter fleksible forretningsregler.

Løsningsoversigt

Til vores prøveløsning bruger vi Skatteformular 990, en amerikansk IRS-formular (Internal Revenue Service), der giver offentligheden finansielle oplysninger om en non-profit organisation. I dette eksempel dækker vi kun udtrækslogikken for nogle af felterne på formularens første side. Du kan finde flere eksempler på dokumenter på IRS hjemmeside.

Følgende diagram illustrerer IDP-pipeline, der understøtter tilpassede forretningsregler med menneskelig gennemgang.

Arkitekturen er sammensat af tre logiske faser:

• Ekstraktion – Udtræk data fra 990 Tax Form (vi bruger side 1 som eksempel).
  • Hent et eksempelbillede gemt i en Amazon Simple Storage Service (Amazon S3) spand.
  • Kald Amazon Textract analyse_document API ved hjælp af Forespørgsler funktion til at udtrække tekst fra siden.
• Validering – Anvend fleksible forretningsregler med en menneskelig gennemgang.
  • Valider de udtrukne data i forhold til forretningsregler, såsom validering af længden af ​​et ID-felt.
  • Send dokumentet til Amazon A2I, så et menneske kan gennemgå det, hvis nogen forretningsregler mislykkes.
  • Korrekturlæsere bruger Amazon A2I UI (et websted, der kan tilpasses) til at bekræfte ekstraktionsresultatet.
• BI visualisering - Vi bruger Amazon QuickSight at bygge et business intelligence (BI) dashboard, der viser procesindsigten.

Tilpas forretningsregler

Du kan definere en generisk forretningsregel i følgende JSON-format. I prøvekoden definerer vi tre regler:

• Den første regel er for feltet arbejdsgiver-id. Reglen mislykkes, hvis Amazon Textracts konfidensscore er lavere end 99 %. For dette indlæg sætter vi tærsklen for konfidensscore højt, som vil bryde af design. Du kan justere tærsklen til en mere rimelig værdi for at reducere unødvendig menneskelig indsats i et virkeligt miljø, f.eks. 90 %.
• Den anden regel er for DLN-feltet (den unikke identifikator for skatteformularen), som er påkrævet til downstream-behandlingslogikken. Denne regel mislykkes, hvis DLN-feltet mangler eller har en tom værdi.
• Den tredje regel gælder også for DLN-feltet, men med en anden betingelsestype: LengthCheck. Reglen bryder, hvis DLN-længden ikke er 16 tegn.

Følgende kode viser vores forretningsregler i JSON-format:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

Du kan udvide løsningen ved at tilføje flere forretningsregler efter samme struktur.

Udtræk tekst ved hjælp af en Amazon Textract-forespørgsel

I eksempelløsningen kalder vi Amazon Textract analyse_document API query funktion til at udtrække felter ved at stille specifikke spørgsmål. Du behøver ikke at kende strukturen af ​​dataene i dokumentet (tabel, formular, underforstået felt, indlejrede data) eller bekymre dig om variationer på tværs af dokumentversioner og -formater. Forespørgsler bruger en kombination af visuelle, rumlige og sproglige signaler til at udtrække den information, du søger, med høj nøjagtighed.

For at udtrække værdi for DLN-feltet kan du sende en anmodning med spørgsmål på naturlige sprog, såsom "Hvad er DLN?" Amazon Textract returnerer teksten, fortroligheden og andre metadata, hvis den finder tilsvarende information på billedet eller dokumentet. Følgende er et eksempel på en Amazon Textract-forespørgselsanmodning:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

Definer datamodellen

Eksempelløsningen konstruerer dataene i et struktureret format for at tjene den generiske forretningsregelevaluering. For at beholde udtrukne værdier kan du definere en datamodel for hver dokumentside. Det følgende billede viser, hvordan teksten på side 1 er knyttet til JSON-felterne.

Hvert felt repræsenterer et dokuments tekst, afkrydsningsfelt eller tabel/formularcelle på siden. JSON-objektet ser ud som følgende kode:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

Du kan finde den detaljerede JSON-strukturdefinition i GitHub repo.

Evaluer dataene i forhold til forretningsregler

Eksempelløsningen leveres med en Condition-klasse – en generisk regelmotor, der tager de udtrukne data (som defineret i datamodellen) og reglerne (som defineret i de tilpassede forretningsregler). Den returnerer to lister med mislykkede og opfyldte betingelser. Vi kan bruge resultatet til at beslutte, om vi skal sende dokumentet til Amazon A2I til menneskelig gennemgang.

Betingelsesklassens kildekode er i eksemplet GitHub repo. Den understøtter grundlæggende valideringslogik, såsom validering af en strengs længde, værdiområde og konfidensscoretærskel. Du kan ændre koden for at understøtte flere tilstandstyper og kompleks valideringslogik.

Opret en tilpasset Amazon A2I web-UI

Amazon A2I giver dig mulighed for at tilpasse anmelderens web-UI ved at definere en skabelon for arbejderopgave. Skabelonen er en statisk webside i HTML og JavaScript. Du kan videregive data til den tilpassede anmelderside ved hjælp af Flydende syntaks.

I prøveopløsningen er tilpasset Amazon A2I UI-skabelon viser siden til venstre og fejlforholdene til højre. Korrekturlæsere kan bruge det til at rette ekstraktionsværdien og tilføje deres kommentarer.

Følgende skærmbillede viser vores tilpassede Amazon A2I UI. Det viser det originale billeddokument til venstre og følgende fejlbehæftede forhold til højre:

• DLN-numrene skal være på 16 tegn. Det faktiske DLN har 15 tegn.
• Tillidsscoren for employer_id er lavere end 99%. Den faktiske tillidsscore er omkring 98%.

Korrekturlæserne kan manuelt bekræfte disse resultater og tilføje kommentarer i SKIFT RÆSON tekstbokse.

For mere information om integration af Amazon A2I i enhver brugerdefineret ML-arbejdsgang, se over 60 forudbyggede arbejderskabeloner på GitHub repo og Brug Amazon Augmented AI med brugerdefinerede opgavetyper.

Bearbejd Amazon A2I-output

Efter at korrekturlæseren bruger Amazon A2I tilpassede brugergrænsefladen verificerer resultatet og vælger Indsend, Amazon A2I gemmer en JSON-fil i S3 bucket-mappen. JSON-filen indeholder følgende oplysninger om rodniveauet:

• Amazon A2I-flowdefinitionen ARN og human loop-navn
• Menneskelige svar (anmelderens input indsamlet af den tilpassede Amazon A2I UI)
• Inputindhold (de originale data sendt til Amazon A2I ved start af human loop-opgaven)

Følgende er et eksempel på JSON genereret af Amazon A2I:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

Du kan implementere udtrække, transformere og indlæse (ETL) logik for at parse information fra Amazon A2I output JSON og gemme det i en fil eller database. Prøveopløsningen leveres med en CSV-fil med behandlede data. Du kan bruge det til at bygge et BI-dashboard ved at følge instruktionerne i næste afsnit.

Opret et dashboard i Amazon QuickSight

Eksempelløsningen inkluderer et rapporteringstrin med et visualiseringsdashboard, der betjenes af Amazon QuickSight. BI-dashboardet viser nøglemålinger såsom antallet af dokumenter, der behandles automatisk eller manuelt, de mest populære felter, der krævede menneskelig gennemgang, og anden indsigt. Dette dashboard kan hjælpe dig med at få overblik over dokumentbehandlingspipelinen og analysere de almindelige årsager til menneskelig gennemgang. Du kan optimere arbejdsgangen ved yderligere at reducere menneskelig input.

Eksempel-dashboardet indeholder grundlæggende metrics. Du kan udvide løsningen ved at bruge Amazon QuickSight for at vise mere indsigt i dataene.

Udvid løsningen for at understøtte flere dokumenter og forretningsregler

For at udvide løsningen til at understøtte flere dokumentsider med tilsvarende forretningsregler, skal du foretage følgende ændringer:

• Opret en datamodel for den nye side i JSON-struktur, der repræsenterer alle de værdier, du vil trække ud af siderne. Der henvises til Definer datamodellen afsnit for et detaljeret format.
• Brug Amazon Textract til at trække tekst ud af dokumentet og udfylde værdier til datamodellen.
• Tilføj forretningsregler, der svarer til siden i JSON-format. Der henvises til Tilpas forretningsregler afsnittet for det detaljerede format.

Den tilpassede Amazon A2I UI i løsningen er generisk, hvilket ikke kræver en ændring for at understøtte nye forretningsregler.

Konklusion

Intelligent dokumentbehandling er efterspurgt, og virksomheder har brug for en tilpasset pipeline til at understøtte deres unikke forretningslogik. Amazon A2I tilbyder også en indbygget skabelon integreret med Amazon Textract for at implementere dine brugscases for menneskelig gennemgang. Det giver dig også mulighed for at tilpasse anmeldersiden til at opfylde fleksible krav.

Dette indlæg guidede dig gennem en referenceløsning ved hjælp af Amazon Textract og Amazon A2I til at bygge en IDP-pipeline, der understøtter fleksible forretningsregler. Du kan prøve det ved at bruge Jupyter notesbog i GitHub IDP workshop repo.

Om forfatterne

Lana Zhang er Sr. Solutions Architect hos AWS WWSO AI Services-teamet med ekspertise i AI og ML til intelligent dokumentbehandling og indholdsmoderering. Hun brænder for at promovere AWS AI-tjenester og hjælpe kunder med at transformere deres forretningsløsninger.

Sonali Sahu leder Intelligent Document Processing AI/ML Solutions Architect team hos Amazon Web Services. Hun er en passioneret teknofil og nyder at arbejde med kunder for at løse komplekse problemer ved hjælp af innovation. Hendes kernefokusområde er kunstig intelligens og maskinlæring til intelligent dokumentbehandling.