Anpassa affärsregler för intelligent dokumentbehandling med mänsklig granskning och BI-visualisering

En enorm mängd affärsdokument bearbetas dagligen i olika branscher. Många av dessa dokument är pappersbaserade, skannade in i ditt system som bilder eller i ett ostrukturerat format som PDF. Varje företag kan tillämpa unika regler förknippade med dess affärsbakgrund när de behandlar dessa dokument. Hur man extraherar information korrekt och bearbetar den flexibelt är en utmaning som många företag står inför.

Amazon Intelligent Document Processing (IDP) låter dig dra fördel av branschledande maskininlärningsteknik (ML) utan tidigare erfarenhet av ML. Det här inlägget introducerar en lösning som ingår i Amazon IDP workshop visar hur man bearbetar dokument för att tjäna flexibla affärsregler med hjälp av Amazon AI-tjänster. Du kan använda följande steg-för-steg Jupyter anteckningsbok för att slutföra labbet.

amazontext hjälper dig att enkelt extrahera text från olika dokument, och Amazon Augmented AI (Amazon A2I) låter dig implementera en mänsklig granskning av ML-förutsägelser. Standardmallen för Amazon A2I låter dig bygga en pipeline för mänsklig granskning baserat på regler, till exempel när extraktionskonfidenspoängen är lägre än en fördefinierad tröskel eller nödvändiga nycklar saknas. Men i en produktionsmiljö behöver du dokumentbearbetningspipelinen för att stödja flexibla affärsregler, som att validera strängformatet, verifiera datatypen och intervallet och validera fält över dokument. Det här inlägget visar hur du kan använda Amazon Textract och Amazon A2I för att anpassa en generisk dokumentbearbetningspipeline som stöder flexibla affärsregler.

Lösningsöversikt

För vår provlösning använder vi Skatteformulär 990, ett US IRS-formulär (Internal Revenue Service) som ger allmänheten finansiell information om en ideell organisation. I det här exemplet täcker vi bara extraktionslogiken för några av fälten på formulärets första sida. Du kan hitta fler exempeldokument på IRS-webbplats.

Följande diagram illustrerar IDP-pipelinen som stöder anpassade affärsregler med mänsklig granskning.

Arkitekturen består av tre logiska steg:

• Extraktion – Extrahera data från 990-skatteformuläret (vi använder sidan 1 som exempel).
  • Hämta en exempelbild lagrad i en Amazon enkel lagringstjänst (Amazon S3) hink.
  • Anropa Amazon Textract analys_document API med hjälp av Frågor funktion för att extrahera text från sidan.
• Validering – Tillämpa flexibla affärsregler med en människa-i-slingan granskning.
  • Validera den extraherade informationen mot affärsregler, som att validera längden på ett ID-fält.
  • Skicka dokumentet till Amazon A2I för en människa att granska om några affärsregler misslyckas.
  • Granskare använder Amazon A2I UI (en anpassningsbar webbplats) för att verifiera extraktionsresultatet.
• BI visualisering - Vi använder Amazon QuickSight att bygga en BI-instrumentpanel (business intelligence) som visar processinsikter.

Anpassa affärsregler

Du kan definiera en generisk affärsregel i följande JSON-format. I exempelkoden definierar vi tre regler:

• Den första regeln gäller för arbetsgivar-ID-fältet. Regeln misslyckas om Amazon Textracts konfidenspoäng är lägre än 99 %. För det här inlägget sätter vi tröskeln för konfidenspoäng högt, vilket kommer att bryta efter design. Du kan justera tröskeln till ett mer rimligt värde för att minska onödiga mänskliga ansträngningar i en verklig miljö, till exempel 90 %.
• Den andra regeln gäller DLN-fältet (den unika identifieraren för skatteformuläret), som krävs för nedströmsbehandlingslogiken. Denna regel misslyckas om DLN-fältet saknas eller har ett tomt värde.
• Den tredje regeln är också för DLN-fältet men med en annan villkorstyp: LengthCheck. Regeln bryts om DLN-längden inte är 16 tecken.

Följande kod visar våra affärsregler i JSON-format:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

Du kan utöka lösningen genom att lägga till fler affärsregler enligt samma struktur.

Extrahera text med hjälp av en Amazon Textract-fråga

I exempellösningen kallar vi Amazon Textract analys_document API fråga funktion för att extrahera fält genom att ställa specifika frågor. Du behöver inte känna till strukturen för data i dokumentet (tabell, formulär, underförstått fält, kapslade data) eller oroa dig för variationer mellan dokumentversioner och format. Frågor använder en kombination av visuella, rumsliga och språkliga ledtrådar för att extrahera informationen du söker med hög noggrannhet.

För att extrahera värde för DLN-fältet kan du skicka en förfrågan med frågor på naturliga språk, till exempel "Vad är DLN?" Amazon Textract returnerar text, konfidens och annan metadata om den hittar motsvarande information på bilden eller dokumentet. Följande är ett exempel på en Amazon Textract-förfrågan:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

Definiera datamodellen

Exempellösningen konstruerar data i ett strukturerat format för att tjäna den generiska affärsregelutvärderingen. För att behålla extraherade värden kan du definiera en datamodell för varje dokumentsida. Följande bild visar hur texten på sidan 1 mappas till JSON-fälten.

Varje fält representerar ett dokuments text, kryssruta eller tabell/formulärcell på sidan. JSON-objektet ser ut som följande kod:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

Du kan hitta den detaljerade JSON-strukturdefinitionen i GitHub repo.

Utvärdera data mot affärsregler

Exempellösningen levereras med en Condition-klass – en generisk regelmotor som tar den extraherade data (enligt definitionen i datamodellen) och reglerna (enligt definitionen i de anpassade affärsreglerna). Den returnerar två listor med misslyckade och uppfyllda villkor. Vi kan använda resultatet för att bestämma om vi ska skicka dokumentet till Amazon A2I för mänsklig granskning.

Källkoden för klassen Condition finns i exemplet GitHub repo. Den stöder grundläggande valideringslogik, som att validera en strängs längd, värdeintervall och tröskelvärde för konfidenspoäng. Du kan modifiera koden för att stödja fler villkorstyper och komplex valideringslogik.

Skapa ett anpassat Amazon A2I webbgränssnitt

Amazon A2I låter dig anpassa granskarens webbgränssnitt genom att definiera en arbetare uppgiftsmall. Mallen är en statisk webbsida i HTML och JavaScript. Du kan skicka data till den anpassade granskarsidan med hjälp av Flytande syntax.

I provlösningen, anpassad Amazon A2I UI-mall visar sidan till vänster och feltillstånden till höger. Granskare kan använda den för att korrigera extraheringsvärdet och lägga till sina kommentarer.

Följande skärmdump visar vårt anpassade Amazon A2I-gränssnitt. Den visar originalbilddokumentet till vänster och följande misslyckade tillstånd till höger:

• DLN-numren ska vara 16 tecken långa. Den faktiska DLN har 15 tecken.
• Konfidenspoängen för employer_id är lägre än 99 %. Den faktiska konfidenspoängen är cirka 98%.

Granskarna kan manuellt verifiera dessa resultat och lägga till kommentarer i ÄNDRA ANLEDNING textrutor.

För mer information om att integrera Amazon A2I i alla anpassade ML-arbetsflöden, se över 60 förbyggda arbetarmallar på GitHub-repo och Använd Amazon Augmented AI med anpassade uppgiftstyper.

Bearbeta Amazon A2I-utgången

Efter att granskaren använder Amazon A2I anpassade användargränssnitt verifierar resultatet och väljer Skicka, Amazon A2I lagrar en JSON-fil i S3 bucket-mappen. JSON-filen innehåller följande information om rotnivån:

• Amazon A2I-flödesdefinitionen ARN och mänsklig loopnamn
• Mänskliga svar (recensentens input samlad in av det anpassade Amazon A2I-gränssnittet)
• Inmatat innehåll (originaldata som skickades till Amazon A2I när den mänskliga loop-uppgiften startas)

Följande är ett exempel på JSON som genererats av Amazon A2I:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

Du kan implementera extrahera, transformera och ladda (ETL) logik för att analysera information från Amazon A2I-utgången JSON och lagra den i en fil eller databas. Provlösningen levereras med en CSV-fil med bearbetade uppgifter. Du kan använda den för att bygga en BI-instrumentpanel genom att följa instruktionerna i nästa avsnitt.

Skapa en instrumentpanel i Amazon QuickSight

Exempellösningen inkluderar ett rapporteringssteg med en visualiseringspanel som serveras av Amazon QuickSight. BI-instrumentpanelen visar nyckelmått som antalet dokument som behandlas automatiskt eller manuellt, de mest populära fälten som krävde mänsklig granskning och andra insikter. Den här instrumentpanelen kan hjälpa dig att få en överblick över dokumentbearbetningspipelinen och analysera de vanligaste orsakerna till mänsklig granskning. Du kan optimera arbetsflödet genom att ytterligare minska mänsklig insats.

Exempelinstrumentpanelen innehåller grundläggande mätvärden. Du kan utöka lösningen med Amazon QuickSight för att visa fler insikter i data.

Utöka lösningen för att stödja fler dokument och affärsregler

För att utöka lösningen till att stödja fler dokumentsidor med motsvarande affärsregler måste du göra följande ändringar:

• Skapa en datamodell för den nya sidan i JSON-struktur som representerar alla värden du vill extrahera ur sidorna. Referera till Definiera datamodellen avsnitt för ett detaljerat format.
• Använd Amazon Textract för att extrahera text ur dokumentet och fylla i värden till datamodellen.
• Lägg till affärsregler som motsvarar sidan i JSON-format. Referera till Anpassa affärsregler avsnittet för det detaljerade formatet.

Det anpassade Amazon A2I-gränssnittet i lösningen är generiskt, vilket inte kräver en förändring för att stödja nya affärsregler.

Slutsats

Intelligent dokumentbehandling är mycket efterfrågad och företag behöver en anpassad pipeline för att stödja deras unika affärslogik. Amazon A2I erbjuder också en inbyggd mall integrerad med Amazon Textract för att implementera dina användningsfall för mänsklig granskning. Det låter dig också anpassa granskarsidan för att uppfylla flexibla krav.

Det här inlägget guidade dig genom en referenslösning med Amazon Textract och Amazon A2I för att bygga en IDP-pipeline som stöder flexibla affärsregler. Du kan prova det med hjälp av Jupyter anteckningsbok i GitHub IDP workshop repo.

Om författarna

Lana Zhang är Sr. Solutions Architect på AWS WWSO AI Services-teamet med expertis inom AI och ML för intelligent dokumentbehandling och innehållsmoderering. Hon brinner för att marknadsföra AWS AI-tjänster och hjälpa kunder att förändra sina affärslösningar.

Sonali Sahu leder Intelligent Document Processing AI/ML Solutions Architect team på Amazon Web Services. Hon är en passionerad tenofil och tycker om att arbeta med kunder för att lösa komplexa problem med hjälp av innovation. Hennes kärnfokus är artificiell intelligens och maskininlärning för intelligent dokumentbearbetning.