Pas bedrijfsregels aan voor intelligente documentverwerking met menselijke beoordeling en BI-visualisatie

Een enorme hoeveelheid zakelijke documenten wordt dagelijks verwerkt in verschillende sectoren. Veel van deze documenten zijn op papier gebaseerd, in uw systeem gescand als afbeeldingen of in een ongestructureerd formaat zoals PDF. Elk bedrijf kan tijdens het verwerken van deze documenten unieke regels toepassen die verband houden met zijn zakelijke achtergrond. Hoe u informatie nauwkeurig kunt extraheren en flexibel kunt verwerken, is een uitdaging voor veel bedrijven.

Met Amazon Intelligent Document Processing (IDP) kun je profiteren van toonaangevende machine learning-technologie (ML) zonder eerdere ervaring met ML. Dit bericht introduceert een oplossing die is opgenomen in de Amazon IDP-workshop waarin wordt getoond hoe documenten kunnen worden verwerkt om flexibele bedrijfsregels te dienen met behulp van Amazon AI-services. U kunt de volgende stap-voor-stap: Jupyter notitieboek om het laboratorium te voltooien.

Amazon T-extract helpt u eenvoudig tekst uit verschillende documenten te extraheren, en Amazon Augmented AI (Amazon A2I) stelt u in staat om een ​​menselijke beoordeling van ML-voorspellingen te implementeren. Met de standaard Amazon A2I-sjabloon kunt u een menselijke beoordelingspijplijn bouwen op basis van regels, bijvoorbeeld wanneer de betrouwbaarheidsscore voor extractie lager is dan een vooraf gedefinieerde drempel of wanneer vereiste sleutels ontbreken. Maar in een productieomgeving hebt u de documentverwerkingspijplijn nodig om flexibele bedrijfsregels te ondersteunen, zoals het valideren van de tekenreeksindeling, het verifiëren van het gegevenstype en het bereik en het valideren van velden in documenten. Dit bericht laat zien hoe je Amazon Textract en Amazon A2I kunt gebruiken om een ​​generieke documentverwerkingspijplijn aan te passen die flexibele bedrijfsregels ondersteunt.

Overzicht oplossingen

Voor onze voorbeeldoplossing gebruiken we de Belastingformulier 990, een formulier van de Amerikaanse IRS (Internal Revenue Service) dat het publiek financiële informatie verschaft over een non-profitorganisatie. Voor dit voorbeeld behandelen we alleen de extractielogica voor enkele velden op de eerste pagina van het formulier. Meer voorbeelddocumenten vindt u op de IRS-website.

Het volgende diagram illustreert de IDP-pijplijn die aangepaste bedrijfsregels met menselijke beoordeling ondersteunt.

De architectuur bestaat uit drie logische fasen:

• Afkomst – Gegevens extraheren uit het belastingformulier 990 (we gebruiken pagina 1 als voorbeeld).
  • Een voorbeeldafbeelding ophalen die is opgeslagen in een Amazon eenvoudige opslagservice (Amazon S3) emmer.
  • Roep de Amazon Textract analysis_document API aan met de Queries functie om tekst van de pagina te extraheren.
• Validatie – Pas flexibele bedrijfsregels toe met een human-in-the-loop review.
  • Valideer de geëxtraheerde gegevens op basis van bedrijfsregels, zoals het valideren van de lengte van een ID-veld.
  • Stuur het document naar Amazon A2I zodat een mens kan controleren of er bedrijfsregels mislukken.
  • Reviewers gebruiken de Amazon A2I UI (een aanpasbare website) om het extractieresultaat te verifiëren.
• BI-visualisatie - We gebruiken Amazon QuickSight om een ​​business intelligence (BI) dashboard te bouwen met de procesinzichten.

Bedrijfsregels aanpassen

U kunt een generieke bedrijfsregel definiëren in de volgende JSON-indeling. In de voorbeeldcode definiëren we drie regels:

• De eerste regel is voor het veld werkgever-ID. De regel mislukt als de betrouwbaarheidsscore van Amazon Textract lager is dan 99%. Voor dit bericht hebben we de drempel voor de betrouwbaarheidsscore hoog ingesteld, die door het ontwerp zal breken. U kunt de drempelwaarde aanpassen naar een meer redelijke waarde om onnodige menselijke inspanning in een echte omgeving te verminderen, zoals 90%.
• De tweede regel is voor het DLN-veld (de unieke id van het belastingformulier), dat vereist is voor de downstream-verwerkingslogica. Deze regel mislukt als het DLN-veld ontbreekt of een lege waarde heeft.
• De derde regel is ook voor het DLN-veld, maar met een ander type voorwaarde: LengthCheck. De regel wordt verbroken als de DLN-lengte niet 16 tekens is.

De volgende code toont onze bedrijfsregels in JSON-indeling:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

U kunt de oplossing uitbreiden door meer bedrijfsregels toe te voegen volgens dezelfde structuur.

Tekst extraheren met een Amazon Textract-query

In de voorbeeldoplossing noemen we de Amazon Textract analysis_document API vraag functie om velden te extraheren door specifieke vragen te stellen. U hoeft de structuur van de gegevens in het document (tabel, formulier, geïmpliceerd veld, geneste gegevens) niet te kennen en u hoeft zich ook geen zorgen te maken over variaties in documentversies en -indelingen. Query's gebruiken een combinatie van visuele, ruimtelijke en taalkundige aanwijzingen om de informatie die u zoekt met hoge nauwkeurigheid te extraheren.

Om waarde voor het DLN-veld te extraheren, kunt u een verzoek verzenden met vragen in natuurlijke talen, zoals "Wat is de DLN?" Amazon Textract retourneert de tekst, het vertrouwen en andere metadata als het overeenkomstige informatie over de afbeelding of het document vindt. Het volgende is een voorbeeld van een Amazon Textract-queryverzoek:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

Definieer het datamodel

De voorbeeldoplossing construeert de gegevens in een gestructureerd formaat voor de evaluatie van generieke bedrijfsregels. Om geëxtraheerde waarden te behouden, kunt u voor elke documentpagina een gegevensmodel definiëren. De volgende afbeelding laat zien hoe de tekst op pagina 1 wordt toegewezen aan de JSON-velden.

Elk veld vertegenwoordigt de tekst, het selectievakje of de tabel/formuliercel van een document op de pagina. Het JSON-object ziet eruit als de volgende code:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

U vindt de gedetailleerde JSON-structuurdefinitie in de: GitHub repo.

Evalueer de gegevens aan de hand van bedrijfsregels

De voorbeeldoplossing wordt geleverd met een Conditieklasse: een generieke regelengine die de geëxtraheerde gegevens (zoals gedefinieerd in het gegevensmodel) en de regels (zoals gedefinieerd in de aangepaste bedrijfsregels) opneemt. Het retourneert twee lijsten met mislukte en tevreden voorwaarden. We kunnen het resultaat gebruiken om te beslissen of we het document naar Amazon A2I moeten sturen voor menselijke beoordeling.

De broncode van de klasse Conditie staat in het voorbeeld GitHub repo. Het ondersteunt basisvalidatielogica, zoals het valideren van de lengte, het waardebereik en de betrouwbaarheidsscore van een tekenreeks. U kunt de code wijzigen om meer voorwaardetypen en complexe validatielogica te ondersteunen.

Maak een aangepaste Amazon A2I-webgebruikersinterface

Met Amazon A2I kunt u de web-UI van de recensent aanpassen door a . te definiëren werknemer taaksjabloon. De sjabloon is een statische webpagina in HTML en JavaScript. U kunt gegevens doorgeven aan de aangepaste reviewerpagina met behulp van de Vloeistof syntaxis.

In de voorbeeldoplossing is de aangepaste Amazon A2I UI-sjabloon geeft de pagina aan de linkerkant weer en de foutcondities aan de rechterkant. Reviewers kunnen het gebruiken om de extractiewaarde te corrigeren en hun opmerkingen toe te voegen.

De volgende schermafbeelding toont onze aangepaste Amazon A2I-gebruikersinterface. Het toont het originele afbeeldingsdocument aan de linkerkant en de volgende mislukte condities aan de rechterkant:

• De DLN-nummers moeten 16 tekens lang zijn. De daadwerkelijke DLN heeft 15 tekens.
• De betrouwbaarheidsscore van employer_id is lager dan 99%. De werkelijke betrouwbaarheidsscore ligt rond de 98%.

De beoordelaars kunnen deze resultaten handmatig verifiëren en opmerkingen toevoegen in de WIJZIG REDEN tekstvakken.

Raadpleeg voor meer informatie over het integreren van Amazon A2I in een aangepaste ML-workflow meer dan 60 voorgebouwde werkersjablonen op de GitHub-opslagplaats en Gebruik Amazon Augmented AI met aangepaste taaktypen.

Verwerk de Amazon A2I-uitvoer

Nadat de recensent die de aangepaste gebruikersinterface van Amazon A2I gebruikt, het resultaat verifieert en kiest: Verzenden, Amazon A2I slaat een JSON-bestand op in de S3-bucketmap. Het JSON-bestand bevat de volgende informatie op rootniveau:

• De Amazon A2I-stroomdefinitie ARN en de naam van de menselijke lus
• Menselijke antwoorden (input van de recensent verzameld door de aangepaste Amazon A2I-gebruikersinterface)
• Inhoud invoeren (de originele gegevens die naar Amazon A2I zijn verzonden bij het starten van de menselijke lustaak)

Het volgende is een voorbeeld-JSON gegenereerd door Amazon A2I:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

U kunt ETL-logica (extract, transform en load) implementeren om informatie uit de Amazon A2I-uitvoer-JSON te ontleden en op te slaan in een bestand of database. De voorbeeldoplossing wordt geleverd met een CSV-bestand met verwerkte gegevens. U kunt het gebruiken om een ​​BI-dashboard te bouwen door de instructies in de volgende sectie te volgen.

Een dashboard maken in Amazon QuickSight

De voorbeeldoplossing omvat een rapportagefase met een visualisatiedashboard dat wordt bediend door Amazon QuickSight. Het BI-dashboard toont belangrijke statistieken, zoals het aantal automatisch of handmatig verwerkte documenten, de meest populaire velden waarvoor menselijke beoordeling nodig was en andere inzichten. Dit dashboard kan u helpen inzicht te krijgen in de documentverwerkingspijplijn en de veelvoorkomende redenen voor menselijke beoordeling te analyseren. U kunt de workflow optimaliseren door de menselijke inbreng verder te verminderen.

Het voorbeelddashboard bevat basisstatistieken. U kunt de oplossing uitbreiden met Amazon QuickSight om meer inzicht in de gegevens te tonen.

Breid de oplossing uit om meer documenten en bedrijfsregels te ondersteunen

Om de oplossing uit te breiden om meer documentpagina's met bijbehorende bedrijfsregels te ondersteunen, moet u de volgende wijzigingen aanbrengen:

• Maak een gegevensmodel voor de nieuwe pagina in de JSON-structuur die alle waarden vertegenwoordigt die u uit de pagina's wilt extraheren. Verwijs naar de Definieer het datamodel sectie voor een gedetailleerd formaat.
• Gebruik Amazon Textract om tekst uit het document te extraheren en waarden in het gegevensmodel in te vullen.
• Voeg bedrijfsregels toe die overeenkomen met de pagina in JSON-indeling. Verwijs naar de Bedrijfsregels aanpassen sectie voor het gedetailleerde formaat.

De aangepaste Amazon A2I-gebruikersinterface in de oplossing is generiek, wat geen wijziging vereist om nieuwe bedrijfsregels te ondersteunen.

Conclusie

Er is veel vraag naar intelligente documentverwerking en bedrijven hebben een aangepaste pijplijn nodig om hun unieke bedrijfslogica te ondersteunen. Amazon A2I biedt ook een ingebouwde sjabloon die is geïntegreerd met Amazon Textract om uw gebruiksscenario's voor menselijke beoordelingen te implementeren. Het stelt u ook in staat om de reviewerpagina aan te passen aan flexibele vereisten.

Dit bericht leidde je door een referentieoplossing met Amazon Textract en Amazon A2I om een ​​IDP-pijplijn te bouwen die flexibele bedrijfsregels ondersteunt. Je kunt het uitproberen met de Jupyter notitieboek in de GitHub IDP workshop repo.

Over de auteurs

Lana Zhang is een Sr. Solutions Architect bij het AWS WWSO AI Services-team met expertise in AI en ML voor intelligente documentverwerking en contentmoderatie. Ze is gepassioneerd door het promoten van AWS AI-services en het helpen van klanten bij het transformeren van hun bedrijfsoplossingen.

Sonali Sahu leidt het Intelligent Document Processing AI/ML Solutions Architect-team bij Amazon Web Services. Ze is een gepassioneerde technofiel en werkt graag samen met klanten om complexe problemen op te lossen met behulp van innovatie. Haar belangrijkste aandachtsgebied is Artificial Intelligence & Machine Learning voor Intelligent Document Processing.