Personalizza le regole aziendali per l'elaborazione intelligente dei documenti con revisione umana e visualizzazione BI PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Personalizza le regole aziendali per l'elaborazione intelligente dei documenti con la revisione umana e la visualizzazione BI

Timestamp: 12 ottobre 2022 3:16

Un'enorme quantità di documenti aziendali viene elaborata quotidianamente in tutti i settori. Molti di questi documenti sono cartacei, scansionati nel sistema come immagini o in un formato non strutturato come PDF. Ogni azienda può applicare regole uniche associate al proprio background aziendale durante l'elaborazione di questi documenti. Come estrarre le informazioni in modo accurato ed elaborarle in modo flessibile è una sfida che molte aziende devono affrontare.

Amazon Intelligent Document Processing (IDP) ti consente di sfruttare la tecnologia di machine learning (ML) leader del settore senza precedenti esperienze di machine learning. Questo post introduce una soluzione inclusa nel Workshop di Amazon IDP mostra come elaborare i documenti per soddisfare regole aziendali flessibili utilizzando i servizi di Amazon AI. È possibile utilizzare il seguente passo dopo passo Notebook Jupyter per completare il laboratorio.

Testo Amazon ti aiuta a estrarre facilmente il testo da vari documenti e AI aumentata di Amazon (Amazon A2I) consente di implementare una revisione umana delle previsioni ML. Il modello Amazon A2I predefinito consente di creare una pipeline di revisione umana basata su regole, ad esempio quando il punteggio di affidabilità dell'estrazione è inferiore a una soglia predefinita o mancano le chiavi richieste. Ma in un ambiente di produzione, è necessaria la pipeline di elaborazione dei documenti per supportare regole aziendali flessibili, come la convalida del formato della stringa, la verifica del tipo e dell'intervallo di dati e la convalida dei campi tra i documenti. Questo post mostra come utilizzare Amazon Textract e Amazon A2I per personalizzare una pipeline di elaborazione di documenti generica che supporta regole aziendali flessibili.

Panoramica della soluzione

Per la nostra soluzione di esempio, utilizziamo il Modulo fiscale 990, un modulo IRS (Internal Revenue Service) statunitense che fornisce al pubblico informazioni finanziarie su un'organizzazione senza scopo di lucro. Per questo esempio, trattiamo solo la logica di estrazione per alcuni dei campi nella prima pagina del modulo. Puoi trovare altri documenti di esempio su Sito web IRS.

Il diagramma seguente illustra la pipeline IDP che supporta regole aziendali personalizzate con revisione umana.

L'architettura è composta da tre fasi logiche:

  • Estrazione – Estrarre i dati dal Modulo Fiscale 990 (usiamo pagina 1 come esempio).
  • Convalida – Applicare regole aziendali flessibili con una revisione umana nel ciclo.
    • Convalida i dati estratti rispetto alle regole aziendali, come la convalida della lunghezza di un campo ID.
    • Invia il documento ad Amazon A2I affinché un essere umano lo esamini se le regole aziendali falliscono.
    • I revisori utilizzano l'interfaccia utente di Amazon A2I (un sito Web personalizzabile) per verificare il risultato dell'estrazione.
  • Visualizzazione BI - Noi usiamo Amazon QuickSight per creare un dashboard di business intelligence (BI) che mostri le informazioni dettagliate sui processi.

Personalizza le regole aziendali

Puoi definire una regola aziendale generica nel seguente formato JSON. Nel codice di esempio, definiamo tre regole:

  • La prima regola è per il campo ID datore di lavoro. La regola non riesce se il punteggio di affidabilità di Amazon Textract è inferiore al 99%. Per questo post, abbiamo impostato la soglia del punteggio di confidenza alta, che si interromperà in base alla progettazione. È possibile regolare la soglia su un valore più ragionevole per ridurre lo sforzo umano non necessario in un ambiente reale, ad esempio il 90%.
  • La seconda regola è per il campo DLN (l'identificativo univoco del modulo fiscale), che è necessario per la logica di elaborazione a valle. Questa regola ha esito negativo se il campo DLN è mancante o ha un valore vuoto.
  • La terza regola vale anche per il campo DLN ma con un tipo di condizione diverso: LengthCheck. La regola si interrompe se la lunghezza del DLN non è di 16 caratteri.

Il codice seguente mostra le nostre regole aziendali in formato JSON:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

È possibile espandere la soluzione aggiungendo più regole aziendali seguendo la stessa struttura.

Estrai il testo utilizzando una query Amazon Texttract

Nella soluzione di esempio, chiamiamo Amazon Texttract API analysis_document domanda funzione per estrarre i campi ponendo domande specifiche. Non è necessario conoscere la struttura dei dati nel documento (tabella, modulo, campo implicito, dati nidificati) o preoccuparsi delle variazioni tra versioni e formati del documento. Le query utilizzano una combinazione di segnali visivi, spaziali e linguistici per estrarre le informazioni che cerchi con elevata precisione.

Per estrarre il valore per il campo DLN, puoi inviare una richiesta con domande in lingua naturale, ad esempio "Cos'è il DLN?" Amazon Texttract restituisce il testo, l'affidabilità e altri metadati se trova le informazioni corrispondenti sull'immagine o sul documento. Di seguito è riportato un esempio di una richiesta di query Amazon Texttract:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

Definire il modello dati

La soluzione di esempio costruisce i dati in un formato strutturato per servire la valutazione delle regole aziendali generiche. Per mantenere i valori estratti, puoi definire un modello di dati per ogni pagina del documento. L'immagine seguente mostra come il testo a pagina 1 viene mappato ai campi JSON.Modello dati personalizzato

Ciascun campo rappresenta il testo, la casella di controllo o la cella di tabella/modulo di un documento nella pagina. L'oggetto JSON ha l'aspetto del codice seguente:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

Puoi trovare la definizione dettagliata della struttura JSON in Repository GitHub.

Valuta i dati rispetto alle regole aziendali

La soluzione di esempio viene fornita con una classe Condition, un motore di regole generico che prende i dati estratti (come definito nel modello di dati) e le regole (come definito nelle regole aziendali personalizzate). Restituisce due elenchi con condizioni non riuscite e soddisfatte. Possiamo utilizzare il risultato per decidere se inviare il documento ad Amazon A2I per la revisione umana.

Il codice sorgente della classe Condition è nell'esempio Repository GitHub. Supporta la logica di convalida di base, ad esempio la convalida della lunghezza, dell'intervallo di valori e della soglia del punteggio di affidabilità di una stringa. È possibile modificare il codice per supportare più tipi di condizioni e complesse logiche di convalida.

Crea un'interfaccia utente Web Amazon A2I personalizzata

Amazon A2I consente di personalizzare l'interfaccia utente Web del revisore definendo a modello di attività del lavoratore. Il modello è una pagina web statica in HTML e JavaScript. Puoi passare i dati alla pagina del revisore personalizzato utilizzando il Liquido sintassi.

Nella soluzione campione, il modello di interfaccia utente Amazon A2I personalizzato visualizza la pagina a sinistra e le condizioni di guasto a destra. I revisori possono usarlo per correggere il valore di estrazione e aggiungere i propri commenti.

Lo screenshot seguente mostra la nostra interfaccia utente Amazon A2I personalizzata. Mostra il documento immagine originale a sinistra e le seguenti condizioni di errore a destra:

  • I numeri DLN devono essere lunghi 16 caratteri. Il DLN effettivo ha 15 caratteri.
  • Il punteggio di affidabilità di datore di lavoro_id è inferiore al 99%. Il punteggio di confidenza effettivo è di circa il 98%.

I revisori possono verificare manualmente questi risultati e aggiungere commenti nel file CAMBIA MOTIVO caselle di testo.Interfaccia utente di revisione A2I personalizzata

Per ulteriori informazioni sull'integrazione di Amazon A2I in qualsiasi flusso di lavoro ML personalizzato, fare riferimento a oltre 60 modelli di lavoratore precostruiti sul repository GitHub e Usa Amazon Augmented AI con tipi di attività personalizzate.

Elabora l'output di Amazon A2I

Dopo che il revisore, utilizzando l'interfaccia utente personalizzata Amazon A2I, verifica il risultato e sceglie Invio, Amazon A2I archivia un file JSON nella cartella del bucket S3. Il file JSON include le seguenti informazioni a livello radice:

  • L'ARN della definizione del flusso Amazon A2I e il nome del ciclo umano
  • Risposte umane (input del revisore raccolto dall'interfaccia utente Amazon A2I personalizzata)
  • Contenuto di input (i dati originali inviati ad Amazon A2I all'avvio dell'attività del ciclo umano)

Quello che segue è un esempio JSON generato da Amazon A2I:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

Puoi implementare la logica di estrazione, trasformazione e caricamento (ETL) per analizzare le informazioni dall'output JSON di Amazon A2I e archiviarle in un file o database. La soluzione campione viene fornita con a file CSV con i dati trattati. Puoi usarlo per creare un dashboard BI seguendo le istruzioni nella sezione successiva.

Crea una dashboard in Amazon QuickSight

La soluzione di esempio include una fase di reporting con un dashboard di visualizzazione servito da Amazon QuickSight. Il dashboard BI mostra le metriche chiave come il numero di documenti elaborati automaticamente o manualmente, i campi più popolari che hanno richiesto la revisione umana e altre informazioni dettagliate. Questa dashboard può aiutarti a controllare la pipeline di elaborazione dei documenti e ad analizzare i motivi comuni che causano la revisione umana. È possibile ottimizzare il flusso di lavoro riducendo ulteriormente l'input umano.

Il dashboard di esempio include metriche di base. Puoi espandere la soluzione utilizzando Amazon QuickSight per mostrare più approfondimenti sui dati.Dashboard BI

Espandi la soluzione per supportare più documenti e regole aziendali

Per espandere la soluzione in modo da supportare più pagine di documenti con regole aziendali corrispondenti, è necessario apportare le seguenti modifiche:

  • Crea un modello dati per la nuova pagina nella struttura JSON che rappresenta tutti i valori che desideri estrarre dalle pagine. Fare riferimento al Definire il modello dati sezione per un formato dettagliato.
  • Utilizza Amazon Textract per estrarre il testo dal documento e popolare i valori nel modello di dati.
  • Aggiungi regole aziendali corrispondenti alla pagina in formato JSON. Fare riferimento al Personalizza le regole aziendali sezione per il formato dettagliato.

L'interfaccia utente Amazon A2I personalizzata nella soluzione è generica e non richiede modifiche per supportare nuove regole aziendali.

Conclusione

L'elaborazione intelligente dei documenti è molto richiesta e le aziende necessitano di una pipeline personalizzata per supportare la loro logica aziendale unica. Amazon A2I offre anche un modello integrato integrato con Amazon Texttract per implementare i casi d'uso della revisione umana. Consente inoltre di personalizzare la pagina del revisore per soddisfare requisiti flessibili.

Questo post ti ha guidato attraverso una soluzione di riferimento che utilizza Amazon Textract e Amazon A2I per creare una pipeline IDP che supporti regole di business flessibili. Puoi provarlo usando il Notebook Jupyter nel repository GitHub IDP workshop.

Circa gli autori

Personalizza le regole aziendali per l'elaborazione intelligente dei documenti con revisione umana e visualizzazione BI PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.Lana Zhang è Sr. Solutions Architect presso il team AWS WWSO AI Services con esperienza in AI e ML per l'elaborazione intelligente dei documenti e la moderazione dei contenuti. È appassionata di promuovere i servizi di intelligenza artificiale di AWS e aiutare i clienti a trasformare le loro soluzioni aziendali.

Personalizza le regole aziendali per l'elaborazione intelligente dei documenti con revisione umana e visualizzazione BI PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.
Sonali Sahu è a capo del team di architetti soluzioni AI/ML per l'elaborazione intelligente dei documenti presso Amazon Web Services. È un'appassionata tecnofila e le piace lavorare con i clienti per risolvere problemi complessi utilizzando l'innovazione. Le sue principali aree di interesse sono l'intelligenza artificiale e l'apprendimento automatico per l'elaborazione intelligente dei documenti.

Timestamp:

Di più da Apprendimento automatico di AWS