Personalice las reglas comerciales para el procesamiento inteligente de documentos con revisión humana y visualización de BI

Una gran cantidad de documentos comerciales se procesan diariamente en todas las industrias. Muchos de estos documentos están en papel, escaneados en su sistema como imágenes o en un formato no estructurado como PDF. Cada empresa puede aplicar reglas únicas asociadas con sus antecedentes comerciales al procesar estos documentos. Cómo extraer información con precisión y procesarla de manera flexible es un desafío al que se enfrentan muchas empresas.

Amazon Intelligent Document Processing (IDP) le permite aprovechar la tecnología de aprendizaje automático (ML) líder en la industria sin experiencia previa en ML. Esta publicación presenta una solución incluida en el taller de desplazados internos amazónicos mostrando cómo procesar documentos para servir reglas comerciales flexibles utilizando los servicios de IA de Amazon. Puedes usar el siguiente paso a paso Cuaderno Jupyter para completar el laboratorio.

Amazon Textil le ayuda a extraer fácilmente texto de varios documentos, y IA aumentada de Amazon (Amazon A2I) le permite implementar una revisión humana de las predicciones de ML. La plantilla predeterminada de Amazon A2I le permite crear una canalización de revisión humana basada en reglas, como cuando la puntuación de confianza de extracción es inferior a un umbral predefinido o faltan las claves necesarias. Pero en un entorno de producción, necesita la canalización de procesamiento de documentos para admitir reglas comerciales flexibles, como la validación del formato de cadena, la verificación del tipo y el rango de datos y la validación de campos en todos los documentos. Esta publicación muestra cómo puede usar Amazon Textract y Amazon A2I para personalizar una canalización de procesamiento de documentos genéricos que admita reglas comerciales flexibles.

Resumen de la solución

Para nuestra solución de muestra, usamos el Formulario de impuestos 990, un formulario del IRS (Servicio de Impuestos Internos) de EE. UU. que proporciona al público información financiera sobre una organización sin fines de lucro. Para este ejemplo, solo cubrimos la lógica de extracción para algunos de los campos en la primera página del formulario. Puede encontrar más documentos de muestra en el sitio web del IRS.

El siguiente diagrama ilustra la canalización de IDP que admite reglas comerciales personalizadas con revisión humana.

La arquitectura se compone de tres etapas lógicas:

• Extracción – Extraer datos del Formulario de Impuestos 990 (usamos la página 1 como ejemplo).
  • Recuperar una imagen de muestra almacenada en un Servicio de almacenamiento simple de Amazon (Amazon S3) cubo.
  • Llame a la API de análisis_documento de Amazon Textract mediante el Consultas función para extraer texto de la página.
• Validación – Aplique reglas comerciales flexibles con una revisión humana en el circuito.
  • Valide los datos extraídos con las reglas comerciales, como validar la longitud de un campo de ID.
  • Envíe el documento a Amazon A2I para que un humano lo revise si alguna regla comercial falla.
  • Los revisores utilizan la interfaz de usuario de Amazon A2I (un sitio web personalizable) para verificar el resultado de la extracción.
• visualización de BI - Usamos Amazon QuickSight para crear un panel de inteligencia comercial (BI) que muestre los conocimientos del proceso.

Personalice las reglas comerciales

Puede definir una regla comercial genérica en el siguiente formato JSON. En el código de ejemplo, definimos tres reglas:

• La primera regla es para el campo de identificación del empleador. La regla falla si la puntuación de confianza de Amazon Textract es inferior al 99 %. Para esta publicación, establecemos un umbral de puntuación de confianza alto, que se romperá por diseño. Puede ajustar el umbral a un valor más razonable para reducir el esfuerzo humano innecesario en un entorno real, como el 90 %.
• La segunda regla es para el campo DLN (el identificador único del formulario de impuestos), que se requiere para la lógica de procesamiento descendente. Esta regla falla si falta el campo DLN o tiene un valor vacío.
• La tercera regla también es para el campo DLN pero con un tipo de condición diferente: Comprobación de longitud. La regla se rompe si la longitud de DLN no es de 16 caracteres.

El siguiente código muestra nuestras reglas de negocio en formato JSON:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

Puede expandir la solución agregando más reglas comerciales siguiendo la misma estructura.

Extraer texto mediante una consulta de Amazon Textract

En la solución de muestra, llamamos a la API de Amazon Textract Analyze_document pregunta Función para extraer campos haciendo preguntas específicas. No necesita conocer la estructura de los datos en el documento (tabla, formulario, campo implícito, datos anidados) ni preocuparse por las variaciones entre las versiones y formatos del documento. Las consultas utilizan una combinación de señales visuales, espaciales y de lenguaje para extraer la información que busca con gran precisión.

Para extraer valor para el campo DLN, puede enviar una solicitud con preguntas en lenguaje natural, como "¿Qué es el DLN?" Amazon Textract devuelve el texto, la confianza y otros metadatos si encuentra la información correspondiente en la imagen o el documento. El siguiente es un ejemplo de una solicitud de consulta de Amazon Textract:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

Definir el modelo de datos

La solución de muestra construye los datos en un formato estructurado para servir a la evaluación de reglas comerciales genéricas. Para conservar los valores extraídos, puede definir un modelo de datos para cada página del documento. La siguiente imagen muestra cómo el texto en la página 1 se asigna a los campos JSON.

Cada campo representa el texto, la casilla de verificación o la celda de tabla/formulario de un documento en la página. El objeto JSON se parece al siguiente código:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

Puede encontrar la definición detallada de la estructura JSON en el Repositorio GitHub.

Evaluar los datos contra las reglas comerciales

La solución de muestra viene con una clase de condición: un motor de reglas genérico que toma los datos extraídos (como se define en el modelo de datos) y las reglas (como se define en las reglas comerciales personalizadas). Devuelve dos listas con condiciones fallidas y satisfechas. Podemos usar el resultado para decidir si debemos enviar el documento a Amazon A2I para revisión humana.

El código fuente de la clase Condition está en la muestra Repositorio GitHub. Admite la lógica de validación básica, como la validación de la longitud, el rango de valores y el umbral de puntuación de confianza de una cadena. Puede modificar el código para admitir más tipos de condiciones y una lógica de validación compleja.

Cree una interfaz de usuario web personalizada de Amazon A2I

Amazon A2I le permite personalizar la interfaz de usuario web del revisor definiendo un plantilla de tarea de trabajador. La plantilla es una página web estática en HTML y JavaScript. Puede pasar datos a la página del revisor personalizado usando el Líquido sintaxis.

En la solución de muestra, el plantilla de interfaz de usuario personalizada de Amazon A2I muestra la página a la izquierda y las condiciones de falla a la derecha. Los revisores pueden usarlo para corregir el valor de extracción y agregar sus comentarios.

La siguiente captura de pantalla muestra nuestra interfaz de usuario personalizada de Amazon A2I. Muestra el documento de imagen original a la izquierda y las siguientes condiciones fallidas a la derecha:

• Los números DLN deben tener 16 caracteres. El DLN real tiene 15 caracteres.
• La puntuación de confianza de employee_id es inferior al 99 %. La puntuación de confianza real es de alrededor del 98 %.

Los revisores pueden verificar manualmente estos resultados y agregar comentarios en el MOTIVO DE CAMBIO cajas de texto.

Para obtener más información sobre la integración de Amazon A2I en cualquier flujo de trabajo de aprendizaje automático personalizado, consulte más de 60 plantillas de trabajo preconstruidas en el repositorio de GitHub y Utilice la inteligencia artificial aumentada de Amazon con tipos de tareas personalizadas.

Procesar la salida de Amazon A2I

Después de que el revisor que usa la interfaz de usuario personalizada de Amazon A2I verifique el resultado y elija Enviar, Amazon A2I almacena un archivo JSON en la carpeta del depósito S3. El archivo JSON incluye la siguiente información en el nivel raíz:

• El ARN de definición de flujo de Amazon A2I y el nombre de bucle humano
• Respuestas humanas (la entrada del revisor recopilada por la interfaz de usuario personalizada de Amazon A2I)
• Contenido de entrada (los datos originales enviados a Amazon A2I al iniciar la tarea de bucle humano)

El siguiente es un ejemplo de JSON generado por Amazon A2I:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

Puede implementar la lógica de extracción, transformación y carga (ETL) para analizar información del JSON de salida de Amazon A2I y almacenarla en un archivo o base de datos. La solución de muestra viene con un archivo CSV con datos procesados. Puede usarlo para crear un panel de BI siguiendo las instrucciones de la siguiente sección.

Cree un tablero en Amazon QuickSight

La solución de muestra incluye una etapa de generación de informes con un panel de visualización proporcionado por Amazon QuickSight. El panel de BI muestra métricas clave, como la cantidad de documentos procesados ​​de forma automática o manual, los campos más populares que requirieron revisión humana y otras perspectivas. Este panel puede ayudarlo a obtener una supervisión de la tubería de procesamiento de documentos y analizar las razones comunes que causan la revisión humana. Puede optimizar el flujo de trabajo reduciendo aún más la intervención humana.

El panel de muestra incluye métricas básicas. Puede ampliar la solución con Amazon QuickSight para mostrar más información sobre los datos.

Expanda la solución para admitir más documentos y reglas comerciales

Para expandir la solución para admitir más páginas de documentos con las reglas comerciales correspondientes, debe realizar los siguientes cambios:

• Cree un modelo de datos para la nueva página en estructura JSON que represente todos los valores que desea extraer de las páginas. Referirse a Definir el modelo de datos sección para un formato detallado.
• Utilice Amazon Textract para extraer texto del documento y completar valores en el modelo de datos.
• Agregue reglas de negocio correspondientes a la página en formato JSON. Referirse a Personalice las reglas comerciales sección para el formato detallado.

La interfaz de usuario personalizada de Amazon A2I en la solución es genérica, lo que no requiere un cambio para admitir nuevas reglas comerciales.

Conclusión

El procesamiento inteligente de documentos tiene una gran demanda y las empresas necesitan una canalización personalizada para respaldar su lógica comercial única. Amazon A2I también ofrece una plantilla incorporada integrada con Amazon Textract para implementar sus casos de uso de revisión humana. También le permite personalizar la página del revisor para satisfacer requisitos flexibles.

Esta publicación lo guió a través de una solución de referencia que utiliza Amazon Textract y Amazon A2I para crear una canalización de IDP que admita reglas comerciales flexibles. Puedes probarlo usando el Cuaderno Jupyter en el repositorio del taller IDP de GitHub.

Sobre los autores

lana zhang es Arquitecto de Soluciones Sr. en el equipo de Servicios de IA de AWS WWSO con experiencia en IA y ML para el procesamiento inteligente de documentos y la moderación de contenido. Le apasiona promover los servicios de IA de AWS y ayudar a los clientes a transformar sus soluciones empresariales.

sonali sahu lidera el equipo de Arquitectos de Soluciones de IA/ML de Procesamiento Inteligente de Documentos en Amazon Web Services. Es una apasionada de la tecnología y disfruta trabajar con clientes para resolver problemas complejos utilizando la innovación. Su área principal de enfoque es la inteligencia artificial y el aprendizaje automático para el procesamiento inteligente de documentos.