Presentamos la clasificación en un solo paso y el reconocimiento de entidades con Amazon Comprehend para el procesamiento inteligente de documentos

“Las soluciones de procesamiento inteligente de documentos (IDP) extraen datos para respaldar la automatización de tareas de procesamiento de documentos repetitivas y de gran volumen y para el análisis y la comprensión. IDP utiliza tecnologías de lenguaje natural y visión por computadora para extraer datos de contenido estructurado y no estructurado, especialmente de documentos, para respaldar la automatización y el aumento”.  – Gartner

El objetivo del procesamiento inteligente de documentos (IDP) de Amazon es automatizar el procesamiento de grandes cantidades de documentos mediante el aprendizaje automático (ML) para aumentar la productividad, reducir los costos asociados con el trabajo humano y brindar una experiencia de usuario perfecta. Los clientes dedican una cantidad significativa de tiempo y esfuerzo a identificar documentos y extraer información crítica de ellos para varios casos de uso. Este Dia, Amazon Comprehend admite la clasificación de documentos de texto sin formato, lo que requiere que usted preprocese documentos en formatos semiestructurados (escaneados, PDF digital o imágenes como PNG, JPG, TIFF) y luego use la salida de texto sin formato para ejecutar la inferencia con su clasificación personalizada modelo. Del mismo modo, para reconocimiento de entidad personalizada en tiempo real, se requiere preprocesamiento para extraer texto para documentos semiestructurados como PDF y archivos de imagen. Este proceso de dos pasos introduce complejidades en los flujos de trabajo de procesamiento de documentos.

El año pasado soporte anunciado para formatos de documentos nativos con reconocimiento de entidad con nombre personalizado (NER) trabajos asincrónicos. Hoy, nos complace anunciar la clasificación de documentos en un solo paso y el análisis en tiempo real para NER para documentos semiestructurados en formatos nativos (PDF, TIFF, JPG, PNG) utilizando Amazon Comprehend. Específicamente, estamos anunciando las siguientes capacidades:

• Compatibilidad con documentos en formatos nativos para clasificación personalizada, análisis en tiempo real y trabajos asincrónicos
• Compatibilidad con documentos en formatos nativos para análisis en tiempo real de reconocimiento de entidades personalizadas

Con esta nueva versión, la clasificación personalizada y el reconocimiento de entidades personalizadas (NER) de Amazon Comprehend admiten documentos en formatos como PDF, TIFF, PNG y JPEG directamente, sin necesidad de extraer de ellos texto sin formato codificado en UTF8. La siguiente figura compara el proceso anterior con el nuevo procedimiento y soporte.

Esta función simplifica los flujos de trabajo de procesamiento de documentos al eliminar los pasos de procesamiento previo necesarios para extraer texto sin formato de los documentos y reduce el tiempo total necesario para procesarlos.

En esta publicación, analizamos un diseño de solución de flujo de trabajo de IDP de alto nivel, algunos casos de uso de la industria, las nuevas funciones de Amazon Comprehend y cómo usarlas.

Resumen de la solución

Comencemos explorando un caso de uso común en la industria de seguros. Un proceso de reclamo de seguro típico implica un paquete de reclamo que puede contener varios documentos. Cuando se presenta un reclamo de seguro, incluye documentos como formulario de reclamo de seguro, informes de incidentes, documentos de identidad y documentos de reclamo de terceros. El volumen de documentos para procesar y adjudicar un reclamo de seguro puede ascender a cientos e incluso miles de páginas según el tipo de reclamo y los procesos comerciales involucrados. Los representantes y adjudicadores de reclamaciones de seguros suelen pasar cientos de horas filtrando, clasificando y extrayendo información manualmente de cientos o incluso miles de presentaciones de reclamaciones.

De manera similar al caso de uso de la industria de seguros, la industria de pagos también procesa grandes volúmenes de documentos semiestructurados para acuerdos de pago transfronterizos, facturas y extractos de divisas. Los usuarios comerciales dedican la mayor parte de su tiempo a actividades manuales, como identificar, organizar, validar, extraer y pasar la información requerida a las aplicaciones posteriores. Este proceso manual es tedioso, repetitivo, propenso a errores, costoso y difícil de escalar. Otras industrias que enfrentan desafíos similares incluyen hipotecas y préstamos, atención médica y ciencias de la vida, administración legal, contable y fiscal. Es extremadamente importante para las empresas procesar volúmenes tan grandes de documentos de manera oportuna con un alto nivel de precisión y esfuerzo manual nominal.

Amazon Comprehend brinda capacidades clave para automatizar la clasificación de documentos y la extracción de información de un gran volumen de documentos con alta precisión, de manera escalable y rentable. El siguiente diagrama muestra un flujo de trabajo lógico de IDP con Amazon Comprehend. El núcleo del flujo de trabajo consiste en la clasificación de documentos y la extracción de información mediante NER con modelos personalizados de Amazon Comprehend. El diagrama también demuestra cómo los modelos personalizados se pueden mejorar continuamente para proporcionar una mayor precisión a medida que evolucionan los documentos y los procesos comerciales.

Clasificación personalizada de documentos

Con la clasificación personalizada de Amazon Comprehend, puede organizar sus documentos en categorías predefinidas (clases). A un alto nivel, los siguientes son los pasos para configurar un clasificador de documentos personalizado y realizar la clasificación de documentos:

1. Prepare datos de entrenamiento para entrenar un clasificador de documentos personalizado.
2. Entrene un clasificador de documentos de clientes con los datos de entrenamiento.
3. Después de entrenar el modelo, implemente opcionalmente un punto final en tiempo real.
4. Realice la clasificación de documentos con un trabajo asincrónico o en tiempo real utilizando el punto final.

Los pasos 1 y 2 generalmente se realizan al comienzo de un proyecto IDP después de identificar las clases de documentos relevantes para el proceso comercial. Luego, un modelo de clasificador personalizado se puede volver a entrenar periódicamente para mejorar la precisión e introducir nuevas clases de documentos. Puede entrenar un modelo de clasificación personalizado en modo multiclase or modo multietiqueta. El entrenamiento se puede realizar para cada uno de dos maneras: usando un archivo CSV o usando un archivo de manifiesto aumentado. Referirse a Preparando datos de entrenamiento para obtener más detalles sobre cómo entrenar un modelo de clasificación personalizado. Después de entrenar un modelo de clasificador personalizado, un documento se puede clasificar usando análisis en tiempo real o un trabajo asincrono. El análisis en tiempo real requiere un punto final que se implementará con el modelo entrenado y es más adecuado para documentos pequeños según el caso de uso. Para una gran cantidad de documentos, un trabajo de clasificación asíncrona es el más adecuado.

Entrenar un modelo de clasificación de documentos personalizado

Para demostrar la nueva característica, entrenamos un modelo de clasificación personalizado en modo de etiquetas múltiples, que puede clasificar documentos de seguros en una de siete clases diferentes. las clases son INSURANCE_ID, PASSPORT, LICENSE, INVOICE_RECEIPT, MEDICAL_TRANSCRIPTION, DISCHARGE_SUMMARYy CMS1500. Queremos clasificar documentos de muestra en formato nativo PDF, PNG y JPEG, almacenados en un Servicio de almacenamiento simple de Amazon (Amazon S3) cubo, utilizando el modelo de clasificación. Para iniciar un trabajo de clasificación asincrónica, complete los siguientes pasos:

1. En la consola de Amazon Comprehend, elija Trabajos de análisis en el panel de navegación.
2. Elige Crear trabajo.
   
3. Nombre, ingrese un nombre para su trabajo de clasificación.
4. Tipo de análisisescoger Clasificación personalizada.
5. modelo clasificador, elija el modelo de clasificación entrenado adecuado.
6. Versión, elija la versión de modelo adecuada.
   

En Datos de entrada sección, proporcionamos la ubicación donde se almacenan nuestros documentos.

7. Formato de entrada, escoger Un documento por expediente.
8. Modo de lectura de documentosescoger Forzar acción de lectura de documento.
9. Acción de lectura de documento, escoger Texto de detección de texto del documento.

Esto permite que Amazon Comprehend utilice el Amazon Textil DetectarDocumentoTexto API para leer los documentos antes de ejecutar la clasificación. los DetectDocumentText La API es útil para extraer líneas y palabras de texto de los documentos. También puede elegir Documento de análisis de texto para Acción de lectura de documento, en cuyo caso Amazon Comprehend utiliza Amazon Textract AnalizarDocumento API para leer los documentos. Con el AnalyzeDocument API, puede optar por extraer Mesas, Formularios, o ambos. La Modo de lectura de documentos La opción permite que Amazon Comprehend extraiga el texto de los documentos en segundo plano, lo que ayuda a reducir el paso adicional de extraer texto del documento, que es necesario en nuestro flujo de trabajo de procesamiento de documentos.

El clasificador personalizado de Amazon Comprehend también puede procesar respuestas JSON sin procesar generadas por el DetectDocumentText y AnalyzeDocument APIs, sin ninguna modificación o preprocesamiento. Esto es útil para los flujos de trabajo existentes en los que Amazon Textract ya está involucrado en la extracción de texto de los documentos. En este caso, la salida JSON de Amazon Textract se puede enviar directamente a las API de clasificación de documentos de Amazon Comprehend.

10. En Datos resultantes sección, para Ubicación S3, especifique una ubicación de Amazon S3 en la que desee que el trabajo asíncrono escriba los resultados de la inferencia.
11. Deje las opciones restantes como predeterminadas.
12. Elige Crear trabajo para comenzar el trabajo.
    

Puede ver el estado del trabajo en la Trabajos de análisis .

Cuando se completa el trabajo, podemos ver el resultado del trabajo de análisis, que se almacena en la ubicación de Amazon S3 proporcionada durante la configuración del trabajo. El resultado de la clasificación para nuestro documento CMS1500 de muestra en PDF de una sola página es el siguiente. El resultado es un archivo en formato de líneas JSON, que se ha formateado para mejorar la legibilidad.

{
  "Classes": [
    { "Name": "CMS1500", "Score": 0.9998 },
    { "Name": "DISCHARGE_SUMMARY", "Score": 0.0001 },
    { "Name": "INSURANCE_ID", "Score": 0 },
    { "Name": "PASSPORT", "Score": 0 },
    { "Name": "LICENSE", "Score": 0 },
    { "Name": "INVOICE_RECEIPT", "Score": 0 },
    { "Name": "MEDICAL_TRANSCRIPTION", "Score": 0 }
  ],
  "DocumentMetadata": {
    "PageNumber": 1,
    "Pages": 1
  },
  "DocumentType": "NativePDFScanned",
  "File": "sample-cms1500.pdf",
  "Version": "2022-08-30"
}

El ejemplo anterior es un documento PDF de una sola página; sin embargo, la clasificación personalizada también puede manejar documentos PDF de varias páginas. En el caso de documentos de varias páginas, la salida contiene varias líneas JSON, donde cada línea es el resultado de la clasificación de cada una de las páginas de un documento. El siguiente es un ejemplo de salida de clasificación de varias páginas:

{"Classes": [{"Name": "CMS1500", "Score": 0.4718}, {"Name": "MEDICAL_TRANSCRIPTION", "Score": 0.0841}, {"Name": "PASSPORT", "Score": 0.0722}], "DocumentMetadata": {"PageNumber": 1, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

{"Classes": [{"Name": "DISCHARGE_SUMMARY", "Score": 0.9998}, {"Name": "CMS1500", "Score": 0.0001}, {"Name": "INVOICE_RECEIPT", "Score": 0.0}], "DocumentMetadata": {"PageNumber": 2, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

{"Classes": [{"Name": "DISCHARGE_SUMMARY", "Score": 0.9998}, {"Name": "CMS1500", "Score": 0.0001}, {"Name": "INVOICE_RECEIPT", "Score": 0.0}], "DocumentMetadata": {"PageNumber": 3, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

{"Classes": [{"Name": "DISCHARGE_SUMMARY", "Score": 0.9998}, {"Name": "CMS1500", "Score": 0.0001}, {"Name": "INVOICE_RECEIPT", "Score": 0.0}], "DocumentMetadata": {"PageNumber": 4, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

Reconocimiento de entidades personalizadas

Con un reconocedor de entidades personalizadas de Amazon Comprehend, puede analizar documentos y extraer entidades como códigos de productos o entidades específicas del negocio que se ajusten a sus necesidades particulares. A un alto nivel, los siguientes son los pasos para configurar un reconocedor de entidades personalizado y realizar la detección de entidades:

1. Prepare datos de entrenamiento para entrenar un reconocedor de entidades personalizado.
2. Entrena un reconocedor de entidad personalizado con los datos de entrenamiento.
3. Después de entrenar el modelo, implemente opcionalmente un punto final en tiempo real.
4. Realice la detección de entidades con un trabajo asíncrono o en tiempo real utilizando el punto final.

Un modelo de reconocimiento de entidades personalizado se puede volver a entrenar periódicamente para mejorar la precisión e introducir nuevos tipos de entidades. Puede entrenar un modelo de reconocedor de entidades personalizado con listas de entidades or anotaciones. En ambos casos, Amazon Comprehend aprende sobre el tipo de documentos y el contexto en el que se producen las entidades para crear un modelo de reconocimiento de entidades que pueda generalizarse para detectar nuevas entidades. Referirse a Preparando los datos de entrenamiento para obtener más información sobre cómo preparar datos de entrenamiento para el reconocedor de entidades personalizadas.

Después de entrenar un modelo de reconocimiento de entidades personalizado, la detección de entidades se puede realizar mediante análisis en tiempo real o un trabajo asincrono. El análisis en tiempo real requiere un punto final que se implementará con el modelo entrenado y es más adecuado para documentos pequeños según el caso de uso. Para una gran cantidad de documentos, un trabajo de clasificación asíncrona es el más adecuado.

Entrenar un modelo de reconocimiento de entidades personalizado

Para demostrar la detección de entidades en tiempo real, entrenamos un modelo de reconocimiento de entidades personalizado con documentos de seguros y archivos de manifiesto aumentados usando anotaciones personalizadas e implementamos el punto final usando el modelo entrenado. Los tipos de entidades son Law Firm, Law Office Address, Insurance Company, Insurance Company Address, Policy Holder Name, Beneficiary Name, Policy Number, Payout, Required Actiony Sender. Queremos detectar entidades a partir de documentos de muestra en formato nativo PDF, PNG y JPEG, almacenados en un depósito S3, utilizando el modelo de reconocimiento.

Tenga en cuenta que puede usar un modelo de reconocimiento de entidades personalizadas que se entrena con documentos PDF para extraer entidades personalizadas de documentos PDF, TIFF, de imagen, de Word y de texto sin formato. Si su modelo se entrena con documentos de texto y una lista de entidades, solo puede usar documentos de texto sin formato para extraer las entidades.

Necesitamos detectar entidades de un documento de muestra en cualquier formato nativo PDF, PNG y JPEG usando el modelo de reconocimiento. Para iniciar un trabajo de detección de entidades síncronas, complete los siguientes pasos:

1. En la consola de Amazon Comprehend, elija Análisis en tiempo real en el panel de navegación.
2. under Tipo de análisis, seleccione Personalizado.
3. Reconocimiento de entidades personalizadas, elija el tipo de modelo personalizado.
4. Punto final, elija el punto final en tiempo real que creó para su modelo de reconocimiento de entidades.
5. Seleccione Subir archivos y elige Elija El Archivo para cargar el archivo PDF o de imagen para la inferencia.
6. Ampliar la opción Entrada avanzada de documentos sección y para Modo de lectura de documentos, escoger Valor predeterminado del servicio.
7. Acción de lectura de documento, escoger Texto de detección de texto del documento.
8. Elige Analizar para analizar el documento en tiempo real.
   

Las entidades reconocidas se enumeran en el Insights sección. Cada entidad contiene el valor de la entidad (el texto), el tipo de entidad definido por usted durante el proceso de capacitación y la puntuación de confianza correspondiente.

Para obtener más detalles y un tutorial completo sobre cómo entrenar un modelo de reconocedor de entidades personalizado y usarlo para realizar inferencias asíncronas mediante trabajos de análisis asíncronos, consulte Extraiga entidades personalizadas de documentos en su formato nativo con Amazon Comprehend.

Conclusión

Esta publicación demostró cómo puede clasificar y categorizar documentos semiestructurados en su formato nativo y detectar entidades específicas de negocios de ellos utilizando Amazon Comprehend. Puede usar API en tiempo real para casos de uso de baja latencia o usar trabajos de análisis asíncronos para el procesamiento masivo de documentos.

Como siguiente paso, lo alentamos a que visite Amazon Comprehend Repositorio GitHub para obtener muestras de código completas para probar estas nuevas características. También puedes visitar el Guía para desarrolladores de Amazon Comprehend y Recursos para desarrolladores de Amazon Comprehend para videos, tutoriales, blogs y más.

Sobre los autores

Wrick Talukdar es un arquitecto sénior del equipo de Amazon Comprehend Service. Trabaja con los clientes de AWS para ayudarlos a adoptar el aprendizaje automático a gran escala. Fuera del trabajo, disfruta de la lectura y la fotografía.

anjan biswas es un arquitecto sénior de soluciones de servicios de IA con un enfoque en IA/ML y análisis de datos. Anjan es parte del equipo mundial de servicios de IA y trabaja con los clientes para ayudarlos a comprender y desarrollar soluciones a los problemas comerciales con IA y ML. Anjan tiene más de 14 años de experiencia trabajando con organizaciones globales de cadena de suministro, fabricación y venta al por menor, y está ayudando activamente a los clientes a comenzar y escalar en los servicios de IA de AWS.

Godwin Sahayaraj Vincent es un arquitecto de soluciones empresariales en AWS apasionado por el aprendizaje automático y brinda orientación a los clientes para diseñar, implementar y administrar sus cargas de trabajo y arquitecturas de AWS. En su tiempo libre, le encanta jugar al cricket con sus amigos y al tenis con sus tres hijos.