Mejora del procesamiento inteligente de documentos de AWS con IA generativa | Servicios web de Amazon

La clasificación, la extracción y el análisis de datos pueden ser un desafío para las organizaciones que manejan volúmenes de documentos. Las soluciones tradicionales de procesamiento de documentos son manuales, costosas, propensas a errores y difíciles de escalar. Procesamiento inteligente de documentos (IDP) de AWS, con servicios de IA como Amazon Textil, le permite aprovechar la tecnología de aprendizaje automático (ML) líder en la industria para procesar datos de forma rápida y precisa desde cualquier documento o imagen escaneados. La inteligencia artificial generativa (IA generativa) complementa a Amazon Textract para automatizar aún más los flujos de trabajo de procesamiento de documentos. Funciones como la normalización de campos clave y el resumen de datos de entrada admiten ciclos más rápidos para administrar flujos de trabajo de procesos de documentos, al tiempo que reducen la posibilidad de errores.

La IA generativa está impulsada por grandes modelos de ML llamados modelos básicos (FM). Los FM están transformando la forma en que puede resolver cargas de trabajo de procesamiento de documentos tradicionalmente complejas. Además de las capacidades existentes, las empresas necesitan resumir categorías específicas de información, incluidos datos de débito y crédito de documentos como informes financieros y extractos bancarios. Los FM facilitan la generación de tales conocimientos a partir de los datos extraídos. Para optimizar el tiempo dedicado a la revisión humana y mejorar la productividad de los empleados, se pueden marcar de forma automática errores como dígitos faltantes en números de teléfono, documentos faltantes o direcciones sin números de calles. En el escenario actual, debe dedicar recursos para realizar dichas tareas mediante la revisión humana y scripts complejos. Este enfoque es tedioso y costoso. Los FM pueden ayudar a completar estas tareas más rápido, con menos recursos y transformar formatos de entrada variables en una plantilla estándar que se puede procesar más. En AWS ofrecemos servicios como lecho rocoso del amazonas, la forma más fácil de crear y escalar aplicaciones de IA generativa con FM. Amazon Bedrock es un servicio completamente administrado que hace que los FM de las principales empresas emergentes de inteligencia artificial y Amazon estén disponibles a través de una API, para que pueda encontrar el modelo que mejor se adapte a sus requisitos. también ofrecemos JumpStart de Amazon SageMaker, que permite a los profesionales de ML elegir entre una amplia selección de FM de código abierto. Los practicantes de ML pueden implementar FM a dedicados Amazon SageMaker instancias de un entorno de red aislado y personalice los modelos con SageMaker para el entrenamiento y la implementación de modelos.

Ricoh ofrece soluciones para el lugar de trabajo y servicios de transformación digital diseñados para ayudar a los clientes a administrar y optimizar el flujo de información en sus negocios. Ashok Shenoy, vicepresidente de desarrollo de soluciones de cartera, dice: “Estamos agregando IA generativa a nuestras soluciones IDP para ayudar a nuestros clientes a realizar su trabajo de manera más rápida y precisa al utilizar nuevas capacidades como preguntas y respuestas, resúmenes y resultados estandarizados. AWS nos permite aprovechar la IA generativa mientras mantenemos los datos de cada uno de nuestros clientes separados y seguros”.

En esta publicación, compartimos cómo mejorar su solución IDP en AWS con IA generativa.

Mejorando la canalización de IDP

En esta sección, revisamos cómo los FM pueden aumentar la canalización IDP tradicional y analizamos un caso de uso de ejemplo utilizando Amazon Textract con FM.

AWS IDP consta de tres etapas: clasificación, extracción y enriquecimiento. Para obtener más detalles sobre cada etapa, consulte Procesamiento inteligente de documentos con servicios de IA de AWS: Parte 1 y Parte 2. En la etapa de clasificación, los FM ahora pueden clasificar documentos sin ningún entrenamiento adicional. Esto significa que los documentos se pueden categorizar incluso si el modelo no ha visto ejemplos similares antes. Los FM en la etapa de extracción normalizan los campos de fecha y verifican direcciones y números de teléfono, mientras aseguran un formato consistente. Los FM en la etapa de enriquecimiento permiten la inferencia, el razonamiento lógico y el resumen. Cuando utilice FM en cada etapa de IDP, su flujo de trabajo será más ágil y el rendimiento mejorará. El siguiente diagrama ilustra la canalización de IDP con IA generativa.

Etapa de extracción de la tubería IDP

Cuando los FM no pueden procesar directamente documentos en sus formatos nativos (como PDF, img, jpeg y tiff) como entrada, se necesita un mecanismo para convertir documentos a texto. Para extraer el texto del documento antes de enviarlo a los FM, puede utilizar Amazon Textract. Con Amazon Textract, puede extraer líneas y palabras y pasarlas a FM posteriores. La siguiente arquitectura utiliza Amazon Textract para la extracción precisa de texto de cualquier tipo de documento antes de enviarlo a FM para su posterior procesamiento.

Por lo general, los documentos se componen de información estructurada y semiestructurada. Amazon Textract se puede utilizar para extraer texto sin formato y datos de tablas y formularios. La relación entre los datos en tablas y formularios juega un papel vital en la automatización de los procesos comerciales. Es posible que los FM no procesen ciertos tipos de información. Como resultado, podemos optar por almacenar esta información en un almacenamiento posterior o enviarla a los FM. La siguiente figura es un ejemplo de cómo Amazon Textract puede extraer información estructurada y semiestructurada de un documento, además de líneas de texto que deben ser procesadas por FM.

Uso de servicios sin servidor de AWS para resumir con FM

La canalización de IDP que ilustramos anteriormente se puede automatizar sin problemas con los servicios sin servidor de AWS. Los documentos muy desestructurados son comunes en las grandes empresas. Estos documentos pueden abarcar desde documentos de la Comisión de Bolsa y Valores (SEC) en la industria bancaria hasta documentos de cobertura en la industria de seguros de salud. Con la evolución de la IA generativa en AWS, las personas de estas industrias buscan formas de obtener un resumen de esos documentos de manera automatizada y rentable. Los servicios sin servidor ayudan a proporcionar el mecanismo para crear una solución para IDP rápidamente. Servicios como AWS Lambda, Funciones de paso de AWSy Puente de eventos de Amazon puede ayudar a construir la tubería de procesamiento de documentos con la integración de FM, como se muestra en el siguiente diagrama.

La aplicación de muestra utilizado en la arquitectura anterior es impulsado por eventos. Un evento se define como un cambio de estado que ha ocurrido recientemente. Por ejemplo, cuando un objeto se carga en un Servicio de almacenamiento simple de Amazon (Amazon S3), Amazon S3 emite un evento Objeto creado. Esta notificación de evento de Amazon S3 puede desencadenar una función Lambda o un flujo de trabajo de Step Functions. Este tipo de arquitectura se denomina arquitectura basada en eventos. En esta publicación, nuestra aplicación de muestra utiliza una arquitectura basada en eventos para procesar un documento de alta médica de muestra y resumir los detalles del documento. El flujo funciona de la siguiente manera:

1. Cuando se carga un documento en un depósito de S3, Amazon S3 activa un evento Objeto creado.
2. El bus de eventos predeterminado de EventBridge propaga el evento a Step Functions según una regla de EventBridge.
3. El flujo de trabajo de la máquina de estado procesa el documento, comenzando con Amazon Textract.
4. Una función Lambda transforma los datos analizados para el siguiente paso.
5. La máquina de estado invoca a Punto final de SageMaker, que aloja el FM mediante la integración directa de SDK de AWS.
6. Un depósito de destino de S3 de resumen recibe la respuesta de resumen recopilada del FM.

Usamos la aplicación de muestra con un flan-t5 Modelo de cara abrazada para resumir el siguiente ejemplo de resumen del alta del paciente mediante el flujo de trabajo de Step Functions.

El flujo de trabajo de Step Functions utiliza Integración con el SDK de AWS llamar a Amazon Texttract AnalizarDocumento y tiempo de ejecución de SageMaker Invocar punto final API, como se muestra en la siguiente figura.

Este flujo de trabajo da como resultado un objeto JSON de resumen que se almacena en un depósito de destino. El objeto JSON tiene el siguiente aspecto:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

La generación de estos resúmenes mediante IDP con implementación sin servidor a escala ayuda a las organizaciones a obtener datos significativos, concisos y presentables de manera rentable. Step Functions no limita el método de procesamiento de documentos a un documento a la vez. Es mapa distribuido función puede resumir un gran número de documentos en un calendario.

La aplicación de muestra utiliza una flan-t5 Modelo de cara abrazada; sin embargo, puede usar un punto final de FM de su elección. El entrenamiento y la ejecución del modelo están fuera del alcance de la aplicación de ejemplo. Siga las instrucciones en el repositorio de GitHub para implementar una aplicación de muestra. La arquitectura anterior es una guía sobre cómo puede orquestar un flujo de trabajo de IDP utilizando Step Functions. Referirse a Taller de IA generativa IDP para obtener instrucciones detalladas sobre cómo crear una aplicación con servicios de IA y FM de AWS.

Configurar la solución

Sigue los pasos en README para establecer la arquitectura de la solución (excepto para los extremos de SageMaker). Una vez que tenga disponible su propio punto final de SageMaker, puede pasar el nombre del punto final como parámetro a la plantilla.

Limpiar

Para ahorrar costos, elimine los recursos que implementó como parte del tutorial:

1. Siga los pasos de la sección de limpieza del README archivo.
2. Elimine cualquier contenido de su depósito S3 y luego elimine el depósito a través de la consola de Amazon S3.
3. Elimine cualquier terminal de SageMaker que haya creado a través de la consola de SageMaker.

Conclusión

La IA generativa está cambiando la forma en que puede procesar documentos con IDP para obtener información. Los servicios de IA de AWS, como Amazon Textract, junto con los FM de AWS, pueden ayudar a procesar con precisión cualquier tipo de documento. Para obtener más información sobre cómo trabajar con IA generativa en AWS, consulte Anuncio de nuevas herramientas para compilar con IA generativa en AWS.

---

Acerca de los autores

sonali sahu lidera el procesamiento inteligente de documentos con el equipo de servicios de AI/ML en AWS. Es autora, líder intelectual y tecnóloga apasionada. Su área principal de enfoque es la IA y el ML, y con frecuencia habla en conferencias y reuniones de IA y ML en todo el mundo. Tiene una amplia y profunda experiencia en tecnología y la industria de la tecnología, con experiencia en la industria de la salud, el sector financiero y los seguros.

ashish lal es un gerente sénior de marketing de productos que lidera el marketing de productos para servicios de IA en AWS. Tiene 9 años de experiencia en marketing y ha liderado el esfuerzo de marketing de productos para el procesamiento inteligente de documentos. Obtuvo su Maestría en Administración de Empresas en la Universidad de Washington.

Srunal Daftari es Arquitecto Senior de Soluciones Empresariales en Amazon Web Services. Tiene su sede en Boston, MA. Es un entusiasta de la nube y le apasiona encontrar soluciones para los clientes que sean simples y aborden sus resultados comerciales. Le encanta trabajar con tecnologías en la nube, brindando soluciones simples y escalables que generan resultados comerciales positivos, una estrategia de adopción de la nube y diseñan soluciones innovadoras e impulsan la excelencia operativa.

Dhiraj Mahapatro es Arquitecto Principal de Soluciones Especializadas en Sin Servidor en AWS. Se especializa en ayudar a los servicios financieros empresariales a adoptar arquitecturas sin servidor y basadas en eventos para modernizar sus aplicaciones y acelerar su ritmo de innovación. Recientemente, ha estado trabajando para acercar las cargas de trabajo de contenedores y el uso práctico de la IA generativa a la tecnología sin servidor y EDA para los clientes de la industria de servicios financieros.

jacob hauskens es un especialista principal en inteligencia artificial con más de 15 años de experiencia en desarrollo comercial estratégico y asociaciones. Durante los últimos 7 años, ha liderado la creación e implementación de estrategias de lanzamiento al mercado para nuevos servicios B2B impulsados ​​por IA. Recientemente, ha estado ayudando a los ISV a aumentar sus ingresos al agregar IA generativa a los flujos de trabajo de procesamiento de documentos inteligentes.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Automoción / vehículos eléctricos, Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• Desplazamientos de bloque. Modernización de la propiedad de compensaciones ambientales. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/