Cree soluciones IDP bien diseñadas con una lente personalizada – Parte 4: Eficiencia del rendimiento | Servicios web de Amazon

Cuando un cliente tiene un producto listo para producción procesamiento inteligente de documentos (IDP), a menudo recibimos solicitudes para una revisión de buena arquitectura. Para crear una solución empresarial, los recursos del desarrollador, el costo, el tiempo y la experiencia del usuario deben equilibrarse para lograr el resultado comercial deseado. El Marco bien diseñado de AWS proporciona una forma sistemática para que las organizaciones aprendan las mejores prácticas operativas y arquitectónicas para diseñar y operar cargas de trabajo confiables, seguras, eficientes, rentables y sostenibles en la nube.

La lente personalizada de buena arquitectura de IDP sigue el marco de buena arquitectura de AWS, revisa la solución con seis pilares con la granularidad de un caso de uso específico de IA o aprendizaje automático (ML) y brinda orientación para abordar desafíos comunes. La lente personalizada de buena arquitectura de IDP en el Herramienta bien diseñada Contiene preguntas sobre cada uno de los pilares. Al responder estas preguntas, podrá identificar riesgos potenciales y resolverlos siguiendo su plan de mejora.

Esta publicación se centra en la Pilar de eficiencia de desempeño de la carga de trabajo de los desplazados internos. Nos sumergimos profundamente en el diseño e implementación de la solución para optimizar el rendimiento, la latencia y el rendimiento general. Comenzamos analizando algunos indicadores comunes de que se debe realizar una revisión de buena arquitectura e introducimos los enfoques fundamentales con principios de diseño. Luego analizamos cada área de enfoque desde una perspectiva técnica.

Para seguir esta publicación, debe estar familiarizado con las publicaciones anteriores de esta serie (Parte 1 y Parte 2) y las directrices en Guía para el procesamiento inteligente de documentos en AWS. Estos recursos presentan servicios comunes de AWS para cargas de trabajo de IDP y flujos de trabajo sugeridos. Con este conocimiento, ahora está listo para aprender más sobre cómo producir su carga de trabajo.

Indicadores comunes

Los siguientes son indicadores comunes de que se debe realizar una revisión del marco de buena arquitectura para el pilar de eficiencia del desempeño:

• Alta latencia – Cuando la latencia del reconocimiento óptico de caracteres (OCR), el reconocimiento de entidades o el flujo de trabajo de un extremo a otro lleva más tiempo que su punto de referencia anterior, esto puede ser un indicador de que el diseño de la arquitectura no cubre las pruebas de carga o el manejo de errores.
• Aceleración frecuente – Es posible que experimente limitaciones por parte de servicios de AWS como Amazon Textil debido a límites de solicitud. Esto significa que la arquitectura debe ajustarse revisando el flujo de trabajo de la arquitectura, la implementación sincrónica y asincrónica, el cálculo de transacciones por segundo (TPS) y más.
• Dificultades de depuración – Cuando hay una falla en el proceso de documentos, es posible que no tenga una manera efectiva de identificar dónde se encuentra el error en el flujo de trabajo, con qué servicio está relacionado y por qué ocurrió la falla. Esto significa que el sistema carece de visibilidad de los registros y fallas. Considere revisar el diseño de registro de los datos de telemetría y agregar infraestructura como código (IaC), como canales de procesamiento de documentos, a la solución.

indicadores	Descripción	Brecha arquitectónica
Alta latencia	El OCR, el reconocimiento de entidades o la latencia del flujo de trabajo de un extremo a otro superan los puntos de referencia anteriores	Prueba de carga Manejo de errores
Limitación frecuente	Limitación por parte de servicios de AWS como Amazon Textract debido a límites de solicitudes	Sincronización frente a asíncrono Cálculo de TPS
Difícil de depurar	No hay visibilidad de la ubicación, la causa y el motivo de las fallas en el procesamiento de documentos.	Diseño de registro Canalizaciones de procesamiento de documentos

Criterios de diseño

En esta publicación, analizamos tres principios de diseño: delegar tareas complejas de IA, arquitecturas IaC y arquitecturas sin servidor. Cuando encuentre un equilibrio entre dos implementaciones, puede revisar los principios de diseño con las prioridades comerciales de su organización para poder tomar decisiones de manera efectiva.

• Delegar tareas complejas de IA – Puede permitir una adopción más rápida de la IA en su organización descargando el ciclo de vida de desarrollo del modelo de aprendizaje automático a servicios administrados y aprovechando la infraestructura y el desarrollo del modelo proporcionados por AWS. En lugar de exigir que sus equipos de TI y ciencia de datos creen y mantengan modelos de IA, puede utilizar servicios de IA previamente capacitados que pueden automatizar tareas por usted. Esto permite que sus equipos se concentren en trabajos de mayor valor que diferencian su negocio, mientras que el proveedor de la nube maneja la complejidad de capacitar, implementar y escalar los modelos de IA.
• arquitecturas IaC – Cuando se ejecuta una solución IDP, la solución incluye múltiples servicios de IA para realizar el flujo de trabajo de un extremo a otro de forma cronológica. Puede diseñar la solución con canalizaciones de flujo de trabajo utilizando Funciones de paso de AWS para mejorar la tolerancia a fallos, el procesamiento paralelo, la visibilidad y la escalabilidad. Estas ventajas pueden permitirle optimizar el uso y el costo de los servicios de IA subyacentes.
• Sin servidor arquitecturas – IDP suele ser una solución basada en eventos, iniciada por cargas de usuarios o trabajos programados. La solución se puede ampliar horizontalmente aumentando las tarifas de llamadas para los servicios de IA. AWS Lambday otros servicios involucrados. Un enfoque sin servidor proporciona escalabilidad sin aprovisionar excesivamente recursos, lo que evita gastos innecesarios. La supervisión detrás del diseño sin servidor ayuda a detectar problemas de rendimiento.

Con estos tres principios de diseño en mente, las organizaciones pueden establecer una base efectiva para la adopción de AI/ML en plataformas en la nube. Al delegar la complejidad, implementar una infraestructura resiliente y diseñar para escalar, las organizaciones pueden optimizar sus soluciones de IA/ML.

En las siguientes secciones, analizamos cómo abordar los desafíos comunes con respecto a las áreas de enfoque técnico.

Áreas de enfoque

Al revisar la eficiencia del rendimiento, revisamos la solución desde cinco áreas de enfoque: diseño de arquitectura, gestión de datos, manejo de errores, monitoreo del sistema y monitoreo de modelos. Con estas áreas de enfoque, puede realizar una revisión de la arquitectura desde diferentes aspectos para mejorar la efectividad, la observabilidad y la escalabilidad de los tres componentes de un proyecto, datos, modelo u objetivo comercial de AI/ML.

Diseño arquitectónico

Al responder las preguntas de esta área de enfoque, revisará el flujo de trabajo existente para ver si sigue las mejores prácticas. El flujo de trabajo sugerido proporciona un patrón común que las organizaciones pueden seguir y evita costos de prueba y error.

Sobre la base de la arquitectura propuesta, el flujo de trabajo sigue las seis etapas de captura, clasificación, extracción, enriquecimiento, revisión y validación y consumo de datos. En los indicadores comunes que comentamos anteriormente, dos de cada tres provienen de problemas de diseño arquitectónico. Esto se debe a que cuando inicia un proyecto con un enfoque improvisado, puede encontrarse con restricciones al intentar alinear su infraestructura con su solución. Con la revisión del diseño arquitectónico, el diseño improvisado se puede desacoplar en etapas, y cada una de ellas se puede reevaluar y reordenar.

Puede ahorrar tiempo, dinero y mano de obra implementando clasificaciones en su flujo de trabajo, y los documentos van a aplicaciones y API posteriores según el tipo de documento. Esto mejora la observabilidad del proceso documental y hace que la solución sea sencilla de mantener al agregar nuevos tipos de documentos.

Gestión de datos

El rendimiento de una solución IDP incluye latencia, rendimiento y la experiencia del usuario de un extremo a otro. Cómo gestionar el documento y la información extraída en la solución es la clave para la coherencia, la seguridad y la privacidad de los datos. Además, la solución debe manejar grandes volúmenes de datos con baja latencia y alto rendimiento.

Al analizar las preguntas de esta área de enfoque, revisará el flujo de trabajo del documento. Esto incluye la ingesta de datos, el preprocesamiento de datos, la conversión de documentos a tipos de documentos aceptados por Amazon Textract, el manejo de flujos de documentos entrantes, el enrutamiento de documentos por tipo y la implementación de políticas de retención y control de acceso.

Por ejemplo, al almacenar un documento en las diferentes fases procesadas, puede revertir el procesamiento al paso anterior si es necesario. El ciclo de vida de los datos garantiza la confiabilidad y el cumplimiento de la carga de trabajo. Al utilizar el Calculadora de cuotas de servicios de Amazon Textract (consulte la siguiente captura de pantalla), funciones asincrónicas en Amazon Textract, Lambda, Step Functions, Servicio de cola simple de Amazon (Amazon SQS) y Servicio de notificación simple de Amazon (Amazon SNS), las organizaciones pueden automatizar y escalar las tareas de procesamiento de documentos para satisfacer necesidades de carga de trabajo específicas.

Manejo de errores

Un manejo sólido de errores es fundamental para rastrear el estado del proceso de documentos y brinda tiempo al equipo de operación para reaccionar ante cualquier comportamiento anormal, como volúmenes de documentos inesperados, nuevos tipos de documentos u otros problemas no planificados de servicios de terceros. Desde la perspectiva de la organización, el manejo adecuado de errores puede mejorar el tiempo de actividad y el rendimiento del sistema.

Puede dividir el manejo de errores en dos aspectos clave:

• Configuración del servicio AWS – Puede implementar una lógica de reintento con retroceso exponencial para manejar errores transitorios como la limitación. Cuando comienza a procesar llamando a una operación Start* asincrónica, como Detección de texto de documento de inicio, puede especificar que el estado de finalización de la solicitud se publique en un tema de SNS en el Canal de notificaciones configuración. Esto le ayuda a evitar limitar los límites de las llamadas API debido al sondeo de las API Get*. También puede implementar alarmas en Reloj en la nube de Amazon y activadores para alertar cuando se producen picos de errores inusuales.
• Mejora del informe de errores – Esto incluye mensajes detallados con un nivel apropiado de detalle por tipo de error y descripciones de las respuestas de manejo de errores. Con la configuración adecuada de manejo de errores, los sistemas pueden ser más resilientes al implementar patrones comunes como reintentar automáticamente errores intermitentes, usar disyuntores para manejar fallas en cascada y monitorear servicios para obtener información sobre los errores. Esto permite que la solución equilibre los límites de reintentos y evita bucles de circuito interminables.

Monitoreo de modelos

Se monitorea el rendimiento de los modelos de ML para detectar degradación con el tiempo. A medida que cambian las condiciones de los datos y del sistema, se realiza un seguimiento de las métricas de eficiencia y rendimiento del modelo para garantizar que se realice un reentrenamiento cuando sea necesario.

El modelo ML en un flujo de trabajo IDP puede ser un modelo OCR, un modelo de reconocimiento de entidades o un modelo de clasificación. El modelo puede provenir de un servicio de IA de AWS, un modelo de código abierto en Amazon SageMaker, lecho rocoso del amazonasu otros servicios de terceros. Debe comprender las limitaciones y los casos de uso de cada servicio para identificar formas de mejorar el modelo con comentarios humanos y mejorar el rendimiento del servicio con el tiempo.

Un enfoque común es utilizar registros de servicio para comprender diferentes niveles de precisión. Estos registros pueden ayudar al equipo de ciencia de datos a identificar y comprender cualquier necesidad de reentrenamiento del modelo. Su organización puede elegir el mecanismo de reentrenamiento: puede ser trimestral, mensual o basado en métricas científicas, como cuando la precisión cae por debajo de un umbral determinado.

El objetivo del monitoreo no es solo detectar problemas, sino cerrar el círculo para perfeccionar continuamente los modelos y mantener la solución IDP funcionando a medida que evoluciona el entorno externo.

Control de la instalación

Después de implementar la solución IDP en producción, es importante monitorear las métricas clave y el rendimiento de la automatización para identificar áreas de mejora. Las métricas deben incluir métricas comerciales y métricas técnicas. Esto permite a la empresa evaluar el rendimiento del sistema, identificar problemas y realizar mejoras en los modelos, reglas y flujos de trabajo a lo largo del tiempo para aumentar la tasa de automatización y comprender el impacto operativo.

Desde el punto de vista empresarial, métricas como la precisión de la extracción de campos importantes, la tasa de automatización general que indica el porcentaje de documentos procesados ​​sin intervención humana y el tiempo promedio de procesamiento por documento son primordiales. Estas métricas comerciales ayudan a cuantificar la experiencia del usuario final y las ganancias en eficiencia operativa.

Las métricas técnicas, incluidas las tasas de errores y excepciones que ocurren a lo largo del flujo de trabajo, son esenciales para realizar un seguimiento desde una perspectiva de ingeniería. Las métricas técnicas también pueden monitorear cada nivel de un extremo a otro y proporcionar una visión integral de una carga de trabajo compleja. Puede dividir las métricas en diferentes niveles, como nivel de solución, nivel de flujo de trabajo de un extremo a otro, nivel de tipo de documento, nivel de documento, nivel de reconocimiento de entidades y nivel de OCR.

Ahora que ha revisado todas las preguntas de este pilar, puede evaluar los otros pilares y desarrollar un plan de mejora para su carga de trabajo de desplazados internos.

Conclusión

En esta publicación, analizamos los indicadores comunes que puede necesitar para realizar una revisión del marco de buena arquitectura para el pilar de eficiencia del rendimiento para su carga de trabajo de IDP. Luego analizamos los principios de diseño para brindar una descripción general de alto nivel y discutir el objetivo de la solución. Si sigue estas sugerencias en referencia a la lente personalizada de buena arquitectura de IDP y revisa las preguntas por área de enfoque, ahora debería tener un plan de mejora del proyecto.

---

Acerca de los autores

mia chang es un arquitecto de soluciones especializado en aprendizaje automático para Amazon Web Services. Trabaja con clientes en EMEA y comparte las mejores prácticas para ejecutar cargas de trabajo de IA/ML en la nube con su experiencia en matemáticas aplicadas, informática e IA/ML. Se centra en cargas de trabajo específicas de PNL y comparte su experiencia como conferenciante y autora de libros. En su tiempo libre, le gusta hacer senderismo, jugar juegos de mesa y preparar café.

Brijesh Pati es arquitecto de soluciones empresariales en AWS. Su principal objetivo es ayudar a los clientes empresariales a adoptar tecnologías de nube para sus cargas de trabajo. Tiene experiencia en desarrollo de aplicaciones y arquitectura empresarial y ha trabajado con clientes de diversas industrias, como deportes, finanzas, energía y servicios profesionales. Sus intereses incluyen arquitecturas sin servidor y AI/ML.

rui cardoso es arquitecto de soluciones asociado en Amazon Web Services (AWS). Se centra en AI/ML e IoT. Trabaja con socios de AWS y los apoya en el desarrollo de soluciones en AWS. Cuando no está trabajando, le gusta andar en bicicleta, hacer senderismo y aprender cosas nuevas.

Tim Condello es arquitecto senior de soluciones especializado en inteligencia artificial (IA) y aprendizaje automático (ML) en Amazon Web Services (AWS). Su enfoque es el procesamiento del lenguaje natural y la visión por computadora. A Tim le gusta tomar las ideas de los clientes y convertirlas en soluciones escalables.

Jerez Ding es arquitecto senior de soluciones especializado en inteligencia artificial (IA) y aprendizaje automático (ML) en Amazon Web Services (AWS). Tiene una amplia experiencia en aprendizaje automático con un doctorado en informática. Trabaja principalmente con clientes del sector público en diversos desafíos comerciales relacionados con AI/ML, ayudándolos a acelerar su viaje de aprendizaje automático en la nube de AWS. Cuando no ayuda a los clientes, disfruta de las actividades al aire libre.

Suyin Wang es un arquitecto de soluciones especializado en IA/ML en AWS. Tiene formación interdisciplinaria en aprendizaje automático, servicios de información financiera y economía, junto con años de experiencia en la creación de aplicaciones de ciencia de datos y aprendizaje automático que resolvieron problemas empresariales del mundo real. Le gusta ayudar a los clientes a identificar las preguntas comerciales adecuadas y crear las soluciones de IA/ML adecuadas. En su tiempo libre le encanta cantar y cocinar.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/