Créez des solutions IDP bien architecturées avec une perspective personnalisée – Partie 4 : Efficacité des performances | Services Web Amazon

Lorsqu'un client dispose d'un produit prêt pour la production traitement intelligent des documents (IDP), nous recevons souvent des demandes d'examen bien architecturé. Pour créer une solution d'entreprise, les ressources des développeurs, les coûts, le temps et l'expérience utilisateur doivent être équilibrés pour atteindre le résultat commercial souhaité. Le Framework AWS Well-Architected fournit aux organisations un moyen systématique d'apprendre les meilleures pratiques opérationnelles et architecturales pour concevoir et exploiter des charges de travail fiables, sécurisées, efficaces, rentables et durables dans le cloud.

L'objectif personnalisé IDP Well-Architected suit le cadre AWS Well-Architected, examinant la solution avec six piliers avec la granularité d'un cas d'utilisation spécifique de l'IA ou de l'apprentissage automatique (ML), et fournissant des conseils pour relever les défis courants. L'objectif personnalisé bien architecturé d'IDP dans le Outil bien architecturé contient des questions concernant chacun des piliers. En répondant à ces questions, vous pouvez identifier les risques potentiels et les résoudre en suivant votre plan d'amélioration.

Cet article se concentre sur le Pilier Performance Efficacité de la charge de travail des déplacés internes. Nous approfondissons la conception et la mise en œuvre de la solution pour optimiser le débit, la latence et les performances globales. Nous commençons par discuter de certains indicateurs courants selon lesquels vous devriez effectuer un examen bien architecturé et introduisons les approches fondamentales avec les principes de conception. Ensuite, nous passons en revue chaque domaine d’intervention d’un point de vue technique.

Pour suivre cet article, vous devez être familier avec les articles précédents de cette série ( Partie 1 et les Partie 2) et les lignes directrices de Conseils pour le traitement intelligent des documents sur AWS. Ces ressources présentent les services AWS courants pour les charges de travail IDP et les flux de travail suggérés. Grâce à ces connaissances, vous êtes maintenant prêt à en savoir plus sur la production de votre charge de travail.

Indicateurs communs

Voici les indicateurs courants selon lesquels vous devriez effectuer un examen du cadre bien architecturé pour le pilier Efficience de la performance :

• Latence élevée – Lorsque la latence de la reconnaissance optique de caractères (OCR), de la reconnaissance d'entités ou du flux de travail de bout en bout prend plus de temps que votre référence précédente, cela peut indiquer que la conception de l'architecture ne couvre pas les tests de charge ou la gestion des erreurs.
• Limitation fréquente – Vous pouvez rencontrer une limitation par les services AWS comme Extrait d'Amazon en raison des limites de demande. Cela signifie que l'architecture doit être ajustée en examinant le flux de travail de l'architecture, la mise en œuvre synchrone et asynchrone, le calcul des transactions par seconde (TPS), etc.
• Difficultés de débogage – En cas d'échec du processus documentaire, vous ne disposez peut-être pas d'un moyen efficace d'identifier où se trouve l'erreur dans le flux de travail, à quel service elle est liée et pourquoi l'échec s'est produit. Cela signifie que le système manque de visibilité sur les journaux et les pannes. Envisagez de revoir la conception de la journalisation des données de télémétrie et d'ajouter une infrastructure en tant que code (IaC), telle que des pipelines de traitement de documents, à la solution.

Indicateurs	Description	Écart architectural
Latence élevée	L'OCR, la reconnaissance d'entités ou la latence du flux de travail de bout en bout dépasse la référence précédente	test de charge La gestion des erreurs
Limitation fréquente	Limitation par les services AWS comme Amazon Textract en raison des limites de requêtes	Synchronisation vs Async Calcul du TPS
Difficile à déboguer	Aucune visibilité sur l'emplacement, la cause et la raison des échecs de traitement des documents	Conception de la journalisation Pipelines de traitement de documents

Les principes de conception

Dans cet article, nous abordons trois principes de conception : la délégation de tâches d'IA complexes, les architectures IaC et les architectures sans serveur. Lorsque vous êtes confronté à un compromis entre deux implémentations, vous pouvez revoir les principes de conception avec les priorités commerciales de votre organisation afin de pouvoir prendre des décisions efficaces.

• Déléguer des tâches d'IA complexes – Vous pouvez permettre une adoption plus rapide de l'IA dans votre organisation en déchargeant le cycle de vie de développement du modèle ML vers des services gérés et en tirant parti du développement de modèles et de l'infrastructure fournis par AWS. Plutôt que de demander à vos équipes de science des données et informatiques de créer et de maintenir des modèles d'IA, vous pouvez utiliser des services d'IA pré-entraînés qui peuvent automatiser les tâches pour vous. Cela permet à vos équipes de se concentrer sur un travail à plus forte valeur ajoutée qui différencie votre entreprise, tandis que le fournisseur de cloud gère la complexité de la formation, du déploiement et de la mise à l'échelle des modèles d'IA.
• Architectures IAC – Lors de l'exécution d'une solution IDP, la solution comprend plusieurs services d'IA pour exécuter le flux de travail de bout en bout de manière chronologique. Vous pouvez concevoir la solution avec des pipelines de workflow à l'aide Fonctions d'étape AWS pour améliorer la tolérance aux pannes, le traitement parallèle, la visibilité et l’évolutivité. Ces avantages peuvent vous permettre d’optimiser l’utilisation et le coût des services d’IA sous-jacents.
• Sans serveur architectures – IDP est souvent une solution événementielle, initiée par les téléchargements des utilisateurs ou les tâches planifiées. La solution peut être étendue horizontalement en augmentant les tarifs d'appel pour les services d'IA, AWS Lambda, et d'autres services impliqués. Une approche sans serveur offre une évolutivité sans surprovisionner les ressources, évitant ainsi des dépenses inutiles. La surveillance derrière la conception sans serveur aide à détecter les problèmes de performances.

En gardant ces trois principes de conception à l’esprit, les organisations peuvent établir une base efficace pour l’adoption de l’IA/ML sur les plateformes cloud. En déléguant la complexité, en mettant en œuvre une infrastructure résiliente et en concevant à grande échelle, les organisations peuvent optimiser leurs solutions d'IA/ML.

Dans les sections suivantes, nous discutons de la manière de relever les défis courants en ce qui concerne les domaines d'intervention technique.

Zones de concentration

Lors de l'examen de l'efficacité des performances, nous examinons la solution dans cinq domaines prioritaires : la conception de l'architecture, la gestion des données, la gestion des erreurs, la surveillance du système et la surveillance des modèles. Avec ces domaines d'intervention, vous pouvez effectuer un examen de l'architecture sous différents aspects pour améliorer l'efficacité, l'observabilité et l'évolutivité des trois composants d'un projet, de données, d'un modèle ou d'un objectif commercial d'IA/ML.

Conception d'architecture

En parcourant les questions de ce domaine d'intervention, vous examinerez le flux de travail existant pour voir s'il respecte les meilleures pratiques. Le flux de travail suggéré fournit un modèle commun que les organisations peuvent suivre et évite les coûts d'essais et d'erreurs.

Basé sur architecture proposée, le flux de travail suit les six étapes de capture, de classification, d'extraction, d'enrichissement, d'examen et de validation des données, ainsi que de consommation. Parmi les indicateurs courants évoqués précédemment, deux sur trois proviennent de problèmes de conception architecturale. En effet, lorsque vous démarrez un projet avec une approche improvisée, vous pouvez rencontrer des contraintes lorsque vous essayez d'aligner votre infrastructure sur votre solution. Avec la révision de la conception architecturale, la conception improvisée peut être découplée en étapes, et chacune d'entre elles peut être réévaluée et réorganisée.

Vous pouvez économiser du temps, de l'argent et du travail en mettant en œuvre classifications dans votre flux de travail, et les documents sont dirigés vers des applications et des API en aval en fonction du type de document. Cela améliore l'observabilité du processus documentaire et rend la solution simple à maintenir lors de l'ajout de nouveaux types de documents.

Gestion de données

Les performances d'une solution IDP incluent la latence, le débit et l'expérience utilisateur de bout en bout. La manière de gérer le document et les informations extraites dans la solution est la clé de la cohérence, de la sécurité et de la confidentialité des données. De plus, la solution doit gérer des volumes de données élevés avec une faible latence et un débit élevé.

En parcourant les questions de ce domaine d’intervention, vous passerez en revue le flux de travail des documents. Cela inclut l'ingestion de données, le prétraitement des données, la conversion de documents en types de documents acceptés par Amazon Textract, la gestion des flux de documents entrants, le routage des documents par type et la mise en œuvre de politiques de contrôle d'accès et de conservation.

Par exemple, en stockant un document dans les différentes phases de traitement, vous pouvez inverser le traitement à l'étape précédente si nécessaire. Le cycle de vie des données garantit la fiabilité et la conformité de la charge de travail. En utilisant le Calculateur de quotas Amazon Text Service (voir la capture d'écran suivante), fonctionnalités asynchrones sur Amazon Textract, Lambda, Step Functions, Service Amazon Simple Queue (Amazon SQS), et Service de notification simple d'Amazon (Amazon SNS), les organisations peuvent automatiser et faire évoluer les tâches de traitement des documents pour répondre à des besoins spécifiques en matière de charge de travail.

La gestion des erreurs

Une gestion robuste des erreurs est essentielle pour suivre l'état du processus documentaire et donne à l'équipe opérationnelle le temps de réagir à tout comportement anormal, tel que des volumes de documents inattendus, de nouveaux types de documents ou d'autres problèmes imprévus provenant de services tiers. Du point de vue de l'organisation, une gestion appropriée des erreurs peut améliorer la disponibilité et les performances du système.

Vous pouvez diviser la gestion des erreurs en deux aspects clés :

• Configuration du service AWS – Vous pouvez implémenter une logique de nouvelle tentative avec une interruption exponentielle pour gérer les erreurs transitoires telles que la limitation. Lorsque vous démarrez le traitement en appelant une opération Start* asynchrone, telle que StartDocumentTextDetectionStartDocumentTextDetection, vous pouvez spécifier que l'état d'achèvement de la demande soit publié dans une rubrique SNS dans le Canal de notification configuration. Cela vous permet d'éviter les limites de limitation des appels d'API en raison de l'interrogation des API Get*. Vous pouvez également implémenter des alarmes dans Amazon Cloud Watch et se déclenche pour alerter lorsque des pics d'erreurs inhabituels se produisent.
• Amélioration du rapport d'erreur – Cela comprend des messages détaillés avec un niveau de détail approprié par type d'erreur et des descriptions des réponses de traitement des erreurs. Avec une configuration appropriée de gestion des erreurs, les systèmes peuvent être plus résilients en mettant en œuvre des modèles courants tels que de nouvelles tentatives automatiques d'erreurs intermittentes, l'utilisation de disjoncteurs pour gérer les pannes en cascade et la surveillance des services pour obtenir un aperçu des erreurs. Cela permet à la solution d'équilibrer les limites de tentatives et d'éviter les boucles de circuit interminables.

Surveillance du modèle

Les performances des modèles ML sont surveillées pour détecter toute dégradation au fil du temps. À mesure que les données et les conditions du système changent, les mesures de performances et d'efficacité du modèle sont suivies pour garantir que le recyclage est effectué en cas de besoin.

Le modèle ML dans un flux de travail IDP peut être un modèle OCR, un modèle de reconnaissance d'entité ou un modèle de classification. Le modèle peut provenir d'un service AWS AI, d'un modèle open source sur Amazon Sage Maker, Socle amazonien, ou d'autres services tiers. Vous devez comprendre les limites et les cas d'utilisation de chaque service afin d'identifier les moyens d'améliorer le modèle grâce aux commentaires humains et d'améliorer les performances du service au fil du temps.

Une approche courante consiste à utiliser les journaux de service pour comprendre différents niveaux de précision. Ces journaux peuvent aider l'équipe de science des données à identifier et à comprendre tout besoin de recyclage du modèle. Votre organisation peut choisir le mécanisme de recyclage : il peut être trimestriel, mensuel ou basé sur des mesures scientifiques, par exemple lorsque la précision tombe en dessous d'un seuil donné.

L'objectif de la surveillance n'est pas seulement de détecter les problèmes, mais aussi de boucler la boucle pour affiner continuellement les modèles et maintenir la performance de la solution IDP à mesure que l'environnement externe évolue.

Surveillance du système

Après avoir déployé la solution IDP en production, il est important de surveiller les indicateurs clés et les performances d'automatisation pour identifier les domaines à améliorer. Les mesures doivent inclure des mesures commerciales et des mesures techniques. Cela permet à l'entreprise d'évaluer les performances du système, d'identifier les problèmes et d'apporter des améliorations aux modèles, aux règles et aux flux de travail au fil du temps afin d'augmenter le taux d'automatisation et de comprendre l'impact opérationnel.

Du côté commercial, des mesures telles que la précision de l'extraction pour les champs importants, le taux d'automatisation global indiquant le pourcentage de documents traités sans intervention humaine et le temps de traitement moyen par document sont primordiales. Ces mesures commerciales aident à quantifier l’expérience de l’utilisateur final et les gains d’efficacité opérationnelle.

Les mesures techniques, notamment les taux d'erreurs et d'exceptions survenant tout au long du flux de travail, sont essentielles à suivre du point de vue de l'ingénierie. Les mesures techniques peuvent également surveiller chaque niveau de bout en bout et fournir une vue complète d’une charge de travail complexe. Vous pouvez diviser les métriques en différents niveaux, tels que le niveau de la solution, le niveau du flux de travail de bout en bout, le niveau du type de document, le niveau du document, le niveau de reconnaissance d'entité et le niveau OCR.

Maintenant que vous avez examiné toutes les questions de ce pilier, vous pouvez évaluer les autres piliers et élaborer un plan d'amélioration pour votre charge de travail IDP.

Conclusion

Dans cet article, nous avons discuté des indicateurs courants dont vous pourriez avoir besoin pour effectuer un examen du cadre bien architecturé pour le pilier Efficacité des performances pour votre charge de travail IDP. Nous avons ensuite parcouru les principes de conception pour fournir une vue d'ensemble de haut niveau et discuter de l'objectif de la solution. En suivant ces suggestions en référence à l'objectif personnalisé IDP bien architecturé et en examinant les questions par domaine d'intervention, vous devriez maintenant disposer d'un plan d'amélioration du projet.

---

À propos des auteurs

Mia Chang est un architecte de solutions spécialisé en ML pour Amazon Web Services. Elle travaille avec des clients de la région EMEA et partage les meilleures pratiques pour exécuter des charges de travail IA/ML sur le cloud grâce à son expérience en mathématiques appliquées, en informatique et en IA/ML. Elle se concentre sur les charges de travail spécifiques à la PNL et partage son expérience en tant que conférencière et auteure de livres. Pendant son temps libre, elle aime faire de la randonnée, jouer à des jeux de société et préparer du café.

Brijesh Pati est un architecte de solutions d'entreprise chez AWS. Son objectif principal est d'aider les entreprises clientes à adopter les technologies cloud pour leurs charges de travail. Il possède une expérience en développement d'applications et en architecture d'entreprise et a travaillé avec des clients de divers secteurs tels que le sport, la finance, l'énergie et les services professionnels. Ses intérêts incluent les architectures sans serveur et l'IA/ML.

Rui Cardoso est un architecte de solutions partenaires chez Amazon Web Services (AWS). Il se concentre sur l'IA/ML et l'IoT. Il travaille avec les partenaires AWS et les accompagne dans le développement de solutions dans AWS. Lorsqu'il ne travaille pas, il aime faire du vélo, de la randonnée et apprendre de nouvelles choses.

Tim Condello est un architecte senior de solutions spécialisées en intelligence artificielle (IA) et en apprentissage automatique (ML) chez Amazon Web Services (AWS). Son objectif est le traitement du langage naturel et la vision par ordinateur. Tim aime prendre les idées des clients et les transformer en solutions évolutives.

Xérès Ding est un architecte senior de solutions spécialisées en intelligence artificielle (IA) et en apprentissage automatique (ML) chez Amazon Web Services (AWS). Elle possède une vaste expérience en apprentissage automatique avec un doctorat en informatique. Elle travaille principalement avec des clients du secteur public sur divers défis commerciaux liés à l'IA/ML, les aidant à accélérer leur parcours d'apprentissage automatique sur le cloud AWS. Lorsqu’elle n’aide pas les clients, elle aime les activités de plein air.

Suyin Wang est un architecte de solutions spécialisé en IA/ML chez AWS. Elle possède une formation interdisciplinaire en apprentissage automatique, en services d'information financière et en économie, ainsi que des années d'expérience dans la création d'applications de science des données et d'apprentissage automatique qui ont résolu des problèmes commerciaux réels. Elle aime aider les clients à identifier les bonnes questions commerciales et à créer les bonnes solutions IA/ML. Dans ses temps libres, elle aime chanter et cuisiner.

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/