Amélioration du traitement intelligent des documents AWS avec l'IA générative | Services Web Amazon

La classification, l'extraction et l'analyse des données peuvent être difficiles pour les organisations qui traitent des volumes de documents. Les solutions traditionnelles de traitement de documents sont manuelles, coûteuses, sujettes aux erreurs et difficiles à mettre à l'échelle. Traitement intelligent des documents (IDP) AWS, avec des services d'IA tels que Extrait d'Amazon, vous permet de tirer parti de la technologie d'apprentissage automatique (ML) de pointe pour traiter rapidement et avec précision les données de n'importe quel document ou image numérisé. L'intelligence artificielle générative (IA générative) complète Amazon Textract pour automatiser davantage les workflows de traitement de documents. Des fonctionnalités telles que la normalisation des champs clés et la synthèse des données d'entrée prennent en charge des cycles plus rapides pour la gestion des workflows de traitement des documents, tout en réduisant le risque d'erreurs.

L'IA générative est pilotée par de grands modèles ML appelés modèles de fondation (FM). Les FM transforment la façon dont vous pouvez résoudre les charges de travail de traitement de documents traditionnellement complexes. En plus des capacités existantes, les entreprises doivent résumer des catégories spécifiques d'informations, y compris les données de débit et de crédit à partir de documents tels que les rapports financiers et les relevés bancaires. Les FM facilitent la génération de telles informations à partir des données extraites. Pour optimiser le temps consacré à l'examen humain et améliorer la productivité des employés, les erreurs telles que les chiffres manquants dans les numéros de téléphone, les documents manquants ou les adresses sans numéro de rue peuvent être signalées de manière automatisée. Dans le scénario actuel, vous devez consacrer des ressources pour accomplir de telles tâches à l'aide d'une révision humaine et de scripts complexes. Cette approche est fastidieuse et coûteuse. Les FM peuvent aider à accomplir ces tâches plus rapidement, avec moins de ressources, et transformer différents formats d'entrée en un modèle standard qui peut être traité ultérieurement. Chez AWS, nous offrons des services tels que Socle amazonien, le moyen le plus simple de créer et de mettre à l'échelle des applications d'IA génératives avec les FM. Amazon Bedrock est un service entièrement géré qui met à disposition les FM des principales startups de l'IA et d'Amazon via une API, afin que vous puissiez trouver le modèle qui correspond le mieux à vos besoins. Nous proposons également Amazon SageMaker JumpStart, qui permet aux praticiens du ML de choisir parmi une large sélection de FM open source. Les praticiens du ML peuvent déployer des FM sur des sites dédiés Amazon Sage Maker instances à partir d'un environnement isolé du réseau et personnalisez les modèles à l'aide de SageMaker pour la formation et le déploiement des modèles.

Ricoh propose des solutions d'environnement de travail et des services de transformation numérique conçus pour aider les clients à gérer et à optimiser le flux d'informations dans leurs activités. Ashok Shenoy, vice-président du développement de solutions de portefeuille, déclare : "Nous ajoutons l'IA générative à nos solutions IDP pour aider nos clients à effectuer leur travail plus rapidement et avec plus de précision en utilisant de nouvelles fonctionnalités telles que les questions-réponses, la synthèse et les sorties standardisées. AWS nous permet de tirer parti de l'IA générative tout en gardant les données de chacun de nos clients séparées et sécurisées. »

Dans cet article, nous vous expliquons comment améliorer votre solution IDP sur AWS avec l'IA générative.

Améliorer le pipeline IDP

Dans cette section, nous examinons comment le pipeline IDP traditionnel peut être complété par des FM et passons en revue un exemple de cas d'utilisation utilisant Amazon Textract avec des FM.

AWS IDP comprend trois étapes : classification, extraction et enrichissement. Pour plus de détails sur chaque étape, reportez-vous à Traitement intelligent des documents avec les services d'AWS AI : 1ère partie et les Partie 2. Au stade de la classification, les FM peuvent désormais classer les documents sans aucune formation supplémentaire. Cela signifie que les documents peuvent être classés même si le modèle n'a jamais vu d'exemples similaires auparavant. Les FM de l'étape d'extraction normalisent les champs de date et vérifient les adresses et les numéros de téléphone, tout en garantissant un formatage cohérent. Les FM dans la phase d'enrichissement permettent l'inférence, le raisonnement logique et la synthèse. Lorsque vous utilisez des FM à chaque étape IDP, votre flux de travail sera plus rationalisé et les performances s'amélioreront. Le schéma suivant illustre le pipeline IDP avec l'IA générative.

Étape d'extraction du pipeline IDP

Lorsque les FM ne peuvent pas traiter directement les documents dans leurs formats natifs (tels que PDF, img, jpeg et tiff) en entrée, un mécanisme de conversion des documents en texte est nécessaire. Pour extraire le texte du document avant de l'envoyer aux FM, vous pouvez utiliser Amazon Textract. Avec Amazon Textract, vous pouvez extraire des lignes et des mots et les transmettre aux FM en aval. L'architecture suivante utilise Amazon Textract pour une extraction précise du texte de tout type de document avant de l'envoyer aux FM pour un traitement ultérieur.

Généralement, les documents sont composés d'informations structurées et semi-structurées. Amazon Textract peut être utilisé pour extraire du texte brut et des données à partir de tableaux et de formulaires. La relation entre les données des tableaux et des formulaires joue un rôle essentiel dans l'automatisation des processus métier. Certains types d'informations peuvent ne pas être traités par les FM. Par conséquent, nous pouvons choisir de stocker ces informations dans un magasin en aval ou de les envoyer aux FM. La figure suivante est un exemple de la façon dont Amazon Textract peut extraire des informations structurées et semi-structurées d'un document, en plus des lignes de texte qui doivent être traitées par les FM.

Utilisation des services sans serveur AWS pour résumer avec les FM

Le pipeline IDP que nous avons illustré précédemment peut être automatisé de manière transparente à l'aide des services sans serveur AWS. Les documents très peu structurés sont courants dans les grandes entreprises. Ces documents peuvent aller des documents de la Securities and Exchange Commission (SEC) dans le secteur bancaire aux documents de couverture dans le secteur de l'assurance maladie. Avec l'évolution de l'IA générative chez AWS, les personnes de ces secteurs recherchent des moyens d'obtenir un résumé de ces documents de manière automatisée et rentable. Les services sans serveur aident à fournir le mécanisme permettant de créer rapidement une solution pour IDP. Des services tels que AWS Lambda, Fonctions d'étape AWSet une Amazon Event Bridge peut aider à construire le pipeline de traitement de documents avec l'intégration des FM, comme illustré dans le diagramme suivant.

Le exemple d'application utilisé dans l'architecture précédente est guidé par les événements. Un un événement est défini comme un changement d'état qui s'est produit récemment. Par exemple, lorsqu'un objet est téléchargé vers un Service de stockage simple Amazon (Amazon S3), Amazon S3 émet un événement Object Created. Cette notification d'événement d'Amazon S3 peut déclencher une fonction Lambda ou un workflow Step Functions. Ce type d'architecture est qualifié de architecture événementielle. Dans cet article, notre exemple d'application utilise une architecture pilotée par les événements pour traiter un exemple de document de décharge médicale et résumer les détails du document. Le flux fonctionne comme suit :

1. Lorsqu'un document est chargé dans un compartiment S3, Amazon S3 déclenche un événement Object Created.
2. Le bus d'événements par défaut d'EventBridge propage l'événement à Step Functions en fonction d'une règle EventBridge.
3. Le workflow de la machine d'état traite le document, en commençant par Amazon Textract.
4. Une fonction Lambda transforme les données analysées pour l'étape suivante.
5. La machine d'état invoque a Point de terminaison SageMaker, qui héberge le FM à l'aide de l'intégration directe du SDK AWS.
6. Un bucket de destination S3 récapitulatif reçoit la réponse récapitulative collectée à partir du FM.

Nous avons utilisé l'exemple d'application avec un flan-t5 Modèle de visage étreignant pour résumer l'exemple de résumé de sortie de patient suivant à l'aide du flux de travail Step Functions.

Le workflow Step Functions utilise Intégration du SDK AWS appeler l'Amazon Textract AnalyserDocument et l'environnement d'exécution SageMaker Invoquer le point de terminaison API, comme illustré dans la figure suivante.

Ce workflow génère un objet JSON récapitulatif qui est stocké dans un compartiment de destination. L'objet JSON se présente comme suit :

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

La génération de ces résumés à l'aide d'IDP avec une mise en œuvre sans serveur à grande échelle aide les organisations à obtenir des données significatives, concises et présentables de manière rentable. Step Functions ne limite pas la méthode de traitement des documents à un seul document à la fois. C'est carte distribuée fonction peut résumer un grand nombre de documents sur un calendrier.

Le exemple d'application utilise une flan-t5 Modèle de visage étreignant; cependant, vous pouvez utiliser un point de terminaison FM de votre choix. La formation et l'exécution du modèle ne sont pas couvertes par l'exemple d'application. Suivez les instructions du référentiel GitHub pour déployer un exemple d'application. L'architecture précédente est un guide sur la façon dont vous pouvez orchestrer un flux de travail IDP à l'aide de Step Functions. Se référer au Atelier IDP sur l'IA générative pour obtenir des instructions détaillées sur la création d'une application avec les services AWS AI et les FM.

Configurer la solution

Suivez les étapes dans le README fichier pour définir l'architecture de la solution (sauf pour les terminaux SageMaker). Une fois que vous disposez de votre propre point de terminaison SageMaker, vous pouvez transmettre le nom du point de terminaison en tant que paramètre au modèle.

Nettoyer

Pour réduire les coûts, supprimez les ressources que vous avez déployées dans le cadre du didacticiel :

1. Suivez les étapes de la section de nettoyage du README fichier.
2. Supprimez tout contenu de votre compartiment S3, puis supprimez le compartiment via la console Amazon S3.
3. Supprimez tous les points de terminaison SageMaker que vous avez créés via la console SageMaker.

Conclusion

L'IA générative change la façon dont vous pouvez traiter les documents avec IDP pour en tirer des informations. Les services AWS AI tels qu'Amazon Textract ainsi que les FM AWS peuvent aider à traiter avec précision tout type de documents. Pour plus d'informations sur l'utilisation de l'IA générative sur AWS, consultez Annonce de nouveaux outils pour créer avec l'IA générative sur AWS.

---

À propos des auteurs

Sonali Sahou dirige le traitement intelligent des documents avec l'équipe des services AI/ML d'AWS. Elle est une auteure, une leader d'opinion et une technologue passionnée. Son principal domaine d'intérêt est l'IA et le ML, et elle intervient fréquemment lors de conférences et de rencontres sur l'IA et le ML dans le monde entier. Elle possède à la fois une expérience étendue et approfondie de la technologie et de l'industrie technologique, avec une expertise sectorielle dans les soins de santé, le secteur financier et l'assurance.

Ashish Lal est un responsable principal du marketing produit qui dirige le marketing produit pour les services d'IA chez AWS. Il a 9 ans d'expérience en marketing et a dirigé l'effort de marketing produit pour le traitement intelligent des documents. Il a obtenu sa maîtrise en administration des affaires à l'Université de Washington.

Mrunal Daftari est architecte senior de solutions d'entreprise chez Amazon Web Services. Il est basé à Boston, MA. Il est un passionné du cloud et très passionné par la recherche de solutions simples pour les clients et qui répondent à leurs résultats commerciaux. Il adore travailler avec les technologies cloud, fournir des solutions simples et évolutives qui génèrent des résultats commerciaux positifs, une stratégie d'adoption du cloud, concevoir des solutions innovantes et favoriser l'excellence opérationnelle.

Dhiraj Mahapatro est architecte principal de solutions spécialisées sans serveur chez AWS. Il se spécialise dans l'aide aux services financiers d'entreprise pour adopter des architectures sans serveur et axées sur les événements afin de moderniser leurs applications et d'accélérer leur rythme d'innovation. Récemment, il s'est efforcé de rapprocher les charges de travail de conteneurs et l'utilisation pratique de l'IA générative du sans serveur et de l'EDA pour les clients du secteur des services financiers.

Jacob Hauskens est un spécialiste principal de l'IA avec plus de 15 ans d'expérience en développement stratégique des affaires et en partenariats. Au cours des 7 dernières années, il a dirigé la création et la mise en œuvre de stratégies de mise sur le marché pour de nouveaux services B2B alimentés par l'IA. Récemment, il a aidé les ISV à augmenter leurs revenus en ajoutant l'IA générative aux workflows de traitement intelligent des documents.

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Automobile / VE, Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• Décalages de bloc. Modernisation de la propriété des compensations environnementales. Accéder ici.
• La source: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/