Verbetering van AWS intelligente documentverwerking met generatieve AI | Amazon-webservices

Het classificeren, extraheren en analyseren van gegevens kan een uitdaging zijn voor organisaties die te maken hebben met grote hoeveelheden documenten. Traditionele oplossingen voor documentverwerking zijn handmatig, duur, foutgevoelig en moeilijk schaalbaar. AWS intelligente documentverwerking (IDP), met AI-services zoals Amazon T-extract, stelt u in staat om te profiteren van toonaangevende machine learning (ML)-technologie om gegevens van elk gescand document of afbeelding snel en nauwkeurig te verwerken. Generatieve kunstmatige intelligentie (generatieve AI) vormt een aanvulling op Amazon Textract om documentverwerkingsworkflows verder te automatiseren. Functies zoals het normaliseren van sleutelvelden en het samenvatten van invoergegevens ondersteunen snellere cycli voor het beheren van documentprocesworkflows, terwijl de kans op fouten wordt verkleind.

Generatieve AI wordt aangestuurd door grote ML-modellen die foundation models (FM's) worden genoemd. FM's transformeren de manier waarop u traditioneel complexe documentverwerkingstaken kunt oplossen. Naast de bestaande mogelijkheden moeten bedrijven specifieke informatiecategorieën samenvatten, waaronder debet- en creditgegevens van documenten zoals financiële rapporten en bankafschriften. FM's maken het gemakkelijker om dergelijke inzichten te genereren uit de geëxtraheerde gegevens. Om de tijd besteed aan menselijke beoordeling te optimaliseren en de productiviteit van werknemers te verbeteren, kunnen fouten zoals ontbrekende cijfers in telefoonnummers, ontbrekende documenten of adressen zonder huisnummers op een geautomatiseerde manier worden gemarkeerd. In het huidige scenario moet u middelen vrijmaken om dergelijke taken uit te voeren met behulp van menselijke beoordeling en complexe scripts. Deze aanpak is omslachtig en duur. FM's kunnen helpen deze taken sneller en met minder middelen uit te voeren en verschillende invoerformaten om te zetten in een standaardsjabloon dat verder kan worden verwerkt. Bij AWS bieden we diensten aan zoals Amazonebodem, de eenvoudigste manier om generatieve AI-applicaties te bouwen en te schalen met FM's. Amazon Bedrock is een volledig beheerde service die FM's van toonaangevende AI-startups en Amazon beschikbaar maakt via een API, zodat je het model kunt vinden dat het beste bij je past. Wij bieden ook Amazon SageMaker JumpStart, waarmee ML-beoefenaars kunnen kiezen uit een brede selectie open-source FM's. ML-beoefenaars kunnen FM's inzetten voor dedicated Amazon Sage Maker instances uit een netwerkgeïsoleerde omgeving en pas modellen aan met SageMaker voor modeltraining en -implementatie.

Ricoh biedt werkplekoplossingen en digitale transformatiediensten die zijn ontworpen om klanten te helpen bij het beheren en optimaliseren van de informatiestroom binnen hun bedrijf. Ashok Shenoy, VP van Portfolio Solution Development, zegt: “We voegen generatieve AI toe aan onze IDP-oplossingen om onze klanten te helpen hun werk sneller en nauwkeuriger te doen door gebruik te maken van nieuwe mogelijkheden zoals Q&A, samenvatting en gestandaardiseerde output. Met AWS kunnen we profiteren van generatieve AI, terwijl we de gegevens van al onze klanten gescheiden en veilig houden.”

In dit bericht delen we hoe u uw IDP-oplossing op AWS kunt verbeteren met generatieve AI.

Verbetering van de IDP-pijplijn

In deze sectie bekijken we hoe de traditionele IDP-pijplijn kan worden uitgebreid met FM's en lopen we door een voorbeeld van een use case met Amazon Textract met FM's.

AWS IDP bestaat uit drie fasen: classificatie, extractie en verrijking. Voor meer informatie over elke fase, zie Intelligente documentverwerking met AWS AI-services: deel 1 en Deel 2. In de classificatiefase kunnen FM's nu documenten classificeren zonder extra training. Dit betekent dat documenten kunnen worden gecategoriseerd, zelfs als het model nog niet eerder soortgelijke voorbeelden heeft gezien. FM's in de extractiefase normaliseren datumvelden en verifiëren adressen en telefoonnummers, terwijl ze zorgen voor een consistente opmaak. FM's in de verrijkingsfase maken gevolgtrekking, logisch redeneren en samenvatten mogelijk. Wanneer u FM's in elke IDP-fase gebruikt, wordt uw workflow meer gestroomlijnd en verbeteren de prestaties. Het volgende diagram illustreert de IDP-pijplijn met generatieve AI.

Extractiefase van de IDP-pijplijn

Wanneer FM's documenten in hun eigen formaten (zoals pdf's, img, jpeg en tiff) niet rechtstreeks als invoer kunnen verwerken, is een mechanisme nodig om documenten naar tekst te converteren. Om de tekst uit het document te extraheren voordat u het naar de FM's verzendt, kunt u Amazon Textract gebruiken. Met Amazon Textract kun je regels en woorden extraheren en doorgeven aan stroomafwaartse FM's. De volgende architectuur gebruikt Amazon Textract voor nauwkeurige tekstextractie uit elk type document voordat het naar FM's wordt verzonden voor verdere verwerking.

Meestal bestaan ​​documenten uit gestructureerde en semi-gestructureerde informatie. Amazon Textract kan worden gebruikt om onbewerkte tekst en gegevens uit tabellen en formulieren te extraheren. De relatie tussen de gegevens in tabellen en formulieren speelt een cruciale rol bij het automatiseren van bedrijfsprocessen. Bepaalde soorten informatie mogen niet door FM's worden verwerkt. Als gevolg hiervan kunnen we ervoor kiezen om deze informatie op te slaan in een downstream-winkel of naar FM's te sturen. De volgende afbeelding is een voorbeeld van hoe Amazon Textract gestructureerde en semi-gestructureerde informatie uit een document kan halen, naast tekstregels die door FM's moeten worden verwerkt.

AWS-serverloze services gebruiken om samen te vatten met FM's

De IDP-pijplijn die we eerder hebben geïllustreerd, kan naadloos worden geautomatiseerd met behulp van AWS-serverloze services. Zeer ongestructureerde documenten komen veel voor in grote ondernemingen. Deze documenten kunnen variëren van documenten van de Securities and Exchange Commission (SEC) in de banksector tot dekkingsdocumenten in de zorgverzekeringssector. Met de evolutie van generatieve AI bij AWS zoeken mensen in deze sectoren naar manieren om op een geautomatiseerde en kosteneffectieve manier een samenvatting van die documenten te krijgen. Serverloze services bieden het mechanisme om snel een oplossing voor IDP te bouwen. Diensten zoals AWS Lambda, AWS Stap Functies en Amazon EventBridge kan helpen bij het bouwen van de documentverwerkingspijplijn met integratie van FM's, zoals weergegeven in het volgende diagram.

De voorbeeld applicatie gebruikt in de voorgaande architectuur is gedreven door gebeurtenissen. Een gebeurtenis wordt gedefinieerd als een toestandsverandering die recent heeft plaatsgevonden. Wanneer een object bijvoorbeeld wordt geüpload naar een Amazon eenvoudige opslagservice (Amazon S3) bucket, zendt Amazon S3 een Object Created-gebeurtenis uit. Deze gebeurtenismelding van Amazon S3 kan een Lambda-functie of een Step Functions-workflow activeren. Dit type architectuur wordt aangeduid als een gebeurtenisgestuurde architectuur. In dit bericht gebruikt onze voorbeeldtoepassing een gebeurtenisgestuurde architectuur om een ​​voorbeeld van een medisch ontslagdocument te verwerken en de details van het document samen te vatten. De stroom werkt als volgt:

1. Wanneer een document wordt geüpload naar een S3-bucket, activeert Amazon S3 een Object Created-gebeurtenis.
2. De standaardgebeurtenisbus van EventBridge verspreidt de gebeurtenis naar Step Functions op basis van een EventBridge-regel.
3. De werkstroom van de staatsmachine verwerkt het document, te beginnen met Amazon Textract.
4. Een Lambda-functie transformeert de geanalyseerde gegevens voor de volgende stap.
5. De staatsmachine oproept a SageMaker-eindpunt, die de FM host met behulp van directe AWS SDK-integratie.
6. Een samenvattende S3-bestemmingsbucket ontvangt de samenvattende respons die is verzameld van de FM.

We gebruikten de voorbeeldtoepassing met een flan-t5 Knuffelend gezichtsmodel om het volgende voorbeeld van een samenvatting van het ontslag van een patiënt samen te vatten met behulp van de Step Functions-workflow.

De werkstroom Step Functions gebruikt AWS SDK-integratie om de Amazon Textract te bellen AnalyseDocument en SageMaker-runtime Eindpunt aanroepen API's, zoals weergegeven in de volgende afbeelding.

Deze werkstroom resulteert in een samenvattend JSON-object dat wordt opgeslagen in een bestemmingsbucket. Het JSON-object ziet er als volgt uit:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

Door deze samenvattingen te genereren met behulp van IDP met serverloze implementatie op schaal, kunnen organisaties op een kosteneffectieve manier zinvolle, beknopte en presenteerbare gegevens verkrijgen. Step Functions beperkt de methode voor het verwerken van documenten niet tot één document tegelijk. Zijn verdeelde kaart functie kan grote aantallen documenten in een schema samenvatten.

De voorbeeld applicatie gebruikt een flan-t5 Knuffelend gezichtsmodel; u kunt echter een FM-eindpunt naar keuze gebruiken. Het trainen en uitvoeren van het model valt buiten het bereik van de voorbeeldtoepassing. Volg de instructies in de GitHub-opslagplaats om een ​​voorbeeldtoepassing te implementeren. De voorgaande architectuur is een leidraad voor hoe u een IDP-workflow kunt orkestreren met behulp van Step Functions. Verwijs naar de IDP Generatieve AI-workshop voor gedetailleerde instructies over het bouwen van een applicatie met AWS AI-services en FM's.

Stel de oplossing in

Volg de stappen in het README bestand om de oplossingsarchitectuur in te stellen (behalve de SageMaker-eindpunten). Nadat u uw eigen SageMaker-eindpunt beschikbaar heeft, kunt u de naam van het eindpunt als parameter doorgeven aan de sjabloon.

Opruimen

Om kosten te besparen, verwijdert u de resources die u als onderdeel van de zelfstudie hebt geïmplementeerd:

1. Volg de stappen in het opruimgedeelte van het README bestand.
2. Verwijder alle inhoud uit uw S3-bucket en verwijder vervolgens de bucket via de Amazon S3-console.
3. Verwijder alle SageMaker-eindpunten die u mogelijk via de SageMaker-console hebt gemaakt.

Conclusie

Generatieve AI verandert de manier waarop u documenten met IDP kunt verwerken om inzichten te verkrijgen. AWS AI-services zoals Amazon Textract en AWS FM's kunnen helpen bij het nauwkeurig verwerken van elk type document. Voor meer informatie over het werken met generatieve AI op AWS, zie Aankondiging van nieuwe tools voor bouwen met generatieve AI op AWS.

---

Over de auteurs

Sonali Sahu leidt intelligente documentverwerking met het AI/ML-serviceteam in AWS. Ze is auteur, opinieleider en gepassioneerd technoloog. Haar belangrijkste aandachtsgebied is AI en ML, en ze spreekt regelmatig op AI- en ML-conferenties en -bijeenkomsten over de hele wereld. Ze heeft zowel brede als diepgaande ervaring in technologie en de technologie-industrie, met branche-expertise in de gezondheidszorg, de financiële sector en verzekeringen.

Asish Lal is een Senior Product Marketing Manager die leiding geeft aan productmarketing voor AI-services bij AWS. Hij heeft 9 jaar marketingervaring en heeft leiding gegeven aan de productmarketinginspanningen voor intelligente documentverwerking. Hij behaalde zijn Master in Business Administration aan de Universiteit van Washington.

Mijnheer Daftari is een Enterprise Senior Solutions Architect bij Amazon Web Services. Hij is gevestigd in Boston, MA. Hij is een cloud-enthousiasteling en zeer gepassioneerd over het vinden van oplossingen voor klanten die eenvoudig zijn en hun bedrijfsresultaten aanpakken. Hij werkt graag met cloudtechnologieën, biedt eenvoudige, schaalbare oplossingen die positieve bedrijfsresultaten, cloudadoptiestrategieën en ontwerpt innovatieve oplossingen en stimuleert operationele uitmuntendheid.

Dhiraj Mahapatro is een Principal Serverless Specialist Solutions Architect bij AWS. Hij is gespecialiseerd in het helpen van financiële dienstverleners bij het adopteren van serverloze en gebeurtenisgestuurde architecturen om hun applicaties te moderniseren en hun innovatietempo te versnellen. De laatste tijd heeft hij gewerkt aan het dichter bij serverloze en EDA brengen van containerworkloads en praktisch gebruik van generatieve AI voor klanten in de financiële dienstverlening.

Jacob Hauskens is een Principal AI-specialist met meer dan 15 jaar ervaring in strategische bedrijfsontwikkeling en partnerschappen. De afgelopen 7 jaar heeft hij leiding gegeven aan de creatie en implementatie van go-to-market-strategieën voor nieuwe AI-aangedreven B2B-diensten. Onlangs heeft hij ISV's geholpen hun omzet te vergroten door generatieve AI toe te voegen aan intelligente documentverwerkingsworkflows.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/