Miglioramento dell'elaborazione intelligente dei documenti di AWS con l'IA generativa | Servizi Web Amazon

La classificazione, l'estrazione e l'analisi dei dati possono essere impegnative per le organizzazioni che gestiscono volumi di documenti. Le tradizionali soluzioni di elaborazione dei documenti sono manuali, costose, soggette a errori e difficili da scalare. Elaborazione intelligente dei documenti AWS (IDP), con servizi AI come Testo Amazon, ti consente di sfruttare la tecnologia di machine learning (ML) leader del settore per elaborare in modo rapido e accurato i dati da qualsiasi documento o immagine scansionata. L'intelligenza artificiale generativa (AI generativa) integra Amazon Textract per automatizzare ulteriormente i flussi di lavoro di elaborazione dei documenti. Funzionalità come la normalizzazione dei campi chiave e il riepilogo dei dati di input supportano cicli più rapidi per la gestione dei flussi di lavoro dei processi documentali, riducendo al contempo il rischio di errori.

L'IA generativa è guidata da grandi modelli ML chiamati modelli di base (FM). Gli FM stanno trasformando il modo in cui puoi risolvere carichi di lavoro di elaborazione dei documenti tradizionalmente complessi. Oltre alle capacità esistenti, le aziende devono riepilogare categorie specifiche di informazioni, compresi i dati di debito e credito da documenti come report finanziari ed estratti conto bancari. I FM semplificano la generazione di tali approfondimenti dai dati estratti. Per ottimizzare il tempo dedicato alla revisione umana e migliorare la produttività dei dipendenti, errori come cifre mancanti nei numeri di telefono, documenti mancanti o indirizzi senza numero civico possono essere contrassegnati in modo automatico. Nello scenario attuale, è necessario dedicare risorse per eseguire tali attività utilizzando la revisione umana e script complessi. Questo approccio è noioso e costoso. Gli FM possono aiutare a completare queste attività più velocemente, con meno risorse, e trasformare diversi formati di input in un modello standard che può essere ulteriormente elaborato. In AWS, offriamo servizi come Roccia Amazzonica, il modo più semplice per creare e scalare applicazioni di IA generative con FM. Amazon Bedrock è un servizio completamente gestito che mette a disposizione FM delle principali startup AI e Amazon tramite un'API, in modo che tu possa trovare il modello più adatto alle tue esigenze. Offriamo anche JumpStart di Amazon SageMaker, che consente ai professionisti del machine learning di scegliere tra un'ampia selezione di FM open source. I professionisti ML possono distribuire FM a dedicato Amazon Sage Maker istanze da un ambiente isolato dalla rete e personalizza i modelli utilizzando SageMaker per l'addestramento e la distribuzione dei modelli.

Ricoh offre soluzioni per l'ambiente di lavoro e servizi di trasformazione digitale progettati per aiutare i clienti a gestire e ottimizzare il flusso di informazioni all'interno delle loro attività. Ashok Shenoy, VP of Portfolio Solution Development, afferma: "Stiamo aggiungendo l'IA generativa alle nostre soluzioni IDP per aiutare i nostri clienti a svolgere il proprio lavoro in modo più rapido e accurato utilizzando nuove funzionalità come domande e risposte, riepilogo e output standardizzati. AWS ci consente di sfruttare l'IA generativa mantenendo separati e protetti i dati di ciascuno dei nostri clienti."

In questo post, condividiamo come migliorare la tua soluzione IDP su AWS con l'IA generativa.

Migliorare la pipeline IDP

In questa sezione, esaminiamo come la tradizionale pipeline IDP può essere aumentata da FM e analizzeremo un caso d'uso di esempio utilizzando Amazon Textract con FM.

AWS IDP comprende tre fasi: classificazione, estrazione e arricchimento. Per maggiori dettagli su ciascuna fase, fare riferimento a Elaborazione intelligente dei documenti con i servizi di intelligenza artificiale di AWS: parte 1 ed Parte 2. Nella fase di classificazione, i FM possono ora classificare i documenti senza alcuna formazione aggiuntiva. Ciò significa che i documenti possono essere classificati anche se il modello non ha mai visto esempi simili prima. I FM nella fase di estrazione normalizzano i campi della data e verificano indirizzi e numeri di telefono, garantendo al contempo una formattazione coerente. I FM nella fase di arricchimento consentono inferenza, ragionamento logico e riepilogo. Quando utilizzi FM in ogni fase IDP, il tuo flusso di lavoro sarà più snello e le prestazioni miglioreranno. Il diagramma seguente illustra la pipeline IDP con l'IA generativa.

Fase di estrazione del gasdotto IDP

Quando i FM non possono elaborare direttamente i documenti nei loro formati nativi (come PDF, img, jpeg e tiff) come input, è necessario un meccanismo per convertire i documenti in testo. Per estrarre il testo dal documento prima di inviarlo ai FM, puoi utilizzare Amazon Textract. Con Amazon Textract, puoi estrarre righe e parole e passarle agli FM a valle. La seguente architettura utilizza Amazon Textract per l'estrazione accurata del testo da qualsiasi tipo di documento prima di inviarlo agli FM per un'ulteriore elaborazione.

Tipicamente, i documenti sono costituiti da informazioni strutturate e semi-strutturate. Amazon Textract può essere utilizzato per estrarre testo e dati non elaborati da tabelle e moduli. La relazione tra i dati nelle tabelle e nei moduli svolge un ruolo fondamentale nell'automazione dei processi aziendali. Alcuni tipi di informazioni potrebbero non essere elaborati dai FM. Di conseguenza, possiamo scegliere di archiviare queste informazioni in un negozio a valle o di inviarle agli FM. La figura seguente è un esempio di come Amazon Textract può estrarre informazioni strutturate e semi-strutturate da un documento, oltre alle righe di testo che devono essere elaborate dai FM.

Utilizzo dei servizi serverless AWS per riepilogare con FM

La pipeline IDP illustrata in precedenza può essere automatizzata senza problemi utilizzando i servizi serverless di AWS. I documenti altamente non strutturati sono comuni nelle grandi imprese. Questi documenti possono spaziare dai documenti della Securities and Exchange Commission (SEC) nel settore bancario ai documenti di copertura nel settore delle assicurazioni sanitarie. Con l'evoluzione dell'IA generativa in AWS, le persone in questi settori sono alla ricerca di modi per ottenere un riepilogo da tali documenti in modo automatizzato ed economico. I servizi serverless aiutano a fornire il meccanismo per creare rapidamente una soluzione per IDP. Servizi come AWS Lambda, Funzioni AWS Stepe Amazon EventBridge può aiutare a costruire la pipeline di elaborazione dei documenti con l'integrazione di FM, come mostrato nel diagramma seguente.

Il applicazione di esempio usato nell'architettura precedente è guidato dagli eventiÈ stato anche creato un evento è definito come un cambiamento di stato avvenuto di recente. Ad esempio, quando un oggetto viene caricato in un file Servizio di archiviazione semplice Amazon (Amazon S3), Amazon S3 emette un evento Object Created. Questa notifica di eventi da Amazon S3 può attivare una funzione Lambda o un flusso di lavoro Step Functions. Questo tipo di architettura è definito come un architettura guidata dagli eventi. In questo post, la nostra applicazione di esempio utilizza un'architettura basata sugli eventi per elaborare un documento di dimissione medica di esempio e riepilogare i dettagli del documento. Il flusso funziona come segue:

1. Quando un documento viene caricato in un bucket S3, Amazon S3 attiva un evento Object Created.
2. Il bus di eventi predefinito EventBridge propaga l'evento a Step Functions in base a una regola EventBridge.
3. Il flusso di lavoro della macchina a stati elabora il documento, a partire da Amazon Textract.
4. Una funzione Lambda trasforma i dati analizzati per il passaggio successivo.
5. La macchina statale invoca a Endpoint di SageMaker, che ospita FM utilizzando l'integrazione diretta dell'SDK AWS.
6. Un bucket di destinazione S3 di riepilogo riceve la risposta di riepilogo raccolta dall'FM.

Abbiamo utilizzato l'applicazione di esempio con a flan-t5 Modello di viso avvolgente per riassumere il seguente riepilogo delle dimissioni del paziente di esempio utilizzando il flusso di lavoro Step Functions.

Il flusso di lavoro Step Functions utilizza Integrazione SDK AWS per chiamare Amazon Textract AnalizzaDocumento e runtime di SageMaker Richiama Endpoint API, come illustrato nella figura seguente.

Questo flusso di lavoro genera un oggetto JSON di riepilogo archiviato in un bucket di destinazione. L'oggetto JSON ha il seguente aspetto:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

La generazione di questi riepiloghi utilizzando IDP con implementazione serverless su larga scala aiuta le organizzazioni a ottenere dati significativi, concisi e presentabili in modo conveniente. Step Functions non limita il metodo di elaborazione dei documenti a un documento alla volta. Suo mappa distribuita la funzione può riassumere un gran numero di documenti in base a una pianificazione.

Il applicazione di esempio utilizza un flan-t5 Modello di viso avvolgente; tuttavia, puoi utilizzare un endpoint FM di tua scelta. Il training e l'esecuzione del modello non rientrano nell'ambito dell'applicazione di esempio. Segui le istruzioni nel repository GitHub per distribuire un'applicazione di esempio. L'architettura precedente è una guida su come orchestrare un flusso di lavoro IDP utilizzando Step Functions. Fare riferimento al Workshop IDP sull'IA generativa per istruzioni dettagliate su come creare un'applicazione con servizi AWS AI e FM.

Imposta la soluzione

Segui i passaggi in README file per impostare l'architettura della soluzione (ad eccezione degli endpoint SageMaker). Una volta che hai a disposizione il tuo endpoint SageMaker, puoi passare il nome dell'endpoint come parametro al modello.

ripulire

Per risparmiare sui costi, elimina le risorse che hai distribuito come parte del tutorial:

1. Seguire i passaggi nella sezione di pulizia del file README file.
2. Elimina qualsiasi contenuto dal tuo bucket S3, quindi elimina il bucket tramite la console Amazon S3.
3. Elimina tutti gli endpoint SageMaker che potresti aver creato tramite la console SageMaker.

Conclusione

L'IA generativa sta cambiando il modo in cui puoi elaborare i documenti con IDP per ricavare insight. I servizi AWS AI come Amazon Textract insieme agli AWS FM possono aiutare a elaborare con precisione qualsiasi tipo di documento. Per ulteriori informazioni sull'utilizzo dell'IA generativa su AWS, fare riferimento a Annuncio di nuovi strumenti per creare con l'IA generativa su AWS.

---

Informazioni sugli autori

Sonali Sahu guida l'elaborazione intelligente dei documenti con il team dei servizi AI/ML in AWS. È un'autrice, leader di pensiero e appassionata tecnologa. La sua area di interesse principale è AI e ML e parla spesso a conferenze e incontri di AI e ML in tutto il mondo. Ha un'ampia e profonda esperienza nella tecnologia e nel settore tecnologico, con competenze nel settore sanitario, finanziario e assicurativo.

Ashish Lal è un Senior Product Marketing Manager che dirige il marketing di prodotto per i servizi AI in AWS. Ha 9 anni di esperienza nel marketing e ha guidato lo sforzo di marketing del prodotto per l'elaborazione intelligente dei documenti. Ha conseguito il Master in Business Administration presso l'Università di Washington.

Mrunal Daftari è un Enterprise Senior Solutions Architect presso Amazon Web Services. Ha sede a Boston, MA. È un appassionato di cloud e molto appassionato di trovare soluzioni per i clienti che siano semplici e affrontino i loro risultati aziendali. Ama lavorare con le tecnologie cloud, fornendo soluzioni semplici e scalabili che promuovono risultati aziendali positivi, strategie di adozione del cloud e progettano soluzioni innovative e promuovono l'eccellenza operativa.

Dhiraj Mahapatro è Principal Serverless Specialist Solutions Architect presso AWS. È specializzato nell'aiutare i servizi finanziari aziendali ad adottare architetture serverless e basate su eventi per modernizzare le loro applicazioni e accelerare il ritmo dell'innovazione. Di recente, ha lavorato per avvicinare i carichi di lavoro dei container e l'utilizzo pratico dell'IA generativa al serverless e all'EDA per i clienti del settore dei servizi finanziari.

Jacob Hauskens è un Principal AI Specialist con oltre 15 anni di esperienza nello sviluppo strategico del business e nelle partnership. Negli ultimi 7 anni ha guidato la creazione e l'implementazione di strategie go-to-market per nuovi servizi B2B basati sull'intelligenza artificiale. Di recente, ha aiutato gli ISV a far crescere le proprie entrate aggiungendo l'intelligenza artificiale generativa ai flussi di lavoro di elaborazione intelligente dei documenti.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Automobilistico/VE, Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• BlockOffset. Modernizzare la proprietà della compensazione ambientale. Accedi qui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/