Le organizzazioni nel settore dei prestiti e dei mutui elaborano migliaia di documenti ogni giorno. Dalla richiesta di una nuova ipoteca al rifinanziamento del mutuo, questi processi aziendali coinvolgono centinaia di documenti per richiesta. Oggi l'automazione disponibile per elaborare ed estrarre informazioni da tutti i documenti è limitata, soprattutto a causa dei diversi formati e layout. A causa dell'elevato volume di applicazioni, acquisire informazioni strategiche e ottenere informazioni chiave dai contenuti è un processo dispendioso in termini di tempo, altamente manuale, soggetto a errori e costoso. Gli strumenti legacy di riconoscimento ottico dei caratteri (OCR) hanno costi proibitivi, sono soggetti a errori, richiedono molte configurazioni e sono difficili da scalare. L'elaborazione intelligente dei documenti (IDP) con i servizi di intelligenza artificiale (AI) di AWS aiuta ad automatizzare e accelerare l'elaborazione delle richieste di mutuo con obiettivi di decisioni più rapide e di qualità, riducendo al contempo i costi complessivi.
In questo post dimostriamo come utilizzare le funzionalità di machine learning (ML). Testo Amazone Amazon Comprehend per elaborare i documenti in una nuova richiesta di mutuo, senza la necessità di competenze di ML. Esploriamo le varie fasi dell'IDP, come mostrato nella figura seguente, e il modo in cui si collegano ai passaggi coinvolti nel processo di richiesta di un mutuo, come presentazione della domanda, sottoscrizione, verifica e chiusura.
Sebbene ogni richiesta di mutuo possa essere unica, abbiamo preso in considerazione alcuni dei documenti più comuni inclusi in una richiesta di mutuo, come il modulo di richiesta di prestito residenziale unificato (URLA-1003), i moduli 1099 e la nota di mutuo.
Panoramica della soluzione
Amazon Textract è un servizio ML che estrae automaticamente testo, grafia e dati da documenti scansionati utilizzando modelli ML pre-addestrati. Amazon Comprehend è un servizio di elaborazione del linguaggio naturale (NLP) che utilizza il machine learning per scoprire informazioni e connessioni preziose nel testo e può eseguire la classificazione di documenti, il riconoscimento delle entità dei nomi (NER), la modellazione degli argomenti e altro ancora.
La figura seguente mostra le fasi dell'IDP in relazione alle fasi del processo di richiesta di un mutuo.
All'inizio del processo, i documenti vengono caricati su un file Servizio di archiviazione semplice Amazon (Amazon S3) secchio. Ciò avvia un processo di classificazione dei documenti per classificare i documenti in categorie conosciute. Dopo che i documenti sono stati classificati, il passaggio successivo è estrarre da essi le informazioni chiave. Eseguiamo quindi l'arricchimento per documenti selezionati, che possono essere cose come la redazione di informazioni di identificazione personale (PII), il tagging dei documenti, gli aggiornamenti dei metadati e altro ancora. Il passo successivo prevede la validazione dei dati estratti nelle fasi precedenti per garantire la completezza della richiesta di mutuo. La convalida può essere eseguita tramite regole di convalida aziendale e regole di convalida tra documenti. I punteggi di confidenza delle informazioni estratte possono anche essere confrontati con una soglia prestabilita e inoltrati automaticamente a un revisore umano AI aumentata di Amazon (Amazon A2I) se la soglia non viene raggiunta. Nella fase finale del processo, i dati estratti e convalidati vengono inviati ai sistemi a valle per ulteriore archiviazione, elaborazione o analisi dei dati.
Nelle sezioni seguenti, discutiamo in dettaglio le fasi dell'IDP in quanto si riferisce alle fasi di una richiesta di mutuo. Esaminiamo le fasi dell'IDP e discutiamo le tipologie di documenti; come archiviamo, classifichiamo ed estraiamo le informazioni e come arricchiamo i documenti utilizzando l'apprendimento automatico.
Archiviazione dei documenti
Amazon S3 è un servizio di storage di oggetti che offre scalabilità, disponibilità dei dati, sicurezza e prestazioni leader del settore. Utilizziamo Amazon S3 per archiviare in modo sicuro i documenti del mutuo durante e dopo il processo di richiesta del mutuo. UN pacchetto di richiesta di mutuo può contenere diversi tipi di moduli e documenti, come URLA-1003, 1099-INT/DIV/RR/MISC, W2, buste paga, estratti conto bancari, estratti conto di carte di credito e altro. Tali documenti vengono presentati dal richiedente in fase di richiesta del mutuo. Senza esaminarli manualmente, potrebbe non essere immediatamente chiaro quali documenti sono inclusi nel pacchetto. Questo processo manuale può richiedere molto tempo ed essere costoso. Nella fase successiva, automatizziamo questo processo utilizzando Amazon Comprehend per classificare i documenti nelle rispettive categorie con elevata precisione.
Classificazione dei documenti
La classificazione dei documenti è un metodo mediante il quale è possibile classificare ed etichettare un gran numero di documenti non identificati. Eseguiamo questa classificazione dei documenti utilizzando Amazon Comprehend classificatore personalizzato. Un classificatore personalizzato è un modello ML che può essere addestrato con una serie di documenti etichettati per riconoscere le classi che ti interessano. Dopo che il modello è stato addestrato e distribuito dietro un endpoint ospitato, possiamo utilizzare il classificatore per determinare la categoria (o classe) a cui appartiene un particolare documento. In questo caso, addestriamo un classificatore personalizzato modalità multi-classe, che può essere eseguita con un file CSV o un file manifest aumentato. Ai fini di questa dimostrazione, utilizziamo un file CSV per addestrare il classificatore. Fare riferimento al ns Repository GitHub per l'esempio di codice completo. Di seguito è riportata una panoramica di alto livello dei passaggi coinvolti:
- Estrai testo semplice con codifica UTF-8 da file immagine o PDF utilizzando Amazon Textract RilevaDocumentoTesto API.
- Preparare i dati di training per addestrare un classificatore personalizzato in formato CSV.
- Addestra un classificatore personalizzato utilizzando il file CSV.
- Distribuisci il modello addestrato con un endpoint per la classificazione dei documenti in tempo reale o utilizza la modalità multiclasse, che supporta operazioni sia in tempo reale che asincrone.
Il diagramma seguente illustra questo processo.
Puoi automatizzare la classificazione dei documenti utilizzando l'endpoint distribuito per identificare e classificare i documenti. Questa automatizzazione è utile per verificare se nella busta del mutuo sono presenti tutti i documenti richiesti. Un documento mancante può essere identificato rapidamente, senza intervento manuale, e notificato al richiedente molto prima nel processo.
Estrazione documenti
In questa fase estraiamo i dati dal documento utilizzando Amazon Textract e Amazon Comprehend. Per i documenti strutturati e semistrutturati contenenti moduli e tabelle utilizziamo Amazon Textract AnalizzaDocumento API. Per documenti specializzati come i documenti d'identità, Amazon Textract fornisce il file Analizza ID API. Alcuni documenti possono contenere anche testo denso e potrebbe essere necessario estrarne termini chiave specifici dell'azienda, noti anche come entità. Noi usiamo il riconoscimento di entità personalizzate capacità di Amazon Comprehend di addestrare un riconoscitore di entità personalizzato, in grado di identificare tali entità dal testo denso.
Nelle sezioni seguenti, esamineremo i documenti di esempio presenti in un pacchetto di richiesta di mutuo e discuteremo i metodi utilizzati per estrarre informazioni da essi. Per ciascuno di questi esempi sono inclusi uno snippet di codice e un breve output di esempio.
Estrai i dati dalla richiesta di prestito residenziale unificato URLA-1003
Una richiesta di prestito residenziale unificato (URLA-1003) è un modulo di richiesta di prestito ipotecario standard del settore. È un documento abbastanza complesso che contiene informazioni sul richiedente del mutuo, sul tipo di proprietà acquistata, sull'importo finanziato e altri dettagli sulla natura dell'acquisto della proprietà. Quello che segue è un URLA-1003 di esempio e la nostra intenzione è estrarre informazioni da questo documento strutturato. Poiché si tratta di un modulo, utilizziamo l'API AnalyseDocument con un tipo di funzionalità di Forma.
Il tipo di funzionalità FORM estrae le informazioni del modulo dal documento, che viene quindi restituito in formato coppia chiave-valore. Il seguente frammento di codice utilizza il file amazon-textract-textractor
Libreria Python per estrarre informazioni dai moduli con poche righe di codice. Il metodo della convenienza call_textract()
chiama il AnalyzeDocument
API internamente e i parametri passati al metodo astraggono alcune delle configurazioni necessarie all'API per eseguire l'attività di estrazione. Document
è un metodo pratico utilizzato per analizzare la risposta JSON dall'API. Fornisce un'astrazione di alto livello e rende l'output dell'API iterabile e da cui è facile ottenere informazioni. Per ulteriori informazioni, fare riferimento a Analizzatore di risposta del testo ed Texttractor.
Tieni presente che l'output contiene valori per caselle di controllo o pulsanti di opzione presenti nel modulo. Ad esempio, nel documento URLA-1003 di esempio, il file Acquista è stata selezionata l'opzione L'output corrispondente per il pulsante di opzione viene estratto come "Purchase
" (tasto) e "SELECTED
" (valore), indicando che il pulsante di opzione è stato selezionato.
Estrai dati da 1099 moduli
Un pacchetto di richiesta di mutuo può contenere anche una serie di documenti IRS, come 1099-DIV, 1099-INT, 1099-MISC e 1099-R. Questi documenti mostrano i guadagni del richiedente tramite interessi, dividendi e altre componenti varie del reddito utili durante la sottoscrizione per prendere decisioni. L'immagine seguente mostra una raccolta di questi documenti, che sono simili nella struttura. Tuttavia, in alcuni casi, i documenti contengono informazioni sul modulo (contrassegnate utilizzando i riquadri di delimitazione rossi e verdi) nonché informazioni tabellari (contrassegnate dai riquadri di delimitazione gialli).
Per estrarre le informazioni dal modulo, utilizziamo un codice simile a quello spiegato in precedenza con il file AnalyzeDocument
API. Passiamo una funzionalità aggiuntiva di TABELLA all'API per indicare che abbiamo bisogno sia dei dati del modulo che della tabella estratti dal documento. Il seguente frammento di codice utilizza il file AnalyzeDocument
API con funzionalità FORM e TABELLE sul documento 1099-INT:
Poiché il documento contiene una singola tabella, l'output del codice è il seguente:
Le informazioni della tabella contengono la posizione della cella (riga 0, colonna 0 e così via) e il testo corrispondente all'interno di ciascuna cella. Utilizziamo un metodo pratico in grado di trasformare i dati di questa tabella in una visualizzazione griglia di facile lettura:
Otteniamo il seguente output:
Per ottenere l'output in un formato CSV di facile utilizzo, il tipo di formato è Pretty_Print_Table_Format.csv
può essere passato nel table_format
parametro. Sono supportati anche altri formati come TSV (valori separati da tabulazione), HTML e Latex. Per ulteriori informazioni, fare riferimento a Texttract-PrettyPrinter.
Estrarre i dati da una nota ipotecaria
Un pacchetto di richiesta di mutuo può contenere documenti non strutturati con testo denso. Alcuni esempi di documenti di testo denso sono contratti e accordi. Una nota di mutuo è un accordo tra un richiedente di mutuo e il creditore o la società di mutuo e contiene informazioni in paragrafi di testo densi. In questi casi, la mancanza di struttura rende difficile reperire informazioni aziendali chiave importanti nel processo di richiesta di mutuo. Esistono due approcci per risolvere questo problema:
Nel seguente esempio di nota ipotecaria siamo interessati in particolare a conoscere l'importo della rata mensile e l'importo del capitale.
Per il primo approccio, utilizziamo il file Query
ed QueriesConfig
metodi pratici per configurare una serie di domande che viene passata ad Amazon Textract AnalyzeDocument
Chiamata API. Nel caso in cui il documento sia multipagina (PDF o TIFF), possiamo anche specificare i numeri di pagina in cui Amazon Textract dovrà cercare le risposte alla domanda. Il seguente frammento di codice dimostra come creare la configurazione della query, effettuare una chiamata API e successivamente analizzare la risposta per ottenere le risposte dalla risposta:
Otteniamo il seguente output:
Per il secondo approccio, utilizziamo Amazon Comprehend Rileva entità API con la nota ipotecaria, che restituisce le entità rilevate all'interno del testo da a insieme predefinito di entità. Si tratta di entità con cui il riconoscimento di entità Amazon Comprehend è stato pre-addestrato. Tuttavia, poiché il nostro requisito è quello di rilevare entità specifiche, un riconoscitore di entità personalizzato di Amazon Comprehend viene addestrato con una serie di documenti di nota ipotecaria di esempio e un elenco di entità. Definiamo i nomi delle entità come PRINCIPAL_AMOUNT
ed MONTHLY_AMOUNT
. I dati di formazione vengono preparati seguendo la formazione Amazon Comprehend linee guida per la preparazione dei dati per il riconoscimento dell'entità personalizzata. È possibile addestrare il riconoscimento di entità annotazioni del documento o con elenchi di entità. Ai fini di questo esempio, utilizziamo elenchi di entità per addestrare il modello. Dopo aver addestrato il modello, possiamo distribuirlo con a punto finale in tempo reale o in in modalità batch per rilevare le due entità dal contenuto del documento. Di seguito sono riportati i passaggi necessari per addestrare un riconoscimento di entità personalizzato e distribuirlo. Per una procedura dettagliata completa sul codice, fare riferimento al nostro repository GitHub.
- Preparare i dati di training (l'elenco delle entità e i documenti in formato testo normale (codificato UTF-8).
- Avvia la formazione sul riconoscimento di entità utilizzando il file CreateEntityRecognizer API che utilizza i dati di addestramento.
- Distribuisci il modello addestrato con un endpoint in tempo reale utilizzando il file CreaEndpoint API.
Estrai i dati da un passaporto statunitense
L'Amazzonia Texttract analizzare i documenti di identità la capacità è in grado di rilevare ed estrarre informazioni da documenti d'identità con sede negli Stati Uniti come patente di guida e passaporto. IL AnalyzeID
L'API è in grado di rilevare e interpretare i campi impliciti nei documenti di identità, facilitando l'estrazione di informazioni specifiche dal documento. I documenti d'identità fanno quasi sempre parte del pacchetto di richiesta di mutuo, perché vengono utilizzati per verificare l'identità del mutuatario durante il processo di sottoscrizione e per convalidare la correttezza dei dati anagrafici del mutuatario.
Utilizziamo un metodo conveniente denominato call_textract_analyzeid
, che chiama il AnalyzeID
API internamente. Quindi iteriamo sulla risposta per ottenere le coppie chiave-valore rilevate dal documento ID. Vedere il seguente codice:
AnalyzeID
restituisce informazioni in una struttura chiamata IdentityDocumentFields
, che contiene le chiavi normalizzate e il loro valore corrispondente. Ad esempio, nel seguente output, FIRST_NAME
è una chiave normalizzata e il valore è ALEJANDRO
. Nell'immagine del passaporto di esempio, il campo per il nome è etichettato come "Given Names / Prénoms / Nombre", tuttavia AnalyzeID
è stato in grado di normalizzarlo nel nome della chiave FIRST_NAME
. Per un elenco dei campi normalizzati supportati, fare riferimento a Oggetti di risposta della documentazione di identità.
Un pacchetto di mutui può contenere diversi altri documenti, come busta paga, modulo W2, estratto conto bancario, estratto conto della carta di credito e lettera di verifica dell'occupazione. Disponiamo di esempi per ciascuno di questi documenti insieme al codice richiesto per estrarre i dati da essi. Per la base di codice completa, consulta i taccuini nel nostro Repository GitHub.
Arricchimento dei documenti
Una delle forme più comuni di arricchimento dei documenti è l'oscuramento di informazioni sensibili o riservate sui documenti, che può essere imposto a causa di leggi o regolamenti sulla privacy. Ad esempio, la busta paga di un richiedente di un mutuo può contenere dati PII sensibili, come nome, indirizzo e SSN, che potrebbero richiedere la redazione per l'archiviazione estesa.
Nel documento di busta paga di esempio precedente, eseguiamo la redazione dei dati PII come SSN, nome, numero di conto bancario e date. Per identificare i dati PII in un documento, utilizziamo Amazon Comprehend Rilevamento PII capacità tramite il Rileva PIIEntities API. Questa API controlla il contenuto del documento per identificare la presenza di informazioni PII. Poiché questa API richiede input in formato di testo semplice con codifica UTF-8, estraiamo innanzitutto il testo dal documento utilizzando Amazon Textract RilevaDocumentoTesto API, che restituisce il testo dal documento e restituisce anche informazioni sulla geometria come dimensioni e coordinate del riquadro di delimitazione. Una combinazione di entrambi gli output viene quindi utilizzata per apportare modifiche al documento come parte del processo di arricchimento.
Revisionare, convalidare e integrare i dati
I dati estratti dalla fase di estrazione dei documenti potrebbero richiedere la convalida rispetto a regole aziendali specifiche. Informazioni specifiche possono anche essere convalidate su più documenti, noti anche come convalida incrociata dei documenti. Un esempio di convalida incrociata dei documenti potrebbe essere il confronto del nome del richiedente nel documento d'identità con il nome nel documento di richiesta del mutuo. In questa fase puoi anche eseguire altre convalide come stime del valore della proprietà e decisioni di sottoscrizione condizionale.
Una terza tipologia di validazione è legata al punteggio di confidenza dei dati estratti nella fase di estrazione del documento. Amazon Textract e Amazon Comprehend restituiscono un punteggio di affidabilità per moduli, tabelle, dati di testo ed entità rilevate. È possibile configurare una soglia del punteggio di confidenza per garantire che vengano inviati a valle solo i valori corretti. Ciò si ottiene tramite Amazon A2I, che confronta i punteggi di confidenza dei dati rilevati con una soglia di confidenza predefinita. Se la soglia non viene raggiunta, il documento e l'output estratto vengono indirizzati a un essere umano per la revisione tramite un'interfaccia utente intuitiva. Il revisore intraprende azioni correttive sui dati e li salva per un'ulteriore elaborazione. Per ulteriori informazioni, fare riferimento a Concetti fondamentali di Amazon A2I.
Conclusione
In questo post abbiamo discusso le fasi dell'elaborazione intelligente dei documenti in relazione alle fasi di richiesta di un mutuo. Abbiamo esaminato alcuni esempi comuni di documenti che possono essere trovati in un pacchetto di richiesta di mutuo. Abbiamo anche discusso le modalità per estrarre ed elaborare contenuti strutturati, semistrutturati e non strutturati da questi documenti. IDP fornisce un modo per automatizzare l'elaborazione end-to-end dei documenti ipotecari che può essere scalato fino a milioni di documenti, migliorando la qualità delle decisioni relative alle richieste, riducendo i costi e servendo i clienti più rapidamente.
Come passaggio successivo, puoi provare gli esempi di codice e i notebook nel nostro Repository GitHub. Per ulteriori informazioni su come IDP può supportare i carichi di lavoro di elaborazione dei documenti, visita Automatizza l'elaborazione dei dati dai documenti.
Circa gli autori
Anjan Biswas è un Senior AI Services Solutions Architect con focus su AI/ML e analisi dei dati. Anjan fa parte del team mondiale dei servizi di intelligenza artificiale e lavora con i clienti per aiutarli a comprendere e sviluppare soluzioni ai problemi aziendali con intelligenza artificiale e ML. Anjan ha oltre 14 anni di esperienza nella collaborazione con organizzazioni globali di supply chain, produzione e vendita al dettaglio e aiuta attivamente i clienti a iniziare e scalare i servizi di intelligenza artificiale di AWS.
Dwiti Pathak è un Senior Technical Account Manager con sede a San Diego. Il suo obiettivo è aiutare l'industria dei semiconduttori a impegnarsi in AWS. Nel tempo libero le piace leggere di nuove tecnologie e giocare a giochi da tavolo.
Balaji Puli è un Solutions Architect con sede nella Bay Area, California. Attualmente aiuta alcuni clienti selezionati del settore sanitario degli Stati Uniti nordoccidentali ad accelerare l'adozione del cloud AWS. Balaji ama viaggiare e ama esplorare cucine diverse.
- Avanzato (300)
- AI
- oh arte
- generatore d'arte
- un robot
- Amazon Comprehend
- Testo Amazon
- intelligenza artificiale
- certificazione di intelligenza artificiale
- intelligenza artificiale nel settore bancario
- robot di intelligenza artificiale
- robot di intelligenza artificiale
- software di intelligenza artificiale
- Apprendimento automatico di AWS
- blockchain
- conferenza blockchain ai
- geniale
- intelligenza artificiale conversazionale
- criptoconferenza ai
- dall's
- apprendimento profondo
- google ai
- machine learning
- Platone
- platone ai
- Platone Data Intelligence
- Gioco di Platone
- PlatoneDati
- gioco di plato
- scala ai
- sintassi
- zefiro