Procesați documentele ipotecare cu procesare inteligentă a documentelor folosind Amazon Texttract și Amazon Comprehend

Organizațiile din industria creditării și creditelor ipotecare procesează mii de documente zilnic. De la o nouă cerere de credit ipotecar la refinanțare, aceste procese de afaceri implică sute de documente per cerere. Există o automatizare limitată disponibilă astăzi pentru a procesa și a extrage informații din toate documentele, în special din cauza diferitelor formate și machete. Datorită volumului mare de aplicații, captarea informațiilor strategice și obținerea de informații cheie din conținut este un proces care necesită mult timp, extrem de manual, predispus la erori și costisitor. Instrumentele vechi de recunoaștere optică a caracterelor (OCR) sunt prohibitive, predispuse la erori, implică multă configurare și sunt dificil de scalat. Procesarea inteligentă a documentelor (IDP) cu serviciile de inteligență artificială (AI) AWS ajută la automatizarea și accelerarea procesării cererii de credit ipotecar cu obiective de a lua decizii mai rapide și de calitate, reducând în același timp costurile totale.

În această postare, demonstrăm cum puteți utiliza capabilitățile de învățare automată (ML) cu Text Amazon, și Amazon Comprehend pentru a procesa documente într-o nouă cerere de credit ipotecar, fără a fi nevoie de abilități ML. Explorăm diferitele faze ale IDP, așa cum se arată în figura următoare și modul în care acestea se conectează la pașii implicați într-un proces de cerere de credit ipotecar, cum ar fi depunerea cererii, subscrierea, verificarea și închiderea.

Deși fiecare cerere de credit ipotecar poate fi unică, am luat în considerare unele dintre cele mai comune documente care sunt incluse într-o cerere de credit ipotecar, cum ar fi formularul de cerere de împrumut unificat pentru locuințe (URLA-1003), formularele 1099 și nota de ipotecă.

Prezentare generală a soluțiilor

Amazon Textract este un serviciu ML care extrage automat text, scris de mână și date din documente scanate folosind modele ML pregătite în prealabil. Amazon Comprehend este un serviciu de procesare a limbajului natural (NLP) care utilizează ML pentru a descoperi informații și conexiuni valoroase în text și poate efectua clasificarea documentelor, recunoașterea entității de nume (NER), modelarea subiectelor și multe altele.

Următoarea figură prezintă fazele IDP în legătură cu fazele procesului de cerere de credit ipotecar.

La începutul procesului, documentele sunt încărcate într-un Serviciul Amazon de stocare simplă (Amazon S3) găleată. Aceasta inițiază un proces de clasificare a documentelor pentru a clasifica documentele în categorii cunoscute. După ce documentele sunt clasificate, următorul pas este extragerea informațiilor cheie din ele. Apoi efectuăm îmbogățirea documentelor selectate, care pot fi lucruri precum redactarea informațiilor de identificare personală (PII), etichetarea documentelor, actualizările metadatelor și multe altele. Următorul pas presupune validarea datelor extrase în fazele anterioare pentru a asigura integralitatea unei cereri de credit ipotecar. Validarea se poate face prin reguli de validare a afacerii și reguli de validare încrucișată a documentelor. Scorurile de încredere ale informațiilor extrase pot fi, de asemenea, comparate cu un prag stabilit și direcționate automat către un examinator uman prin AI augmentată Amazon (Amazon A2I) dacă pragul nu este atins. În faza finală a procesului, datele extrase și validate sunt trimise către sistemele din aval pentru stocare, procesare sau analiză ulterioară a datelor.

În secțiunile următoare, discutăm în detaliu fazele IDP în legătură cu fazele unei cereri de credit ipotecar. Trecem prin fazele IDP și discutăm despre tipurile de documente; modul în care stocăm, clasificăm și extragem informațiile și cum îmbogățim documentele folosind învățarea automată.

Depozitarea documentelor

Amazon S3 este un serviciu de stocare a obiectelor care oferă scalabilitate, disponibilitate a datelor, securitate și performanță de vârf în industrie. Folosim Amazon S3 pentru a stoca în siguranță documentele ipotecare în timpul și după procesul de solicitare a creditului ipotecar. A pachet de cerere de credit ipotecar poate conține mai multe tipuri de formulare și documente, cum ar fi URLA-1003, 1099-INT/DIV/RR/MISC, W2, talonoane de plată, extrase bancare, extrase de card de credit și multe altele. Aceste documente sunt depuse de către solicitant în faza de cerere de credit ipotecar. Fără a le căuta manual, s-ar putea să nu fie clar imediat ce documente sunt incluse în pachet. Acest proces manual poate fi consumator de timp și costisitor. În următoarea fază, automatizăm acest proces utilizând Amazon Comprehend pentru a clasifica documentele în categoriile respective cu o precizie ridicată.

Clasificarea documentelor

Clasificarea documentelor este o metodă prin care un număr mare de documente neidentificate pot fi clasificate și etichetate. Efectuăm această clasificare a documentelor folosind Amazon Comprehend clasificator personalizat. Un clasificator personalizat este un model ML care poate fi antrenat cu un set de documente etichetate pentru a recunoaște clasele care vă interesează. După ce modelul este antrenat și implementat în spatele unui punct final găzduit, putem utiliza clasificatorul pentru a determina categoria (sau clasa) căreia îi aparține un anumit document. În acest caz, antrenăm un clasificator personalizat în modul cu mai multe clase, care se poate face fie cu un fișier CSV, fie cu un fișier manifest augmentat. În scopul acestei demonstrații, folosim un fișier CSV pentru a antrena clasificatorul. Consultați-vă GitHub depozit pentru eșantionul complet de cod. Mai jos este o prezentare generală la nivel înalt a pașilor implicați:

1. Extrageți text simplu codificat UTF-8 din fișiere imagine sau PDF utilizând Amazon Texttract DetectDocumentText API-ul.
2. Pregătiți datele de antrenament pentru a pregăti un clasificator personalizat în format CSV.
3. Antrenați un clasificator personalizat folosind fișierul CSV.
4. Implementați modelul instruit cu un punct final pentru clasificarea documentelor în timp real sau utilizați modul multi-clasă, care acceptă atât operațiuni în timp real, cât și asincrone.

Următoarea diagramă ilustrează acest proces.

Puteți automatiza clasificarea documentelor folosind punctul final implementat pentru a identifica și clasifica documentele. Această automatizare este utilă pentru a verifica dacă toate documentele necesare sunt prezente într-un pachet de credit ipotecar. Un document lipsă poate fi identificat rapid, fără intervenție manuală, și notificat solicitantului mult mai devreme în proces.

Extragerea documentelor

În această fază, extragem date din document utilizând Amazon Texttract și Amazon Comprehend. Pentru documentele structurate și semistructurate care conțin formulare și tabele, folosim Amazon Text Analizați documentul API. Pentru documentele specializate, cum ar fi documentele de identitate, Amazon Texttract oferă Analizați ID API. Unele documente pot conține, de asemenea, text dens și poate fi necesar să extrageți din ele termeni cheie specifici companiei, cunoscuți și ca entități. Noi folosim recunoașterea personalizată a entității capacitatea Amazon Comprehend de a antrena un dispozitiv de recunoaștere a entităților personalizate, care poate identifica astfel de entități din textul dens.

În secțiunile următoare, parcurgem exemplele de documente care sunt prezente într-un pachet de cerere de credit ipotecar și discutăm metodele utilizate pentru a extrage informații din acestea. Pentru fiecare dintre aceste exemple, este inclus un fragment de cod și un scurt exemplu de ieșire.

Extrageți date din aplicația unificată de împrumut rezidențial URLA-1003

O cerere unificată de împrumut rezidențial (URLA-1003) este un formular de cerere de împrumut ipotecar standard în industrie. Este un document destul de complex care conține informații despre solicitantul de ipotecă, tipul de proprietate achiziționată, suma finanțată și alte detalii despre natura achiziției proprietății. Următorul este un exemplu de URLA-1003, iar intenția noastră este să extragem informații din acest document structurat. Deoarece acesta este un formular, folosim API-ul AnalyzeDocument cu un tip de caracteristică FORMĂ.

Tipul de caracteristică FORM extrage informații din formular din document, care sunt apoi returnate în format pereche cheie-valoare. Următorul fragment de cod folosește amazon-textract-textractor Biblioteca Python pentru a extrage informații de formular cu doar câteva linii de cod. Metoda confortului call_textract() apelează AnalyzeDocument API-ul intern, iar parametrii trecuți metodei retrag unele dintre configurațiile de care API-ul are nevoie pentru a rula sarcina de extracție. Document este o metodă convenabilă utilizată pentru a ajuta la analiza răspunsului JSON din API. Oferă o abstractizare la nivel înalt și face ca rezultatul API să fie iterabil și ușor de obținut informații. Pentru mai multe informații, consultați Analizator de răspunsuri de text și Textractor.

from textractcaller.t_call import call_textract, Textract_Features
from trp import Document

response_urla_1003 = call_textract(input_document='s3://<your-bucket>/URLA-1003.pdf', 
                                   features=[Textract_Features.FORMS])
doc_urla_1003 = Document(response_urla_1003)
for page in doc_urla_1003.pages:
    forms=[]
    for field in page.form.fields:
        obj={}
        obj[f'{field.key}']=f'{field.value}'
        forms.append(obj)
print(json.dumps(forms, indent=4))

Rețineți că rezultatul conține valori pentru casetele de selectare sau butoanele radio care există în formular. De exemplu, în exemplul de document URLA-1003, fișierul Cumpărare a fost selectată opțiunea. Ieșirea corespunzătoare pentru butonul radio este extrasă ca „Purchase” (cheie) și „SELECTED” (valoare), indicând că butonul radio a fost selectat.

[
    { "No. of Units": "1" },
    { "Amount": "$ 450,000.00" },
    { "Year Built": "2010" },
    { "Purchase": "SELECTED" },
    { "Title will be held in what Name(s)": "Alejandro Rosalez" },
    { "Fixed Rate": "SELECTED" },
    ...
]

Extrageți date din 1099 de formulare

Un pachet de cerere de credit ipotecar poate conține, de asemenea, o serie de documente IRS, cum ar fi 1099-DIV, 1099-INT, 1099-MISC și 1099-R. Aceste documente arată câștigurile solicitantului prin dobânzi, dividende și alte componente ale veniturilor diverse care sunt utile în timpul subscrierii pentru a lua decizii. Următoarea imagine prezintă o colecție a acestor documente, care sunt similare ca structură. Cu toate acestea, în unele cazuri, documentele conțin informații de formular (marcate folosind casetele de delimitare roșii și verzi), precum și informații tabelare (marcate cu casetele de delimitare galbene).

Pentru a extrage informații din formular, folosim un cod similar cu cel explicat mai devreme cu AnalyzeDocument API. Trecem o caracteristică suplimentară a TABEL la API pentru a indica faptul că avem nevoie atât de date de formular, cât și de tabel extrase din document. Următorul fragment de cod folosește AnalyzeDocument API cu caracteristici FORMS și TABLES din documentul 1099-INT:

from textractcaller.t_call import call_textract, Textract_Features
from trp import Document
response_1099_int = call_textract(input_document='s3://<your-bucket>/1099-INT-2018.pdf',
                                  features=[Textract_Features.TABLES, 
                                            Textract_Features.FORMS])
doc_1099_int = Document(response_1099_int)
num_tables=1
for page in doc_1099_int.pages:     
    for table in page.tables:
        num_tables=num_tables+1
        for r, row in enumerate(table.rows):
            for c, cell in enumerate(row.cells):
                print(f"Cell[{r}][{c}] = {cell.text}")
        print('n')

Deoarece documentul conține un singur tabel, rezultatul codului este după cum urmează:

Table 1
-------------------
Cell[0][0] = 15 State 
Cell[0][1] = 16 State identification no. 
Cell[0][2] = 17 State tax withheld 
Cell[1][0] = 
Cell[1][1] = 34564 
Cell[1][2] = $ 2000 
Cell[2][0] = 
Cell[2][1] = 23543 
Cell[2][2] = $ 1000

Informațiile din tabel conțin poziția celulei (rândul 0, coloana 0 și așa mai departe) și textul corespunzător din fiecare celulă. Folosim o metodă convenabilă care poate transforma aceste date de tabel în vizualizare grilă ușor de citit:

from textractprettyprinter.t_pretty_print import Textract_Pretty_Print, get_string, Pretty_Print_Table_Format
print(get_string(textract_json=response_1099_int, 
                 table_format=Pretty_Print_Table_Format.grid, 
                 output_type=[Textract_Pretty_Print.TABLES]))

Obținem următoarea ieșire:

+----------+-----------------------------+-----------------------+
| 15 State | 16 State identification no. | 17 State tax withheld |
+----------+-----------------------------+-----------------------+
|          | 34564                       | $ 2000                |
+----------+-----------------------------+-----------------------+
|          | 23543                       | $ 1000                |
+----------+-----------------------------+-----------------------+

Pentru a obține rezultatul într-un format CSV ușor de consumat, tipul de format de Pretty_Print_Table_Format.csv poate fi trecut în table_format parametru. Sunt acceptate și alte formate, cum ar fi TSV (valori separate prin tabele), HTML și Latex. Pentru mai multe informații, consultați Text-PrettyPrinter.

Extrageți date dintr-o notă ipotecară

Un pachet de cerere de credit ipotecar poate conține documente nestructurate cu text dens. Câteva exemple de documente cu text dens sunt contractele și acordurile. O notă ipotecară este un acord între un solicitant de credit ipotecar și împrumutătorul sau compania de credit ipotecar și conține informații în paragrafe cu text dens. În astfel de cazuri, lipsa structurii face dificilă găsirea de informații cheie de afaceri care sunt importante în procesul de solicitare a creditului ipotecar. Există două abordări pentru a rezolva această problemă:

În următorul exemplu de notă de credit ipotecar, suntem interesați în mod special să aflăm suma plății lunare și suma principalului.

Pentru prima abordare, folosim Query și QueriesConfig metode convenabile pentru a configura un set de întrebări care este transmis către Amazon Text AnalyzeDocument Apel API. În cazul în care documentul are mai multe pagini (PDF sau TIFF), putem specifica și numerele de pagină în care Amazon Texttract ar trebui să caute răspunsuri la întrebare. Următorul fragment de cod demonstrează cum să creați configurația de interogare, să efectuați un apel API și, ulterior, să analizați răspunsul pentru a obține răspunsurile din răspuns:

from textractcaller import QueriesConfig, Query
import trp.trp2 as t2

#Setup the queries
query2 = Query(text="What is the principal amount borrower has to pay?", alias="PRINCIPAL_AMOUNT", pages=["1"])
query4 = Query(text="What is the monthly payment amount?", alias="MONTHLY_AMOUNT", pages=["1"])

#Setup the query config with the above queries
queries_config = QueriesConfig(queries=[query1, query2, query3, query4])
#Call AnalyzeDocument with the queries_config
response_mortgage_note = call_textract(input_document='s3://<your-bucket>/Mortgage-Note.pdf',
                                       features=[Textract_Features.QUERIES],
                                       queries_config=queries_config)
doc_mortgage_note: t2.TDocumentSchema = t2.TDocumentSchema().load(response_mortgage_note) 

entities = {}
for page in doc_mortgage_note.pages:
    query_answers = doc_mortgage_note.get_query_answers(page=page)
    if query_answers:
        for answer in query_answers:
            entities[answer[1]] = answer[2]
print(entities)

Obținem următoarea ieșire:

{
    'PRINCIPAL_AMOUNT': '$ 555,000.00',
    'MONTHLY_AMOUNT': '$2,721.23',
}

Pentru a doua abordare, folosim Amazon Comprehend DetectEntities API cu nota ipotecară, care returnează entitățile pe care le detectează în textul a set predefinit de entități. Acestea sunt entități cu care sistemul de recunoaștere a entităților Amazon Comprehend este pre-antrenat. Cu toate acestea, deoarece cerința noastră este să detectăm anumite entități, un dispozitiv de recunoaștere a entităților personalizate Amazon Comprehend este instruit cu un set de documente eșantion de nota ipotecară și o listă de entități. Definim numele entităților ca PRINCIPAL_AMOUNT și MONTHLY_AMOUNT. Datele de instruire sunt pregătite în urma instruirii Amazon Comprehend ghiduri de pregătire a datelor pentru recunoașterea personalizată a entităților. Recunoaștetorul de entități poate fi antrenat cu adnotările documentelor sau cu liste de entități. În scopul acestui exemplu, folosim liste de entități pentru a antrena modelul. După ce antrenăm modelul, îl putem implementa cu a punct final în timp real sau în modul de lot pentru a detecta cele două entități din conținutul documentului. Următorii sunt pașii implicați pentru a instrui un dispozitiv de recunoaștere a entităților personalizate și pentru a-l implementa. Pentru o prezentare completă a codului, consultați depozitul nostru GitHub.

1. Pregătiți datele de antrenament (lista de entități și documentele cu format text simplu (codificat UTF-8).
2. Începeți antrenamentul de recunoaștere a entității folosind CreateEntityRecognizer API folosind datele de antrenament.
3. Implementați modelul antrenat cu un punct final în timp real folosind Create Endpoint API-ul.

Extrageți date dintr-un pașaport american

Textul Amazonului analiza actelor de identitate capacitatea poate detecta și extrage informații din documentele de identitate din SUA, cum ar fi permisul de conducere și pașaportul. The AnalyzeID API-ul este capabil să detecteze și să interpreteze câmpurile implicite din documentele de identitate, ceea ce facilitează extragerea de informații specifice din document. Documentele de identitate sunt aproape întotdeauna parte a pachetului de cerere de credit ipotecar, deoarece sunt folosite pentru a verifica identitatea împrumutatului în timpul procesului de subscriere și pentru a valida corectitudinea datelor biografice ale împrumutatului.

Folosim o metodă convenabilă numită call_textract_analyzeid, care numește AnalyzeID API intern. Apoi repetăm ​​răspunsul pentru a obține perechile cheie-valoare detectate din documentul de identificare. Vezi următorul cod:

from textractcaller import call_textract_analyzeid
import trp.trp2_analyzeid as t2id

response_passport = call_textract_analyzeid(document_pages=['s3://<your-bucket>/Passport.pdf'])
doc_passport: t2id.TAnalyzeIdDocument = t2id.TAnalyzeIdDocumentSchema().load(response_passport)

for id_docs in response_passport['IdentityDocuments']:
    id_doc_kvs={}
    for field in id_docs['IdentityDocumentFields']:
        if field['ValueDetection']['Text']:
            id_doc_kvs[field['Type']['Text']] = field['ValueDetection']['Text']
print(id_doc_kvs)

AnalyzeID returnează informații într-o structură numită IdentityDocumentFields, care conține cheile normalizate și valoarea lor corespunzătoare. De exemplu, în următoarea ieșire, FIRST_NAME este o cheie normalizată și valoarea este ALEJANDRO. În exemplul de imagine de pașaport, câmpul pentru prenume este etichetat ca „Prenume / Prénoms / Nombre”, totuși AnalyzeID a fost capabil să normalizeze asta în numele cheii FIRST_NAME. Pentru o listă de câmpuri normalizate acceptate, consultați Obiecte de răspuns ale documentației de identitate.

{
    'FIRST_NAME': 'ALEJANDRO',
    'LAST_NAME': 'ROSALEZ',
    'DOCUMENT_NUMBER': '918268822',
    'EXPIRATION_DATE': '31 JAN 2029',
    'DATE_OF_BIRTH': '15 APR 1990',
    'DATE_OF_ISSUE': '29 JAN 2009',
    'ID_TYPE': 'PASSPORT',
    'ENDORSEMENTS': 'SEE PAGE 27',
    'PLACE_OF_BIRTH': 'TEXAS U.S.A.'
}

Un pachet de credit ipotecar poate conține mai multe alte documente, cum ar fi un talon de plată, formular W2, extras de cont bancar, extras de card de credit și scrisoare de verificare a angajării. Avem mostre pentru fiecare dintre aceste documente împreună cu codul necesar pentru extragerea datelor din ele. Pentru baza completă de coduri, consultați caietele din nostru GitHub depozit.

Îmbogățirea documentelor

Una dintre cele mai comune forme de îmbogățire a documentelor este redactarea informațiilor sensibile sau confidențiale pe documente, care poate fi impusă din cauza legilor sau reglementărilor privind confidențialitatea. De exemplu, talonul de plată al unui solicitant de credit ipotecar poate conține date sensibile ale IPI, cum ar fi numele, adresa și SSN, care ar putea necesita redactare pentru stocare extinsă.

În exemplul de document precedent de talon de plată, efectuăm redactarea datelor PII, cum ar fi SSN, numele, numărul contului bancar și datele. Pentru a identifica datele PII dintr-un document, folosim Amazon Comprehend Detectarea PII capacitatea prin intermediul DetectPIIEntities API. Acest API inspectează conținutul documentului pentru a identifica prezența informațiilor PII. Deoarece acest API necesită introducerea în format text simplu codificat UTF-8, mai întâi extragem textul din document folosind Amazon Texttract DetectDocumentText API, care returnează textul din document și returnează, de asemenea, informații despre geometrie, cum ar fi dimensiunile și coordonatele casetei de delimitare. O combinație a ambelor rezultate este apoi utilizată pentru a desena redactări pe document ca parte a procesului de îmbogățire.

Examinați, validați și integrați datele

Datele extrase din faza de extragere a documentelor pot necesita validare în raport cu anumite reguli de afaceri. Informații specifice pot fi, de asemenea, validate în mai multe documente, cunoscute și ca validare cross-doc. Un exemplu de validare cross-doc ar putea fi compararea numelui solicitantului din documentul de identitate cu numele din documentul de cerere de credit ipotecar. De asemenea, puteți face și alte validări, cum ar fi estimări ale valorii proprietății și decizii de subscriere condiționată în această fază.

Un al treilea tip de validare este legat de scorul de încredere al datelor extrase în faza de extragere a documentului. Amazon Texttract și Amazon Comprehend returnează un scor de încredere pentru formulare, tabele, date text și entități detectate. Puteți configura un prag de scor de încredere pentru a vă asigura că numai valorile corecte sunt trimise în aval. Acest lucru se realizează prin Amazon A2I, care compară scorurile de încredere ale datelor detectate cu un prag de încredere predefinit. Dacă pragul nu este atins, documentul și rezultatul extras sunt direcționate către un om pentru revizuire printr-o interfață de utilizare intuitivă. Revizorul ia măsuri corective asupra datelor și le salvează pentru procesare ulterioară. Pentru mai multe informații, consultați Conceptele de bază ale Amazon A2I.

Concluzie

În această postare, am discutat despre fazele procesării inteligente a documentelor în legătură cu fazele unei cereri de credit ipotecar. Am analizat câteva exemple comune de documente care pot fi găsite într-un pachet de cerere de credit ipotecar. Am discutat, de asemenea, modalități de extragere și procesare a conținutului structurat, semistructurat și nestructurat din aceste documente. IDP oferă o modalitate de a automatiza procesarea documentelor ipotecare end-to-end, care poate fi scalată la milioane de documente, îmbunătățind calitatea deciziilor privind aplicațiile, reducând costurile și servind clienții mai rapid.

Ca un pas următor, puteți încerca exemplele de cod și caietele din nostru GitHub depozit. Pentru a afla mai multe despre modul în care IDP vă poate ajuta volumul de lucru în procesarea documentelor, vizitați Automatizați prelucrarea datelor din documente.

Despre autori

Anjan Biswas este un Senior AI Services Solutions Architect, cu accent pe AI/ML și Data Analytics. Anjan face parte din echipa mondială de servicii AI și lucrează cu clienții pentru a-i ajuta să înțeleagă și să dezvolte soluții la problemele de afaceri legate de AI și ML. Anjan are peste 14 ani de experiență de lucru cu lanțul global de aprovizionare, producție și organizații de vânzare cu amănuntul și ajută în mod activ clienții să înceapă și să se extindă pe serviciile AWS AI.

Dwiti Pathak este un Senior Technical Account Manager cu sediul în San Diego. Ea se concentrează pe a ajuta industria semiconductorilor să se implice în AWS. În timpul liber, îi place să citească despre noile tehnologii și să joace jocuri de societate.

Balaji Puli este un arhitect de soluții cu sediul în Bay Area, CA. În prezent, ajutând clienți selectați din domeniul științelor vieții din domeniul sănătății din nord-vestul SUA să accelereze adoptarea lor AWS în cloud. Lui Balaji îi place să călătorească și îi place să exploreze diferite bucătării.