Traitez les documents hypothécaires avec un traitement intelligent des documents à l'aide d'Amazon Textract et d'Amazon Comprehend

Les organisations du secteur des prêts et des hypothèques traitent quotidiennement des milliers de documents. Qu'il s'agisse d'une nouvelle demande de prêt hypothécaire ou d'un refinancement hypothécaire, ces processus commerciaux impliquent des centaines de documents par demande. L'automatisation disponible aujourd'hui pour traiter et extraire les informations de tous les documents est limitée, notamment en raison des différents formats et mises en page. En raison du volume élevé d'applications, la capture d'informations stratégiques et l'obtention d'informations clés à partir du contenu est un processus chronophage, hautement manuel, sujet aux erreurs et coûteux. Les outils de reconnaissance optique de caractères (OCR) hérités sont d'un coût prohibitif, sujets aux erreurs, impliquent beaucoup de configuration et sont difficiles à mettre à l'échelle. Le traitement intelligent des documents (IDP) avec les services d'intelligence artificielle (IA) d'AWS permet d'automatiser et d'accélérer le traitement des demandes de prêt hypothécaire avec des objectifs de décisions plus rapides et de qualité, tout en réduisant les coûts globaux.

Dans cet article, nous montrons comment vous pouvez utiliser les capacités d'apprentissage automatique (ML) avec Extrait d'Amazonet Amazon comprendre pour traiter les documents dans une nouvelle demande de prêt hypothécaire, sans avoir besoin de compétences en ML. Nous explorons les différentes phases de l'IDP comme indiqué dans la figure suivante, et comment elles se connectent aux étapes impliquées dans un processus de demande de prêt hypothécaire, telles que la soumission de la demande, la souscription, la vérification et la clôture.

Bien que chaque demande de prêt hypothécaire puisse être unique, nous avons pris en compte certains des documents les plus courants inclus dans une demande de prêt hypothécaire, tels que le formulaire de demande de prêt résidentiel unifié (URLA-1003), les formulaires 1099 et la note hypothécaire.

Vue d'ensemble de la solution

Amazon Textract est un service ML qui extrait automatiquement le texte, l'écriture manuscrite et les données des documents numérisés à l'aide de modèles ML pré-formés. Amazon Comprehend est un service de traitement du langage naturel (NLP) qui utilise ML pour découvrir des informations et des connexions précieuses dans le texte et peut effectuer la classification de documents, la reconnaissance d'entité de nom (NER), la modélisation de sujet, etc.

La figure suivante montre les phases de l'IDP en ce qui concerne les phases d'un processus de demande de prêt hypothécaire.

Au début du processus, les documents sont téléchargés vers un Service de stockage simple Amazon (Amazon S3). Cela lance un processus de classification de documents pour classer les documents dans des catégories connues. Une fois les documents classés, l'étape suivante consiste à en extraire les informations clés. Nous effectuons ensuite un enrichissement pour certains documents, qui peuvent être des éléments tels que la suppression d'informations personnellement identifiables (PII), le balisage de documents, les mises à jour de métadonnées, etc. L'étape suivante consiste à valider les données extraites lors des phases précédentes pour garantir l'exhaustivité d'une demande de prêt hypothécaire. La validation peut être effectuée via des règles de validation métier et des règles de validation inter-documents. Les scores de confiance des informations extraites peuvent également être comparés à un seuil défini et automatiquement acheminés vers un examinateur humain via IA augmentée d'Amazon (Amazon A2I) si le seuil n'est pas atteint. Dans la phase finale du processus, les données extraites et validées sont envoyées aux systèmes en aval pour un stockage, un traitement ou une analyse de données ultérieurs.

Dans les sections suivantes, nous discutons en détail des phases de l'IDP en ce qui concerne les phases d'une demande de prêt hypothécaire. Nous passons en revue les phases de l'IDP et discutons des types de documents ; comment nous stockons, classons et extrayons les informations, et comment nous enrichissons les documents à l'aide de l'apprentissage automatique.

Stockage de documents

Amazon S3 est un service de stockage d'objets qui offre une évolutivité, une disponibilité des données, une sécurité et des performances de pointe. Nous utilisons Amazon S3 pour stocker en toute sécurité les documents hypothécaires pendant et après le processus de demande de prêt hypothécaire. UN dossier de demande de prêt immobilier peut contenir plusieurs types de formulaires et de documents, tels que URLA-1003, 1099-INT/DIV/RR/MISC, W2, fiches de paie, relevés bancaires, relevés de carte de crédit, etc. Ces documents sont soumis par le demandeur lors de la phase de demande de prêt hypothécaire. Sans les parcourir manuellement, il se peut que vous ne sachiez pas immédiatement quels documents sont inclus dans le paquet. Ce processus manuel peut être long et coûteux. Dans la phase suivante, nous automatisons ce processus à l'aide d'Amazon Comprehend pour classer les documents dans leurs catégories respectives avec une grande précision.

Classification des documents

La classification des documents est une méthode au moyen de laquelle un grand nombre de documents non identifiés peuvent être classés et étiquetés. Nous effectuons cette classification de documents à l'aide d'un Amazon Comprehend classificateur personnalisé. Un classificateur personnalisé est un modèle ML qui peut être formé avec un ensemble de documents étiquetés pour reconnaître les classes qui vous intéressent. Une fois le modèle formé et déployé derrière un point de terminaison hébergé, nous pouvons utiliser le classificateur pour déterminer la catégorie (ou classe) à laquelle appartient un document particulier. Dans ce cas, nous entraînons un classificateur personnalisé dans mode multi-classe, ce qui peut être fait avec un fichier CSV ou un fichier manifeste augmenté. Pour les besoins de cette démonstration, nous utilisons un fichier CSV pour former le classifieur. Référez-vous à notre GitHub référentiel pour l'exemple de code complet. Voici un aperçu de haut niveau des étapes impliquées :

1. Extrayez du texte brut encodé en UTF-8 à partir de fichiers image ou PDF à l'aide d'Amazon Textract DétecterTexteDocument API.
2. Préparez les données de formation pour former un classificateur personnalisé au format CSV.
3. Entraînez un classificateur personnalisé à l'aide du fichier CSV.
4. Déployez le modèle formé avec un point de terminaison pour la classification de documents en temps réel ou utilisez le mode multiclasse, qui prend en charge les opérations en temps réel et asynchrones.

Le schéma suivant illustre ce processus.

Vous pouvez automatiser la classification des documents à l'aide du point de terminaison déployé pour identifier et catégoriser les documents. Cette automatisation est utile pour vérifier si tous les documents requis sont présents dans un dossier hypothécaire. Un document manquant peut être rapidement identifié, sans intervention manuelle, et notifié au demandeur bien plus tôt dans le processus.

Extraction de documents

Dans cette phase, nous extrayons les données du document à l'aide d'Amazon Textract et d'Amazon Comprehend. Pour les documents structurés et semi-structurés contenant des formulaires et des tableaux, nous utilisons le Amazon Textract AnalyserDocument API. Pour les documents spécialisés tels que les documents d'identité, Amazon Textract fournit le AnalyseID API. Certains documents peuvent également contenir du texte dense, et vous devrez peut-être en extraire des termes clés spécifiques à l'entreprise, également appelés entités. Nous utilisons le reconnaissance d'entité personnalisée capacité d'Amazon Comprehend à former un outil de reconnaissance d'entité personnalisé, qui peut identifier ces entités à partir du texte dense.

Dans les sections suivantes, nous passons en revue les exemples de documents présents dans un dossier de demande de prêt hypothécaire et discutons des méthodes utilisées pour en extraire des informations. Pour chacun de ces exemples, un extrait de code et un court exemple de sortie sont inclus.

Extraire les données de la demande de prêt résidentiel unifié URLA-1003

Une demande de prêt résidentiel unifiée (URLA-1003) est un formulaire de demande de prêt hypothécaire standard de l'industrie. Il s'agit d'un document assez complexe qui contient des informations sur le demandeur d'hypothèque, le type de propriété achetée, le montant financé et d'autres détails sur la nature de l'achat de la propriété. Ce qui suit est un exemple d'URLA-1003, et notre intention est d'extraire des informations de ce document structuré. Comme il s'agit d'un formulaire, nous utilisons l'API AnalyzeDocument avec un type de fonctionnalité de POUR FEMMES.

Le type de fonctionnalité FORM extrait les informations de formulaire du document, qui sont ensuite renvoyées au format de paire clé-valeur. L'extrait de code suivant utilise le amazon-textract-textractor Bibliothèque Python pour extraire des informations de formulaire avec seulement quelques lignes de code. La méthode de commodité call_textract() appelle le AnalyzeDocument API en interne et les paramètres transmis à la méthode résument certaines des configurations dont l'API a besoin pour exécuter la tâche d'extraction. Document est une méthode pratique utilisée pour aider à analyser la réponse JSON de l'API. Il fournit une abstraction de haut niveau et rend la sortie de l'API itérable et facile à extraire des informations. Pour plus d'informations, reportez-vous à Analyseur de réponse de texte ainsi que Textracteur.

from textractcaller.t_call import call_textract, Textract_Features
from trp import Document

response_urla_1003 = call_textract(input_document='s3://<your-bucket>/URLA-1003.pdf', 
                                   features=[Textract_Features.FORMS])
doc_urla_1003 = Document(response_urla_1003)
for page in doc_urla_1003.pages:
    forms=[]
    for field in page.form.fields:
        obj={}
        obj[f'{field.key}']=f'{field.value}'
        forms.append(obj)
print(json.dumps(forms, indent=4))

Notez que la sortie contient des valeurs pour les cases à cocher ou les boutons radio qui existent dans le formulaire. Par exemple, dans l'exemple de document URLA-1003, le Achat l'option a été sélectionnée. La sortie correspondante pour le bouton radio est extraite comme "Purchase" (touche) et "SELECTED” (valeur), indiquant que le bouton radio a été sélectionné.

[
    { "No. of Units": "1" },
    { "Amount": "$ 450,000.00" },
    { "Year Built": "2010" },
    { "Purchase": "SELECTED" },
    { "Title will be held in what Name(s)": "Alejandro Rosalez" },
    { "Fixed Rate": "SELECTED" },
    ...
]

Extraire les données de 1099 formulaires

Un dossier de demande de prêt hypothécaire peut également contenir un certain nombre de documents IRS, tels que 1099-DIV, 1099-INT, 1099-MISC et 1099-R. Ces documents montrent les revenus du demandeur via les intérêts, les dividendes et d'autres composants de revenus divers qui sont utiles lors de la souscription pour prendre des décisions. L'image suivante montre une collection de ces documents, dont la structure est similaire. Cependant, dans certains cas, les documents contiennent des informations de formulaire (marquées à l'aide des cadres de délimitation rouges et verts) ainsi que des informations tabulaires (marquées par les cadres de délimitation jaunes).

Pour extraire les informations du formulaire, nous utilisons un code similaire à celui expliqué précédemment avec le AnalyzeDocument API. Nous passons une fonctionnalité supplémentaire de TABLE à l'API pour indiquer que nous avons besoin à la fois de données de formulaire et de table extraites du document. L'extrait de code suivant utilise le AnalyzeDocument API avec fonctionnalités FORMS et TABLES sur le document 1099-INT :

from textractcaller.t_call import call_textract, Textract_Features
from trp import Document
response_1099_int = call_textract(input_document='s3://<your-bucket>/1099-INT-2018.pdf',
                                  features=[Textract_Features.TABLES, 
                                            Textract_Features.FORMS])
doc_1099_int = Document(response_1099_int)
num_tables=1
for page in doc_1099_int.pages:     
    for table in page.tables:
        num_tables=num_tables+1
        for r, row in enumerate(table.rows):
            for c, cell in enumerate(row.cells):
                print(f"Cell[{r}][{c}] = {cell.text}")
        print('n')

Étant donné que le document contient un seul tableau, la sortie du code est la suivante :

Table 1
-------------------
Cell[0][0] = 15 State 
Cell[0][1] = 16 State identification no. 
Cell[0][2] = 17 State tax withheld 
Cell[1][0] = 
Cell[1][1] = 34564 
Cell[1][2] = $ 2000 
Cell[2][0] = 
Cell[2][1] = 23543 
Cell[2][2] = $ 1000

Les informations du tableau contiennent la position de la cellule (ligne 0, colonne 0, etc.) et le texte correspondant dans chaque cellule. Nous utilisons une méthode pratique qui peut transformer ces données de tableau en une vue de grille facile à lire :

from textractprettyprinter.t_pretty_print import Textract_Pretty_Print, get_string, Pretty_Print_Table_Format
print(get_string(textract_json=response_1099_int, 
                 table_format=Pretty_Print_Table_Format.grid, 
                 output_type=[Textract_Pretty_Print.TABLES]))

Nous obtenons la sortie suivante :

+----------+-----------------------------+-----------------------+
| 15 State | 16 State identification no. | 17 State tax withheld |
+----------+-----------------------------+-----------------------+
|          | 34564                       | $ 2000                |
+----------+-----------------------------+-----------------------+
|          | 23543                       | $ 1000                |
+----------+-----------------------------+-----------------------+

Pour obtenir la sortie dans un format CSV facile à utiliser, le type de format de Pretty_Print_Table_Format.csv peut être passé dans le table_format paramètre. D'autres formats tels que TSV (valeurs séparées par des tabulations), HTML et Latex sont également pris en charge. Pour plus d'informations, reportez-vous à Texttract-PrettyPrinter.

Extraire les données d'une cédule hypothécaire

Un dossier de demande de prêt hypothécaire peut contenir des documents non structurés avec un texte dense. Quelques exemples de documents textuels denses sont les contrats et les accords. Une note hypothécaire est un accord entre un demandeur de prêt hypothécaire et le prêteur ou la société de prêt hypothécaire, et contient des informations dans des paragraphes de texte denses. Dans de tels cas, le manque de structure rend difficile la recherche d'informations commerciales clés qui sont importantes dans le processus de demande de prêt hypothécaire. Il existe deux approches pour résoudre ce problème :

Dans l'exemple de note hypothécaire suivant, nous souhaitons spécifiquement connaître le montant du paiement mensuel et le montant du principal.

Pour la première approche, nous utilisons le Query ainsi que QueriesConfig des méthodes pratiques pour configurer un ensemble de questions transmises à Amazon Textract AnalyzeDocument Appel API. Dans le cas où le document est de plusieurs pages (PDF ou TIFF), nous pouvons également spécifier les numéros de page où Amazon Textract doit rechercher des réponses à la question. L'extrait de code suivant montre comment créer la configuration de la requête, effectuer un appel d'API, puis analyser la réponse pour obtenir les réponses à partir de la réponse :

from textractcaller import QueriesConfig, Query
import trp.trp2 as t2

#Setup the queries
query2 = Query(text="What is the principal amount borrower has to pay?", alias="PRINCIPAL_AMOUNT", pages=["1"])
query4 = Query(text="What is the monthly payment amount?", alias="MONTHLY_AMOUNT", pages=["1"])

#Setup the query config with the above queries
queries_config = QueriesConfig(queries=[query1, query2, query3, query4])
#Call AnalyzeDocument with the queries_config
response_mortgage_note = call_textract(input_document='s3://<your-bucket>/Mortgage-Note.pdf',
                                       features=[Textract_Features.QUERIES],
                                       queries_config=queries_config)
doc_mortgage_note: t2.TDocumentSchema = t2.TDocumentSchema().load(response_mortgage_note) 

entities = {}
for page in doc_mortgage_note.pages:
    query_answers = doc_mortgage_note.get_query_answers(page=page)
    if query_answers:
        for answer in query_answers:
            entities[answer[1]] = answer[2]
print(entities)

Nous obtenons la sortie suivante :

{
    'PRINCIPAL_AMOUNT': '$ 555,000.00',
    'MONTHLY_AMOUNT': '$2,721.23',
}

Pour la deuxième approche, nous utilisons Amazon Comprehend Détecter les entités API avec la note d'hypothèque, qui renvoie les entités qu'elle détecte dans le texte à partir d'un ensemble prédéfini d'entités. Il s'agit d'entités avec lesquelles le module de reconnaissance d'entités Amazon Comprehend est pré-formé. Cependant, étant donné que notre exigence est de détecter des entités spécifiques, un module de reconnaissance d'entité personnalisé Amazon Comprehend est formé avec un ensemble d'exemples de documents de cédules hypothécaires et une liste d'entités. Nous définissons les noms d'entité comme PRINCIPAL_AMOUNT ainsi que MONTHLY_AMOUNT. Les données de formation sont préparées après la formation Amazon Comprehend directives de préparation des données pour la reconnaissance d'entité personnalisée. Le module de reconnaissance d'entité peut être entraîné avec annotations de documents ou avec listes d'entités. Pour les besoins de cet exemple, nous utilisons des listes d'entités pour entraîner le modèle. Après avoir formé le modèle, nous pouvons le déployer avec un point de terminaison en temps réel ou dans mode discontinu pour détecter les deux entités à partir du contenu du document. Voici les étapes nécessaires pour former un module de reconnaissance d'entité personnalisé et le déployer. Pour une présentation complète du code, reportez-vous à notre référentiel GitHub.

1. Préparez les données de formation (la liste des entités et les documents au format texte brut (encodé en UTF-8)).
2. Démarrez la formation du module de reconnaissance d'entités à l'aide de CreateEntityRecognizerCreateEntityRecognizer API utilisant les données de formation.
3. Déployez le modèle entraîné avec un point de terminaison en temps réel à l'aide de Créer un point de terminaison API.

Extraire les données d'un passeport américain

Le texte d'Amazon analyser les documents d'identité peut détecter et extraire des informations à partir de documents d'identité basés aux États-Unis, tels qu'un permis de conduire et un passeport. La AnalyzeID L'API est capable de détecter et d'interpréter les champs implicites dans les documents d'identité, ce qui facilite l'extraction d'informations spécifiques du document. Les documents d'identité font presque toujours partie d'un dossier de demande de prêt hypothécaire, car ils sont utilisés pour vérifier l'identité de l'emprunteur pendant le processus de souscription et pour valider l'exactitude des données biographiques de l'emprunteur.

Nous utilisons une méthode de commodité nommée call_textract_analyzeid, qui appelle le AnalyzeID API en interne. Nous parcourons ensuite la réponse pour obtenir les paires clé-valeur détectées à partir du document d'identification. Voir le code suivant :

from textractcaller import call_textract_analyzeid
import trp.trp2_analyzeid as t2id

response_passport = call_textract_analyzeid(document_pages=['s3://<your-bucket>/Passport.pdf'])
doc_passport: t2id.TAnalyzeIdDocument = t2id.TAnalyzeIdDocumentSchema().load(response_passport)

for id_docs in response_passport['IdentityDocuments']:
    id_doc_kvs={}
    for field in id_docs['IdentityDocumentFields']:
        if field['ValueDetection']['Text']:
            id_doc_kvs[field['Type']['Text']] = field['ValueDetection']['Text']
print(id_doc_kvs)

AnalyzeID renvoie des informations dans une structure appelée IdentityDocumentFields, qui contient les clés normalisées et leur valeur correspondante. Par exemple, dans la sortie suivante, FIRST_NAME est une clé normalisée et la valeur est ALEJANDRO. Dans l'exemple d'image de passeport, le champ pour le prénom est étiqueté comme "Given Names / Prénoms / Nombre", cependant AnalyzeID a pu normaliser cela dans le nom de la clé FIRST_NAME. Pour obtenir la liste des champs normalisés pris en charge, reportez-vous à Objets de réponse de documentation d'identité.

{
    'FIRST_NAME': 'ALEJANDRO',
    'LAST_NAME': 'ROSALEZ',
    'DOCUMENT_NUMBER': '918268822',
    'EXPIRATION_DATE': '31 JAN 2029',
    'DATE_OF_BIRTH': '15 APR 1990',
    'DATE_OF_ISSUE': '29 JAN 2009',
    'ID_TYPE': 'PASSPORT',
    'ENDORSEMENTS': 'SEE PAGE 27',
    'PLACE_OF_BIRTH': 'TEXAS U.S.A.'
}

Un paquet hypothécaire peut contenir plusieurs autres documents, tels qu'un talon de paie, un formulaire W2, un relevé bancaire, un relevé de carte de crédit et une lettre de vérification d'emploi. Nous avons des exemples pour chacun de ces documents ainsi que le code requis pour en extraire les données. Pour la base de code complète, consultez les blocs-notes dans notre GitHub référentiel.

Enrichissement de documents

L'une des formes les plus courantes d'enrichissement de documents est la suppression d'informations sensibles ou confidentielles sur des documents, qui peuvent être imposées en raison de lois ou de réglementations sur la confidentialité. Par exemple, le talon de paie d'un demandeur de prêt hypothécaire peut contenir des données PII sensibles, telles que le nom, l'adresse et le SSN, qui peuvent nécessiter une suppression pour un stockage prolongé.

Dans l'exemple de document de talon de paie précédent, nous effectuons la suppression des données PII telles que le SSN, le nom, le numéro de compte bancaire et les dates. Pour identifier les données PII dans un document, nous utilisons Amazon Comprehend Détection d'informations personnelles capacité via le Détecter les PIIEntities API. Cette API inspecte le contenu du document pour identifier la présence d'informations PII. Étant donné que cette API nécessite une entrée au format texte brut encodé UTF-8, nous extrayons d'abord le texte du document à l'aide de l'Amazon Textract DétecterTexteDocument API, qui renvoie le texte du document et renvoie également des informations sur la géométrie telles que les dimensions et les coordonnées de la zone de délimitation. Une combinaison des deux sorties est ensuite utilisée pour dessiner des caviardages sur le document dans le cadre du processus d'enrichissement.

Examiner, valider et intégrer les données

Les données extraites de la phase d'extraction de documents peuvent nécessiter une validation par rapport à des règles métier spécifiques. Des informations spécifiques peuvent également être validées sur plusieurs documents, également appelés validation cross-doc. Un exemple de validation croisée pourrait être de comparer le nom du demandeur dans le document d'identité au nom dans le document de demande de prêt hypothécaire. Vous pouvez également effectuer d'autres validations telles que des estimations de la valeur de la propriété et des décisions de souscription conditionnelles au cours de cette phase.

Un troisième type de validation est lié au score de confiance des données extraites dans la phase d'extraction du document. Amazon Textract et Amazon Comprehend renvoient un score de confiance pour les formulaires, les tableaux, les données textuelles et les entités détectés. Vous pouvez configurer un seuil de score de confiance pour vous assurer que seules les valeurs correctes sont envoyées en aval. Ceci est réalisé via Amazon A2I, qui compare les scores de confiance des données détectées avec un seuil de confiance prédéfini. Si le seuil n'est pas atteint, le document et la sortie extraite sont acheminés vers un humain pour examen via une interface utilisateur intuitive. Le réviseur prend des mesures correctives sur les données et les enregistre pour un traitement ultérieur. Pour plus d'informations, reportez-vous à Concepts de base d'Amazon A2I.

Conclusion

Dans cet article, nous avons discuté des phases du traitement intelligent des documents en ce qui concerne les phases d'une demande de prêt hypothécaire. Nous avons examiné quelques exemples courants de documents pouvant être trouvés dans un dossier de demande de prêt hypothécaire. Nous avons également discuté des moyens d'extraire et de traiter le contenu structuré, semi-structuré et non structuré de ces documents. IDP offre un moyen d'automatiser le traitement des documents hypothécaires de bout en bout qui peut être adapté à des millions de documents, améliorant la qualité des décisions de demande, réduisant les coûts et servant les clients plus rapidement.

Dans une prochaine étape, vous pouvez essayer les exemples de code et les blocs-notes dans notre GitHub référentiel. Pour en savoir plus sur la façon dont IDP peut aider vos charges de travail de traitement de documents, visitez Automatisez le traitement des données à partir de documents.

À propos des auteurs

Anjan Biswas est un architecte senior de solutions de services d'IA spécialisé dans l'IA/ML et l'analyse de données. Anjan fait partie de l'équipe mondiale des services d'IA et travaille avec les clients pour les aider à comprendre et à développer des solutions aux problèmes commerciaux liés à l'IA et au ML. Anjan a plus de 14 ans d'expérience de travail avec des organisations mondiales de chaîne d'approvisionnement, de fabrication et de vente au détail et aide activement les clients à démarrer et à évoluer sur les services AWS AI.

Dwiti Pathak est un gestionnaire de compte technique senior basé à San Diego. Elle se concentre sur l'aide à l'industrie des semi-conducteurs pour s'engager dans AWS. Dans ses temps libres, elle aime lire sur les nouvelles technologies et jouer à des jeux de société.

Balaji Puli est un architecte de solutions basé à Bay Area, en Californie. Aide actuellement certains clients des sciences de la vie du secteur de la santé du nord-ouest des États-Unis à accélérer leur adoption du cloud AWS. Balaji aime voyager et adore explorer différentes cuisines.