Procese documentos hipotecarios con procesamiento inteligente de documentos usando Amazon Textract y Amazon Comprehend

Las organizaciones en la industria de préstamos e hipotecas procesan miles de documentos diariamente. Desde una nueva solicitud de hipoteca hasta el refinanciamiento de una hipoteca, estos procesos comerciales involucran cientos de documentos por solicitud. Actualmente, existe una automatización limitada disponible para procesar y extraer información de todos los documentos, especialmente debido a los diferentes formatos y diseños. Debido al gran volumen de aplicaciones, la captura de conocimientos estratégicos y la obtención de información clave a partir de los contenidos es un proceso que consume mucho tiempo, es muy manual, propenso a errores y costoso. Las herramientas heredadas de reconocimiento óptico de caracteres (OCR) tienen un costo prohibitivo, son propensas a errores, requieren mucha configuración y son difíciles de escalar. El procesamiento inteligente de documentos (IDP) con los servicios de inteligencia artificial (IA) de AWS ayuda a automatizar y acelerar el procesamiento de solicitudes de hipotecas con el objetivo de tomar decisiones más rápidas y de calidad, al mismo tiempo que reduce los costos generales.

En esta publicación, demostramos cómo puede utilizar las capacidades de aprendizaje automático (ML) con Amazon Textily Amazon Comprehend para procesar documentos en una nueva solicitud de hipoteca, sin necesidad de habilidades de ML. Exploramos las diversas fases de IDP como se muestra en la siguiente figura, y cómo se conectan con los pasos involucrados en un proceso de solicitud de hipoteca, como la presentación de la solicitud, la suscripción, la verificación y el cierre.

Aunque cada solicitud de hipoteca puede ser única, tomamos en cuenta algunos de los documentos más comunes que se incluyen en una solicitud de hipoteca, como el formulario de Solicitud de Préstamo Residencial Unificado (URLA-1003), los formularios 1099 y el pagaré hipotecario.

Resumen de la solución

Amazon Textract es un servicio de aprendizaje automático que extrae automáticamente texto, escritura a mano y datos de documentos escaneados mediante modelos de aprendizaje automático previamente entrenados. Amazon Comprehend es un servicio de procesamiento de lenguaje natural (NLP) que utiliza ML para descubrir información y conexiones valiosas en el texto y puede realizar la clasificación de documentos, el reconocimiento de entidades de nombres (NER), el modelado de temas y más.

La siguiente figura muestra las fases de IDP en relación con las fases de un proceso de solicitud de hipoteca.

Al comienzo del proceso, los documentos se cargan en un Servicio de almacenamiento simple de Amazon (Amazon S3) cubeta. Esto inicia un proceso de clasificación de documentos para categorizar los documentos en categorías conocidas. Después de categorizar los documentos, el siguiente paso es extraer información clave de ellos. Luego, realizamos el enriquecimiento de documentos seleccionados, que pueden ser cosas como redacción de información de identificación personal (PII), etiquetado de documentos, actualizaciones de metadatos y más. El siguiente paso consiste en validar los datos extraídos en las fases anteriores para garantizar la integridad de una solicitud de hipoteca. La validación se puede realizar a través de reglas de validación comercial y reglas de validación de documentos cruzados. Los puntajes de confianza de la información extraída también se pueden comparar con un umbral establecido y se enrutan automáticamente a un revisor humano a través de IA aumentada de Amazon (Amazon A2I) si no se alcanza el umbral. En la fase final del proceso, los datos extraídos y validados se envían a los sistemas posteriores para su posterior almacenamiento, procesamiento o análisis de datos.

En las siguientes secciones, analizamos en detalle las fases de IDP en relación con las fases de una solicitud de hipoteca. Recorremos las fases de IDP y discutimos los tipos de documentos; cómo almacenamos, clasificamos y extraemos información, y cómo enriquecemos los documentos utilizando el aprendizaje automático.

Almacenamiento de documento

Amazon S3 es un servicio de almacenamiento de objetos que ofrece escalabilidad, disponibilidad de datos, seguridad y rendimiento líderes en la industria. Usamos Amazon S3 para almacenar de forma segura los documentos de la hipoteca durante y después del proceso de solicitud de la hipoteca. A paquete de solicitud de hipoteca puede contener varios tipos de formularios y documentos, como URLA-1003, 1099-INT/DIV/RR/MISC, W2, talones de pago, extractos bancarios, extractos de tarjetas de crédito y más. Estos documentos son presentados por el solicitante en la fase de solicitud de hipoteca. Sin revisarlos manualmente, es posible que no quede claro de inmediato qué documentos se incluyen en el paquete. Este proceso manual puede llevar mucho tiempo y ser costoso. En la siguiente fase, automatizamos este proceso utilizando Amazon Comprehend para clasificar los documentos en sus respectivas categorías con gran precisión.

Clasificación de documentos

La clasificación de documentos es un método mediante el cual se pueden categorizar y etiquetar un gran número de documentos no identificados. Realizamos esta clasificación de documentos usando un Amazon Comprehend clasificador personalizado. Un clasificador personalizado es un modelo de ML que se puede entrenar con un conjunto de documentos etiquetados para reconocer las clases que le interesan. Después de entrenar e implementar el modelo detrás de un punto final alojado, podemos utilizar el clasificador para determinar la categoría (o clase) a la que pertenece un documento en particular. En este caso, entrenamos un clasificador personalizado en modo multiclase, que se puede hacer con un archivo CSV o un archivo de manifiesto aumentado. A los efectos de esta demostración, usamos un archivo CSV para entrenar el clasificador. Consulte nuestro Repositorio GitHub para el ejemplo de código completo. La siguiente es una descripción general de alto nivel de los pasos involucrados:

1. Extraiga texto sin formato codificado en UTF-8 de archivos de imagen o PDF utilizando Amazon Textract DetectarDocumentoTexto API.
2. Prepare datos de entrenamiento para entrenar un clasificador personalizado en formato CSV.
3. Entrene un clasificador personalizado utilizando el archivo CSV.
4. Implemente el modelo entrenado con un punto final para la clasificación de documentos en tiempo real o use el modo multiclase, que admite operaciones asíncronas y en tiempo real.

El siguiente diagrama ilustra este proceso.

Puede automatizar la clasificación de documentos utilizando el punto final implementado para identificar y categorizar documentos. Esta automatización es útil para verificar si todos los documentos requeridos están presentes en un paquete de hipoteca. Un documento faltante puede identificarse rápidamente, sin intervención manual, y notificarse al solicitante mucho antes en el proceso.

Extracción de documentos

En esta fase, extraemos datos del documento utilizando Amazon Texttract y Amazon Comprehend. Para documentos estructurados y semiestructurados que contienen formularios y tablas, utilizamos Amazon Textract AnalizarDocumento API. Para documentos especializados, como documentos de identidad, Amazon Textract proporciona la AnalizarID API. Algunos documentos también pueden contener texto denso y es posible que deba extraer de ellos términos clave específicos de la empresa, también conocidos como entidades. Utilizamos el reconocimiento de entidad personalizada Capacidad de Amazon Comprehend para entrenar un reconocedor de entidades personalizado, que puede identificar dichas entidades a partir del texto denso.

En las siguientes secciones, repasamos los documentos de muestra que están presentes en un paquete de solicitud de hipoteca y analizamos los métodos utilizados para extraer información de ellos. Para cada uno de estos ejemplos, se incluye un fragmento de código y una breve salida de muestra.

Extraer datos de la Solicitud de Préstamo Residencial Unificado URLA-1003

Una solicitud de préstamo residencial unificado (URLA-1003) es un formulario de solicitud de préstamo hipotecario estándar de la industria. Es un documento bastante complejo que contiene información sobre el solicitante de la hipoteca, el tipo de propiedad que se compra, el monto que se financia y otros detalles sobre la naturaleza de la compra de la propiedad. El siguiente es un URLA-1003 de muestra, y nuestra intención es extraer información de este documento estructurado. Debido a que este es un formulario, usamos la API de AnalyzeDocument con un tipo de función de FORMULARIO.

El tipo de función FORM extrae información del formulario del documento, que luego se devuelve en formato de par clave-valor. El siguiente fragmento de código utiliza el amazon-textract-textractor Biblioteca de Python para extraer información de formularios con solo unas pocas líneas de código. El método de conveniencia call_textract() llama al AnalyzeDocument API internamente, y los parámetros pasados ​​al método resumen algunas de las configuraciones que la API necesita para ejecutar la tarea de extracción. Document es un método conveniente que se usa para ayudar a analizar la respuesta JSON de la API. Proporciona una abstracción de alto nivel y hace que la salida de la API sea iterable y fácil de obtener información. Para obtener más información, consulte Analizador de respuesta de texto y texturizadora.

from textractcaller.t_call import call_textract, Textract_Features
from trp import Document

response_urla_1003 = call_textract(input_document='s3://<your-bucket>/URLA-1003.pdf', 
                                   features=[Textract_Features.FORMS])
doc_urla_1003 = Document(response_urla_1003)
for page in doc_urla_1003.pages:
    forms=[]
    for field in page.form.fields:
        obj={}
        obj[f'{field.key}']=f'{field.value}'
        forms.append(obj)
print(json.dumps(forms, indent=4))

Tenga en cuenta que la salida contiene valores para casillas de verificación o botones de radio que existen en el formulario. Por ejemplo, en el documento de ejemplo URLA-1003, el Compre un se seleccionó la opción. La salida correspondiente para el botón de radio se extrae como "Purchase” (tecla) y “SELECTED” (valor), lo que indica que se seleccionó el botón de opción.

[
    { "No. of Units": "1" },
    { "Amount": "$ 450,000.00" },
    { "Year Built": "2010" },
    { "Purchase": "SELECTED" },
    { "Title will be held in what Name(s)": "Alejandro Rosalez" },
    { "Fixed Rate": "SELECTED" },
    ...
]

Extraer datos de formularios 1099

Un paquete de solicitud de hipoteca también puede contener varios documentos del IRS, como 1099-DIV, 1099-INT, 1099-MISC y 1099-R. Estos documentos muestran las ganancias del solicitante a través de intereses, dividendos y otros componentes de ingresos misceláneos que son útiles durante la suscripción para tomar decisiones. La siguiente imagen muestra una colección de estos documentos, que son similares en estructura. Sin embargo, en algunos casos, los documentos contienen información de formulario (marcada con cuadros delimitadores rojos y verdes), así como información tabular (marcada con cuadros delimitadores amarillos).

Para extraer información del formulario, usamos un código similar al explicado anteriormente con el AnalyzeDocument API. Pasamos una característica adicional de MESA DE NOCHE a la API para indicar que necesitamos datos del formulario y de la tabla extraídos del documento. El siguiente fragmento de código utiliza el AnalyzeDocument API con funciones de FORMULARIOS y TABLAS en el documento 1099-INT:

from textractcaller.t_call import call_textract, Textract_Features
from trp import Document
response_1099_int = call_textract(input_document='s3://<your-bucket>/1099-INT-2018.pdf',
                                  features=[Textract_Features.TABLES, 
                                            Textract_Features.FORMS])
doc_1099_int = Document(response_1099_int)
num_tables=1
for page in doc_1099_int.pages:     
    for table in page.tables:
        num_tables=num_tables+1
        for r, row in enumerate(table.rows):
            for c, cell in enumerate(row.cells):
                print(f"Cell[{r}][{c}] = {cell.text}")
        print('n')

Como el documento contiene una sola tabla, el resultado del código es el siguiente:

Table 1
-------------------
Cell[0][0] = 15 State 
Cell[0][1] = 16 State identification no. 
Cell[0][2] = 17 State tax withheld 
Cell[1][0] = 
Cell[1][1] = 34564 
Cell[1][2] = $ 2000 
Cell[2][0] = 
Cell[2][1] = 23543 
Cell[2][2] = $ 1000

La información de la tabla contiene la posición de la celda (fila 0, columna 0, etc.) y el texto correspondiente dentro de cada celda. Usamos un método conveniente que puede transformar los datos de esta tabla en una vista de cuadrícula fácil de leer:

from textractprettyprinter.t_pretty_print import Textract_Pretty_Print, get_string, Pretty_Print_Table_Format
print(get_string(textract_json=response_1099_int, 
                 table_format=Pretty_Print_Table_Format.grid, 
                 output_type=[Textract_Pretty_Print.TABLES]))

Obtenemos el siguiente resultado:

+----------+-----------------------------+-----------------------+
| 15 State | 16 State identification no. | 17 State tax withheld |
+----------+-----------------------------+-----------------------+
|          | 34564                       | $ 2000                |
+----------+-----------------------------+-----------------------+
|          | 23543                       | $ 1000                |
+----------+-----------------------------+-----------------------+

Para obtener la salida en un formato CSV fácil de consumir, el tipo de formato de Pretty_Print_Table_Format.csv se puede pasar a la table_format parámetro. También se admiten otros formatos como TSV (valores separados por tabulaciones), HTML y Latex. Para obtener más información, consulte Textract-PrettyPrinter.

Extraer datos de una nota de hipoteca

Un paquete de solicitud de hipoteca puede contener documentos no estructurados con texto denso. Algunos ejemplos de documentos de texto denso son contratos y acuerdos. Un pagaré hipotecario es un acuerdo entre el solicitante de una hipoteca y el prestamista o la compañía hipotecaria, y contiene información en párrafos de texto denso. En tales casos, la falta de estructura dificulta encontrar información comercial clave que es importante en el proceso de solicitud de hipoteca. Hay dos enfoques para resolver este problema:

En el siguiente pagaré hipotecario de muestra, estamos específicamente interesados ​​en averiguar el monto del pago mensual y el monto principal.

Para el primer enfoque, usamos el Query y QueriesConfig métodos de conveniencia para configurar un conjunto de preguntas que se pasan a Amazon Texttract AnalyzeDocument llamada API. En caso de que el documento sea de varias páginas (PDF o TIFF), también podemos especificar los números de página donde Amazon Textract debe buscar las respuestas a la pregunta. El siguiente fragmento de código demuestra cómo crear la configuración de consulta, realizar una llamada API y, posteriormente, analizar la respuesta para obtener las respuestas de la respuesta:

from textractcaller import QueriesConfig, Query
import trp.trp2 as t2

#Setup the queries
query2 = Query(text="What is the principal amount borrower has to pay?", alias="PRINCIPAL_AMOUNT", pages=["1"])
query4 = Query(text="What is the monthly payment amount?", alias="MONTHLY_AMOUNT", pages=["1"])

#Setup the query config with the above queries
queries_config = QueriesConfig(queries=[query1, query2, query3, query4])
#Call AnalyzeDocument with the queries_config
response_mortgage_note = call_textract(input_document='s3://<your-bucket>/Mortgage-Note.pdf',
                                       features=[Textract_Features.QUERIES],
                                       queries_config=queries_config)
doc_mortgage_note: t2.TDocumentSchema = t2.TDocumentSchema().load(response_mortgage_note) 

entities = {}
for page in doc_mortgage_note.pages:
    query_answers = doc_mortgage_note.get_query_answers(page=page)
    if query_answers:
        for answer in query_answers:
            entities[answer[1]] = answer[2]
print(entities)

Obtenemos el siguiente resultado:

{
    'PRINCIPAL_AMOUNT': '$ 555,000.00',
    'MONTHLY_AMOUNT': '$2,721.23',
}

Para el segundo enfoque, usamos Amazon Comprehend Detectar entidades API con la nota de la hipoteca, que devuelve las entidades que detecta dentro del texto de un conjunto predefinido de entidades. Estas son entidades con las que el reconocedor de entidades de Amazon Comprehend está preentrenado. Sin embargo, debido a que nuestro requisito es detectar entidades específicas, un reconocedor de entidades personalizadas de Amazon Comprehend se entrena con un conjunto de documentos de notas hipotecarias de muestra y una lista de entidades. Definimos los nombres de las entidades como PRINCIPAL_AMOUNT y MONTHLY_AMOUNT. Los datos de entrenamiento se preparan siguiendo el entrenamiento de Amazon Comprehend pautas de preparación de datos para el reconocimiento de entidades personalizadas. El reconocedor de entidades se puede entrenar con anotaciones de documentos o con listas de entidades. A los efectos de este ejemplo, usamos listas de entidades para entrenar el modelo. Después de entrenar el modelo, podemos implementarlo con un punto final en tiempo real ó en lote modo para detectar las dos entidades a partir del contenido del documento. Los siguientes son los pasos necesarios para entrenar un reconocedor de entidades personalizado e implementarlo. Para obtener un tutorial completo del código, consulte nuestro repositorio de GitHub.

1. Prepare los datos de entrenamiento (la lista de entidades y los documentos con formato de texto sin formato (codificado en UTF-8).
2. Inicie el entrenamiento del reconocedor de entidades usando el CrearEntityRecognizer API usando los datos de entrenamiento.
3. Implemente el modelo entrenado con un punto final en tiempo real usando el Crear punto final API.

Extraer datos de un pasaporte estadounidense

El extracto amazónico analizar documentos de identidad La capacidad puede detectar y extraer información de documentos de identificación basados ​​en los EE. UU., como una licencia de conducir y un pasaporte. los AnalyzeID La API es capaz de detectar e interpretar campos implícitos en documentos de identidad, lo que facilita la extracción de información específica del documento. Los documentos de identidad casi siempre forman parte de un paquete de solicitud de hipoteca, porque se utilizan para verificar la identidad del prestatario durante el proceso de suscripción y para validar la exactitud de los datos biográficos del prestatario.

Usamos un método de conveniencia llamado call_textract_analyzeid, que llama al AnalyzeID API internamente. Luego iteramos sobre la respuesta para obtener los pares clave-valor detectados del documento de ID. Ver el siguiente código:

from textractcaller import call_textract_analyzeid
import trp.trp2_analyzeid as t2id

response_passport = call_textract_analyzeid(document_pages=['s3://<your-bucket>/Passport.pdf'])
doc_passport: t2id.TAnalyzeIdDocument = t2id.TAnalyzeIdDocumentSchema().load(response_passport)

for id_docs in response_passport['IdentityDocuments']:
    id_doc_kvs={}
    for field in id_docs['IdentityDocumentFields']:
        if field['ValueDetection']['Text']:
            id_doc_kvs[field['Type']['Text']] = field['ValueDetection']['Text']
print(id_doc_kvs)

AnalyzeID devuelve información en una estructura llamada IdentityDocumentFields, que contiene las claves normalizadas y su valor correspondiente. Por ejemplo, en el siguiente resultado, FIRST_NAME es una clave normalizada y el valor es ALEJANDRO. En la imagen del pasaporte de ejemplo, el campo para el primer nombre está etiquetado como "Given Names / Prénoms / Nombre", sin embargo AnalyzeID fue capaz de normalizar eso en el nombre de la clave FIRST_NAME. Para obtener una lista de los campos normalizados admitidos, consulte Objetos de respuesta de documentación de identidad.

{
    'FIRST_NAME': 'ALEJANDRO',
    'LAST_NAME': 'ROSALEZ',
    'DOCUMENT_NUMBER': '918268822',
    'EXPIRATION_DATE': '31 JAN 2029',
    'DATE_OF_BIRTH': '15 APR 1990',
    'DATE_OF_ISSUE': '29 JAN 2009',
    'ID_TYPE': 'PASSPORT',
    'ENDORSEMENTS': 'SEE PAGE 27',
    'PLACE_OF_BIRTH': 'TEXAS U.S.A.'
}

Un paquete de hipoteca puede contener varios otros documentos, como un talón de pago, un formulario W2, un extracto bancario, un extracto de la tarjeta de crédito y una carta de verificación de empleo. Tenemos muestras para cada uno de estos documentos junto con el código necesario para extraer datos de ellos. Para obtener el código base completo, consulte los cuadernos en nuestro Repositorio GitHub.

Enriquecimiento de documentos

Una de las formas más comunes de enriquecimiento de documentos es la redacción de información sensible o confidencial en documentos, que puede ser obligatoria debido a leyes o regulaciones de privacidad. Por ejemplo, el talón de pago de un solicitante de una hipoteca puede contener datos confidenciales de PII, como el nombre, la dirección y el SSN, que pueden necesitar supresión para un almacenamiento prolongado.

En el documento de talón de pago de muestra anterior, realizamos la redacción de datos PII, como SSN, nombre, número de cuenta bancaria y fechas. Para identificar datos PII en un documento, utilizamos Amazon Comprehend Detección de PII capacidad a través de la Detectar PIEEntidades API. Esta API inspecciona el contenido del documento para identificar la presencia de información PII. Debido a que esta API requiere entrada en formato de texto sin formato codificado en UTF-8, primero extraemos el texto del documento utilizando Amazon Textract DetectarDocumentoTexto API, que devuelve el texto del documento y también devuelve información de geometría, como las dimensiones y las coordenadas del cuadro delimitador. A continuación, se utiliza una combinación de ambos resultados para dibujar redacciones en el documento como parte del proceso de enriquecimiento.

Revisar, validar e integrar datos

Los datos extraídos de la fase de extracción de documentos pueden necesitar validación con reglas comerciales específicas. La información específica también se puede validar en varios documentos, también conocidos como validación entre documentos. Un ejemplo de validación cruzada podría ser comparar el nombre del solicitante en el documento de identidad con el nombre en el documento de solicitud de hipoteca. También puede realizar otras validaciones, como estimaciones del valor de la propiedad y decisiones de suscripción condicional en esta fase.

Un tercer tipo de validación está relacionado con la puntuación de confianza de los datos extraídos en la fase de extracción del documento. Amazon Textract y Amazon Comprehend devuelven una puntuación de confianza para formularios, tablas, datos de texto y entidades detectadas. Puede configurar un umbral de puntuación de confianza para garantizar que solo se envíen los valores correctos en sentido descendente. Esto se logra a través de Amazon A2I, que compara las puntuaciones de confianza de los datos detectados con un umbral de confianza predefinido. Si no se alcanza el umbral, el documento y la salida extraída se envían a un ser humano para su revisión a través de una interfaz de usuario intuitiva. El revisor toma medidas correctivas sobre los datos y los guarda para su posterior procesamiento. Para obtener más información, consulte Conceptos básicos de Amazon A2I.

Conclusión

En esta publicación, discutimos las fases del procesamiento inteligente de documentos en relación con las fases de una solicitud de hipoteca. Analizamos algunos ejemplos comunes de documentos que se pueden encontrar en un paquete de solicitud de hipoteca. También discutimos formas de extraer y procesar contenido estructurado, semiestructurado y no estructurado de estos documentos. IDP proporciona una forma de automatizar el procesamiento de documentos hipotecarios de extremo a extremo que se puede escalar a millones de documentos, mejorando la calidad de las decisiones de solicitud, reduciendo costos y atendiendo a los clientes más rápido.

Como siguiente paso, puede probar los ejemplos de código y cuadernos en nuestro Repositorio GitHub. Para obtener más información sobre cómo IDP puede ayudar a sus cargas de trabajo de procesamiento de documentos, visite Automatice el procesamiento de datos a partir de documentos.

Sobre los autores

anjan biswas es un arquitecto sénior de soluciones de servicios de IA con enfoque en IA/ML y análisis de datos. Anjan es parte del equipo mundial de servicios de IA y trabaja con los clientes para ayudarlos a comprender y desarrollar soluciones a los problemas comerciales con IA y ML. Anjan tiene más de 14 años de experiencia trabajando con organizaciones globales de cadena de suministro, fabricación y venta al por menor y está ayudando activamente a los clientes a comenzar y escalar en los servicios de IA de AWS.

Dwiti Pathak es un gerente técnico sénior de cuentas con sede en San Diego. Se centra en ayudar a la industria de los semiconductores a participar en AWS. En su tiempo libre le gusta leer sobre nuevas tecnologías y jugar juegos de mesa.

Balayi Puli es un arquitecto de soluciones con sede en Bay Area, CA. Actualmente ayuda a clientes selectos de ciencias de la vida de atención médica del noroeste de EE. UU. a acelerar su adopción de la nube de AWS. Balaji disfruta viajar y le encanta explorar diferentes cocinas.