Amazon Textract と Amazon Comprehend を使用したインテリジェントなドキュメント処理で住宅ローン ドキュメントを処理する

融資および住宅ローン業界の組織は、毎日何千ものドキュメントを処理しています。 新しい住宅ローンの申請から住宅ローンの借り換えまで、これらのビジネス プロセスには、申請ごとに数百のドキュメントが含まれます。 現在、すべてのドキュメントから情報を処理および抽出するために利用できる自動化は限られています。特に、さまざまな形式やレイアウトが原因です。 アプリケーションの量が多いため、戦略的な洞察を取得し、コンテンツから重要な情報を取得することは、時間がかかり、手作業が多く、エラーが発生しやすく、費用のかかるプロセスです。 従来の光学式文字認識 (OCR) ツールは、法外なコストがかかり、エラーが発生しやすく、多くの構成が必要であり、拡張が困難です。 AWS 人工知能 (AI) サービスを使用したインテリジェントドキュメント処理 (IDP) は、全体的なコストを削減しながら、より迅速で質の高い意思決定を目標に、住宅ローン申請処理を自動化および加速するのに役立ちます。

この記事では、機械学習 (ML) 機能を活用する方法を紹介します。 アマゾンテキストラック, Amazon Comprehend ML スキルを必要とせずに、新しい住宅ローン アプリケーションでドキュメントを処理します。 次の図に示すように、IDP のさまざまなフェーズと、それらが住宅ローンの申請プロセスに含まれる手順 (申請書の提出、引受、検証、クロージングなど) にどのように関連しているかを調べます。

住宅ローンの申し込みはそれぞれ異なる場合がありますが、住宅ローンの申し込みに含まれる最も一般的な書類のいくつかを考慮しました。たとえば、住宅ローンの統一申し込み (URLA-1003) フォーム、1099 フォーム、住宅ローンのメモなどです。

ソリューションの概要

Amazon Textract は、事前トレーニング済みの ML モデルを使用して、スキャンしたドキュメントからテキスト、手書き、およびデータを自動的に抽出する ML サービスです。 Amazon Comprehend は自然言語処理 (NLP) サービスであり、ML を使用してテキスト内の貴重な洞察とつながりを明らかにし、ドキュメント分類、名前エンティティ認識 (NER)、トピック モデリングなどを実行できます。

次の図は、住宅ローン申請プロセスのフェーズに関連する IDP のフェーズを示しています。

プロセスの開始時に、ドキュメントは Amazon シンプル ストレージ サービス (Amazon S3) バケット。 これにより、ドキュメント分類プロセスが開始され、ドキュメントが既知のカテゴリに分類されます。 ドキュメントが分類されたら、次のステップはドキュメントから重要な情報を抽出することです。 次に、選択したドキュメントのエンリッチメントを実行します。これには、個人を特定できる情報 (PII) の編集、ドキュメントのタグ付け、メタデータの更新などがあります。 次のステップでは、前のフェーズで抽出されたデータを検証して、住宅ローンの申し込みが完全であることを確認します。 検証は、ビジネス検証ルールとクロス ドキュメント検証ルールによって実行できます。 抽出された情報の信頼スコアは、設定されたしきい値と比較することもでき、自動的に人間のレビュー担当者にルーティングされます。 Amazon拡張AI (Amazon A2I) しきい値が満たされていない場合。 プロセスの最終段階では、抽出および検証されたデータがダウンストリーム システムに送信され、さらに保存、処理、またはデータ分析が行われます。

以下のセクションでは、住宅ローン申請のフェーズに関連する IDP のフェーズについて詳しく説明します。 IDP のフェーズを順を追って説明し、ドキュメントの種類について説明します。 情報を保存、分類、抽出する方法、および機械学習を使用してドキュメントを強化する方法。

ドキュメントストレージ

Amazon S3 は、業界をリードするスケーラビリティ、データの可用性、セキュリティ、およびパフォーマンスを提供するオブジェクト ストレージ サービスです。 Amazon S3 を使用して、住宅ローンの申請プロセス中およびプロセス後に住宅ローンの書類を安全に保管します。 あ 住宅ローン申込書 URLA-1003、1099-INT/DIV/RR/MISC、W2、給与明細、銀行の明細書、クレジット カードの明細書など、いくつかの種類のフォームやドキュメントが含まれる場合があります。 これらの書類は、住宅ローンの申請段階で申請者によって提出されます。 それらを手動で確認しないと、どのドキュメントがパケットに含まれているかがすぐにはわからない場合があります。 この手動プロセスは、時間と費用がかかる可能性があります。 次のフェーズでは、Amazon Comprehend を使用してこのプロセスを自動化し、ドキュメントをそれぞれのカテゴリに高精度で分類します。

文書分類

文書分類は、多数の未確認の文書を分類およびラベル付けできる方法です。 Amazon Comprehend を使用して、このドキュメント分類を実行します。 カスタム分類子. カスタム分類子は、関心のあるクラスを認識するために一連のラベル付きドキュメントでトレーニングできる ML モデルです。 モデルがトレーニングされ、ホストされたエンドポイントの背後にデプロイされた後、分類子を利用して、特定のドキュメントが属するカテゴリ (またはクラス) を決定できます。 この場合、カスタム分類器をトレーニングします。 マルチクラスモードこれは、CSV ファイルまたは拡張マニフェスト ファイルのいずれかを使用して実行できます。 このデモでは、CSV ファイルを使用して分類器をトレーニングします。 私たちを参照してください GitHubリポジトリ 完全なコード サンプルについては、. 以下は、関連する手順の概要です。

1. Amazon Textract を使用して、画像または PDF ファイルから UTF-8 でエンコードされたプレーンテキストを抽出する ドキュメントテキストの検出 APIです。
2. カスタム分類子を CSV 形式でトレーニングするためのトレーニング データを準備します。
3. CSV ファイルを使用してカスタム分類器をトレーニングします。
4. リアルタイムのドキュメント分類用のエンドポイントを使用してトレーニング済みモデルをデプロイするか、リアルタイム操作と非同期操作の両方をサポートするマルチクラス モードを使用します。

次の図は、このプロセスを示しています。

展開されたエンドポイントを使用してドキュメントの分類を自動化し、ドキュメントを識別して分類できます。 この自動化は、必要なすべてのドキュメントが住宅ローン パケットに含まれているかどうかを確認するのに役立ちます。 不足している文書は、手動で介入することなく迅速に特定でき、プロセスのかなり早い段階で申請者に通知できます。

ドキュメントの抽出

このフェーズでは、Amazon Textract と Amazon Comprehend を使用してドキュメントからデータを抽出します。 フォームとテーブルを含む構造化および半構造化ドキュメントの場合、Amazon Textract を使用します。 ドキュメントの分析 API。 ID ドキュメントなどの特殊なドキュメントの場合、Amazon Textract は 分析ID API。 一部のドキュメントには密度の高いテキストが含まれている場合があり、それらからビジネス固有の重要な用語を抽出する必要がある場合があります。 エンティティ。 私たちは カスタム エンティティの認識 カスタム エンティティ認識エンジンをトレーニングする Amazon Comprehend の機能。高密度テキストからそのようなエンティティを識別できます。

次のセクションでは、住宅ローン申請書パケットに含まれるサンプル ドキュメントを順を追って説明し、それらから情報を抽出するために使用される方法について説明します。 これらの各例には、コード スニペットと短いサンプル出力が含まれています。

Unified Residential Loan Application URLA-1003 からデータを抽出する

統一住宅ローン申込書 (URLA-1003) は、業界標準の住宅ローン申込書です。 これは、住宅ローンの申請者、購入する物件の種類、融資される金額、および物件購入の性質に関するその他の詳細に関する情報を含む、かなり複雑な文書です。 以下は URLA-1003 のサンプルです。この構造化ドキュメントから情報を抽出することを目的としています。 これはフォームであるため、機能タイプの AnalyzeDocument API を使用します。 形.

FORM 機能タイプは、ドキュメントからフォーム情報を抽出し、キーと値のペア形式で返します。 次のコード スニペットでは、 amazon-textract-textractor わずか数行のコードでフォーム情報を抽出する Python ライブラリ。 便利な方法 call_textract() その AnalyzeDocument API は内部で使用され、メソッドに渡されるパラメーターは、API が抽出タスクを実行するために必要な構成の一部を抽象化します。 Document API からの JSON 応答を解析するために使用される便利なメソッドです。 高レベルの抽象化を提供し、API 出力を反復可能にし、情報を簡単に取得できるようにします。 詳細については、次を参照してください。 Textract 応答パーサー & テキストトラクター.

from textractcaller.t_call import call_textract, Textract_Features
from trp import Document

response_urla_1003 = call_textract(input_document='s3://<your-bucket>/URLA-1003.pdf', 
                                   features=[Textract_Features.FORMS])
doc_urla_1003 = Document(response_urla_1003)
for page in doc_urla_1003.pages:
    forms=[]
    for field in page.form.fields:
        obj={}
        obj[f'{field.key}']=f'{field.value}'
        forms.append(obj)
print(json.dumps(forms, indent=4))

出力には、フォームに存在するチェック ボックスまたはラジオ ボタンの値が含まれていることに注意してください。 たとえば、サンプルの URLA-1003 ドキュメントでは、 購入 オプションが選択されました。 ラジオボタンの対応する出力は、「Purchase”（キー）と”SELECTED」 (値)、ラジオ ボタンが選択されたことを示します。

[
    { "No. of Units": "1" },
    { "Amount": "$ 450,000.00" },
    { "Year Built": "2010" },
    { "Purchase": "SELECTED" },
    { "Title will be held in what Name(s)": "Alejandro Rosalez" },
    { "Fixed Rate": "SELECTED" },
    ...
]

1099 フォームからデータを抽出

住宅ローン申請パケットには、1099-DIV、1099-INT、1099-MISC、および 1099-R などの多数の IRS ドキュメントも含まれる場合があります。 これらの書類は、利子、配当金、およびその他の雑所得要素による申請者の収益を示しており、保険引受時に決定を下す際に役立ちます。 次の図は、構造が似ているこれらのドキュメントのコレクションを示しています。 ただし、場合によっては、ドキュメントにフォーム情報 (赤と緑の境界ボックスでマーク) と表形式の情報 (黄色の境界ボックスでマーク) が含まれていることがあります。

フォーム情報を抽出するには、前述の AnalyzeDocument API。 の追加機能を渡します 表 ドキュメントから抽出されたフォーム データとテーブル データの両方が必要であることを API に示します。 次のコード スニペットでは、 AnalyzeDocument 1099-INT ドキュメントの FORMS および TABLES 機能を備えた API:

from textractcaller.t_call import call_textract, Textract_Features
from trp import Document
response_1099_int = call_textract(input_document='s3://<your-bucket>/1099-INT-2018.pdf',
                                  features=[Textract_Features.TABLES, 
                                            Textract_Features.FORMS])
doc_1099_int = Document(response_1099_int)
num_tables=1
for page in doc_1099_int.pages:     
    for table in page.tables:
        num_tables=num_tables+1
        for r, row in enumerate(table.rows):
            for c, cell in enumerate(row.cells):
                print(f"Cell[{r}][{c}] = {cell.text}")
        print('n')

ドキュメントには XNUMX つのテーブルが含まれているため、コードの出力は次のようになります。

Table 1
-------------------
Cell[0][0] = 15 State 
Cell[0][1] = 16 State identification no. 
Cell[0][2] = 17 State tax withheld 
Cell[1][0] = 
Cell[1][1] = 34564 
Cell[1][2] = $ 2000 
Cell[2][0] = 
Cell[2][1] = 23543 
Cell[2][2] = $ 1000

テーブル情報には、セルの位置 (行 0、列 0 など) と、各セル内の対応するテキストが含まれます。 このテーブル データを読みやすいグリッド ビューに変換できる便利なメソッドを使用します。

from textractprettyprinter.t_pretty_print import Textract_Pretty_Print, get_string, Pretty_Print_Table_Format
print(get_string(textract_json=response_1099_int, 
                 table_format=Pretty_Print_Table_Format.grid, 
                 output_type=[Textract_Pretty_Print.TABLES]))

次の出力が得られます。

+----------+-----------------------------+-----------------------+
| 15 State | 16 State identification no. | 17 State tax withheld |
+----------+-----------------------------+-----------------------+
|          | 34564                       | $ 2000                |
+----------+-----------------------------+-----------------------+
|          | 23543                       | $ 1000                |
+----------+-----------------------------+-----------------------+

使いやすい CSV 形式で出力を取得するには、次の形式タイプを使用します。 Pretty_Print_Table_Format.csv に渡すことができます table_format パラメータ。 TSV (タブ区切り値)、HTML、Latex などの他の形式もサポートされています。 詳細については、次を参照してください。 Textract-PrettyPrinter.

モーゲージ ノートからデータを抽出する

住宅ローン申込書のパケットには、テキストが密集した構造化されていないドキュメントが含まれている場合があります。 密度の高いテキスト ドキュメントの例としては、契約書や同意書があります。 モーゲージ ノートは、モーゲージ申込者と貸し手またはモーゲージ会社との間の契約であり、詳細なテキスト パラグラフに情報が含まれています。 このような場合、構造の欠如により、住宅ローンの申請プロセスで重要な重要なビジネス情報を見つけることが難しくなります。 この問題を解決するには、次の XNUMX つの方法があります。

次の住宅ローンの例では、毎月の支払い額と元本額を調べることに特に関心があります。

最初のアプローチでは、 Query & QueriesConfig Amazon Textract に渡される一連の質問を設定する便利なメソッド AnalyzeDocument API 呼び出し。 ドキュメントが複数ページ (PDF または TIFF) の場合、Amazon Textract が質問に対する回答を探すページ番号を指定することもできます。 次のコード スニペットは、クエリ構成を作成し、API 呼び出しを行い、その後応答を解析して応答から回答を取得する方法を示しています。

from textractcaller import QueriesConfig, Query
import trp.trp2 as t2

#Setup the queries
query2 = Query(text="What is the principal amount borrower has to pay?", alias="PRINCIPAL_AMOUNT", pages=["1"])
query4 = Query(text="What is the monthly payment amount?", alias="MONTHLY_AMOUNT", pages=["1"])

#Setup the query config with the above queries
queries_config = QueriesConfig(queries=[query1, query2, query3, query4])
#Call AnalyzeDocument with the queries_config
response_mortgage_note = call_textract(input_document='s3://<your-bucket>/Mortgage-Note.pdf',
                                       features=[Textract_Features.QUERIES],
                                       queries_config=queries_config)
doc_mortgage_note: t2.TDocumentSchema = t2.TDocumentSchema().load(response_mortgage_note) 

entities = {}
for page in doc_mortgage_note.pages:
    query_answers = doc_mortgage_note.get_query_answers(page=page)
    if query_answers:
        for answer in query_answers:
            entities[answer[1]] = answer[2]
print(entities)

次の出力が得られます。

{
    'PRINCIPAL_AMOUNT': '$ 555,000.00',
    'MONTHLY_AMOUNT': '$2,721.23',
}

XNUMX 番目のアプローチでは、Amazon Comprehend を使用します。 エンティティの検出 モーゲージ ノートを含む API。 エンティティの定義済みセット. これらは、Amazon Comprehend エンティティ認識エンジンが事前にトレーニングされているエンティティです。 ただし、私たちの要件は特定のエンティティを検出することであるため、Amazon Comprehend カスタム エンティティ認識エンジンは、サンプルの住宅ローン ノート ドキュメントのセットとエンティティのリストを使用してトレーニングされます。 エンティティ名を次のように定義します PRINCIPAL_AMOUNT & MONTHLY_AMOUNT. トレーニング データは、Amazon Comprehend トレーニングに従って準備されます。 データ準備ガイドライン カスタムエンティティ認識用。 エンティティ認識エンジンは次の方法でトレーニングできます ドキュメントの注釈 または エンティティリスト. この例では、エンティティ リストを使用してモデルをトレーニングします。 モデルをトレーニングした後、それをデプロイできます リアルタイムエンドポイント または バッチモード ドキュメントの内容から XNUMX つのエンティティを検出します。 以下は、カスタム エンティティ レコグナイザーをトレーニングして展開するために必要な手順です。 完全なコード チュートリアルについては、GitHub リポジトリを参照してください。

1. トレーニング データ (エンティティ リストと (UTF-8 エンコード) プレーン テキスト形式のドキュメント) を準備します。
2. を使用してエンティティ認識トレーニングを開始します CreateEntityRecognizer トレーニング データを使用した API。
3. を使用して、トレーニング済みのモデルをリアルタイム エンドポイントでデプロイします。 エンドポイントの作成 APIです。

米国のパスポートからデータを抽出する

アマゾンのテキストラクト 身分証明書の分析 この機能は、運転免許証やパスポートなどの米国ベースの ID ドキュメントから情報を検出して抽出できます。 の AnalyzeID API は、ID ドキュメント内の暗黙のフィールドを検出して解釈できるため、ドキュメントから特定の情報を簡単に抽出できます。 本人確認書類は、ほとんどの場合、住宅ローン申請パケットの一部です。これは、引受プロセス中に借り手の身元を確認し、借り手の経歴データの正確性を検証するために使用されるためです。

という名前の便利なメソッドを使用します call_textract_analyzeid、を呼び出します AnalyzeID 内部で API。 次に、応答を繰り返し処理して、ID ドキュメントから検出されたキーと値のペアを取得します。 次のコードを参照してください。

from textractcaller import call_textract_analyzeid
import trp.trp2_analyzeid as t2id

response_passport = call_textract_analyzeid(document_pages=['s3://<your-bucket>/Passport.pdf'])
doc_passport: t2id.TAnalyzeIdDocument = t2id.TAnalyzeIdDocumentSchema().load(response_passport)

for id_docs in response_passport['IdentityDocuments']:
    id_doc_kvs={}
    for field in id_docs['IdentityDocumentFields']:
        if field['ValueDetection']['Text']:
            id_doc_kvs[field['Type']['Text']] = field['ValueDetection']['Text']
print(id_doc_kvs)

AnalyzeID と呼ばれる構造体で情報を返します。 IdentityDocumentFields正規化されたキーとそれに対応する値が含まれています。 たとえば、次の出力では、 FIRST_NAME は正規化されたキーで、値は ALEJANDRO. 例のパスポート画像では、名のフィールドは「Given Names / Prénoms / Nombre」とラベル付けされていますが、 AnalyzeID それをキー名に正規化できました FIRST_NAME. サポートされている正規化されたフィールドのリストについては、次を参照してください。 アイデンティティ ドキュメント レスポンス オブジェクト.

{
    'FIRST_NAME': 'ALEJANDRO',
    'LAST_NAME': 'ROSALEZ',
    'DOCUMENT_NUMBER': '918268822',
    'EXPIRATION_DATE': '31 JAN 2029',
    'DATE_OF_BIRTH': '15 APR 1990',
    'DATE_OF_ISSUE': '29 JAN 2009',
    'ID_TYPE': 'PASSPORT',
    'ENDORSEMENTS': 'SEE PAGE 27',
    'PLACE_OF_BIRTH': 'TEXAS U.S.A.'
}

住宅ローンのパケットには、給与明細、W2 フォーム、銀行の明細書、クレジット カードの明細書、雇用確認書など、他のいくつかのドキュメントが含まれている場合があります。 これらの各ドキュメントのサンプルと、ドキュメントからデータを抽出するために必要なコードがあります。 完全なコード ベースについては、 GitHubリポジトリ.

ドキュメントの強化

ドキュメント エンリッチメントの最も一般的な形式の XNUMX つは、ドキュメントの機密情報または機密情報の編集です。これは、プライバシー法または規制により義務付けられている場合があります。 たとえば、住宅ローン申請者の給与明細には、名前、住所、SSN などの機密性の高い PII データが含まれている可能性があり、拡張ストレージには編集が必要になる場合があります。

前のサンプルの給与明細ドキュメントでは、SSN、名前、銀行口座番号、日付などの PII データのリダクションを実行します。 ドキュメント内の PII データを識別するために、Amazon Comprehend を使用します。 PII 検出 を介した機能 PIIエンティティの検出 API。 この API は、ドキュメントのコンテンツを検査して、PII 情報の存在を識別します。 この API は UTF-8 でエンコードされたプレーン テキスト形式での入力を必要とするため、最初に Amazon Textract を使用してドキュメントからテキストを抽出します。 ドキュメントテキストの検出 ドキュメントからテキストを返し、バウンディング ボックスの寸法や座標などのジオメトリ情報も返す API。 次に、エンリッチメント プロセスの一環として、両方の出力の組み合わせを使用して、ドキュメントの編集を行います。

データのレビュー、検証、および統合

ドキュメント抽出フェーズから抽出されたデータは、特定のビジネス ルールに対する検証が必要になる場合があります。 特定の情報は、複数のドキュメントにわたって検証される場合もあります。 クロスドキュメント検証. クロスドキュメント検証の例としては、ID ドキュメント内の申請者の名前と住宅ローン申請ドキュメント内の名前を比較することがあります。 このフェーズでは、資産価値の見積もりや条件付きの引受決定など、他の検証を行うこともできます。

検証の 2 番目のタイプは、ドキュメント抽出フェーズで抽出されたデータの信頼スコアに関連しています。 Amazon Textract と Amazon Comprehend は、検出されたフォーム、テーブル、テキスト データ、およびエンティティの信頼スコアを返します。 信頼スコアのしきい値を構成して、正しい値のみがダウンストリームに送信されるようにすることができます。 これは、検出されたデータの信頼スコアを事前定義された信頼しきい値と比較する Amazon AXNUMXI によって実現されます。 しきい値が満たされない場合、ドキュメントと抽出された出力は、直感的な UI を介して確認するために人間にルーティングされます。 レビュー担当者は、データに対して修正アクションを実行し、さらに処理するために保存します。 詳細については、次を参照してください。 Amazon A2I のコアコンセプト.

まとめ

この投稿では、住宅ローン申請のフェーズに関連するインテリジェントなドキュメント処理のフェーズについて説明しました。 住宅ローン申請書のパケットに含まれる一般的なドキュメントの例をいくつか見てきました。 また、これらのドキュメントから構造化、半構造化、および非構造化コンテンツを抽出して処理する方法についても説明しました。 IDP は、数百万のドキュメントにスケーリングできるエンド ツー エンドの住宅ローン ドキュメント処理を自動化する方法を提供し、アプリケーションの決定の質を高め、コストを削減し、顧客により迅速にサービスを提供します。

次のステップとして、コード サンプルとノートブックを試すことができます。 GitHubリポジトリ. IDP がドキュメント処理ワークロードにどのように役立つかについて詳しくは、次の Web サイトをご覧ください。 ドキュメントからのデータ処理を自動化する.

著者について

アンジャンビスワス は、AI/MLとデータ分析に重点を置いたシニアAIサービスソリューションアーキテクトです。 Anjanは世界規模のAIサービスチームの一員であり、顧客と協力してAIとMLのビジネス上の問題を理解し、解決策を開発するのを支援しています。 Anjanは、グローバルなサプライチェーン、製造、小売組織で14年以上の経験があり、お客様がAWSAIサービスを開始して拡張できるよう積極的に支援しています。

ドウィティ・パタク は、サンディエゴを拠点とするシニア テクニカル アカウント マネージャーです。 彼女は、半導体業界が AWS に関与するのを支援することに重点を置いています。 余暇には、新しいテクノロジーに関する本を読んだり、ボード ゲームをしたりするのが好きです。

バラジ・プリ は、カリフォルニア州ベイエリアを拠点とするソリューション アーキテクトです。 現在、米国北西部の一部のヘルスケア ライフ サイエンスのお客様が AWS クラウドの採用を加速するのを支援しています。 Balaji は旅行が好きで、さまざまな料理を探索するのが大好きです。