人間によるレビューと BI の視覚化により、インテリジェントなドキュメント処理のためのビジネス ルールをカスタマイズする

膨大な量のビジネス ドキュメントが、さまざまな業界で毎日処理されています。 これらのドキュメントの多くは、紙ベースで、イメージとしてシステムにスキャンされたり、PDF のような非構造化形式になっています。 各企業は、これらの文書を処理する際に、ビジネスの背景に関連する独自の規則を適用する場合があります。 情報をいかに正確に抽出し、柔軟に処理するかは、多くの企業が直面する課題です。

Amazon Intelligent Document Processing (IDP) を使用すると、機械学習 (ML) の経験がなくても、業界をリードする機械学習 (ML) テクノロジーを活用できます。 この投稿では、に含まれるソリューションを紹介します Amazon IDP ワークショップ ドキュメントを処理して、Amazon AI サービスを使用して柔軟なビジネス ルールを提供する方法を紹介します。 次のステップバイステップを使用できます Jupyter Notebook ラボを完了します。

アマゾンテキストラック さまざまなドキュメントからテキストを簡単に抽出するのに役立ちます。 Amazon拡張AI (Amazon A2I) を使用すると、ML 予測の人によるレビューを実装できます。 デフォルトの Amazon A2I テンプレートを使用すると、抽出信頼度スコアが事前定義されたしきい値よりも低い場合や必要なキーが欠落している場合など、ルールに基づいて人によるレビュー パイプラインを構築できます。 ただし、実稼働環境では、文字列形式の検証、データ型と範囲の検証、ドキュメント全体のフィールドの検証など、柔軟なビジネス ルールをサポートするドキュメント処理パイプラインが必要です。 この投稿では、Amazon Textract と Amazon A2I を使用して、柔軟なビジネス ルールをサポートする一般的なドキュメント処理パイプラインをカスタマイズする方法を示します。

ソリューションの概要

サンプル ソリューションでは、 税務フォーム990は、非営利団体に関する財務情報を一般に提供する米国 IRS (Internal Revenue Service) フォームです。 この例では、フォームの最初のページにある一部のフィールドの抽出ロジックのみを取り上げます。 より多くのサンプル ドキュメントを見つけることができます。 IRSウェブサイト.

次の図は、人間によるレビューでカスタマイズされたビジネス ルールをサポートする IDP パイプラインを示しています。

アーキテクチャは、次の XNUMX つの論理ステージで構成されています。

• 抽出プロセス – 990 Tax Form からデータを抽出します (例として 1 ページを使用します)。
  • に保存されているサンプル イメージを取得します。 Amazon シンプル ストレージ サービス （Amazon S3）バケット。
  • を使用して Amazon Textract analyze_document API を呼び出します。 クエリ ページからテキストを抽出する機能。
• 検証 – ヒューマン・イン・ザ・ループのレビューで柔軟なビジネス・ルールを適用します。
  • ID フィールドの長さの検証など、抽出されたデータをビジネス ルールに照らして検証します。
  • ドキュメントを Amazon A2I に送信して、ビジネス ルールが失敗したかどうかを人間が確認できるようにします。
  • レビュアーは、Amazon A2I UI (カスタマイズ可能なウェブサイト) を使用して、抽出結果を検証します。
• BI の視覚化 - を使用しております アマゾンクイックサイト プロセスの洞察を示すビジネス インテリジェンス (BI) ダッシュボードを構築します。

ビジネス ルールをカスタマイズする

次の JSON 形式で一般的なビジネス ルールを定義できます。 サンプル コードでは、次の XNUMX つのルールを定義します。

• 最初のルールは、雇用者 ID フィールドに関するものです。 Amazon Textract の信頼スコアが 99% 未満の場合、ルールは失敗します。 この記事では、信頼スコアのしきい値を高く設定しましたが、これは設計上壊れています。 しきい値をより妥当な値に調整して、実際の環境で不要な人間の労力を減らすことができます (90% など)。
• XNUMX 番目のルールは、下流の処理ロジックに必要な DLN フィールド (納税フォームの一意の識別子) に関するものです。 DLN フィールドが欠落しているか、値が空の場合、このルールは失敗します。
• 16 番目のルールも DLN フィールド用ですが、条件タイプが異なります: LengthCheck。 DLN の長さが XNUMX 文字でない場合、ルールは破られます。

次のコードは、ビジネス ルールを JSON 形式で示しています。

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

同じ構造に従ってさらにビジネス ルールを追加することで、ソリューションを拡張できます。

Amazon Textract クエリを使用してテキストを抽出する

サンプル ソリューションでは、Amazon Textract analyze_document API を呼び出します。 クエリー 特定の質問をしてフィールドを抽出する機能。 ドキュメント内のデータの構造 (テーブル、フォーム、暗黙のフィールド、ネストされたデータ) を知る必要はなく、ドキュメントのバージョンや形式による違いについて心配する必要もありません。 クエリは、視覚的、空間的、言語的な合図を組み合わせて使用​​し、求める情報を高精度で抽出します。

DLN フィールドの値を抽出するには、「DLN とは何ですか?」などの自然言語での質問を含むリクエストを送信できます。 Amazon Textract は、画像またはドキュメントで対応する情報が見つかった場合、テキスト、信頼度、およびその他のメタデータを返します。 以下は、Amazon Textract クエリリクエストの例です。

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

データ モデルを定義する

サンプル ソリューションは、構造化された形式でデータを構築し、一般的なビジネス ルールの評価に使用します。 抽出された値を保持するために、ドキュメント ページごとにデータ モデルを定義できます。 次の図は、1 ページ目のテキストが JSON フィールドにどのようにマップされるかを示しています。

各フィールドは、ドキュメントのテキスト、チェック ボックス、またはページ上のテーブル/フォーム セルを表します。 JSON オブジェクトは次のコードのようになります。

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

詳細な JSON 構造の定義は、 GitHubレポ.

ビジネス ルールに照らしてデータを評価する

サンプル ソリューションには、抽出されたデータ (データ モデルで定義されている) とルール (カスタマイズされたビジネス ルールで定義されている) を受け取る汎用ルール エンジンである Condition クラスが付属しています。 失敗した条件と満たされた条件の 2 つのリストを返します。 この結果を使用して、人間によるレビューのためにドキュメントを Amazon AXNUMXI に送信する必要があるかどうかを判断できます。

Condition クラスのソース コードはサンプルにあります。 GitHubレポ. 文字列の長さ、値の範囲、信頼スコアのしきい値の検証など、基本的な検証ロジックがサポートされています。 コードを変更して、より多くの条件タイプと複雑な検証ロジックをサポートできます。

カスタマイズされた Amazon A2I ウェブ UI を作成する

Amazon A2I を使用すると、レビュー担当者のウェブ UI をカスタマイズできます。 ワーカータスクテンプレート. テンプレートは、HTML および JavaScript の静的 Web ページです。 を使用して、カスタマイズされたレビュアー ページにデータを渡すことができます。 液体 構文。

サンプル溶液では、 カスタム Amazon A2I UI テンプレート 左側にページが表示され、右側に障害条件が表示されます。 レビュー担当者は、これを使用して抽出値を修正し、コメントを追加できます。

次のスクリーンショットは、カスタマイズした Amazon A2I UI を示しています。 左側に元のイメージ ドキュメントが表示され、右側に次の失敗した状態が表示されます。

• DLN 番号は 16 文字の長さにする必要があります。 実際の DLN は 15 文字です。
• employee_id の信頼スコアは 99% 未満です。 実際の信頼スコアは約 98% です。

レビュー担当者はこれらの結果を手動で確認し、コメントを 変更理由 テキストボックス。

Amazon A2I をカスタム ML ワークフローに統合する方法の詳細については、60 以上のドキュメントを参照してください。 ビルド済みのワーカーテンプレート GitHubリポジトリと カスタムタスクタイプでAmazon Augmented AIを使用する.

Amazon A2I 出力を処理する

Amazon A2I のカスタマイズされた UI を使用するレビュアーが結果を確認し、選択した後 送信、Amazon A2I は JSON ファイルを S3 バケット フォルダに保存します。 JSON ファイルには、ルート レベルで次の情報が含まれています。

• Amazon A2I フロー定義の ARN とヒューマン ループ名
• 人間の回答 (カスタマイズされた Amazon A2I UI によって収集されたレビュアーの入力)
• 入力内容 (ヒューマンループタスクの開始時に Amazon A2I に送信される元のデータ)

以下は、Amazon A2I によって生成されたサンプル JSON です。

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

抽出、変換、ロード (ETL) ロジックを実装して、Amazon A2I 出力 JSON からの情報を解析し、ファイルまたはデータベースに保存できます。 サンプル溶液には CSVファイル 加工データ付き。 次のセクションの手順に従って、これを使用して BI ダッシュボードを構築できます。

Amazon QuickSight でダッシュボードを作成する

サンプル ソリューションには、Amazon QuickSight が提供する視覚化ダッシュボードを使用したレポート ステージが含まれています。 BI ダッシュボードには、自動または手動で処理されたドキュメントの数、人間によるレビューが必要な最も一般的なフィールド、その他の洞察などの主要な指標が表示されます。 このダッシュボードは、ドキュメント処理パイプラインを監視し、人によるレビューを引き起こす一般的な理由を分析するのに役立ちます。 人的入力をさらに減らすことで、ワークフローを最適化できます。

サンプル ダッシュボードには、基本的なメトリックが含まれています。 Amazon QuickSight を使用してソリューションを拡張し、データに対するより多くの洞察を示すことができます。

ソリューションを拡張して、より多くのドキュメントとビジネス ルールをサポートする

対応するビジネス ルールを使用してより多くのドキュメント ページをサポートするようにソリューションを拡張するには、次の変更を行う必要があります。

• ページから抽出するすべての値を表す JSON 構造で新しいページのデータ モデルを作成します。 を参照してください。 データ モデルを定義する 詳細な形式については、セクションを参照してください。
• Amazon Textract を使用して、ドキュメントからテキストを抽出し、値をデータ モデルに入力します。
• ページに対応するビジネス ルールを JSON 形式で追加します。 を参照してください。 ビジネス ルールをカスタマイズする 詳細な形式のセクション。

ソリューションのカスタム Amazon A2I UI は一般的なものであり、新しいビジネス ルールをサポートするために変更する必要はありません。

まとめ

インテリジェントなドキュメント処理の需要は高く、企業は独自のビジネス ロジックをサポートするためにカスタマイズされたパイプラインを必要としています。 Amazon A2I は、人間によるレビューのユースケースを実装するために、Amazon Textract と統合された組み込みのテンプレートも提供します。 また、レビュアー ページをカスタマイズして、柔軟な要件に対応することもできます。

この投稿では、Amazon Textract と Amazon A2I を使用して、柔軟なビジネス ルールをサポートする IDP パイプラインを構築するリファレンス ソリューションについて説明しました。 を使用して試すことができます Jupyter Notebook GitHub IDP ワークショップ リポジトリにあります。

著者について

ラナ・チャン AWS WWSO AI サービスチームのシニアソリューションアーキテクトであり、インテリジェントなドキュメント処理とコンテンツモデレーションのための AI と ML の専門知識を持っています。 彼女は、AWS AI サービスを宣伝し、顧客がビジネス ソリューションを変革するのを支援することに情熱を注いでいます。

ソナリ・サフ アマゾン ウェブ サービスのインテリジェント ドキュメント処理 AI/ML ソリューション アーキテクト チームを率いています。 彼女は情熱的な技術愛好家であり、イノベーションを使用して複雑な問題を解決するために顧客と協力することを楽しんでいます。 彼女の重点分野は、インテリジェント ドキュメント処理のための人工知能と機械学習です。