生成 AI による AWS インテリジェントなドキュメント処理の強化 | アマゾン ウェブ サービス

データの分類、抽出、分析は、大量のドキュメントを扱う組織にとって困難な場合があります。 従来の文書処理ソリューションは手動であり、高価で、エラーが発生しやすく、拡張が困難です。 AWS インテリジェント文書処理 (IDP)、次のような AI サービス アマゾンテキストラックでは、業界をリードする機械学習 (ML) テクノロジーを利用して、スキャンされたドキュメントまたは画像のデータを迅速かつ正確に処理できます。 生成人工知能 (生成 AI) は Amazon Textract を補完し、ドキュメント処理ワークフローをさらに自動化します。 キー フィールドの正規化や入力データの要約などの機能により、ドキュメント プロセス ワークフローの管理サイクルの高速化がサポートされると同時に、エラーの可能性が低減されます。

生成 AI は、基盤モデル (FM) と呼ばれる大規模な ML モデルによって駆動されます。 FM は、従来の複雑なドキュメント処理ワークロードを解決する方法を変革しています。 既存の機能に加えて、企業は財務報告書や銀行取引明細書などの文書からの借方データと貸方データを含む、特定のカテゴリの情報を要約する必要があります。 FM を使用すると、抽出されたデータからそのような洞察を簡単に生成できます。 人間によるレビューに費やす時間を最適化し、従業員の生産性を向上させるために、電話番号の桁の欠落、書類の欠落、番地のない住所などの間違いを自動的に報告できます。 現在のシナリオでは、人間によるレビューと複雑なスクリプトを使用してそのようなタスクを実行するためにリソースを投入する必要があります。 このアプローチは面倒で費用もかかります。 FM は、より少ないリソースでこれらのタスクをより迅速に完了し、さまざまな入力形式をさらに処理できる標準テンプレートに変換するのに役立ちます。 AWSでは以下のようなサービスを提供しています。 アマゾンの岩盤、FM を使用して生成 AI アプリケーションを構築および拡張する最も簡単な方法です。 Amazon Bedrock は、主要な AI スタートアップ企業や Amazon の FM を API を通じて利用できるようにするフルマネージド サービスであるため、要件に最適なモデルを見つけることができます。 もご用意しております Amazon SageMaker ジャンプスタートこれにより、ML 実践者はオープンソース FM の幅広い選択肢から選択できます。 ML 実践者は FM を専用の組織に展開できます。 アマゾンセージメーカー ネットワーク分離環境からインスタンスを抽出し、モデルのトレーニングとデプロイメントに SageMaker を使用してモデルをカスタマイズします。

リコー は、顧客がビジネス全体にわたる情報フローを管理および最適化できるように設計されたワークプレイス ソリューションとデジタル変革サービスを提供します。 ポートフォリオ ソリューション開発担当副社長の Ashok Shenoy 氏は次のように述べています。「当社は生成 AI を IDP ソリューションに追加し、Q&A、要約、標準化された出力などの新機能を活用することで、お客様がより迅速かつ正確に作業を完了できるようにしています。 AWS を使用すると、各顧客のデータを分離して安全に保ちながら、生成 AI を活用することができます。」

この投稿では、生成 AI を使用して AWS 上の IDP ソリューションを強化する方法を共有します。

IDP パイプラインの改善

このセクションでは、従来の IDP パイプラインが FM によってどのように拡張できるかを確認し、Amazon Textract と FM を使用したユースケースの例を見ていきます。

AWS IDP は、分類、抽出、強化の XNUMX つの段階で構成されます。 各ステージの詳細については、以下を参照してください。 AWS AI サービスを使用したインテリジェントなドキュメント処理: パート 1 および 第2部。 分類段階では、FM は追加のトレーニングなしで文書を分類できるようになりました。 これは、モデルがこれまでに同様の例を見たことがなくても、ドキュメントを分類できることを意味します。 抽出段階の FM は、一貫した形式を確保しながら、日付フィールドを正規化し、住所と電話番号を検証します。 強化段階の FM では、推論、論理的推論、要約が可能になります。 IDP の各段階で FM を使用すると、ワークフローがより合理化され、パフォーマンスが向上します。 次の図は、生成 AI を使用した IDP パイプラインを示しています。

IDPパイプラインの抽出ステージ

FM がネイティブ形式 (PDF、img、jpeg、tiff など) のドキュメントを入力として直接処理できない場合は、ドキュメントをテキストに変換するメカニズムが必要です。 FM に送信する前にドキュメントからテキストを抽出するには、Amazon Textract を使用できます。 Amazon Textract を使用すると、行や単語を抽出してダウンストリーム FM に渡すことができます。 次のアーキテクチャでは、Amazon Textract を使用して、あらゆる種類のドキュメントから正確なテキストを抽出してから、FM に送信してさらに処理します。

通常、ドキュメントは構造化情報と半構造化情報で構成されます。 Amazon Textract を使用すると、テーブルやフォームから生のテキストやデータを抽出できます。 テーブルとフォーム内のデータ間の関係は、ビジネス プロセスの自動化において重要な役割を果たします。 特定の種類の情報は FM によって処理されない場合があります。 その結果、この情報を下流のストアに保存するか、FM に送信するかを選択できます。 次の図は、FM で処理する必要があるテキスト行に加えて、Amazon Textract がドキュメントから構造化情報および半構造化情報をどのように抽出できるかを示す例です。

AWS サーバーレスサービスを使用して FM で要約する

前に説明した IDP パイプラインは、AWS サーバーレス サービスを使用してシームレスに自動化できます。 大企業では、高度に非構造化されたドキュメントが一般的です。 これらの文書は、銀行業界の証券取引委員会 (SEC) の文書から健康保険業界の補償文書まで多岐にわたります。 AWS での生成 AI の進化に伴い、これらの業界の人々は、自動化されたコスト効率の高い方法でドキュメントから概要を取得する方法を模索しています。 サーバーレス サービスは、IDP のソリューションを迅速に構築するメカニズムを提供するのに役立ちます。 などのサービス AWSラムダ, AWSステップ関数, アマゾンイベントブリッジ 次の図に示すように、FM を統合してドキュメント処理パイプラインを構築するのに役立ちます。

　 サンプルアプリケーション 前のアーキテクチャで使用されているのは 出来事によって動かされる イベント 最近発生した状態の変化として定義されます。 たとえば、オブジェクトが Amazon シンプル ストレージ サービス (Amazon S3) バケットの場合、Amazon S3 は Object Created イベントを発行します。 Amazon S3 からのこのイベント通知は、Lambda 関数または Step Functions ワークフローをトリガーできます。 このタイプのアーキテクチャは、 イベント駆動型アーキテクチャ。 この投稿では、サンプル アプリケーションはイベント駆動型アーキテクチャを使用して、サンプルの退院文書を処理し、文書の詳細を要約します。 フローは次のように機能します。

1. ドキュメントが S3 バケットにアップロードされると、Amazon S3 は Object Created イベントをトリガーします。
2. EventBridge のデフォルト イベント バスは、EventBridge ルールに基づいてイベントを Step Functions に伝播します。
3. ステートマシンのワークフローは、Amazon Textract から始まるドキュメントを処理します。
4. Lambda 関数は、分析されたデータを次のステップのために変換します。
5. ステートマシン 呼び出す a SageMakerエンドポイント、AWS SDK の直接統合を使用して FM をホストします。
6. サマリー S3 宛先バケットは、FM から収集されたサマリー応答を受信します。

サンプルアプリケーションを使用しました flan-t5 抱き顔モデル Step Functions ワークフローを使用して、次のサンプルの患者退院概要を要約します。

Step Functions ワークフローでは、 AWS SDKの統合 Amazon Textract を呼び出す ドキュメントの分析 および SageMaker ランタイム エンドポイントの呼び出し 次の図に示す API。

このワークフローにより、宛先バケットに保存される要約 JSON オブジェクトが生成されます。 JSON オブジェクトは次のようになります。

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

大規模なサーバーレス実装で IDP を使用してこれらの概要を生成すると、組織は費用対効果の高い方法で、意味があり、簡潔で、見栄えの良いデータを取得できます。 Step Functions では、ドキュメントの処理方法が一度に XNUMX つのドキュメントに制限されません。 これは 配布された地図 この機能では、スケジュールに従って大量のドキュメントを要約できます。

　 サンプルアプリケーション 使用する flan-t5 抱き顔モデル; ただし、任意の FM エンドポイントを使用できます。 モデルのトレーニングと実行はサンプル アプリケーションの範囲外です。 GitHub リポジトリの指示に従ってサンプル アプリケーションをデプロイします。 前述のアーキテクチャは、Step Functions を使用して IDP ワークフローを調整する方法についてのガイダンスです。 を参照してください。 IDP 生成 AI ワークショップ AWS AI サービスと FM を使用してアプリケーションを構築する方法の詳細については、「AWS AI サービスと FM を使用してアプリケーションを構築する方法」を参照してください。

ソリューションをセットアップする

次の手順に従います。 README ファイルを使用してソリューション アーキテクチャを設定します (SageMaker エンドポイントを除く)。 独自の SageMaker エンドポイントを使用できるようになったら、エンドポイント名をパラメータとしてテンプレートに渡すことができます。

クリーンアップ

コストを節約するには、チュートリアルの一部としてデプロイしたリソースを削除します。

1. のクリーンアップセクションの手順に従います。 README ファイルにソフトウェアを指定する必要があります。
2. S3 バケットからコンテンツを削除し、Amazon S3 コンソールからバケットを削除します。
3. SageMaker コンソールを通じて作成した SageMaker エンドポイントをすべて削除します。

まとめ

Generative AI は、IDP でドキュメントを処理して洞察を引き出す方法を変えています。 Amazon Textract などの AWS AI サービスと AWS FM は、あらゆる種類のドキュメントを正確に処理するのに役立ちます。 AWS での生成 AI の操作の詳細については、以下を参照してください。 AWS でジェネレーティブ AI を使用して構築するための新しいツールを発表.

---

著者について

ソナリ・サフ は、AW​​S の AI/ML サービス チームとともにインテリジェントなドキュメント処理を主導しています。 彼女は作家であり、思想的リーダーであり、情熱的な技術者でもあります。 彼女の主な焦点分野は AI と ML であり、世界中の AI と ML のカンファレンスやミートアップで頻繁に講演しています。 彼女はテクノロジーとテクノロジー業界で幅広く深い経験を持ち、ヘルスケア、金融セクター、保険の業界専門知識を備えています。

アシシュ・ラル AWS で AI サービスの製品マーケティングを指揮するシニア プロダクト マーケティング マネージャーです。 彼は 9 年のマーケティング経験があり、インテリジェントな文書処理の製品マーケティング活動を主導してきました。 彼はワシントン大学で経営管理の修士号を取得しました。

ムルナル・ダフタリ アマゾン ウェブ サービスのエンタープライズ シニア ソリューション アーキテクトです。 彼はマサチューセッツ州ボストンに拠点を置いています。 彼はクラウド愛好家であり、シンプルでビジネスの成果に取り組む顧客向けのソリューションを見つけることに非常に情熱を持っています。 彼はクラウド テクノロジーを扱うのが大好きで、ビジネス成果を促進するシンプルでスケーラブルなソリューション、クラウド導入戦略を提供し、革新的なソリューションを設計して優れた運用を推進します。

ディラージ・マハパトロ AWS の主任サーバーレス スペシャリスト ソリューション アーキテクトです。 彼は、企業の金融サービスがサーバーレスおよびイベント駆動型のアーキテクチャを導入してアプリケーションを最新化し、イノベーションのペースを加速するのを支援することを専門としています。 最近では、金融サービス業界の顧客向けに、コンテナーのワークロードと生成 AI の実用的な使用法をサーバーレスと EDA に近づけることに取り組んでいます。

ジェイコブ・ハウスケンス は、15 年以上の戦略的ビジネス開発とパートナーシップの経験を持つプリンシパル AI スペシャリストです。 過去 7 年間、AI を活用した新しい B2B サービスの市場開拓戦略の作成と実装を主導してきました。 最近では、インテリジェントな文書処理ワークフローに生成 AI を追加することで、ISV の収益拡大を支援しています。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 自動車/EV、 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• ブロックオフセット。 環境オフセット所有権の近代化。 こちらからアクセスしてください。
• 情報源： https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/