ビジネスユーザーが Amazon SageMaker Canvas と Generative AI を使用して企業文書から洞察を抽出できるようにする | アマゾン ウェブ サービス

企業は、機械学習 (ML) の可能性を活用して、複雑な問題を解決し、成果を向上させようとしています。 最近まで、ML モデルの構築とデプロイには、ML モデルの調整や運用パイプラインの維持など、深いレベルの技術スキルとコーディング スキルが必要でした。 2021年の導入以来、 Amazon SageMaker キャンバス これにより、ビジネス アナリストはコード行を記述することなく、表形式、コンピューター ビジョン、自然言語処理などのさまざまな ML モデルを構築、展開、使用できるようになりました。 これにより、時系列予測、顧客離れ予測、センチメント分析、産業上の欠陥検出などのユースケースに ML を適用する企業の能力が加速しました。

発表されたとおり 2023 年 10 月 5 日, SageMaker Canvas は、モデルのサポートを基盤モデル (FM)、つまりコンテンツの生成と要約に使用される大規模な言語モデルに拡張しました。 とともに 12年2023月XNUMX日発売, SageMaker Canvas を使用すると、ユーザーは質問をし、企業データに基づいた回答を得ることができます。 これにより、結果がコンテキスト固有になることが保証され、ビジネス上の問題を解決するためにノーコード ML を適用できる追加のユースケースが開かれます。 たとえば、ビジネス チームは、組織特有の語彙や原則に沿った回答を作成できるようになり、長い文書をより迅速にクエリして、文書の内容に特化した根拠のある回答を得ることができるようになりました。 このすべてのコンテンツは非公開かつ安全な方法で実行され、すべての機密データが適切なガバナンスと安全保護のもとでアクセスされることが保証されます。

開始するには、クラウド管理者が設定してデータを入力します。 アマゾンケンドラ SageMaker Canvas のデータ ソースとしてエンタープライズ データのインデックスを作成します。 Canvas ユーザーは、ドキュメントが存在するインデックスを選択し、出力が常に信頼できる情報源によって裏付けられていることを認識しながら、アイデアを出し、調査し、探索することができます。 SageMaker Canvas は、以下の最先端の FM を使用します。 アマゾンの岩盤 および Amazon SageMaker ジャンプスタート。 複数の FM を並べて会話を開始し、出力を比較することで、まさに誰もが生成 AI にアクセスできるようになります。

この投稿では、最近リリースされた機能をレビューし、アーキテクチャについて説明し、次のスクリーン キャプチャに示すように、SageMaker Canvas がナレッジ ベースからドキュメントをクエリできるようにするためのステップバイステップ ガイドを紹介します。

ソリューションの概要

財団モデルは幻覚、つまり一般的、曖昧、無関係、または事実に誤りのある反応を引き起こす可能性があります。 検索拡張生成 (RAG) 幻覚を軽減するために頻繁に使用されるアプローチです。 RAG アーキテクチャは、FM の外部からデータを取得するために使用され、そのデータはユーザーのクエリに答えるためにコンテキスト内学習を実行するために使用されます。 これにより、FM は信頼できる知識ベースからのデータを使用し、その知識を使用してユーザーの質問に回答できるようになり、幻覚のリスクが軽減されます。

RAG を使用すると、FM の外部にあるデータ、およびユーザー プロンプトを拡張するために使用されるデータを、ドキュメント リポジトリ、データベース、API などの複数の異なるデータ ソースから取得できます。 最初のステップは、ドキュメントとユーザー クエリを互換性のある形式に変換して、関連性セマンティック検索を実行することです。 形式に互換性を持たせるために、ドキュメント コレクションまたはナレッジ ライブラリ、およびユーザーが送信したクエリは、埋め込みモデルを使用して数値表現に変換されます。

このリリースでは、RAG 機能がノーコードかつシームレスな方法で提供されます。 企業は、基盤となるナレッジ管理システムとして Amazon Kendra を使用して Canvas でのチャット体験を充実させることができます。 次の図は、ソリューション アーキテクチャを示しています。

SageMaker Canvas を Amazon Kendra に接続するには、XNUMX 回限りのセットアップが必要です。 セットアップ プロセスについては、「ドキュメントをクエリするための Canvas のセットアップ」で詳しく説明します。 SageMaker ドメインをまだセットアップしていない場合は、以下を参照してください。 AmazonSageMakerドメインにオンボード.

ドメイン構成の一部として、クラウド管理者は、ビジネス アナリストが SageMaker Canvas を介して FM と対話するときにクエリできる XNUMX つ以上の Kendra インデックスを選択できます。

Kendra インデックスがハイドレートされて構成された後、ビジネス アナリストは新しいチャットを開始して [ドキュメントのクエリ] トグルを選択することで、SageMaker Canvas でインデックスを使用します。 SageMaker Canvas は、Amazon Kendra と選択した FM 間の基礎となる通信を管理して、次の操作を実行します。

1. ユーザーからの質問を使用して Kendra インデックスをクエリします。
2. Kendra インデックスからスニペット (およびソース) を取得します。
3. 元のクエリを含むスニペットを使用してプロンプトを設計し、基盤モデルが取得したドキュメントから回答を生成できるようにします。
4. 生成された回答を、回答を作成するために使用されたページ/ドキュメントへの参照とともにユーザーに提供します。

ドキュメントをクエリするための Canvas の設定

このセクションでは、Kendra インデックスを通じて提供されるドキュメントをクエリするために Canvas を設定する手順を説明します。 次の前提条件を満たしている必要があります。

• SageMaker ドメインのセットアップ – AmazonSageMakerドメインにオンボード
• 作る ケンドラ指数 (または複数)
• Kendra Amazon S3 コネクタをセットアップします – 次の手順に従います。 Amazon S3コネクタ – PDF ファイルやその他のドキュメントを Kendra インデックスに関連付けられた Amazon S3 バケットにアップロードします
• Canvas に適切なアクセス許可 (Amazon Bedrock や SageMaker エンドポイント、あるいはその両方を呼び出すために必要なアクセス許可を含む) が与えられるように IAM をセットアップします。次の手順に従います。 キャンバスチャットのセットアップ ドキュメント

これで、ドメインを更新して、必要なインデックスにアクセスできるようになります。 SageMaker コンソールで、特定のドメインに対して、[ドメイン設定] タブで [編集] を選択します。 キャンバス設定ステップにある「Amazon Kendra でクエリドキュメントを有効にする」トグルを有効にします。 アクティブ化したら、Canvas で使用する XNUMX つ以上の Kendra インデックスを選択します。

Canvas クエリ ドキュメント機能を構成するために必要な作業はこれだけです。 ユーザーは Canvas 内のチャットに参加し、Kendra インデックスを通じてドメインに関連付けられているナレッジ ベースの使用を開始できるようになりました。 ナレッジベースの管理者は真実の情報源を更新し続けることができ、Kendra の同期機能を使用すると、チャット ユーザーは自動的にシームレスな方法で最新の情報を使用できるようになります。

チャットでのドキュメントのクエリ機能の使用

SageMaker Canvas ユーザーは、チャット内からドキュメントのクエリ機能にアクセスできます。 チャット セッションを開始するには、SageMaker Canvas の [すぐに使用できるモデル] タブから [コンテンツの生成、抽出、要約] ボタンをクリックまたは検索します。

そこに到達したら、画面上部のトグルを使用してドキュメントのクエリのオンとオフを切り替えることができます。 機能の詳細については、情報プロンプトを確認してください。

ドキュメントのクエリが有効になっている場合、クラウド管理者によって有効になっている Kendra インデックスのリストから選択できます。

新しいチャットを開始するときにインデックスを選択できます。 その後、選択したインデックスから自動的に得られる知識を使用して、UX で質問することができます。 特定のインデックスに対して会話が開始された後は、別のインデックスに切り替えることはできないことに注意してください。

質問に対して、チャットには FM によって生成された回答が、回答の生成に貢献したソース ドキュメントとともに表示されます。 ソース文書のいずれかをクリックすると、Canvas は文書のプレビューを開き、FM で使用される抜粋を強調表示します。

まとめ

会話型 AI は、人間のようなアシスタントに次のような自然で直感的な対話を提供することで、顧客と従業員のエクスペリエンスを変革する計り知れない可能性を秘めています。

• トピックに関するリサーチの実行、または組織のナレッジ ベースの検索と参照
• 大量のコンテンツを要約して洞察を迅速に収集する
• エンティティ、センチメント、PII、その他の有用なデータを検索し、非構造化コンテンツのビジネス価値を高める
• 文書やビジネス通信の草稿の作成
• 異種の内部ソース (インシデント、チャット ログ、Wiki) からナレッジ記事を作成する

チャット インターフェイス、ナレッジ検索、および FM の革新的な統合により、企業はドメイン知識と信頼できる情報源を使用して、ユーザーの質問に対して正確で適切な回答を提供できるようになります。

SageMaker Canvas を Amazon Kendra のナレッジベースに接続することで、組織は FM の最先端の自然言語機能の恩恵を受けながら、独自のデータを独自の環境内に保持できます。 SageMaker Canvas のクエリ ドキュメント機能の開始により、安全なチャット エクスペリエンスを強化するための信頼できる情報源として LLM とその企業知識をあらゆる企業が簡単に使用できるようになります。 この機能はすべてノーコード形式で利用できるため、企業は反復的で専門的ではないタスクの処理を回避できます。

SageMaker Canvas の詳細と、それが誰でも簡単に機械学習を始めるのにどのように役立つかについては、以下を参照してください。 SageMaker Canvas の発表。 SageMaker Canvas がデータ サイエンティストとビジネス アナリストの間のコラボレーション促進にどのように役立つかについて詳しくは、「 投稿の構築、共有、展開。 最後に、独自の取得拡張生成ワークフローを作成する方法については、次を参照してください。 SageMaker ジャンプスタート RAG.

参考文献

Lewis, P.、Perez, E.、Piktus, A.、Petroni, F.、Karpukhin, V.、Goyal, N.、Küttler, H.、Lewis, M.、Yih, W.、Rocktäschel, T.、リーデル、S.、キーラ、D. (2020)。 知識集約的な NLP タスクのための検索拡張生成。 神経情報処理システムの進歩, 33、9459-9474。

---

著者について

ダビデガリテッリ AI/ML のシニア スペシャリスト ソリューション アーキテクトです。 彼はブリュッセルに拠点を置き、ローコード/ノーコード機械学習テクノロジーと生成 AI の導入を検討している世界中の顧客と緊密に連携しています。 彼は幼い頃から開発者であり、7 歳でコーディングを始めました。大学で AI/ML を学び始め、それ以来 AI/ML の虜になっています。

ビラル・アラム AWS のエンタープライズ ソリューション アーキテクトであり、金融​​サービス業界に重点を置いています。 Bilal はほとんどの場合、お客様が最も重要なワークロードをデプロイするための AWS 環境の構築、強化、保護を支援しています。 彼は通信、ネットワーキング、ソフトウェア開発において豊富な経験を持っています。 最近では、ビジネス上の問題を解決するために AI/ML を使用することを検討しています。

パシュミーンミストリー AWS のシニア プロダクト マネージャーです。 仕事以外では、冒険的なハイキング、写真撮影、家族との時間を楽しんでいます。

ダン・シンライヒ AWS のシニアプロダクトマネージャーで、ローコード/ノーコード機械学習の民主化に貢献しています。 AWS に入社する前は、機関投資家がリスクを管理し、最適なポートフォリオを構築するために使用するエンタープライズ SaaS プラットフォームと時系列モデルを構築して商品化しました。 仕事以外では、ホッケーをしたり、スキューバ ダイビングをしたり、SF を読んだりしています。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://aws.amazon.com/blogs/machine-learning/empower-your-business-users-to-extract-insights-from-company-documents-using-amazon-sagemaker-canvas-generative-ai/