過去 XNUMX 年ほどのデジタル メディアの技術トレンドと進歩により、テキストベースのデータが急増しました。 このテキストをマイニングして戦術的および戦略的な洞察を引き出す潜在的な利点は非常に大きいです。 これは自然言語処理 (NLP) と呼ばれます。 たとえば、NLP を使用して、製品レビューの顧客感情を分析したり、カスタム エンティティ認識モデルをトレーニングして顧客のコメントに基づいて関心のある製品タイプを特定したり、カスタム テキスト分類モデルをトレーニングして最も人気のある製品カテゴリを決定したりできます。
Amazon Comprehend は、ドキュメントの内容に関する洞察を抽出するための既製のインテリジェンスを備えた NLP サービスです。 文書内のエンティティ、キーフレーズ、言語、感情、その他の共通要素を認識することで洞察を深めます。 Amazon Comprehend Custom は、自動機械学習 (Auto ML) を使用して、お客様に代わって独自のデータを使用して NLP モデルを構築します。 これにより、ビジネスに固有のエンティティを検出したり、要件に応じてテキストやドキュメントを分類したりできます。 さらに、使いやすい API を使用して NLP ワークフロー全体を自動化できます。
本日、Amazon Comprehend カスタムモデルのコピー機能のリリースを発表できることを嬉しく思います。これにより、モデルが作成するデータセットへのアクセスを必要とせずに、ソースアカウントから同じリージョン内の指定されたターゲットアカウントに Amazon Comprehend カスタムモデルを自動的にコピーできるようになります。に基づいてトレーニングされ、評価されました。 本日よりご利用いただけるようになりました。 AWSマネジメントコンソール, AWSコマンドラインインターフェイス (AWS CLI)、または boto3 API (Python SDK for AWS) を使用して、トレーニング済みのカスタム モデルをソース アカウントから指定されたターゲット アカウントにコピーします。 この新機能は、Amazon Comprehend カスタム分類モデルとカスタムエンティティ認識モデルの両方で利用できます。
モデルコピー機能の利点
この新機能には、次の利点があります。
- マルチアカウント MLOps 戦略 – モデルを XNUMX 回トレーニングすると、異なるアカウントの複数の環境で予測可能なデプロイメントが保証されます。
- より迅速な展開 – トレーニングされたモデルをアカウント間ですばやくコピーできるため、アカウントごとに再トレーニングにかかる時間を回避できます。
- 機密データセットを保護する – 異なるアカウントまたはユーザー間でデータセットを共有する必要がなくなりました。 トレーニング データは、トレーニングが行われるアカウントでのみ利用できる必要があります。 これは、規制要件を満たすためにデータの分離とサンドボックス化が不可欠である金融サービスなどの特定の業界にとって非常に重要です。
- 簡単なコラボレーション – パートナーやベンダーは、Amazon Comprehend Custom で簡単にトレーニングし、顧客とモデルを共有できるようになりました。
モデルのコピーの仕組み
新しいモデルのコピー機能を使用すると、XNUMX 段階のプロセスで同じリージョン内の AWS アカウント間でカスタム モデルをコピーできます。 まず、XNUMX つの AWS アカウント (アカウント A) のユーザーが、自分のアカウント内のカスタム モデルを共有します。 次に、別の AWS アカウント (アカウント B) のユーザーがモデルを自分のアカウントにインポートします。
モデルを共有する
アカウント A でカスタム モデルを共有するには、ユーザーは AWS IDおよびアクセス管理 (IAM) リソースベースのポリシーをモデル バージョンに適用します。 このポリシーは、IAM ユーザーやロールなどのアカウント B のエンティティに、モデル バージョンを AWS アカウントの Amazon Comprehend にインポートすることを許可します。 リソースベースのポリシーは、コンソールまたは Amazon Comprehend カスタムを使用して設定できます。 PutResourcePolicy
APIです。
モデルをインポートする
モデルをアカウント B にインポートするには、このアカウントのユーザーは、モデルの Amazon リソースネーム (ARN) などの必要な詳細を Amazon Comprehend に提供します。 モデルをインポートすると、このユーザーは、インポートしたモデルを複製する新しいカスタム モデルを AWS アカウントに作成します。 このモデルは完全にトレーニングされており、文書分類や固有表現認識などの推論ジョブに使用できる状態になっています。 モデルが暗号化されている場合、 AWSキー管理サービス (AWS KMS) キーをソースに追加した場合、モデルのインポート中に指定されたサービス ロールは、インポート中にモデルを復号化するために KMS キーにアクセスできる必要があります。 ターゲット アカウントは、インポート中にモデルを暗号化するための KMS キーを指定することもできます。 共有モデルのインポートは、コンソールと API の両方で行うこともできます。
ソリューションの概要
モデルコピー機能の機能を実証するために、Amazon Comprehend コンソールと AWS CLI の両方を使用して Amazon Comprehend カスタムエンティティ認識モデルをトレーニング、共有、インポートする方法を示します。 このデモンストレーションでは、XNUMX つの異なるアカウントを使用します。 この手順は、Amazon Comprehend カスタム分類にも適用できます。 必要な手順は次のとおりです。
- ソースアカウントで Amazon Comprehend カスタムエンティティ認識モデルをトレーニングします。
- トレーニングされたモデルの IAM リソース ポリシーを定義して、クロスアカウント アクセスを許可します。
- トレーニング済みモデルをソースアカウントからターゲットアカウントにコピーします。
- コピーしたモデルをバッチ ジョブを通じてテストします。
ソースアカウントで Amazon Comprehend カスタムエンティティ認識モデルをトレーニングする
最初のステップは、ソースアカウントで Amazon Comprehend カスタムエンティティ認識モデルをトレーニングすることです。 トレーニングの入力データセットとして、CSV を使用します。 エンティティリスト & トレーニング文書 特定のドキュメント内の AWS サービス提供を認識するため。 エンティティ リストとトレーニング ドキュメントが Amazon シンプル ストレージ サービス ソースアカウントの (Amazon S3) バケット。 手順については、を参照してください。 Amazon S3 へのドキュメントの追加.
IAMロールを作成する Amazon Comprehend 用に提供し、トレーニング データを含む S3 バケットへの必要なアクセスを提供します。 後の手順で使用するロール ARN と S3 バケット パスをメモします。
AWS CLI を使用してモデルをトレーニングする
次の AWS CLI コマンドを使用してエンティティ認識エンジンを作成します。 S3 パス、IAM ロール、およびリージョンのパラメータを自分のパラメータに置き換えます。 応答は以下を返します EntityRecognizerArn
.
トレーニング ジョブのステータスは、describe-entity-recognizer を呼び出し、応答内のステータスを確認することで監視できます。
コンソール経由でモデルをトレーニングする
コンソール経由でモデルをトレーニングするには、次の手順を実行します。
- Amazon Comprehendコンソールの、 セミオーダーサービス、新しいカスタム エンティティ認識モデルを作成します。
- モデル名とバージョンを入力します。
- 言語設定、選択する 英語.
- カスタムエンティティタイプ追加
AWS_OFFERING
.
カスタムエンティティ認識モデルをトレーニングするには、Amazon Comprehend にデータを提供する XNUMX つの方法のいずれかを選択できます。 アノテーション or エンティティリスト。 簡単にするために、エンティティ リスト方式を使用します。
- データフォーマット選択 CSVファイル.
- トレーニングタイプ選択 エンティティリストとトレーニングドキュメントの使用.
- エンティティ リスト CSV とトレーニング データの S3 ロケーション パスを指定します。
- S3 バケットにアクセスするためのアクセス許可を Amazon Comprehend に付与するには、IAM サービスにリンクされたロールを作成します。
リソースベースのポリシー セクションでは、モデル バージョンへのアクセスを承認できます。 アクセスを許可したアカウントは、このモデルを自分のアカウントにインポートできます。 現時点ではこのステップをスキップし、モデルがトレーニングされ、モデルのパフォーマンスに満足したらポリシーを追加します。
- 選択する 創造する.
これにより、カスタム エンティティ認識エンジンが送信され、多数のモデルを調べ、ハイパーパラメーターを調整し、相互検証をチェックしてモデルが堅牢であることを確認します。 これらはすべて、データ サイエンティストが行う活動と同じです。
トレーニング済みモデルの IAM リソース ポリシーを定義して、クロスアカウント アクセスを許可します。
トレーニングのパフォーマンスに満足したら、リソース ポリシーを追加して特定のモデル バージョンを共有できます。
AWS CLI からリソースベースのポリシーを追加する
次のコードに示すように、モデルにリソース ポリシーを追加して、ターゲット アカウントからのモデルのインポートを承認します。 ポリシーは、特定のモデル バージョンとターゲット プリンシパルに厳密に限定できます。 アクセスを提供するトレーニング済みエンティティ認識 ARN とターゲット アカウントを置き換えます。
コンソール経由でリソースベースのポリシーを追加する
トレーニングが完了すると、カスタム エンティティ認識モデルのバージョンが生成されます。 トレーニングされたモデルとバージョンを選択して、トレーニングされたモデルのパフォーマンスなどのトレーニングの詳細を表示できます。
ポリシーを更新するには、次の手順を実行します。
- ソフトウェア設定ページで、下図のように タグ、VPC、ポリシー タブで、リソースベースのポリシーを編集します。
- ポリシー名、Amazon Comprehend サービス プリンシパル (
comprehend.amazonaws.com
)、ターゲット アカウント ID、およびモデル バージョンをインポートする権限のあるターゲット アカウントの IAM ユーザー。
当社が指定します root
IAM エンティティとして、ターゲット アカウントのすべてのユーザーを承認します。
トレーニング済みモデルをソースアカウントからターゲットアカウントにコピーします
これで、モデルがトレーニングされ、ソース アカウントから共有されました。 承認されたターゲット アカウント ユーザーは、モデルをインポートし、自分のアカウントにモデルのコピーを作成できます。
モデルをインポートするには、アカウントでコピーアクションを実行するために Amazon Comprehend のソースモデル ARN とサービスロールを指定する必要があります。 オプションの AWS KMS ID を指定して、ターゲット アカウントのモデルを暗号化できます。
AWS CLI を介してモデルをインポートする
AWS CLI を使用してモデルをインポートするには、次のコードを入力します。
コンソール経由でモデルをインポートする
コンソール経由でモデルをインポートするには、次の手順を実行します。
- Amazon Comprehendコンソールの、 カスタムエンティティの認識、選択する 輸入版.
- モデルバージョンARN、ソースアカウントでトレーニングされたモデルの ARN を入力します。
- ターゲットのモデル名とバージョンを入力します。
- サービスアカウントの役割を提供し、選択します 確認します をクリックしてモデルのインポートプロセスを開始します。
モデルのステータスが に変わった後、 Imported
では、トレーニングされたモデルのパフォーマンスの詳細を含むモデルの詳細を表示できます。
コピーしたモデルをバッチ ジョブでテストする
バッチ ジョブでカスタム エンティティを検出することにより、ターゲット アカウントでコピーされたモデルをテストします。 モデルをテストするには、 テストファイル それをターゲットアカウントの S3 バケットに配置します。 IAMロールを作成する Amazon Comprehend の場合は、テスト データを含む S3 バケットへの必要なアクセスを提供します。 前にメモしたロール ARN と S3 バケット パスを使用します。
ジョブが完了すると、指定した出力 S3 バケット内の推論データを検証できます。
AWS CLI を使用してモデルをテストする
AWS CLI を使用してモデルをテストするには、次のコードを入力します。
コンソール経由でモデルをテストする
コンソール経由でモデルをテストするには、次の手順を実行します。
- Amazon Comprehendコンソールで、 分析ジョブ 選択して ジョブを作成.
- 名前 、ジョブの名前を入力します。
- 分析タイプ¸選ぶ カスタムエンティティの認識.
- インポートされたモデルのモデル名とバージョンを選択します。
- ジョブのテストファイルの S3 パスと、Amazon Comprehend が結果を保存する出力場所を指定します。
- S3 バケットにアクセスする権限を持つ IAM ロールを選択または作成します。
- 選択する ジョブを作成.
分析ジョブが完了すると、出力 S3 バケット パスに JSON ファイルが作成されます。これをダウンロードして、インポートされたモデルからのエンティティ認識の結果を確認できます。
まとめ
この投稿では、Amazon Comprehend のカスタム エンティティ モデルのコピー機能をデモしました。 この機能を使用すると、Amazon Comprehend のカスタムエンティティ認識または分類モデルを XNUMX つのアカウントでトレーニングし、そのモデルを同じリージョン内の別のアカウントと共有できるようになります。 これにより、モデルを XNUMX 回トレーニングすれば、トレーニング データセットを再トレーニングしたり共有したりすることなく、同じリージョン内のアカウント間で共有できるマルチアカウント戦略が簡素化されます。 これにより、MLOps ワークフローの一部として、すべてのアカウントで予測可能な展開が可能になります。 詳細については、次のドキュメントを参照してください。 カスタムコピーを理解するまたは、コンソール経由で、または AWS CLI でクラウド シェルを使用して、この投稿のウォークスルーを試してください。
この記事の執筆時点では、Amazon Comprehend のモデル コピー機能は次のリージョンで利用できます。
- 米国東部(オハイオ)
- 米国東部(バージニア北部)
- 米国西部(オレゴン)
- アジア太平洋(ムンバイ)
- アジアパシフィック(ソウル)
- アジアパシフィック(シンガポール)
- アジアパシフィック(シドニー)
- アジアパシフィック(東京)
- EU(フランクフルト)
- EU(アイルランド)
- EU(ロンドン)
- AWS GovCloud(米国西部)
機能を試してみてください。フィードバックを送信してください。 AWSフォーラム Amazon Comprehendまたは通常のAWSサポートの連絡先。
著者について
プレムクマール・ランガラジャン は、アマゾン ウェブ サービスの AI/ML スペシャリスト ソリューション アーキテクトであり、以前に『AWS AI サービスによる自然言語処理』という書籍を執筆しています。 IT 業界で 26 年の経験があり、デリバリー リーダー、統合スペシャリスト、エンタープライズ アーキテクトなど、さまざまな役割を担っています。 彼は、あらゆる規模の企業が AI と ML を導入して現実世界の課題を解決できるよう支援しています。
チェサン・クリシュナ インドのシニア パートナー ソリューション アーキテクトです。 彼は、戦略的 AWS パートナーと協力して、堅牢なクラウドコンピテンシーを確立し、AWS のベストプラクティスを採用し、顧客の課題を解決しています。 彼はビルダーであり、AI/ML、IoT、分析の実験を楽しんでいます。
スリハルシャMS アマゾンウェブサービスのストラテジックスペシャリストチームのAI / MLスペシャリストソリューションアーキテクトです。 彼はAI / MLを利用して複雑なビジネス問題を解決している戦略的なAWSのお客様と協力しています。 彼はAI / MLアプリケーションを大規模に実装するための技術ガイダンスと設計アドバイスを提供しています。 彼の専門知識は、アプリケーションアーキテクチャ、ビッグデータ、分析、機械学習に及びます。
- "
- &
- 100
- 9
- 私たちについて
- アクセス
- Action
- 活動
- 進歩
- 利点
- アドバイス
- AI
- AIサービス
- すべて
- Amazon
- Amazon Webサービス
- 分析
- 分析論
- アナウンス
- 発表
- 別の
- API
- API
- 適用可能な
- 申し込み
- 建築
- オート
- 利用できます
- AWS
- 利点
- BEST
- ベストプラクティス
- 国境
- ビルド
- ビルダー
- ビジネス
- 課題
- 点検
- 小切手
- 分類
- クラウド
- コード
- 注釈
- コマンドと
- 複雑な
- 領事
- コンテンツ
- Customers
- データ
- 十年
- 配達
- 展開
- 設計
- 異なります
- デジタル
- ドキュメント
- 簡単に
- 効果
- 巨大な
- Enterprise
- 本質的な
- 例
- 体験
- 専門知識
- 特徴
- フィードバック
- ファイナンシャル
- 金融業務
- 名
- フォロー中
- 機能性
- ハッピー
- 持って
- ことができます
- 認定条件
- How To
- HTTPS
- 識別する
- アイデンティティ
- 実装する
- 重要
- インポート
- 含めて
- インド
- 産業
- 産業を変えます
- 情報
- 洞察
- 統合
- インテリジェンス
- 関心
- IOT
- アイルランド
- 分離
- IT
- ジョブ
- Jobs > Create New Job
- キー
- 言語
- 起動する
- つながる
- 学習
- LINE
- リスト
- 場所
- ロンドン
- 機械
- 機械学習
- 管理
- メディア
- 鉱業
- ML
- モデル
- 最も
- 一番人気
- ムンバイ
- ナチュラル
- オファリング
- オハイオ
- 注文
- オレゴン
- その他
- 太平洋
- パートナー
- パートナー
- パフォーマンス
- フレーズ
- 方針
- 人気
- 校長
- 問題
- プロセス
- プロダクト
- 提供します
- は、大阪で
- すぐに
- レギュレータ
- の提出が必要です
- 要件
- リソースを追加する。
- 応答
- 結果
- 収益
- レビュー
- 規模
- 科学者たち
- SDDK
- ソウル
- サービス
- サービス
- シェアする
- shared
- 株式
- シェル(Shell)
- 簡単な拡張で
- シンガポール
- So
- ソリューション
- 解決する
- start
- ステートメント
- Status:
- ストレージ利用料
- 店舗
- 戦略的
- 戦略
- サポート
- シドニー
- ターゲット
- チーム
- 技術的
- test
- ソース
- 介して
- 時間
- 今日
- 東京
- トレーニング
- トレンド
- ユニーク
- アップデイト
- us
- つかいます
- users
- ベンダー
- 詳しく見る
- バージニア州
- ウェブ
- Webサービス
- ウェスト
- 誰
- 以内
- 無し
- 作品
- 書き込み
- 年