人工知能 (AI) と機械学習 (ML) は、企業や政府組織全体で広く採用されています。 自然言語処理 (NLP) や次のようなユーザーフレンドリーな AI/ML サービスの進歩により、非構造化データの処理が容易になりました。 アマゾンテキストラック, Amazon Transcribe, Amazon Comprehend。 組織は、Amazon Comprehend などの AI/ML サービスを使用して、非構造化データを使用して分類モデルを構築し、これまで得られなかった深い洞察を得るようになりました。 最小限の労力で事前トレーニングされたモデルを使用できますが、適切なデータ キュレーションとモデルのチューニングがなければ、AI/ML モデルの利点を最大限に実現することはできません。
この投稿では、Amazon Comprehend を使用してカスタム分類モデルを構築および最適化する方法について説明します。 Amazon Comprehend カスタム分類を使用してマルチラベルのカスタム分類モデルを構築し、トレーニング データセットを準備し、精度、精度、再現率、F1 スコアなどのパフォーマンス指標を満たすようにモデルを調整する方法に関するガイドラインを提供します。 Amazon Comprehend モデルのトレーニング出力アーティファクトを混同行列のように使用して、モデルのパフォーマンスを調整し、トレーニング データの改善をガイドします。
ソリューションの概要
このソリューションは、Amazon Comprehend を使用して最適化されたカスタム分類モデルを構築するアプローチを示します。 データの準備、モデルの作成、モデルのパフォーマンス メトリック分析、分析に基づく推論の最適化など、いくつかの手順を実行します。 私たちは、 アマゾンセージメーカー ノート と AWSマネジメントコンソール これらの手順の一部を完了するには、
また、データの準備、モデルの構築、モデルの調整の際のベスト プラクティスと最適化手法も検討します。
前提条件
SageMaker ノートブック インスタンスがない場合は、作成できます。 手順については、を参照してください。 Amazon SageMaker Notebookインスタンスを作成する.
データを準備する
この分析では、次の有害コメント分類データセットを使用します。 Kaggle。 このデータセットには、6 個のデータ ポイントを持つ 158,571 つのラベルが含まれています。 ただし、各ラベルには肯定的な例としてデータ全体の 10% 未満しか含まれておらず、ラベルのうちの 1 つは XNUMX% 未満です。
既存の Kaggle データセットを Amazon Comprehend の XNUMX 列 CSV 形式 ラベルはパイプ (|) 区切り文字を使用して分割されます。 Amazon Comprehend では、データポイントごとに少なくとも 80 つのラベルが必要です。 このデータセットでは、提供されたラベルのいずれにも当てはまらないデータ ポイントがいくつか見つかりました。 clean という新しいラベルを作成し、毒性のないデータ ポイントをこのラベルで陽性となるように割り当てます。 最後に、ラベルごとに 20/XNUMX の比率で分割して、厳選したデータセットをトレーニング データセットとテスト データセットに分割しました。
データ準備ノートブックを使用します。 次の手順では、Kaggle データセットを使用し、モデル用のデータを準備します。
- SageMakerコンソールで、 ノートブックインスタンス ナビゲーションペインに表示されます。
- 構成したノートブック インスタンスを選択し、 Jupyterを開く.
- ソフトウェア設定ページで、下図のように 新作 メニュー、選択 ターミナル.
- ターミナルで次のコマンドを実行して、この投稿に必要なアーティファクトをダウンロードします。
- ターミナルウィンドウを閉じます。
XNUMX つのノートブックが表示されます。 列車.csv ファイル。
- ノートブックを選択してください データ準備.ipynb.
- ノートブック内のすべての手順を実行します。
これらの手順では、厳選されたトレーニングおよびテスト データセットとして機能する生の Kaggle データセットを準備します。 厳選されたデータセットはノートブックに保存され、 Amazon シンプル ストレージ サービス (Amazon S3)。
大規模なマルチラベル データセットを扱う場合は、次のデータ準備ガイドラインを考慮してください。
- データセットにはラベルごとに少なくとも 10 個のサンプルが必要です。
- Amazon Comprehend は最大 100 個のラベルを受け入れます。 これは増加できるソフト制限です。
- データセット ファイルが 正しくフォーマットされた 適切な区切り文字を使用してください。 区切り文字が正しくないと、空白のラベルが発生する可能性があります。
- すべてのデータ ポイントにはラベルが必要です。
- トレーニング データセットとテスト データセットには、ラベルごとにバランスの取れたデータ分布が必要です。 トレーニング データセットとテスト データセットに偏りが生じる可能性があるため、ランダム分布は使用しないでください。
カスタム分類モデルを構築する
データ準備ステップで作成した厳選されたトレーニング データセットとテスト データセットを使用してモデルを構築します。 次の手順では、Amazon Comprehend マルチラベル カスタム分類モデルを作成します。
- Amazon Comprehendコンソールで、 カスタム分類 ナビゲーションペインに表示されます。
- 選択する 新しいモデルを作成する.
- モデル名、有毒分類モデルを入力します。
- バージョン名、1を入力します。
- 注釈とデータ形式、選択する マルチラベル モードの使用.
- トレーニングデータセット、Amazon S3 上の厳選されたトレーニング データセットの場所を入力します。
- 選択する お客様が提供したテスト データセット そして、Amazon S3 上の厳選されたテストデータの場所を入力します。
- 出力データ、Amazon S3の場所を入力します。
- IAMの役割選択 IAM ロールを作成し、 名前のサフィックスを「comprehend-blog」として指定します。
- 選択する 創造する カスタム分類モデルのトレーニングとモデルの作成を開始します。
次のスクリーンショットは、Amazon Comprehend コンソールのカスタム分類モデルの詳細を示しています。
モデルのパフォーマンスを調整する
次のスクリーンショットは、モデルのパフォーマンス メトリックを示しています。 これには、精度、再現率、F1 スコア、精度などの主要な指標が含まれます。
モデルがトレーニングされて作成されると、output.tar.gz ファイルが生成されます。このファイルには、データセットのラベルと各ラベルの混同行列が含まれます。 モデルの予測パフォーマンスをさらに調整するには、各クラスの予測確率を使用してモデルを理解する必要があります。 これを行うには、分析ジョブを作成して、Amazon Comprehend が各データポイントに割り当てたスコアを特定する必要があります。
分析ジョブを作成するには、次の手順を実行します。
- Amazon Comprehendコンソールで、 分析ジョブ ナビゲーションペインに表示されます。
- 選択する ジョブを作成.
- 名前 、 入る
toxic_train_data_analysis_job
. - 分析タイプ、選択する カスタム分類.
- 分類モデルとフライホイール、指定する
toxic-classification-model
. - 、1を指定します。
- 入力データ S3 の場所、厳選されたトレーニング データ ファイルの場所を入力します。
- 入力形式、選択する XNUMX 行に XNUMX つのドキュメント.
- 出力データS3の場所、場所を入力します。
- アクセス許可選択 既存の IAM ロールを使用する をクリックして、以前に作成したロールを選択します。
- 選択する ジョブを作成 分析ジョブを開始します。
- 現在地に最も近い 分析ジョブ をクリックしてジョブの詳細を表示します。 [ジョブの詳細] にあるジョブ ID をメモしておいてください。 次のステップでジョブ ID を使用します。
厳選されたテスト データの分析ジョブを開始する手順を繰り返します。 分析ジョブからの予測出力を使用して、モデルの予測確率について学習します。 トレーニングおよびテスト分析ジョブのジョブ ID をメモしておきます。
私たちは、使用 モデル-しきい値-分析.ipynb ノートブックを使用して、考えられるすべてのしきい値で出力をテストし、scikit-learn の関数を使用して予測確率に基づいて出力をスコア付けします。 precision_recall_curve
関数。 さらに、各しきい値での F1 スコアを計算できます。
入力として Amazon Comprehend 分析ジョブ ID が必要になります。 モデル-しきい値-分析 ノート。 ジョブ ID は Amazon Comprehend コンソールから取得できます。 のすべての手順を実行します。 モデル-しきい値-分析 ノートブックを使用して、すべてのクラスのしきい値を観察します。
しきい値が上がると精度がどのように上がるのに対し、再現率ではその逆が起こることに注目してください。 1 つの間のバランスを見つけるために、曲線に目に見えるピークがある F1 スコアを使用します。 F0.5 スコアのピークは、モデルのパフォーマンスを向上させることができる特定のしきい値に対応します。 ほとんどのラベルが、しきい値が 0.04 付近の脅威ラベルを除いて、しきい値の XNUMX マーク付近にあることに注目してください。
その後、デフォルトの 0.5 しきい値だけではパフォーマンスが低下する特定のラベルに対してこのしきい値を使用できます。 最適化されたしきい値を使用することにより、テスト データに対するモデルの結果は、ラベルの脅威に関して 0.00 から 0.24 に改善されました。 すべてのラベルの共通ベンチマーク (> 1 などの標準値) ではなく、そのラベルの陽性か陰性かを判断するためのベンチマークとして、しきい値での最大 F0.7 スコアを使用しています。
過小評価されたクラスの処理
不均衡なデータセットに効果的なもう XNUMX つのアプローチは、 オーバーサンプリング。 過小評価されたクラスをオーバーサンプリングすることにより、モデルは過小評価されたクラスをより頻繁に認識し、それらのサンプルの重要性を強調します。 私たちが使用するのは、 オーバーサンプリング-過小表現.ipynb ノートブックを使用してデータセットを最適化します。
このデータセットでは、より多くのサンプルを提供するにつれて、評価データセットでのモデルのパフォーマンスがどのように変化するかをテストしました。 オーバーサンプリング手法を使用して、過小評価されているクラスの発生を増やし、パフォーマンスを向上させます。
この特定のケースでは、10、25、50、100、200、および 500 の陽性例でテストしました。 データ ポイントを繰り返していますが、過小評価されているクラスの重要性を強調することで本質的にモデルのパフォーマンスを向上させていることに注目してください。
費用
Amazon Comprehend では、処理されたテキストの文字数に基づいて従量料金が発生します。 参照する Amazon Comprehendの料金 実際の費用。
クリーンアップ
このソリューションの実験が終了したら、リソースをクリーンアップして、この例でデプロイされたすべてのリソースを削除します。 これにより、アカウントでの継続的なコストを回避できます。
まとめ
この投稿では、データの準備、予測確率を使用したモデルの調整、および過小評価されたデータ クラスを処理する手法に関するベスト プラクティスとガイダンスを提供しました。 これらのベストプラクティスとテクニックを使用して、Amazon Comprehend カスタム分類モデルのパフォーマンスメトリクスを向上させることができます。
Amazon Comprehend の詳細については、次のサイトをご覧ください。 Amazon Comprehend 開発者リソース ビデオ リソースとブログ投稿を検索し、参照するには AWS Comprehend に関するよくある質問.
著者について
サティア・バラクリシュナン AWS のプロフェッショナル サービス チームのシニア カスタマー デリバリー アーキテクトであり、データと ML ソリューションを専門としています。 彼は、米国連邦政府の金融クライアントと協力しています。 彼は、顧客のビジネス上の問題を解決するための実用的なソリューションを構築することに情熱を注いでいます。 余暇には、映画鑑賞や家族とのハイキングを楽しんでいます。
マラリ王子 AWS のプロフェッショナル サービス チームの NLP データ サイエンティストであり、公共部門の顧客向けの NLP の適用を専門としています。 彼は、顧客の生産性を高めるツールとして ML を使用することに情熱を注いでいます。 余暇には、ビデオ ゲームを楽しんだり、友人とゲームを開発したりしています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/improve-prediction-quality-in-custom-classification-models-with-amazon-comprehend/
- :持っている
- :は
- :どこ
- $UP
- 1
- 10
- 100
- 200
- 24
- 25
- 50
- 500
- 7
- 9
- a
- 私たちについて
- 受け入れる
- 精度
- 越えて
- 実際の
- さらに
- 養子縁組
- 進歩
- AI
- AI / ML
- すべて
- 許す
- また
- しかし
- Amazon
- Amazon Comprehend
- アマゾンセージメーカー
- Amazon Webサービス
- an
- 分析
- および
- どれか
- NLPの応用
- アプローチ
- です
- 周りに
- AS
- 資産
- 割り当てられた
- At
- 避ける
- AWS
- ベース
- BE
- なぜなら
- になる
- ベンチマーク
- 利点
- BEST
- ベストプラクティス
- の間に
- バイアス
- ブログ
- ブログの投稿
- ビルド
- 建物
- ビジネス
- by
- 呼ばれます
- 缶
- 取得することができます
- 場合
- 変更
- 文字
- 選択する
- class
- クラス
- 分類
- クライアント
- コメント
- コマンドと
- コンプリート
- 理解する
- 計算
- 設定された
- 混乱
- 領事
- 含まれています
- 連続
- 変換
- コスト
- 作ります
- 作成した
- 創造
- キュレーション
- キュレーション
- 曲線
- カスタム
- 顧客
- Customers
- データ
- データポイント
- データの準備
- データサイエンティスト
- データセット
- 取引
- 深いです
- デフォルト
- 配達
- 実証します
- 展開
- 細部
- 決定する
- Developer
- 開発
- ディストリビューション
- do
- ドキュメント
- ドント
- ダウンロード
- 間に
- 各
- 容易
- 効果的な
- 努力
- 強調
- 強調
- 入力します
- Enterprise
- 評価
- 例
- 例
- 除く
- 実行します
- 既存の
- 期待する
- 説明する
- f1
- 秋
- 家族
- 連邦政府の
- File
- 最後に
- ファイナンシャル
- もう完成させ、ワークスペースに掲示しましたか?
- フォロー中
- 友達
- から
- フル
- function
- さらに
- Games
- 生成する
- 取得する
- Go
- ゴエス
- 政府・公共機関
- ガイダンス
- ガイド
- ガイドライン
- ハンドル
- 持ってる
- 持って
- he
- ことができます
- 彼の
- 認定条件
- How To
- しかしながら
- HTML
- HTTP
- HTTPS
- ID
- 識別する
- イド
- 重要性
- 改善します
- 改善
- in
- 含ま
- 含めて
- 増える
- 増加した
- 情報
- 本質的に
- 洞察
- を取得する必要がある者
- 説明書
- インテリジェンス
- に
- 紹介する
- IT
- ジョブ
- Jobs > Create New Job
- ただ
- キー
- ラベル
- ラベル
- 言語
- 大規模
- LEARN
- 学習
- 最低
- less
- ような
- LIMIT
- 場所
- 機械
- 機械学習
- make
- 管理
- マーク
- マトリックス
- マックス
- 大会
- メニュー
- メトリック
- メトリック
- かもしれない
- 最小限の
- 最小
- ML
- モデル
- 他には?
- 最も
- 動画
- しなければなりません
- 名
- ナチュラル
- 自然言語処理
- ナビゲーション
- 必要
- 負
- 新作
- 次の
- NLP
- ノート
- 知らせ..
- 数
- 観察する
- 発生
- of
- 頻繁に
- on
- ONE
- の
- 最適化
- 最適化
- 最適化
- 最適化
- 組織
- 私たちの
- 出力
- ペイン
- 特定の
- 情熱的な
- 支払う
- 以下のために
- パフォーマンス
- 選ぶ
- パイプ
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 再生
- お願いします
- ポイント
- ポイント
- 正の
- 可能
- ポスト
- 投稿
- プラクティス
- 現実的
- 精度
- 予測
- 準備
- 準備
- プレゼント
- 前に
- 問題
- 処理済み
- 処理
- 生産性の高い
- プロ
- 適切な
- 提供します
- 提供
- 公共
- 品質
- ランダム
- 比
- Raw
- 実現する
- 参照する
- の提出が必要です
- リソース
- 結果
- 職種
- セージメーカー
- 科学者
- スコア
- セクター
- 見て
- 見て
- 役立つ
- サービス
- いくつかの
- すべき
- 作品
- 簡単な拡張で
- ソフト
- 溶液
- ソリューション
- 解決する
- 一部
- 特化
- 特定の
- split
- 標準
- start
- 開始
- 手順
- ステップ
- ストレージ利用料
- 保存され
- そのような
- 取る
- チーム
- 技術
- テクニック
- ターミナル
- test
- テスト
- 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다.
- より
- それ
- アプリ環境に合わせて
- その後
- ボーマン
- 彼ら
- この
- それらの
- 脅威
- 三
- しきい値
- 介して
- 時間
- 〜へ
- ツール
- トータル
- 訓練された
- トレーニング
- 2
- 下
- 過小評価
- わかる
- us
- 米国連邦
- つかいます
- 「DeckleBenchは非常に使いやすく最適なソリューションを簡単に見つけることができるため、稼働率が向上しコストも削減した。当社の旧システムは良かったが改善は期待していなかった。
- 値
- ビデオ
- ビデオゲーム
- 詳しく見る
- 目に見える
- 訪問
- vs
- 見ている
- we
- ウェブ
- Webサービス
- WELL
- いつ
- which
- while
- 広範囲
- 意志
- ウィンドウを使用して入力ファイルを追加します。
- 無し
- 作品
- You
- あなたの
- ゼファーネット
- 〒