オンライン ゲームおよびソーシャル コミュニティは、ユーザーが通信するための音声およびテキスト チャット機能を提供します。音声チャットやテキストチャットは友好的な冗談をサポートすることがよくありますが、ヘイトスピーチ、ネットいじめ、嫌がらせ、詐欺などの問題を引き起こす可能性もあります。現在、多くの企業は有害なコンテンツのレビューを人間のモデレータのみに依存しています。ただし、チャットでの違反の確認は時間がかかり、エラーが発生しやすく、規模を拡大するのが困難です。
この投稿では、以下を含むさまざまな AWS サービスを使用して音声およびテキストチャットのモデレートを可能にするソリューションを紹介します。 Amazon Transcribe, Amazon Comprehend, アマゾンの岩盤, AmazonOpenSearchサービス.
ソーシャル プラットフォームは、簡単に開始できる既製のモデレーション ソリューションを求めていますが、多様なポリシーを管理するためのカスタマイズも必要です。レイテンシーとコストも考慮する必要がある重要な要素です。生成 AI を使用して大規模言語モデル (LLM) で毒性分類を調整することで、さまざまな要件を満たすシンプルさ、遅延、コスト、柔軟性のバランスがとれたソリューションを提供します。
この投稿のサンプル コードは、次の場所にあります。 GitHubリポジトリ.
音声チャットのモデレーションワークフロー
オーディオ チャット モデレーション ワークフローは、ユーザーがゲーム プラットフォーム上の他のユーザーに対して、冒涜、ヘイトスピーチ、ハラスメントなどのポリシー違反を報告することによって開始される可能性があります。これは、音声モデレーションに対する受動的なアプローチを表します。システムは、即座に分析することなく、すべての音声会話を記録します。レポートを受信すると、ワークフローは関連する音声ファイルを取得し、分析プロセスを開始します。次に、人間のモデレータが報告された会話をレビューし、その内容を調査してプラットフォーム ポリシーに違反していないかどうかを判断します。
あるいは、ワークフローをプロアクティブにトリガーすることもできます。たとえば、ソーシャル オーディオ チャット ルームでは、システムがすべての会話を記録し、分析を適用できます。
パッシブなアプローチとプロアクティブなアプローチの両方で、オーディオ分析のための次のパイプラインをトリガーできます。
オーディオ モデレーションのワークフローには次の手順が含まれます。
- ワークフローは、オーディオ ファイルを受信し、それをファイルに保存することから始まります。 Amazon シンプル ストレージ サービス Amazon Transcribe がアクセスする (Amazon S3) バケット。
- アマゾンの文字起こし
StartTranscriptionJob
APIは次のように呼び出されます 毒性の検出 有効になりました。 Amazon Transcribe は音声をテキストに変換し、毒性分析に関する追加情報を提供します。毒性分析の詳細については、以下を参照してください。 Amazon Transcribe Toxicity Detection を使用して、会話中の有害な言語にフラグを立てます. - 毒性分析で特定のしきい値 (たとえば、50%) を超える毒性スコアが返された場合は、次のように使用できます。 Amazon Bedrock のナレッジベース LLM を使用して、カスタマイズされたポリシーに対してメッセージを評価します。
- 人間のモデレーターは、有害でポリシーに違反していると考えられる会話セグメントを強調表示する詳細な音声モデレーション レポートを受け取り、情報に基づいた意思決定を行うことができます。
次のスクリーンショットは、オーディオ セグメントの毒性分析を表示するサンプル アプリケーションを示しています。これには、元の転写、Amazon Transcribe 毒性分析の結果、Amazon Bedrock Anthropic Claude V2 モデルを通じて Amazon Bedrock ナレッジベースを使用して実行された分析が含まれます。
LLM 分析では、違反結果 (Y または N) が提供され、ポリシー違反に関するモデルの決定の背後にある理論的根拠が説明されます。さらに、知識ベースには評価で使用される参照ポリシー文書が含まれており、モデレーターに追加のコンテキストを提供します。
Amazon Transcribe の毒性検出
Amazon Transcribe は、開発者が音声をテキストに変換する機能をアプリケーションに簡単に追加できるようにする自動音声認識 (ASR) サービスです。オーディオモデレーションワークフローでは、Amazon Transcribe Toxicity Detection を使用します。これは、セクハラ、ヘイトスピーチ、脅迫を含む 7 つのカテゴリにわたる音声ベースの有害なコンテンツを識別し、分類するために音声およびテキストベースの合図を使用する機械学習 (ML) を活用した機能です。 、虐待、冒涜、侮辱、生々しい言葉。毒性検出は、テキストの分析に加えて、トーンやピッチなどの音声キューを使用して、音声内の有害な意図を特定します。
オーディオモデレーションワークフローは、毒性分析が設定されたしきい値を超えた場合にのみ、LLM のポリシー評価をアクティブにします。このアプローチでは、LLM を選択的に適用し、トラフィックのかなりの部分をフィルタリングして除外することで、レイテンシを短縮し、コストを最適化します。
LLM プロンプト エンジニアリングを使用してカスタマイズされたポリシーに対応する
Amazon Transcribe と Amazon Comprehend の事前トレーニングされた毒性検出モデルは、オーディオおよびテキスト形式でユーザーが作成したコンテンツをモデレートするためにソーシャル プラットフォームで一般的に使用される、広範な毒性分類を提供します。これらの事前トレーニングされたモデルは、低遅延で問題を効率的に検出しますが、事前トレーニングされたモデルだけでは達成できない、特定の企業またはビジネス ドメインのポリシーに対する違反を検出するソリューションが必要になる場合があります。
さらに、状況に応じた会話における違反の検出(特定など) 子供の性的グルーミング 会話には、チャット メッセージと、ユーザーの年齢、性別、会話履歴などのチャット メッセージ以外のコンテキストを考慮したカスタマイズ可能なソリューションが必要です。ここで、LLM はこれらの要件を拡張するために必要な柔軟性を提供できます。
Amazon Bedrock は、大手 AI 企業の高性能基盤モデル (FM) の選択肢を提供するフルマネージド サービスです。これらのソリューションは、Amazon Bedrock の Anthropic Claude v2 を使用し、次のコードに示すように、柔軟なプロンプト テンプレートを使用して音声転写とテキスト チャット メッセージを管理します。
テンプレートには、ポリシーの説明、チャット メッセージ、およびモデレーションを必要とする追加ルールのプレースホルダーが含まれています。 Anthropic Claude V2 モデルは、メッセージがポリシーに違反していると考えられる理由を説明する分析とともに、指示された形式 (Y または N) で応答を配信します。このアプローチにより、柔軟なモデレーション カテゴリを定義し、人間の言語でポリシーを明確に表現できるようになります。
社内分類モデルをトレーニングする従来の方法には、データ アノテーション、トレーニング、テスト、モデルのデプロイメントなどの面倒なプロセスが含まれており、データ サイエンティストや ML エンジニアの専門知識が必要です。対照的に、LLM は高度な柔軟性を提供します。ビジネス ユーザーは人間の言語でプロンプトを変更できるため、ML モデルのトレーニングの効率が向上し、反復サイクルが短縮されます。
Amazon Bedrock ナレッジベース
プロンプト エンジニアリングはポリシーのカスタマイズには効率的ですが、長いポリシーやルールをメッセージごとに LLM プロンプトに直接挿入すると、遅延が発生し、コストが増加する可能性があります。これに対処するために、Amazon Bedrock ナレッジベースをマネージド検索拡張生成 (RAG) システムとして使用します。これにより、ポリシー ドキュメントを柔軟に管理できるようになり、ワークフローで各入力メッセージに関連するポリシー セグメントのみを取得できるようになります。これにより、分析のために LLM に送信されるトークンの数が最小限に抑えられます。
あなたが使用することができます AWSマネジメントコンソール ポリシー文書を S3 バケットにアップロードし、効率的に取得できるように文書をベクター データベースにインデックス付けします。以下は、Amazon Bedrock ナレッジベースによって管理される概念的なワークフローです。Amazon S3 からドキュメントを取得し、テキストをチャンクに分割し、 Amazon Bedrock Titan テキスト埋め込みモデル テキスト チャンクをベクトルに変換し、ベクトル データベースに保存します。
このソリューションでは、 AmazonOpenSearchサービス ベクトルストアとして。 Opensearch は、Apache 2.0 ライセンスに基づいてライセンス供与されている、検索、分析、セキュリティ監視、可観測性アプリケーション向けのスケーラブルで柔軟かつ拡張可能なオープン ソース ソフトウェア スイートです。 OpenSearch Service は、AWS クラウドで OpenSearch を簡単にデプロイ、拡張、運用できるようにするフルマネージド サービスです。
OpenSearch Service でドキュメントのインデックスが作成されると、音声およびテキストのモデレーション ワークフローによってチャット メッセージが送信され、カスタマイズされたポリシー評価のための次のクエリ フローがトリガーされます。
このプロセスは開始ワークフローと似ています。まず、テキストメッセージは、Amazon Bedrock Titan Text Embedding API を使用してテキスト埋め込みに変換されます。これらの埋め込みは、次の処理を実行するために使用されます。 ベクトル検索 すでにドキュメントの埋め込みが設定されている OpenSearch Service データベースに対して。データベースは、入力テキスト メッセージに関連する、一致スコアが最も高いポリシー チャンクを返します。次に、入力チャット メッセージとポリシー セグメントの両方を含むプロンプトを作成し、評価のために Anthropic Claude V2 に送信します。 LLM モデルは、プロンプトの指示に基づいて分析結果を返します。
Amazon Bedrock ナレッジベースでポリシー文書を使用して新しいインスタンスを作成する方法の詳細な手順については、以下を参照してください。 ナレッジベースは、Amazon Bedrock でフルマネージドの RAG エクスペリエンスを提供するようになりました.
テキストチャットモデレーションワークフロー
テキストチャットモデレーションワークフローは音声モデレーションと同様のパターンに従いますが、テキストモデレーション用に調整された Amazon Comprehend 毒性分析が使用されます。サンプル アプリは、CSV または TXT 形式で一括テキスト ファイルをアップロードするためのインターフェイスをサポートし、迅速なテスト用の単一メッセージ インターフェイスを提供します。次の図はワークフローを示しています。
テキスト管理ワークフローには次の手順が含まれます。
- ユーザーはテキスト ファイルを S3 バケットにアップロードします。
- Amazon Comprehend の毒性分析がテキストメッセージに適用されます。
- 毒性分析で特定のしきい値 (たとえば、50%) を超える毒性スコアが返された場合、Amazon Bedrock ナレッジベースを使用して、Anthropic Claude V2 LLM を使用してカスタマイズされたポリシーに対してメッセージを評価します。
- ポリシー評価レポートは人間のモデレーターに送信されます。
Amazon Comprehend の毒性分析
テキストモデレーションワークフローでは、Amazon Comprehend 毒性分析を使用してテキストメッセージの毒性レベルを評価します。 Amazon Comprehend は、ML を使用してテキスト内の貴重な洞察とつながりを明らかにする自然言語処理 (NLP) サービスです。 Amazon Comprehend 毒性検出 API は、テキストコンテンツに 0 ~ 1 の範囲の全体的な毒性スコアを割り当て、有害である可能性を示します。また、テキストを次のカテゴリに分類し、それぞれの信頼スコアを提供します。 hate_speech
、グラフィック、 harrassement_or_abuse
、性的、 violence_or_threat
、侮辱、冒涜。
このテキストモデレーションワークフローでは、Amazon Comprehend の有害性分析が、受信テキストメッセージに有害なコンテンツが含まれているかどうかを特定する上で重要な役割を果たします。オーディオ モデレーション ワークフローと同様に、毒性分析で事前定義されたしきい値を超えるスコアが返された場合にのみ、ダウンストリーム LLM ポリシー評価をアクティブにする条件が含まれています。この最適化は、LLM 分析に関連する全体的な遅延とコストを削減するのに役立ちます。
まとめ
この投稿では、Amazon Transcribe、Amazon Comprehend、Amazon Bedrock、OpenSearch Service などの AWS のサービスを使用した音声およびテキスト チャットのモデレーションのソリューションを紹介しました。これらのソリューションは、毒性分析に事前トレーニングされたモデルを使用し、生成 AI LLM と連携して、精度、遅延、コストの最適なバランスを実現します。また、独自のポリシーを柔軟に定義できるようになります。
の指示に従ってサンプル アプリを体験できます。 GitHubレポ.
著者,
ラナ・チャン AWS WWSO AI サービス チームのシニア ソリューション アーキテクトで、コンテンツ モデレーション、コンピューター ビジョン、自然言語処理、生成 AI の AI と ML を専門としています。 彼女はその専門知識を活かして、AWS AI/ML ソリューションを推進し、ソーシャルメディア、ゲーム、電子商取引、メディア、広告、マーケティングなどのさまざまな業界にわたって顧客がビジネス ソリューションを変革できるよう支援することに専念しています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/moderate-audio-and-text-chats-using-aws-ai-services-and-llms/
- :持っている
- :は
- :not
- :どこ
- 100
- 118
- 14
- 7
- a
- 私たちについて
- 虐待
- アクセス
- 対応する
- 精度
- 達成する
- 越えて
- 活性化する
- 加えます
- 添加
- NEW
- 追加情報
- 住所
- 広告運用
- に対して
- 年齢
- AI
- AIサービス
- AI / ML
- すべて
- 許可
- ことができます
- 一人で
- 沿って
- 既に
- また
- しかし
- Amazon
- Amazon Comprehend
- Amazon Transcribe
- Amazon Webサービス
- an
- 分析
- 分析論
- 分析する
- および
- 人間原理
- アパッチ
- API
- アプリ
- 申し込み
- 適用された
- 申し込む
- 適用
- アプローチ
- アプローチ
- です
- AS
- 評価する
- アシスト
- アシスタント
- 支援する
- 関連する
- At
- オーディオ
- 増強された
- 著者
- オートマチック
- 利用できます
- AWS
- バランス
- ベース
- ベース
- BE
- き
- 始まります
- 背後に
- さ
- 両言語で
- 破壊
- 広い
- ビジネス
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- 缶
- 機能
- カテゴリ
- 一定
- 挑戦
- チャット
- チャット
- 選択
- 分類
- 分類します
- クラウド
- コード
- 一般に
- 伝える
- コミュニティ
- 企業
- 会社
- 理解する
- コンピュータ
- Computer Vision
- 概念の
- 条件
- 実施
- 信頼
- Connections
- 検討
- 見なさ
- 考えると
- 含まれています
- コンテンツ
- コンテキスト
- 文脈上の
- コントラスト
- 会話
- 会話
- 変換
- 変換
- 費用
- コスト
- 可能性
- 作ります
- 重大な
- 重大な
- 面倒
- Customers
- カスタマイズ可能な
- カスタム化
- カスタマイズ
- サイクル
- データ
- データベース
- 決めます
- 決定
- 専用の
- 定義します
- 度
- 提供します
- 展開します
- 展開
- 説明
- 詳細な
- 検出
- 検出
- 決定する
- 開発者
- ダイアグラム
- 直接に
- 表示
- 異なる
- ドキュメント
- ドキュメント
- ありません
- ドメイン
- ダウン
- eコマース
- 各
- 効率
- 効率的な
- 効率良く
- どちら
- 埋め込み
- エンパワー
- enable
- 使用可能
- 可能
- エンジニアリング
- エンジニア
- 強化された
- 評価する
- 評価
- 例
- 超えます
- 超え
- 体験
- エキスパート
- 専門知識
- 説明
- 説明
- 伸ばす
- 要因
- File
- フィルタリング
- もう完成させ、ワークスペースに掲示しましたか?
- 名
- 柔軟性
- フレキシブル
- 柔軟に
- フロー
- フォロー中
- 次
- 形式でアーカイブしたプロジェクトを保存します.
- Foundation
- 優しい
- から
- 完全に
- 機能性
- さらに
- 賭博
- ゲームプラットフォーム
- 性別
- 世代
- 生々しい
- 生成AI
- グラフィック
- 有害な
- 嫌い
- ことができます
- 彼女の
- ハイ
- 高性能
- 最高
- 強調表示
- history
- 認定条件
- How To
- しかしながら
- HTML
- HTTP
- HTTPS
- 人間
- 識別する
- 識別
- if
- 説明する
- 即時の
- in
- 含ま
- 含めて
- 入ってくる
- 増える
- index
- 索引付けされた
- を示し
- 示します
- 産業
- 情報
- 情報に基づく
- 開始する
- 開始
- 開始する
- 開始
- 洞察
- 説明書
- 侮辱
- 意図
- インタフェース
- に
- 紹介する
- 導入
- 調査中
- 呼び出された
- 呼び出す
- 関与
- 問題
- IT
- 繰り返し
- ITS
- ジョブ
- JPG
- キープ
- 知識
- 言語
- 大
- レイテンシ
- つながる
- 主要な
- 学習
- レベル
- ライセンス
- ライセンス供与
- 尤度
- LLM
- ロー
- 機械
- 機械学習
- make
- 作る
- 管理します
- マネージド
- 管理
- 管理する
- 多くの
- マーケティング
- マッチング
- 五月..
- 手段
- メディア
- メッセージ
- メッセージ
- 方法
- 最小化する
- ML
- モデル
- 適度な
- モデレートする
- 節度
- 修正する
- モニタリング
- 他には?
- しなければなりません
- ナチュラル
- 自然言語処理
- 必要
- 必要とされる
- 新作
- NLP
- 今
- 数
- of
- 提供
- オファー
- 頻繁に
- on
- の
- 開いた
- オープンソース
- 操作する
- 最適な
- 最適化
- 最適化
- or
- 調整された
- オーケストレーション
- オリジナル
- その他
- でる
- 概説
- 外側
- 全体
- 自分の
- パッシブ
- パターン
- 実行する
- パイプライン
- ピッチ
- プラットフォーム
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 演劇
- お願いします
- ポリシー
- 方針
- 人口
- 部分
- ポスト
- 定義済み
- 先を見越した
- 問題
- プロセス
- ラボレーション
- 処理
- 冒涜
- 推進
- プロンプト
- 提供します
- は、大阪で
- 提供
- クエリー
- クイック
- ぼろ
- 測距
- 根拠
- 受け
- 受け取り
- 受け入れ
- 認識
- 記録
- 記録
- 減らします
- 電話代などの費用を削減
- 軽減
- 参照する
- 参照
- に対する
- 関連する
- 関連した
- 頼る
- レポート
- 報告
- 各種レポート作成
- 表し
- 必要とする
- 要件
- 必要
- 反応します
- 回答
- 結果
- 結果
- 検索
- 収益
- レビュー
- レビュー
- 職種
- ルーム
- ルール
- ルール
- 安全な
- 安全性
- サンプル
- 満たす
- ド電源のデ
- 規模
- 詐欺
- 科学者たち
- スコア
- を検索
- セクション
- セキュリティ
- Seek
- セグメント
- セグメント
- 送る
- シニア
- 送信
- サービス
- サービス
- セッションに
- セブン
- 性的な
- 彼女
- 作品
- 重要
- 同様の
- 簡単な拡張で
- 単純
- 社会
- ソーシャルメディア
- ソーシャルプラットフォーム
- ソフトウェア
- もっぱら
- 溶液
- ソリューション
- ソース
- 特化
- 特定の
- スピーチ
- 音声認識
- 音声テキスト
- 分割
- 話
- ステップ
- ストレージ利用料
- 店舗
- 保存され
- 保存
- 簡単な
- そのような
- スイート
- サポート
- サポート
- TAG
- テーラード
- 撮影
- 分類
- チーム
- template
- テスト
- 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다.
- それ
- アプリ環境に合わせて
- それら
- その後
- ボーマン
- 彼ら
- 考え
- この
- 脅威
- しきい値
- 介して
- 時間がかかる
- タイタン
- 〜へ
- 今日
- トークン
- 伝統的な
- トラフィック
- トレーニング
- 変換
- トリガー
- トリガ
- トリガー
- 信頼
- 明らかにする
- 下
- アップロード
- つかいます
- 中古
- ユーザー
- users
- 使用されます
- 貴重な
- さまざまな
- 検証する
- 違反
- 違反
- ビジョン
- ボイス
- we
- ウェブ
- Webサービス
- いつ
- かどうか
- which
- while
- なぜ
- Wikipedia
- 意志
- 以内
- 無し
- 言葉
- ワークフロー
- You
- あなたの
- ゼファーネット