Amazon インタラクティブ ビデオ サービス (Amazon IVS) は、インタラクティブなビデオ体験を構築し、取り込みから配信までインタラクティブなビデオコンテンツを処理できるようにするための迅速かつ簡単なセットアップを提供するように設計されたマネージドライブストリーミングソリューションです。
ライブ ストリーミングの使用が増加するにつれて、効果的なコンテンツ モデレーションの必要性がさらに重要になっています。 ユーザー生成コンテンツ (UGC) には、安全性に関して複雑な課題があります。 多くの企業は、ビデオ ストリームの監視を人間のモデレーターに依存していますが、これには時間がかかり、エラーが発生しやすく、ビジネスの成長スピードに合わせて拡張することができません。 Human in the Loop (HITL) をサポートする自動モデレーション ソリューションの必要性がますます高まっています。
Amazon Rekognition コンテンツ管理、の機能 Amazonの再認識、機械学習 (ML) の経験を必要とせずに、画像とビデオのモデレーション ワークフローを自動化および合理化します。 この投稿では、Amazon Rekognition Image API を使用してライブストリームをモデレートするソリューションを使用した、ライブストリームのビジュアルモデレーションの一般的な方法について説明します。 このソリューションを AWS アカウントにデプロイするには、 AWSクラウド開発キット (AWS CDK) パッケージは弊社で利用可能です GitHubレポ.
ライブ ストリームのビジュアル コンテンツをモデレートする
UGC ライブ ストリームのビジュアル モデレーションの最も一般的なアプローチには、ストリームから画像をサンプリングし、画像モデレーションを利用してほぼリアルタイムの結果を受け取ることが含まれます。 ライブ ストリーム プラットフォームは、柔軟なルールを使用してビジュアル コンテンツを管理できます。 たとえば、若い視聴者がいるプラットフォームではアダルト コンテンツや特定の商品に関して厳格なルールが定められている場合がありますが、他のプラットフォームではヘイト シンボルに重点が置かれている場合があります。 これらのプラットフォームは、ポリシーに効果的に一致するようにさまざまなルールを確立します。 人間によるレビューと自動レビューを組み合わせたハイブリッド プロセスは、一般的な設計アプローチです。 特定のストリームは自動的に停止されますが、ストリームがプラットフォーム ポリシーに違反し、非アクティブ化する必要があるかどうかも人間のモデレーターが評価します。
次の図は、ライブ ストリーム システムとの疎結合で設計された、ほぼリアルタイムのモデレーション システムの概念的なワークフローを示しています。
ワークフローには次の手順が含まれます。
- ライブ ストリーム サービス (またはクライアント アプリ) は、特定の間隔に基づいてビデオ ストリームから画像フレームをサンプリングします。
- ルール エンジンはモデレーション ガイドラインを評価し、事前定義されたポリシー内でストリーム サンプリングの頻度と適用可能なモデレーション カテゴリを決定します。 このプロセスには、ML アルゴリズムと非 ML アルゴリズムの両方の利用が含まれます。
- ルール エンジンは、ビデオ ストリーム内の違反を検出すると、人間のモデレーターに警告します。
- 人間のモデレーターが結果を評価し、ライブ ストリームを非アクティブ化します。
UGC ライブ ストリームのモデレートは、メディアにおける従来のビデオ モデレートとは異なります。 さまざまな規制に対応します。 モデレーションのためにビデオ フレームから画像がサンプリングされる頻度は、通常、プラットフォームの信頼性と安全性ポリシーとサービス レベル アグリーメント (SLA) によって決まります。 たとえば、ライブ ストリーム プラットフォームがポリシー違反があった場合に 3 分以内にチャンネルを停止することを目標としている場合、現実的なアプローチは 1 ~ 2 分ごとにサンプリングして、人間のモデレーターが検証してアクションを起こす時間を確保することです。 一部のプラットフォームでは、柔軟なモデレーション頻度制御が必要です。 たとえば、評判の高いストリーマーはあまり管理を必要としないかもしれませんが、新しいストリーマーには細心の注意が必要です。 これにより、サンプリング周波数を減らすことによるコストの最適化も可能になります。
コストは、ライブ ストリーム モデレーション ソリューションにおいて重要な考慮事項です。 UGC ライブ ストリーム プラットフォームが急速に拡大するにつれて、同時ストリームを高頻度でモデレートするとコストの懸念が生じる可能性があります。 この投稿で紹介するソリューションは、モデレーション ルールを定義してサンプル頻度をカスタマイズしたり、類似した画像フレームを無視したり、その他の手法を使用できるようにすることで、コストを最適化するように設計されています。
Amazon IVS ストリーム コンテンツを Amazon S3 に記録する
Amazon IVS は、次のようなネイティブ ソリューションを提供します。 ストリームコンテンツの録画 〜に Amazon シンプル ストレージ サービス (Amazon S3) バケットを作成し、ビデオ ストリームからサムネイル (画像フレーム) を生成します。 デフォルトではサムネイルが 60 秒ごとに生成され、ユーザーは画質と頻度をカスタマイズするオプションが提供されます。 の使用 AWSマネジメントコンソール、することができます 録音構成を作成する それを Amazon IVS チャネルにリンクします。 録画設定がチャンネルに関連付けられている場合、チャンネルのライブ ストリームは指定された S3 バケットに自動的に録画されます。
Amazon S3 への自動記録機能の使用または Amazon S3 への書き込みには、Amazon IVS の料金はかかりません。 Amazon S3 ストレージ、Amazon IVS が顧客に代わって行う Amazon S3 API 呼び出し、保存されたビデオの視聴者への提供には料金がかかります。 Amazon IVS のコストの詳細については、以下を参照してください。 コスト (低遅延ストリーミング).
Amazon Rekognition モデレーション API
このソリューションでは、 Amazon Rekognition DetectModerationLabel API Amazon IVS サムネイルをほぼリアルタイムで管理します。 Amazon Rekognition Content Moderation は、暴力、ヌード、ヘイトシンボルなど、幅広い不適切または不快なコンテンツを分析するための事前トレーニングされた API を提供します。 Amazon Rekognition Content Moderation 分類の包括的なリストについては、以下を参照してください。 コンテンツのモデレート.
次のコードスニペットは、Amazon Rekognition DetectModerationLabel API を呼び出して、オブジェクト内の画像を管理する方法を示しています。 AWSラムダ Python Boto3 ライブラリを使用した関数:
以下は、Amazon Rekognition Image Moderation API からの応答の例です。
Amazon Rekognition Image Moderation API のその他の例については、「 コンテンツモデレーションイメージラボ.
ソリューションの概要
このソリューションは、S3 バケットからサムネイル画像を読み取り、Amazon Rekognition Image Moderation API に画像を送信することにより、Amazon IVS と統合します。 ストリームを自動的に停止したり、人間によるレビューを行ったりするための選択肢が提供されます。 条件に基づいてストリームを自動的に停止するシステムのルールを構成できます。 また、人間による簡単なレビュー ポータルも含まれており、モデレーターがストリームを監視し、違反アラートを管理し、必要に応じてストリームを停止できるようになります。
このセクションでは、システム アーキテクチャを簡単に紹介します。 さらに詳しい情報については、以下を参照してください。 GitHubレポ.
次の画面録画にはモデレーター UI が表示されており、モデレーターはアクティブなストリームをモデレーション警告とともに監視し、ストリームの停止や警告の無視などのアクションを実行できます。
ユーザーは、モデレーションルールをカスタマイズし、チャネルごとのビデオストリームのサンプル頻度を制御し、信頼度しきい値を使用して Amazon Rekognition モデレーションカテゴリを設定し、類似性チェックを有効にすることで、冗長な画像の処理を回避することでパフォーマンスとコストの最適化を実現できます。
次の画面記録は、グローバル構成を管理するための UI を示しています。
このソリューションは、Amazon IVS と疎結合された XNUMX つの主要コンポーネントで構成されるマイクロサービス アーキテクチャを使用します。
ルールエンジン
ルール エンジンは、ライブ ストリーム モデレーション システムのバックボーンを形成します。 ほぼリアルタイムのモデレーションを可能にするライブ処理サービスです。 Amazon Rekognition を使用して画像を管理し、カスタマイズ可能なルールに照らして結果を検証し、画像ハッシュアルゴリズムを使用して類似の画像を認識して除外し、ルール違反があった場合にはストリームを自動的に停止したり、人によるレビューサブシステムに警告したりできます。 このサービスは、Amazon S3 ベースの画像読み取りを通じて Amazon IVS と統合され、API 呼び出しを容易にします。 アマゾンAPIゲートウェイ.
次のアーキテクチャ図は、ほぼリアルタイムのモデレーション ワークフローを示しています。
ルール エンジン処理ワークフローをトリガーするには、次の XNUMX つの方法があります。
- S3ファイルトリガー – 新しいイメージが S3 バケットに追加されると、ワークフローが開始されます。 これは、Amazon IVS 統合に推奨される方法です。
- REST API呼び出し – リクエスト本文内の画像バイトを使用して、API Gateway への RESTful API 呼び出しを行うことができます。 API は画像を S3 バケットに保存し、ほぼリアルタイムの処理をトリガーします。 このアプローチは、ライブ ストリーム アプリのクライアント側でキャプチャされ、インターネット経由で送信される画像に適しています。
画像処理ワークフローは、によって管理されます。 AWSステップ関数には、いくつかの手順が含まれます。
- サンプル周波数ルールを確認してください。 前回のサンプル時間が近すぎる場合、処理は停止します。
- 構成で有効になっている場合は、イメージ ハッシュ アルゴリズムを使用して類似性チェックを実行します。 同じチャンネルで以前に受信した画像と類似している場合、プロセスは画像をスキップします。
- Amazon Rekognition Image Moderation API を使用して、設定されたルールに照らしてイメージを評価し、信頼度のしきい値を適用し、不要なカテゴリを無視します。
- モデレーション結果がルールに違反している場合は、通知を送信します。 Amazon シンプル通知サービス (Amazon SNS) トピック。モデレーション警告でダウンストリーム システムに警告します。
- 自動停止モデレーションルールに違反すると、Amazon IVS ストリームは自動的に停止されます。
この設計では、Step Functions ステート マシンを通じてルールを管理し、柔軟なワークフロー定義のためのドラッグ アンド ドロップ GUI を提供します。 追加の Step Functions ワークフローを組み込むことで、ルール エンジンを拡張できます。
監視および管理ダッシュボード
モニタリングおよび管理ダッシュボードは、人間のモデレータが Amazon IVS ライブ ストリームをモニタリングできる UI を備えた Web アプリケーションです。 ほぼリアルタイムのモデレーション アラートを提供し、モデレーターがストリームを停止したり、警告を無視したりできるようにします。 Web ポータルでは、管理者がルール エンジンのモデレーション ルールを管理できるようになります。 次の XNUMX 種類の構成がサポートされています。
- チャンネルルール – 特定のチャネルのルールを定義できます。
- グローバルルール – これらのルールは、特定の設定が欠如している Amazon IVS チャネルのすべてまたはサブセットに適用されます。 正規表現を定義して、パターンに一致する Amazon IVS チャネル名にグローバル ルールを適用できます。 例: .* はすべてのチャネルに適用されます。 /^test-/ は、test- で始まる名前のチャンネルに適用されます。
このシステムはサーバーレス Web アプリであり、Amazon S3 でホストされる静的な React フロントエンドを特徴としています。 アマゾンCloudFrontの キャッシング用。 認証は次によって処理されます。 アマゾンコグニート。 データは API ゲートウェイと Lambda を通じて提供され、状態ストレージは Amazon DynamoDB. 次の図は、このアーキテクチャを示しています。
モニタリング ダッシュボードは、モデレーターにとって重要な機能を提供する軽量のデモ アプリです。 機能を強化するには、管理システムで複数のモデレータをサポートするように実装を拡張し、WebSocket を使用したプッシュ メカニズムを実装することで待機時間を短縮できます。
モデレートのレイテンシ
このソリューションは、ほぼリアルタイムのモデレーションを目的として設計されており、レイテンシーは XNUMX つの別個のサブシステムにわたって測定されます。
- ルールエンジンのワークフロー – 画像の受信から Amazon SNS 経由の通知の送信までのルール エンジンのワークフローは、平均 2 秒以内です。 このサービスは、Step Functions ステート マシンを通じて画像を迅速に処理します。 Amazon Rekognition Image Moderation API は、平均ファイルサイズが 500 MB 未満の場合、1 ミリ秒未満で処理します。 (これらの結果は、ほぼリアルタイムの要件を満たすサンプルアプリで実施されたテストに基づいています。) Amazon IVS では、さまざまなオプションを選択できます。 サムネイルの解像度 画像サイズを調整します。
- モニタリング Web ポータル – 監視 Web ポータルは、ルール エンジンの SNS トピックをサブスクライブします。 警告は DynamoDB テーブルに記録され、Web サイト UI は 10 秒ごとに最新の警告を取得します。 このデザインは、モデレータのビューを軽量にデモンストレーションします。 レイテンシーをさらに短縮するには、Amazon SNS 経由で警告が到着するとすぐに UI に警告をプッシュする WebSocket の実装を検討してください。
ソリューションを拡張する
この投稿では、ライブ ストリームのビジュアル コンテンツのモデレーションに焦点を当てます。 ただし、このソリューションは意図的に柔軟であり、複雑なビジネス ルールに対応でき、チャット メッセージやライブ ストリームの音声のモデレートなど、他のメディア タイプをサポートするように拡張できます。 上流のディスパッチング ロジックを備えた新しい Step Functions ステート マシン ワークフローを導入することで、ルール エンジンを強化できます。 今後の投稿では、AWS AI サービスを使用したライブ ストリームのテキストと音声のモデレーションについて詳しく説明します。
まとめ
この投稿では、Amazon Rekognition を使用して Amazon IVS ライブストリームビデオを管理する方法を紹介するサンプルソリューションの概要を説明しました。 の指示に従ってサンプル アプリを体験できます。 GitHubレポ そして、含まれている AWS CDK パッケージを使用してそれを AWS アカウントにデプロイします。
詳細については、こちらから AWS でのコンテンツモデレーション。 ~に向けて最初の一歩を踏み出しましょう AWS を使用してコンテンツモデレーション業務を合理化する.
著者について
ラナ・チャン AWS WWSO AI サービス チームのシニア ソリューション アーキテクトで、コンテンツ モデレーション、コンピューター ビジョン、自然言語処理、生成 AI の AI と ML を専門としています。 彼女はその専門知識を活かして、AWS AI/ML ソリューションを推進し、ソーシャルメディア、ゲーム、電子商取引、メディア、広告、マーケティングなどのさまざまな業界にわたって顧客がビジネス ソリューションを変革できるよう支援することに専念しています。
トニー・ヴー Twitch のシニア パートナー エンジニアです。 彼は Amazon Interactive Video Service (IVS) と統合するためのパートナーテクノロジーの評価を専門とし、包括的な共同ソリューションを開発して IVS 顧客に提供することを目指しています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/moderate-your-amazon-ivs-live-stream-using-amazon-rekognition/
- :は
- 1
- 10
- 100
- 118
- 12
- 500
- 60
- 7
- a
- 私たちについて
- 収容する
- 越えて
- Action
- 行動
- アクティブ
- 追加されました
- NEW
- 管理者
- 成人
- 広告運用
- に対して
- 契約
- AI
- AIサービス
- AI / ML
- 目指す
- 目指して
- 警告
- アラート
- アルゴリズム
- すべて
- 許可
- また
- Amazon
- Amazonの再認識
- Amazon Webサービス
- an
- 分析します
- および
- どれか
- API
- API
- アプリ
- 適用可能な
- 申し込み
- 適用
- 申し込む
- 適用
- アプローチ
- 建築
- です
- 到着
- AS
- 評価する
- 評価中
- 支援する
- 関連する
- At
- 注意
- ヒアリング
- オーディオ
- 認証
- 著者
- オート
- 自動化
- 自動化する
- オートマチック
- 自動的に
- 利用できます
- 平均
- 回避
- AWS
- バックボーン
- ベース
- BE
- になる
- 代わって
- 以下
- ボディ
- 両言語で
- 簡潔に
- ビルド
- ビジネス
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- コール
- コール
- 缶
- 機能
- できる
- 捕捉した
- カテゴリ
- ケータリング
- 一定
- 課題
- チャネル
- チャンネル
- 課金
- チェック
- 小切手
- 選択肢
- クラシック
- クライアント
- クローザー
- クラウド
- コード
- 結合
- コマンドと
- 企業
- 複雑な
- コンポーネント
- 包括的な
- コンピュータ
- Computer Vision
- 概念の
- 懸念事項
- 同時
- 条件
- 実施
- 信頼
- 設定された
- 検討
- 考慮
- からなる
- 含まれています
- コンテンツ
- コントロール
- 制御
- 費用
- コスト
- 結合しました
- 重大な
- 顧客
- Customers
- カスタマイズ可能な
- カスタマイズ
- ダッシュボード
- データ
- 専用の
- より深い
- デフォルト
- 定義します
- 定義
- 配信する
- 配達
- 掘り下げる
- デモ
- 実証
- 展開します
- 展開する
- 設計
- 設計
- 詳細な
- 細部
- 決定
- 決定
- 開発する
- 開発
- 異なります
- 閉じる
- ディスプレイ
- 明確な
- 異なる
- そうではありません
- eコマース
- 効果的な
- 効果的に
- 従業員
- エンパワーメント
- 力を与える
- 使用可能
- 可能
- 有効にする
- end
- エンジン
- エンジニア
- 高めます
- 確実に
- 本質的な
- 確立する
- さらに
- あらゆる
- 例
- 例
- 詳細
- 体験
- エクスペリエンス
- 専門知識
- 説明する
- 表現
- 伸ばす
- 促進する
- 特徴
- 特徴
- 特色
- 女性
- File
- 調査結果
- 名
- フィッティング
- フレキシブル
- フォーカス
- 焦点を当てて
- フォロー中
- フォーム
- 周波数
- 頻繁に
- から
- フロント
- フロントエンド
- function
- 機能性
- 機能
- さらに
- 賭博
- ゲートウェイ
- 生成
- 生成
- 生々しい
- 生成AI
- GIF
- グローバル
- 成長性
- ガイドライン
- ハンドル
- ハッシュ
- ハッシュ
- 嫌い
- 持ってる
- he
- 彼女の
- ハイ
- 非常に
- 主催
- 認定条件
- How To
- しかしながら
- HTML
- HTTP
- HTTPS
- 人間
- ハイブリッド
- if
- 無視する
- 説明する
- 画像
- 画像
- 実装
- 実装
- 重要
- in
- 含まれました
- 含ま
- 含めて
- 組み込む
- 増加した
- ますます
- 産業
- 情報
- 瞬時に
- 説明書
- 統合する
- 統合
- 故意に
- 相互作用的
- インターネット
- に
- 紹介する
- 導入
- IT
- ジョイント
- JPG
- キー
- 欠如
- 言語
- レイテンシ
- 最新の
- 学習
- less
- う
- ことができます
- 図書館
- 光
- 軽量
- LINK
- リスト
- ライブ
- ライブストリーム
- ロジック
- 機械
- 機械学習
- make
- 作る
- 管理します
- マネージド
- 管理
- 管理する
- 管理する
- 多くの
- マーケティング
- 一致
- マッチング
- 五月..
- メカニズム
- メディア
- ご相談
- メッセージ
- メソッド
- マイクロサービス
- かもしれない
- ミリ秒
- 分
- ML
- 節度
- モニター
- モニタリング
- 他には?
- 最も
- の試合に
- 名
- 名
- ネイティブ
- ナチュラル
- 自然言語処理
- 必要
- 必要
- 必要とされる
- 新作
- いいえ
- 通知
- 通知
- オブジェクト
- of
- 攻撃
- オファー
- on
- ONE
- もの
- 業務執行統括
- 最適化
- オプション
- or
- その他
- その他
- 私たちの
- が
- 全体
- 概要
- パッケージ
- パートナー
- パターン
- 以下のために
- 実行する
- パフォーマンス
- プラットフォーム
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- ポリシー
- 方針
- ポータル
- ポスト
- 投稿
- 実用的
- 練習
- PLM platform.
- プレゼント
- 前
- プロセス
- ラボレーション
- 処理
- 製品
- 推進
- 提供します
- 提供
- は、大阪で
- 提供
- プッシュ
- Python
- 品質
- クイック
- 上げる
- 範囲
- 急速に
- 反応する
- リーディング
- 受け取ります
- 受け
- 受け入れ
- 最近
- 認識する
- 推奨される
- 記録された
- 録音
- 記録
- 減らします
- 縮小
- 参照する
- レギュラー
- 規制
- 頼る
- 評判の良い
- 要求
- 必要とする
- 要件
- 応答
- 結果
- 結果
- レビュー
- ルール
- ルール
- 安全性
- 同じ
- 規模
- 画面
- 秒
- セクション
- 送信
- 送信
- シニア
- 別
- サービスを提供
- サーバレス
- サービス
- サービス
- サービング
- いくつかの
- 彼女
- すべき
- 側
- 同様の
- 簡単な拡張で
- サイズ
- サイズ
- スニペット
- 社会
- ソーシャルメディア
- 溶液
- ソリューション
- 一部
- 専門にする
- 特化
- 特定の
- 指定の
- スピード
- 起動
- 開始
- 都道府県
- 静的な
- 手順
- ステップ
- Force Stop
- 停止
- 停止
- ストレージ利用料
- 保存され
- 店舗
- 簡単な
- 流れ
- ストリーミング
- ストリーム
- 厳格な
- そのような
- サポート
- 支援する
- サポート
- システム
- テーブル
- 取る
- チーム
- テクニック
- テクノロジー
- テスト
- 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다.
- それ
- アプリ環境に合わせて
- それら
- そこ。
- ボーマン
- この
- しきい値
- 介して
- サムネイル
- 時間
- 時間がかかる
- 〜へ
- トニー
- あまりに
- トピック
- に向かって
- 変換
- トリガー
- トリガー
- 信頼
- Twitch
- 2
- 一般的に
- UGC
- ui
- 下
- 不要
- 今後の
- に
- 使用法
- つかいます
- users
- 使用されます
- 活用
- 確認する
- 、
- ビデオ
- 動画
- 詳しく見る
- 視聴者
- 違反
- 違反
- 違反
- 暴力
- ビジョン
- ビジュアル
- 仕方..
- we
- ウェブ
- ウェブアプリケーション
- Webサービス
- ウェブサイト
- ウェブソケット
- いつ
- 一方
- かどうか
- which
- while
- ワイド
- 広い範囲
- 意志
- 以内
- 無し
- ワークフロー
- ワークフロー
- 書き込み
- You
- ヤンガー
- あなたの
- ゼファーネット