これは、ニールセン スポーツのタミル ルビンスキー氏とアビアド アラニアス氏との共著によるゲスト投稿です。.
ニールセンスポーツ 視聴者インサイト、データ、分析の世界的リーダーとして、世界のメディアとコンテンツを形成しています。あらゆるチャネルとプラットフォームにわたる人々とその行動を理解することで、当社はクライアントに独立した実用的なインテリジェンスを提供し、現在および将来にわたって視聴者とつながり、関与できるようにします。
ニールセン スポーツの使命は、ブランドや権利所有者である顧客に、テレビ、オンライン、ソーシャル メディア、メディアなどすべてのチャネルにわたるスポーツ スポンサーシップ広告キャンペーンの投資収益率 (ROI) と効果を測定できる機能を提供することです。新聞も含めて、地域、国内、国際レベルで正確なターゲティングを提供します。
この投稿では、Nielsen Sports が次の方法を使用して、本番環境で数千の異なる機械学習 (ML) モデルを実行するシステムを最新化した方法について説明します。 アマゾンセージメーカー マルチモデル エンドポイント (MME) に対応し、運用コストと財務コストが 75% 削減されました。
チャンネルビデオのセグメンテーションに関する課題
当社のテクノロジーは人工知能 (AI)、特にコンピューター ビジョン (CV) に基づいており、これによりブランドの露出を追跡し、その位置を正確に特定することができます。たとえば、ブランドがバナーに掲載されているか、シャツに掲載されているかを識別します。さらに、サインや袖の上隅など、商品上のブランドの位置も特定します。次の図は、タグ付けシステムの例を示しています。
スケーリングとコストの課題を理解するために、いくつかの代表的な数字を見てみましょう。私たちは毎月、さまざまなチャネルにわたって 120 億 100,000 万以上のブランド インプレッションを識別しており、システムは 6 を超えるブランドとさまざまなブランドのバリエーションの識別をサポートする必要があります。当社は、XNUMX 億を超えるデータ ポイントを含む世界最大のブランド インプレッション データベースの XNUMX つを構築しました。
次の図に示すように、メディア評価プロセスにはいくつかのステップが含まれます。
- まず、国際録音システムを使用して世界中の何千ものチャンネルを録音します。
- 放送スケジュール(電子番組表)と組み合わせてコンテンツを次の段階、つまりゲーム放送そのものと他のコンテンツや広告との細分化・分離に向けてストリーミング配信します。
- 当社はメディアモニタリングを実行し、リーグスコア、関連チーム、選手などの追加のメタデータを各セグメントに追加します。
- ブランドの認知度の露出分析を実行し、視聴者情報を組み合わせてキャンペーンの評価を計算します。
- 情報はダッシュボードまたはアナリスト レポートによって顧客に提供されます。アナリストは生データに直接アクセスするか、当社のデータ ウェアハウスを通じてアクセスできます。
当社は年間 1,000 チャンネルを超える規模のビデオと数万時間のビデオを運用しているため、分析プロセスにはスケーラブルな自動化システムが必要です。当社のソリューションはブロードキャストを自動的にセグメント化し、関連するビデオ クリップを残りのコンテンツから分離する方法を認識しています。
これは、チャネルの特定の特性を分析するために当社が開発した専用のアルゴリズムとモデルを使用して行われます。
このミッションをサポートするために、合計で数千の異なるモデルを実稼働環境で実行していますが、コストがかかり、運用上のオーバーヘッドが発生し、エラーが発生しやすく、時間がかかります。新しいモデル アーキテクチャを備えたモデルを実稼働環境に導入するまでに数か月かかりました。
これが、私たちがシステムを革新し、再構築したいと考えた場所です。
SageMaker MME を使用した CV モデルのコスト効率の高いスケーリング
当社の従来のビデオ セグメンテーション システムは、テスト、変更、保守が困難でした。課題には、古い ML フレームワークの使用、コンポーネント間の相互依存関係、最適化が難しいワークフローなどが含まれます。これは、パイプラインがステートフル ソリューションである RabbitMQ に基づいていたためです。特徴抽出などの 1 つのコンポーネントをデバッグするには、すべてのパイプラインをテストする必要がありました。
次の図は、以前のアーキテクチャを示しています。
分析の一環として、マシン上で単一モデルを実行するなどのパフォーマンスのボトルネックを特定しました。これにより、GPU 使用率が 30 ~ 40% と低いことがわかりました。また、非効率的なパイプラインの実行とモデルのスケジュール アルゴリズムも発見しました。
したがって、パフォーマンスの最適化の改善を実装し、動的なバッチ サイズをサポートし、複数のモデルを同時に実行する、SageMaker に基づいた新しいマルチテナント アーキテクチャを構築することにしました。
ワークフローの各実行はビデオのグループをターゲットとします。各ビデオの長さは 30 ~ 90 分で、各グループには XNUMX つ以上のモデルが実行されます。
例を見てみましょう。ビデオは 60 分の長さで、3,600 枚の画像で構成されており、各画像は最初の段階で 12 つの異なる ML モデルによって推論される必要があります。 SageMaker MME を使用すると、2 個の画像のバッチを並行して実行でき、完全なバッチは 20 秒未満で完了します。通常の日には 100 グループを超えるビデオがあり、混雑した週末には XNUMX グループを超えるビデオが存在することがあります。
次の図は、SageMaker MME を使用した新しい簡素化されたアーキテクチャを示しています。
結果
新しいアーキテクチャでは、望ましい結果の多くと、古いアーキテクチャに比べて目に見えないいくつかの利点を達成しました。
- ランタイムの向上 – バッチ サイズを増やし (12 個のビデオを並列)、複数のモデルを同時に実行する (33 つのモデルを並列) ことにより、パイプライン全体の実行時間を 1 時間から 40 分に XNUMX% 短縮しました。
- インフラの改善 – SageMaker を使用して既存のインフラストラクチャをアップグレードし、現在は g5.xlarge などの新しい GPU を備えた新しい AWS インスタンスを使用しています。この変更による最大のメリットの XNUMX つは、TorchScript と CUDA の最適化を使用することでパフォーマンスが即座に向上することです。
- 最適化されたインフラストラクチャの使用 – 複数のモデルをホストできる単一のエンドポイントを持つことにより、エンドポイントの数と保守が必要なマシンの数の両方を減らすことができ、また、単一のマシンとその GPU の使用率も高めることができます。 5 つのビデオを含む特定のタスクでは、g75 インスタンスのマシンを 5 台だけ使用するようになり、以前のソリューションから 80% のコストメリットが得られます。日中の一般的なワークロードでは、GPU 使用率が 40% を超える gXNUMX.xlarge の単一マシンで単一のエンドポイントを使用します。比較のために、以前のソリューションの使用率は XNUMX% 未満でした。
- 機敏性と生産性の向上 – SageMaker を使用することで、モデルの移行に費やす時間が短縮され、コアのアルゴリズムとモデルの改善により多くの時間を費やすことができました。これにより、エンジニアリング チームとデータ サイエンス チームの生産性が向上しました。以前は 7 か月以上かかっていた新しい ML モデルの調査とデプロイが 1 日以内にできるようになりました。これにより、速度と計画が 75% 向上しました。
- より良い品質と信頼性 – SageMaker の A/B テスト機能を使用すると、モデルを段階的にデプロイし、安全にロールバックできます。実稼働までのライフサイクルが短縮されたことで、ML モデルの精度と結果も向上しました。
次の図は、以前のアーキテクチャ (30–GPU 使用率は 40%)。
次の図は、新しい簡略化されたアーキテクチャでの GPU 使用率を示しています (GPU 使用率 90%)。
まとめ
この投稿では、Nielsen Sports が SageMaker MME を使用して実稼働環境で数千の異なるモデルを実行するシステムを最新化し、運用コストと財務コストを 75% 削減した方法を共有しました。
詳細については、以下を参照してください。
著者について
エイタンセラ アマゾン ウェブ サービスのジェネレーティブ AI および機械学習スペシャリスト ソリューション アーキテクトです。彼は AWS の顧客と協力してガイダンスと技術支援を提供し、AWS での生成 AI および機械学習ソリューションの構築と運用を支援しています。余暇には、ジョギングをしたり、最新の機械学習の記事を読んだりするのが趣味です。
ガル・ゴールドマン AWS のシニア ソフトウェア エンジニアおよびエンタープライズ シニア ソリューション アーキテクトであり、最先端のソリューションに情熱を持っています。彼は多くの分散型機械学習サービスとソリューションを専門とし、開発してきました。 Gal は、AWS の顧客がエンジニアリングとジェネレーティブ AI の課題を加速し、克服できるよう支援することにも重点を置いています。
タル・パンチェク アマゾン ウェブ サービスによる人工知能と機械学習のシニア ビジネス開発マネージャーです。 BD スペシャリストとして、彼は AWS サービスの導入、利用、収益の拡大を担当しています。彼は顧客と業界のニーズを収集し、AWS 製品チームと提携して AWS ソリューションを革新、開発、提供します。
タミル・ルビンスキー ニールセン スポーツのグローバル R&D エンジニアリングをリードし、革新的な製品の構築と高パフォーマンスのチームの管理に豊富な経験をもたらします。彼の業績は、AI を活用した革新的なソリューションを通じてスポーツ スポンサーシップのメディア評価を変革しました。
アビアド・アラニアス MLOps チーム リーダーであり、ニールセン スポーツ分析アーキテクトでもあり、多数のチャネルにわたるスポーツ イベント ビデオを分析するための複雑なパイプラインの作成を専門としています。彼は、大規模なデータを効率的に処理するための深層学習モデルの構築と展開に優れています。余暇には、おいしいナポリピザを焼くことを楽しんでいます。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/nielsen-sports-sees-75-cost-reduction-in-video-analysis-with-amazon-sagemaker-multi-model-endpoints/
- :持っている
- :は
- :どこ
- 000
- 1
- 100
- 12
- 120
- 150
- 20
- 40
- 60
- 600
- 7
- a
- 能力
- できる
- 加速する
- アクセス
- 精度
- 正確な
- 正確にデジタル化
- 達成
- 越えて
- 実用的
- 加えます
- 添加
- NEW
- 養子縁組
- 利点
- 広告運用
- AI
- AI電源
- アルゴリズム
- すべて
- 許可されて
- ことができます
- また
- Amazon
- アマゾンセージメーカー
- Amazon Webサービス
- an
- 分析
- アナリスト
- 分析論
- 分析する
- および
- 建築
- です
- 周りに
- 物品
- 人工の
- 人工知能
- 人工知能(AI)
- 人工知能と機械学習
- AS
- 援助
- At
- 聴衆
- 自動的に
- オートメーション
- AWS
- バック
- バナー
- ベース
- BD
- BE
- なぜなら
- 行動
- 恩恵
- 利点
- の間に
- 最大の
- 10億
- 両言語で
- ボトルネック
- ブランド
- ブランド
- 持参
- 放送
- 放送
- ビルド
- 建物
- 内蔵
- ビジネス
- 事業開発
- by
- 計算する
- キャンペーン
- 缶
- 機能
- 課題
- 変化する
- チャネル
- チャンネル
- 特性
- クライアント
- クリップ
- 組み合わせ
- 組み合わせる
- 比較
- 完了
- 複雑な
- コンポーネント
- コンポーネント
- コンピュータ
- Computer Vision
- 信頼
- お問合せ
- からなる
- コンテンツ
- 基本
- コーナー
- 費用
- コスト削減
- 高額で
- クラフト
- 顧客
- Customers
- 最先端
- ダッシュボード
- データ
- データポイント
- データサイエンス
- データベースを追加しました
- 中
- 日
- 決定しました
- 減少した
- 専用の
- 深いです
- 深い学習
- 配信する
- 配信
- 展開します
- 展開する
- 説明する
- 希望
- 開発する
- 発展した
- 開発
- ダイアグラム
- 異なります
- 難しい
- 直接
- 直接アクセス
- 発見
- 配布
- do
- 間に
- ダイナミック
- 各
- 有効
- 効率良く
- エレクトロニック
- エンパワー
- エンドポイント
- 従事する
- エンジニア
- エンジニアリング
- Enterprise
- 評価
- さらに
- イベント
- あらゆる
- 調べる
- 例
- 既存の
- 体験
- 暴露
- 抽出
- 速いです
- 特徴
- フィギュア
- ファイナンシャル
- 名
- 五
- 焦点を当てて
- フォロー中
- フレームワーク
- から
- フル
- さらに
- 未来
- GAL
- ゲーム
- 生々しい
- 生成AI
- 取得する
- 与えられた
- 与える
- グローバル
- ゴールドマン
- GPU
- GPU
- 緩やかな
- グループ
- グループの
- 成長
- ゲスト
- ゲストのポスト
- ガイダンス
- ガイド
- 持っていました
- ハンドル
- 持ってる
- 持って
- he
- 助け
- 高性能
- 彼の
- host
- 時間
- HOURS
- 認定条件
- How To
- HTTPS
- 識別
- 特定され
- 識別する
- if
- 説明する
- 画像
- 画像
- 即時の
- 実装する
- 改善
- 改善
- 改善
- in
- include
- 含ま
- 含めて
- 増える
- 増加した
- の増加
- 独立しました
- 産業を変えます
- 非効率的な
- 推測
- 情報
- インフラ
- 革新します
- 革新的な
- 洞察
- を取得する必要がある者
- インテリジェンス
- 世界全体
- に
- 投資
- IT
- ITS
- JPG
- 知っている
- 大規模
- 最大の
- 最新の
- リーダー
- リード
- リーグ
- 学習
- Legacy
- less
- レベル
- wifecycwe
- ローカル
- 場所
- 長い
- 見て
- ロー
- 機械
- 機械学習
- マシン
- 維持する
- マネージャー
- 管理する
- 多くの
- だけど
- メディア
- 移行中
- 百万
- 分
- ミッション
- ML
- MLOps
- モデル
- モニタリング
- 月
- ヶ月
- 他には?
- の試合に
- しなければなりません
- 国民
- 必要
- ニーズ
- 新作
- より新しい
- 新聞
- 次の
- 今
- 数
- 番号
- 多数の
- of
- 古い
- on
- ONE
- オンライン
- の
- 操作する
- オペレーショナル
- 最適化
- 最適化
- or
- その他
- 私たちの
- 成果
- が
- 全体
- 克服する
- オーバーヘッド
- パック
- 並列シミュレーションの設定
- 部
- パートナー
- 情熱
- のワークプ
- 実行する
- パフォーマンス
- パイプライン
- 計画
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- プレーヤー
- ポイント
- ポスト
- 前
- 前に
- プロセス
- プロダクト
- 生産
- 生産性
- 製品
- プログラミング
- 提供します
- 品質
- R&D
- Raw
- リーディング
- 記録
- 録音
- 減らします
- 電話代などの費用を削減
- 削減
- 参照する
- レギュラー
- 関連した
- レポート
- 代表者
- 研究
- 責任
- REST
- 結果
- return
- 収入
- 権利
- ROI
- ロール
- ラン
- ランニング
- 実行
- ランタイム
- 安全に
- セージメーカー
- ド電源のデ
- 規模
- スケーリング
- スケジュール
- スケジューリング
- 科学
- スコア
- 秒
- 見て
- セグメント
- セグメンテーション
- セグメント
- シニア
- サービス
- いくつかの
- シェイプ
- shared
- 示されました
- 作品
- 符号
- 簡略化されました
- 同時に
- サイズ
- 遅く
- So
- 社会
- ソーシャルメディア
- ソフトウェア
- ソフトウェアエンジニア
- 溶液
- ソリューション
- 一部
- 専門家
- 専門にする
- 特定の
- 特に
- 過ごす
- 主催
- スポーツ
- スポーツ
- ステージ
- ステップ
- 流れ
- そのような
- サポート
- ターゲット
- ターゲット
- 仕事
- チーム
- チーム
- 技術的
- テクノロジー
- 十
- test
- テスト
- より
- それ
- 未来
- 世界
- アプリ環境に合わせて
- それら
- 自分自身
- その後
- 彼ら
- この
- 千
- 数千
- 三
- 介して
- 時間
- 〜へ
- 取った
- top
- トータル
- 追跡する
- 変換
- tv
- 典型的な
- 下
- わかる
- 理解する
- アップグレード
- us
- 使用法
- つかいます
- 評価
- バリエーション
- 広大な
- 速度
- ビデオ
- 動画
- 視認性
- ビジョン
- wanted
- ました
- 仕方..
- we
- ウェブ
- Webサービス
- 週末
- した
- which
- 誰
- 仕事
- ワークフロー
- ワーキング
- 作品
- 世界
- 世界の
- でしょう
- 年
- ゼファーネット