ニュース メディア企業全体で毎日多数の記事、ビデオ、音声録音、その他のメディアが作成されるため、個人消費者、法人購読者など、あらゆる種類の読者が自分に最も関連性のあるニュース コンテンツを見つけるのが難しいことがよくあります。パーソナライズされたニュースとエクスペリエンスを読者に配信することは、この問題を解決し、より魅力的なエクスペリエンスを生み出すのに役立ちます。ただし、真にパーソナライズされた推奨事項を提供するには、次のような重要な課題がいくつかあります。
- 多様なユーザーの興味を捉える – ニュースは多くのトピックにまたがる可能性があり、特定のトピック内であっても、読者の興味はさまざまです。
- 限られた読者履歴に対処する – ニュース読者の多くは、活動履歴が希薄です。推奨者は価値を提供するために、限られたデータから好みを迅速に学習する必要があります。
- タイムリーさとトレンド性 – ニュースサイクルが毎日行われるため、レコメンデーションでは、パーソナライズされたコンテンツと新しく人気のある記事の発見のバランスを取る必要があります。
- 興味の変化 – 読者の興味は時間の経過とともに変化する可能性があります。システムは変化を検出し、それに応じて推奨事項を適応させる必要があります。
- 説明可能 – 特定のストーリーが推奨される理由について透明性を提供することで、ユーザーの信頼が構築されます。理想的なニュース推奨システムは、個人を理解し、より広範なニュース環境と視聴者に対応します。これらの課題に取り組むことは、読者が有益で魅力的だと思うコンテンツと効果的につながるための鍵となります。
この投稿では、その方法について説明します Amazonパーソナライズ スケーラブルなニュース レコメンダー アプリケーションを強化できます。このソリューションは、500 年上半期にフォーチュン 1 のメディア顧客に実装され、ニュース レコメンダーの構築に関心のある他の顧客に再利用できます。
ソリューションの概要
Amazon Personalize は、リアルタイムおよびバッチでパーソナライズされた推奨事項を大規模に提供できるため、ニュース推奨エンジンを強化するのに最適です。 Amazon Personalize は、User Personalization レシピや Trending Now レシピなど、ニュースレコメンダーモデルのトレーニングに特に適したさまざまなレコメンデーションレシピ (アルゴリズム) を提供します。ユーザーのパーソナライゼーション レシピは、時間の経過に伴うコンテンツへの関与に基づいて各ユーザーの好みを分析します。これにより、個々のユーザーに最も関連性の高いトピックやソースが表示される、カスタマイズされたニュース フィードが作成されます。 Trending Now レシピは、全ユーザーにわたって上昇トレンドや人気のニュース記事をリアルタイムで検出することでこれを補完します。両方のレシピからの推奨事項を組み合わせることで、推奨エンジンはパーソナライゼーションとタイムリーで関心の高いストーリーの発見のバランスを取ることができます。
次の図は、Amazon Personalize を利用し、AWS サービスをサポートするニュース レコメンダー アプリケーションのアーキテクチャを示しています。
このソリューションには次の制限があります。
- 公開されたばかりの記事 (数分前に公開された記事) に対してパーソナライズされた推奨事項を提供するのは難しい場合があります。この制限を緩和する方法については、この投稿の後半で説明します。
- Amazon Personalize には、モデルのトレーニングに使用できる固定数のインタラクションとアイテム データセット機能があります。
- 執筆時点では、Amazon Personalize はユーザーレベルでの推奨事項の説明を提供していません。
ソリューションの主要コンポーネントをそれぞれ見てみましょう。
前提条件
このソリューションを実装するには、次のものが必要です。
- の履歴およびリアルタイムのユーザー クリック データ
interactions
データセット - 過去およびリアルタイムのニュース記事のメタデータ
items
データセット
データを取り込んで準備する
Amazon Personalize でモデルをトレーニングするには、トレーニング データを提供する必要があります。このソリューションでは、2 種類の Amazon Personalize トレーニング データセットを使用します。 インタラクション データセット および アイテムデータセットを選択します。 interactions
データセットには、ユーザーとアイテムとタイムスタンプの相互作用に関するデータが含まれています。 items
データセットには、推奨記事に関する機能が含まれています。
トレーニング データを取り込むには、次の 2 つの異なるアプローチを使用できます。
- バッチ摂取 –使用できます AWSグルー に存在するインタラクションとアイテムのデータを変換して取り込むため Amazon シンプル ストレージ サービス (Amazon S3) バケットを Amazon Personalize データセットに追加します。 AWS Glue は、抽出、変換、ロード (ETL) オペレーションを実行して、データを Amazon Personalize データセット スキーマに合わせます。 ETL プロセスが完了すると、出力ファイルは Amazon S3 に戻され、Amazon Personalize 経由で取り込む準備が整います。 データセットインポートジョブ.
- リアルタイムの取り込み –使用できます Amazon Kinesisデータストリーム および AWSラムダ リアルタイム データを段階的に取り込みます。 Lambda 関数は、バッチ取り込みジョブと同じデータ変換オペレーションを個々のレコードレベルで実行し、データを Amazon Personalize に取り込みます。 PutEvents および PutItems API。
このソリューションでは、特定のアイテムやインタラクションのデータ属性を取り込むこともできます。 Amazon DynamoDB。リアルタイム推論中にこれらの属性を使用して、ビジネス ルールごとに推奨事項をフィルターできます。たとえば、記事のメタデータには、記事内の会社名や業界名が含まれる場合があります。ユーザーが読んでいる企業や業界に関する記事を積極的に推奨するには、読者が特定の企業や業界に関する記事にアクセスする頻度を記録し、このデータを次の目的で使用できます。 Amazon パーソナライズフィルター 推奨コンテンツをさらにカスタマイズします。 DynamoDB でのアイテムとインタラクションのデータ属性の使用方法については、この投稿の後半で詳しく説明します。
次の図は、データ取り込みアーキテクチャを示しています。
モデルを訓練する
モデルのトレーニング作業の大部分は、User Personalization モデルに焦点を当てる必要があります。これは、3 つの Amazon Personalize データセットすべてを使用できるためです (Trending Now モデルでは、 interactions
データセット)。トレーニング プロセスのさまざまな側面を体系的に変化させる実験を実行することをお勧めします。このソリューションを実装した顧客のために、チームは 30 を超える実験を実行しました。これには、 interactions
および items
データセットの機能、モデルに提供されるインタラクション履歴の長さの調整、Amazon Personalize ハイパーパラメーターの調整、および明示的なユーザーのデータセットがオフラインのパフォーマンスを向上させるかどうか (トレーニング時間の増加と比較して) を評価します。
各モデルのバリエーションは、トレーニング データに関して Amazon Personalize によって報告されたメトリクスと、ホールドアウト テスト データセットのカスタム オフライン メトリクスに基づいて評価されました。考慮すべき標準指標には、平均平均精度 (MAP) @ K (K は読者に提示される推奨事項の数)、正規化された割引累積ゲイン、平均逆数ランク、およびカバレッジが含まれます。これらのメトリクスの詳細については、次を参照してください。 メトリクスを使用したソリューションのバージョンの評価。これらのメトリクスのうち MAP @ K を優先することをお勧めします。MAP @ K は、読者に推奨された上位 K 個の記事のうち、読者がクリックした記事の平均数を取得します。これは、MAP メトリクスが (実際の) 記事のクリックスルー率の適切な代用となるためです。 K は、読者がデスクトップまたはモバイル Web ページでスクロールせずに閲覧できる記事の数に基づいて選択する必要があります。これにより、最小限の読者の労力でレコメンデーションの有効性を評価できるようになります。レコメンデーションの一意性 (候補ユーザーのプール全体でレコメンデーション出力がどの程度ユニークであったかを表す) などのカスタム メトリクスを実装すると、レコメンデーションの有効性についての洞察が得られます。
Amazon Personalize を使用すると、実験的なプロセスにより、User Personalization モデルと Trending Now モデルの両方に最適なデータセット機能のセットを決定できます。 Trending Now モデルは同じ Amazon Personalize 内に存在します データセットグループ User Personalization モデルと同じなので、同じセットを使用します。 interactions
データセットの特徴。
リアルタイムの推奨事項を生成する
読者がニュース会社の Web ページにアクセスすると、ニュース レコメンダーに対して API 呼び出しが行われます。 アマゾンAPIゲートウェイ。これにより、Amazon Personalize モデルのエンドポイントを呼び出して取得する Lambda 関数がトリガーされます。 リアルタイムのおすすめ。推論中に使用できるのは、 フィルター 記事または読者のインタラクション属性に基づいて最初の推奨出力をフィルタリングします。たとえば、「ニュース トピック」(スポーツ、ライフスタイル、政治など) が記事属性である場合、それが製品要件であれば、推奨を特定のニュース トピックに制限できます。同様に、読者がすでに読んだ記事を除外するなど、読者インタラクション イベントに対してフィルターを使用できます。
リアルタイム レコメンデーションに関する重要な課題の 1 つは、公開されたばかりの記事 (コールド アイテムとも呼ばれます) をレコメンデーション出力に効果的に組み込むことです。公開されたばかりの記事には、レコメンダーが通常依存する過去のインタラクション データが含まれておらず、レコメンデーション システムは、公開されたばかりの記事が特定のユーザーにどの程度関連しているかを評価するのに十分な処理時間を必要とします (ユーザーとアイテムの関係性シグナルのみを使用する場合でも)。
Amazon Personalize は、ネイティブに自動的に検出し、取り込まれた新しい記事を推奨できます。 items
2 時間ごとのデータセット。ただし、このユースケースはニュースの推奨に焦点を当てているため、新しい記事が公開され、読者が利用できるようになったらすぐに推奨する方法が必要です。
この問題を解決する 1 つの方法は、公開されたばかりの記事を各読者の最終的な推奨出力にランダムに挿入するメカニズムを設計することです。最終的な推奨セット内の記事の何パーセントが公開されたばかりの記事であるかを制御する機能を追加できます。また、Amazon Personalize からの元の推奨出力と同様に、公開されたばかりの記事を記事の属性 (「ニューストピック」など) でフィルタリングできます。 ) 製品要件の場合。公開されたばかりの記事がシステムに少しずつ流入し始めると、DynamoDB で公開されたばかりの記事のインタラクションを追跡し、公開されたばかりの記事が Amazon Personalize モデルによって検出されて処理されるまで、推奨の後処理中に最も人気のある公開されたばかりの記事を優先することができます。
推奨記事の最終セットを取得した後、この出力は別の後処理 Lambda 関数に送信され、出力が事前に指定されたビジネス ルールと一致しているかどうかがチェックされます。これには、推奨記事が Web ブラウザのフロントエンドで提供される場合など、推奨記事が Web ページのレイアウト仕様を満たしているかどうかのチェックが含まれます。必要に応じて、ビジネス ルールが満たされていることを確認するために記事を再ランク付けできます。すべてのビジネス ルールが満たされるまで、上位の記事が一度に 1 位だけ順位を下げることができる機能を実装することによって再ランキングを行うことをお勧めします。これにより、読者の関連性の損失が最小限に抑えられます。後処理された記事の最終リストは、推奨のリクエストを開始した Web サービスに返されます。
次の図は、ソリューションのこのステップのアーキテクチャを示しています。
バッチ推奨事項を生成する
パーソナライズされたニュース ダッシュボード (リアルタイム レコメンデーションによる) では、読者が積極的にニュースを検索する必要がありますが、今日の忙しい生活では、トップ ニュースを送ってもらうほうが簡単な場合もあります。パーソナライズされたニュース記事を電子メール ダイジェストとして配信するには、 AWSステップ関数 バッチ推奨事項を生成するワークフロー。バッチ推奨ワークフローは、ユーザー パーソナライゼーション モデルまたは Trending Now モデルのエンドポイントから推奨事項を収集して後処理するため、チームが読者にプッシュしたいパーソナライズされた記事とトレンド記事の組み合わせを柔軟に選択できます。開発者には、Amazon Personalize を使用するオプションもあります。 バッチ推論 特徴;ただし、この記事の執筆時点では、Amazon Personalize バッチ推論ジョブの作成では、Amazon Personalize カスタムモデルがトレーニングされた後に取り込まれたアイテムを含めることはサポートされておらず、Trending Now レシピもサポートされていません。
バッチ推論 Step Functions ワークフロー中に、リーダーのリストはバッチに分割され、並列処理され、電子メール生成サービスに送信される前に後処理および検証レイヤーに送信されます。次の図は、このワークフローを示しています。
レコメンダー システムを拡張する
効果的に拡張するには、読者のエクスペリエンスを低下させることなく、ユーザー数の増加とトラフィックの増加に対応できるニュース レコメンダーも必要です。 Amazon Personalize モデルのエンドポイントをネイティブに オートスケール トラフィックの増加に対応するため。エンジニアは、Amazon Personalize エンドポイントごとに最小プロビジョニングされた 1 秒あたりのトランザクション (TPS) 変数を設定および監視するだけで済みます。
Amazon Personalize 以外にも、ここで紹介するニュース レコメンダー アプリケーションはサーバーレス AWS サービスを使用して構築されているため、エンジニアリング チームはインフラストラクチャのメンテナンスを心配することなく、最高の読者エクスペリエンスを提供することに集中できます。
まとめ
この注目経済においては、消費者に関連性のあるタイムリーなコンテンツを配信することがますます重要になっています。この投稿では、Amazon Personalize を使用してスケーラブルなニュースレコメンダーを構築する方法と、ニュースレコメンデーションを提供する際の特有の課題に対処するために組織が実装できる戦略について説明しました。
Amazon Personalize の詳細と、それが組織のレコメンデーション システムの構築にどのように役立つかについては、 Amazon Personalize 開発者ガイド.
幸せな建物!
著者について
バラクリシュナムーシー 彼は AWS プロフェッショナル サービスのシニア データ サイエンティストであり、顧客がビジネス課題を解決するために AI を活用したソリューションを構築およびデプロイするのを支援しています。彼は、メディアとエンターテイメント、金融サービス、ヘルスケア、テクノロジーなど、さまざまな分野の顧客と協力してきました。自由時間には、家族や友人と時間を過ごしたり、アクティブに過ごしたり、新しいレストランを試したり、旅行したり、熱いコーヒーで一日を始めることを楽しんでいます。
リシ・ジャラ AWS プロフェッショナル サービスの NoSQL データ アーキテクトです。彼は、Amazon DynamoDB などの NoSQL データベースを使用した拡張性の高いアプリケーションの設計と構築に重点を置いています。顧客の問題を解決することに情熱を持っている彼は、デジタル環境での成功を促進するためにカスタマイズされたソリューションを提供します。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/build-a-news-recommender-application-with-amazon-personalize/
- :持っている
- :は
- :どこ
- 100
- 2023
- 30
- 500
- 7
- 98
- a
- 能力
- 私たちについて
- 対応する
- それに応じて
- 越えて
- アクティブ
- 積極的に
- アクティビティ
- 適応する
- 加えます
- 住所
- 調整の
- 後
- 前
- AI電源
- アルゴリズム
- 整列する
- 整列
- すべて
- 許可
- ことができます
- 既に
- また
- Amazon
- Amazonパーソナライズ
- Amazon Webサービス
- an
- 分析
- および
- 別の
- どれか
- API
- API
- 申し込み
- アプローチ
- 建築
- です
- 記事
- 物品
- AS
- 側面
- 評価する
- At
- 注意
- 属性
- 聴衆
- オーディオ
- オート
- 平均
- AWS
- AWSグルー
- AWSプロフェッショナルサービス
- バック
- ベース
- BE
- なぜなら
- になる
- き
- さ
- BEST
- 両言語で
- より広い
- ブラウザ
- ビルド
- 建物
- 構築します
- 内蔵
- ビジネス
- 忙しい
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- コール
- 呼ばれます
- コール
- 缶
- 候補者
- キャプチャ
- 場合
- 一定
- 挑戦する
- 課題
- 挑戦
- チェック
- 点検
- 小切手
- クリック
- 気候
- コーヒー
- 冷たい
- 組み合わせ
- 結合
- 企業
- 会社
- 会社の
- コンプリート
- コンポーネント
- 接続する
- 検討
- 消費者
- 消費
- 含む
- 含まれています
- コンテンツ
- コントロール
- 企業
- カバレッジ
- 作ります
- 作成した
- 作成
- カップ
- カスタム
- 顧客
- Customers
- カスタマイズ
- サイクル
- daily
- 毎日のニュース
- ダッシュボード
- データ
- データサイエンティスト
- データベースを追加しました
- データセット
- 中
- 配信する
- 配信する
- 提供します
- 展開します
- 説明する
- 説明する
- 設計
- デスクトップ
- 検出
- 検出された
- 決定する
- Developer
- 開発者
- ダイアグラム
- 異なります
- 難しい
- ダイジェスト
- デジタル
- 割引
- 発見
- 話し合います
- 議論する
- 異なる
- 分割された
- そうではありません
- ドント
- ダウン
- ドライブ
- 間に
- 各
- 容易
- 経済
- 効果的に
- 有効
- 努力
- エンドポイント
- 婚約
- 魅力的
- エンジン
- エンジニアリング
- エンジニア
- 確保
- エンターテインメント
- 評価する
- 評価
- 評価します
- さらに
- イベント
- あらゆる
- 進化
- 例
- 除外
- 存在
- 体験
- エクスペリエンス
- 実験的
- 実験
- 説明
- エキス
- 秋
- 特徴
- 特徴
- 少数の
- File
- filter
- フィルター
- ファイナル
- ファイナンシャル
- 金融業務
- もう完成させ、ワークスペースに掲示しましたか?
- フィット
- 固定の
- 柔軟性
- フォーカス
- 焦点を当て
- 焦点を当てて
- フォロー中
- 消費者向け
- フォーチュン
- 無料版
- 頻繁に
- から
- フロントエンド
- function
- 機能
- さらに
- 利得
- 生成する
- 世代
- 取得する
- 与え
- 良い
- 素晴らしい
- 成長
- 持ってる
- 持って
- he
- ヘルスケア
- 助けます
- ことができます
- こちら
- 非常に
- 彼の
- 歴史的
- 歴史
- history
- HOT
- HOURS
- 認定条件
- How To
- しかしながら
- HTML
- HTTP
- HTTPS
- 理想
- if
- 説明する
- 実装する
- 実装
- 実装
- import
- 重要
- 改善されました
- in
- include
- 含まれました
- 含めて
- 増える
- 増加した
- ますます
- 個人
- 産業
- 産業を変えます
- 情報
- 有益な
- インフラ
- 初期
- 開始
- 洞察力
- 相互作用
- 相互作用
- 興味がある
- 利益
- に
- IT
- リーディングシート
- ITS
- ジョブ
- JPG
- ただ
- キー
- 風景
- 後で
- 層
- レイアウト
- LEARN
- 長さ
- レベル
- ライフスタイル
- 制限
- 制限
- 限定的
- リスト
- 命
- 負荷
- 損失
- 製
- メイン
- メンテナンス
- 多くの
- 地図
- 五月..
- 意味する
- メカニズム
- メディア
- 大会
- 会った
- メトリック
- メトリック
- 最小限の
- 最小
- 分
- 軽減する
- モバイル
- モデル
- モニター
- 他には?
- 最も
- 一番人気
- 多数
- しなければなりません
- 名
- ネイティブに
- 必要
- 必要とされる
- 新作
- ニュース
- 通常は
- 今
- 数
- of
- オファー
- オンライン
- on
- ONE
- の
- 業務執行統括
- 最適な
- オプション
- or
- 組織
- 組織
- オリジナル
- その他
- 私たちの
- でる
- 出力
- が
- 並列シミュレーションの設定
- 特に
- 情熱的な
- 以下のために
- パーセント
- パフォーマンス
- 実行する
- 個人化
- 個人
- カスタマイズ
- 場所
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 政治
- プール
- 人気
- ポスト
- 電力
- パワード
- 精度
- プ
- 準備
- PLM platform.
- プレゼント
- 優先順位をつける
- 優先順位付け
- 問題
- 問題
- プロセス
- 処理済み
- 処理
- プロダクト
- プロ
- 提供します
- 提供
- 提供
- 代理
- 公表
- プッシュ
- すぐに
- ランク
- ランキング
- 価格表
- 読む
- リーダー
- 読者
- リーディング
- 準備
- リアル
- への
- リアルタイムデータ
- レシピ
- 推奨する
- おすすめ
- 提言
- 推奨される
- 記録
- 関係
- 相対
- 関連した
- 頼る
- 報告
- 要求
- 必要とする
- 要件
- レストラン
- 制限する
- 結果
- 上昇
- ルール
- ランニング
- 同じ
- ド電源のデ
- 規模
- 科学者
- スクロール
- を検索
- 二番
- セクター
- select
- 選択
- シニア
- 送信
- サービスを提供
- サーバレス
- サービス
- サービス
- セッションに
- いくつかの
- シフト
- すべき
- 信号
- 同様の
- 同様に
- 簡単な拡張で
- So
- 溶液
- ソリューション
- 解決する
- 解決
- 時々
- すぐに
- ソース
- スパン
- 特定の
- 仕様
- 支出
- スポーツ
- 標準
- start
- 滞在
- 手順
- ストレージ利用料
- ストーリー
- 作戦
- 提出された
- 加入者
- 成功
- そのような
- 十分な
- 適当
- サポート
- 支援する
- 表面
- 体系的に
- システム
- タックル
- テーラー
- テーラード
- 取る
- チーム
- チーム
- テクノロジー
- test
- それ
- アプリ環境に合わせて
- それら
- ボーマン
- 彼ら
- この
- 三
- 介して
- 時間
- タイムリーな
- 〜へ
- 今日
- top
- トピック
- TPS
- 追跡する
- トラフィック
- トレーニング
- 訓練された
- トレーニング
- トレーニングニュース
- 取引
- 最適化の適用
- 変換
- 透明性
- 旅行
- トレンド
- トレンド
- 真に
- 信頼
- しよう
- チューニング
- 2
- 理解する
- ユニーク
- 一意性
- まで
- つかいます
- 使用事例
- 中古
- ユーザー
- users
- 使用されます
- 値
- 変数
- 変化した
- 多様
- 変わります
- バージョン
- 、
- 動画
- 詳しく見る
- 訪問
- 歩く
- 欲しいです
- ました
- 仕方..
- we
- ウェブ
- ウェブブラウザ
- Webサービス
- WELL
- した
- この試験は
- いつ
- 一方
- かどうか
- which
- なぜ
- 意志
- 以内
- 無し
- 働いていました
- ワークフロー
- 心配
- 書き込み
- You
- あなたの
- ゼファーネット