本日、バッチ変換を実行できるようになったことを発表できることを嬉しく思います。 Amazon SageMaker ジャンプスタート Text2Text 生成用の大規模言語モデル (LLM)。 バッチ変換は、応答をリアルタイムにする必要がない場合に便利で、大規模なデータセットを一括してバッチで推論できます。 バッチ変換の場合、データセットおよび事前トレーニング済みモデルとしてバッチ入力を受け取り、データセット内の各データ ポイントの予測を出力するバッチ ジョブが実行されます。 永続的なハードウェアを備えたリアルタイムのホスト型エンドポイントとは異なり、バッチ変換クラスターはジョブの完了時に破棄されるため、ハードウェアはバッチ ジョブの期間中のみ使用されるため、バッチ変換はコスト効率が高くなります。
一部の使用例では、リアルタイム推論リクエストをバッチ処理用に小さなバッチにグループ化し、リアルタイムまたはほぼリアルタイムの応答を作成できます。 たとえば、低遅延かつ高スループットでデータの連続ストリームを処理する必要がある場合、リクエストごとにリアルタイム エンドポイントを個別に呼び出すと、より多くのリソースが必要となり、処理が逐次的に行われるため、すべてのリクエストの処理に時間がかかる可能性があります。 。 より良いアプローチは、リクエストの一部をグループ化し、バッチ推論モードでリアルタイム エンドポイントを呼び出すことです。これにより、モデルの XNUMX 回の転送パスでリクエストが処理され、リクエストに対する一括応答がリアルタイムまたはほぼリアルタイムで返されます。 。 応答のレイテンシは、グループ化するリクエストの数とインスタンスのメモリ サイズに依存するため、レイテンシとスループットのビジネス要件に応じてバッチ サイズを調整できます。 これを私たちは呼んでいます リアルタイムバッチ推論 これは、リアルタイムの応答を提供しながら、バッチ処理の概念を組み合わせているためです。 リアルタイムのバッチ推論を使用すると、低遅延と高スループットのバランスを実現し、大量のデータをタイムリーかつ効率的に処理できるようになります。
Text2Text 生成モデルのジャンプスタート バッチ変換を使用すると、環境変数を介してバッチ ハイパーパラメータを渡すことができ、スループットをさらに向上させ、待ち時間を最小限に抑えることができます。
JumpStart は、機械学習 (ML) を始めるのに役立つ、さまざまな種類の問題に対応する事前トレーニング済みのオープンソース モデルを提供します。 これらのモデルは、展開前に段階的にトレーニングおよび調整できます。 JumpStart は、一般的なユースケースのインフラストラクチャをセットアップするソリューション テンプレートと、ML 用の実行可能なサンプル ノートブックも提供します。 アマゾンセージメーカー。 事前トレーニングされたモデル、ソリューション テンプレート、サンプルには、次の JumpStart ランディング ページからアクセスできます。 Amazon SageMakerスタジオ。 SageMaker Python SDK を使用して JumpStart モデルにアクセスすることもできます。
この投稿では、最先端の事前トレーニングされたツールの使用方法を示します。 text2text FLAN T5 モデル バッチ変換とリアルタイムのバッチ推論のための Hugging Face から。
ソリューションの概要
事前トレーニングされた Text2Text FLAN T5 モデルのバッチ変換を示すノートブック ハグ顔 以下で利用可能です GitHubリポジトリ。 このノートブックは、Hugging Face のデータを使用しています。 cnn_dailymail SageMaker SDK を使用したテキスト要約タスク用のデータセット。
以下は、バッチ変換とリアルタイム バッチ推論を実装するための重要な手順です。
- 前提条件を設定します。
- 事前トレーニングされたモデルを選択します。
- モデルのアーティファクトを取得します。
- バッチ変換ジョブのハイパーパラメータを指定します。
- バッチ変換用のデータを準備します。
- バッチ変換ジョブを実行します。
- を使用して要約を評価します。 RED (要旨評価のための想起指向の代役) スコア。
- リアルタイムのバッチ推論を実行します。
前提条件を設定する
ノートブックを実行する前に、いくつかの初期セットアップ手順を完了する必要があります。 SageMaker 実行ロールを設定して、ユーザーに代わって AWS サービスを実行する権限を付与しましょう。
事前トレーニングされたモデルを選択します
デフォルトのモデルとして、huggingface-text2text-flan-t5-large モデルを使用します。 オプションで、JumpStart で利用可能な Text2Text モデルのリストを取得し、好みのモデルを選択できます。 この方法では、同じノートブックを使用して異なるモデル ID を選択する簡単な方法が提供されます。 デモンストレーションの目的で、huggingface-text2text-flan-t5-large モデルを使用します。
モデルのアーティファクトを取得する
SageMaker を使用すると、新しいデータセットで最初にモデルを微調整しなくても、事前トレーニングされたモデルで推論を実行できます。 まずは、 deploy_image_uri
, deploy_source_uri
, model_uri
事前トレーニングされたモデルの場合:
バッチ変換ジョブのハイパーパラメータを指定する
ハイパーパラメータの任意のサブセットを環境変数としてバッチ変換ジョブに渡すことができます。 これらのハイパーパラメータを JSON ペイロードで渡すこともできます。 ただし、次のコードに示すようにハイパーパラメーターの環境変数を設定している場合、JSON 行ペイロード内の個々の例の高度なハイパーパラメーターは使用されません。 ペイロードからハイパーパラメータを使用したい場合は、 hyper_params_dict
代わりにパラメータを null として使用します。
バッチ変換用のデータを準備する
これで、ロードする準備ができました。 cnn_dailymail ハグフェイスからのデータセット:
各データ入力を確認し、必要な形式で入力データを作成します。 私たちは articles.jsonl
ファイルは、入力ペイロードとして要約する必要がある記事を含むテスト データ ファイルとして保存されます。 このファイルを作成するときに、プロンプトを追加します。 "Briefly summarize this text:"
各テスト入力行に。 テスト入力ごとに異なるハイパーパラメーターを使用する場合は、データセットの作成の一部としてそれらのハイパーパラメーターを追加できます。
つくる highlights.jsonl
テスト ファイルに保存されている各記事のハイライトを含むグラウンド トゥルース ファイルとして articles.jsonl
。 両方のテスト ファイルを Amazon シンプル ストレージ サービス (Amazon S3) バケット。 次のコードを参照してください。
バッチ変換ジョブを実行する
バッチ変換ジョブを開始すると、SageMaker は、選択したインスタンス タイプに応じて CPU または GPU インスタンスを含む、データを処理するために必要なコンピューティング リソースを起動します。 バッチ変換ジョブ中に、SageMaker は、インスタンス、ストレージ、ネットワーク リソースなど、データの処理に必要なコンピューティング リソースを自動的にプロビジョニングおよび管理します。 バッチ変換ジョブが完了すると、コンピューティング リソースは SageMaker によって自動的にクリーンアップされます。 これは、ジョブ中に使用されるインスタンスとストレージが停止および削除され、リソースが解放され、コストが最小限に抑えられることを意味します。 次のコードを参照してください。
以下は、 articles.jsonl
テストファイル。 このファイル内のレコードには、次の ID と一致する ID があることに注意してください。 predict.jsonl
Hugging Face Text2Text モデルからの出力として要約されたレコードを示すファイル レコード。 同様に、グラウンド トゥルース ファイルにも、データ レコードに一致する ID があります。 テスト ファイル、グラウンド トゥルース ファイル、および出力ファイル全体で ID が一致するため、入力レコードと出力レコードをリンクして、結果を簡単に解釈できます。
以下は、要約のために提供される入力レコードの例です。
以下は、要約を含む予測出力です。
以下は、モデル評価を目的としたグラウンド トゥルースの要約です。
次に、モデルの評価にグランド トゥルースと予測出力を使用します。
ROUGE スコアを使用してモデルを評価する¶
RED、または要約評価のための再現指向アンダースタディは、自然言語処理における自動要約と機械翻訳を評価するために使用される一連のメトリクスとソフトウェア パッケージです。 この指標は、自動的に生成された要約または翻訳を、参照 (人間が作成した) 要約または翻訳、または一連の参照と比較します。
次のコードでは、予測された概要と元の概要を共通キーで結合することによって結合します。 id
これを使用して ROUGE スコアを計算します。
リアルタイムのバッチ推論を実行する
次に、入力をリストとして提供することにより、エンドポイントでリアルタイムのバッチ推論を実行する方法を示します。 テスト データセットからいくつかのレコードを取得し、それらを使用してリアルタイム エンドポイントを呼び出す点を除いて、前と同じモデル ID とデータセットを使用します。
次のコードは、リアルタイム バッチ推論用のリアルタイム エンドポイントを作成してデプロイする方法を示しています。
次に、入力ペイロードを準備します。 このために、以前に準備したデータを使用し、最初の 10 個のテスト入力を抽出し、使用するハイパーパラメーターを含むテキスト入力を追加します。 このペイロードをリアルタイムに提供します invoke_endpoint
. その後、応答ペイロードが応答のリストとして返されます。 次のコードを参照してください。
クリーンアップ
エンドポイントをテストしたら、SageMaker 推論エンドポイントを削除し、モデルを削除して、料金が発生しないようにしてください。
まとめ
このノートブックでは、要約タスク用の Hugging Face Text2Text Generator モデルを紹介するためにバッチ変換を実行しました。 バッチ変換は、永続的なエンドポイントを必要とせずに大規模なデータセットから推論を取得する場合に有利です。 結果の解釈を支援するために、入力レコードを推論とリンクしました。 ROUGE スコアを使用して、テスト データの要約とモデル生成の要約を比較しました。
さらに、リアルタイム バッチ推論もデモしました。これにより、小さなバッチのデータをリアルタイム エンドポイントに送信して、ストリーミング入力データなどのシナリオでレイテンシーとスループットのバランスを実現できます。 リアルタイムのバッチ推論は、リアルタイム リクエストのスループットの向上に役立ちます。
今すぐ SageMaker の Text2Text 生成モデルを使用したバッチ変換を試して、フィードバックをお聞かせください。
著者について
ヘマントシン Amazon SageMaker JumpStart および Amazon SageMaker 組み込みアルゴリズムの経験を持つ機械学習エンジニアです。 彼はクーラント数理科学研究所で修士号を取得し、デリー工科大学で学士号を取得しました。 彼は、自然言語処理、コンピューター ビジョン、時系列分析の分野でさまざまな機械学習の問題に取り組んだ経験があります。
ラクナ チャダ は、AWS の戦略アカウントの AI/ML 担当プリンシパル ソリューション アーキテクトです。 Rachna は楽観主義者で、AI を倫理的かつ責任を持って使用することで将来の社会を改善し、経済的および社会的繁栄をもたらすことができると信じています。 余暇には、家族と一緒に時間を過ごしたり、ハイキングをしたり、音楽を聴いたりするのが好きです。
アシッシュ・ケタン博士 は、Amazon SageMaker 組み込みアルゴリズムを使用する上級応用科学者であり、機械学習アルゴリズムの開発を支援しています。 イリノイ大学アーバナシャンペーン校で博士号を取得。 彼は機械学習と統計的推論の活発な研究者であり、NeurIPS、ICML、ICLR、JMLR、ACL、および EMNLP カンファレンスで多くの論文を発表しています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- プラトアイストリーム。 Web3 データ インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- 未来を鋳造する w エイドリエン・アシュリー。 こちらからアクセスしてください。
- PREIPO® を使用して PRE-IPO 企業の株式を売買します。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/perform-batch-transforms-with-amazon-sagemaker-jumpstart-text2text-generation-large-language-models/
- :持っている
- :は
- :not
- :どこ
- $UP
- 000
- 1
- 10
- 100
- 11
- 13
- 14
- 20
- 2014
- 50
- 7
- 8
- 9
- a
- できる
- 私たちについて
- 上記の.
- 受け入れ
- 一般に認められた
- アクセス
- 従った
- アカウント
- 達成する
- を買収
- 越えて
- 行動
- アクティブ
- 高度な
- 有利
- に対して
- AI
- AI / ML
- 援助
- アルゴリズム
- すべて
- 主張された
- ことができます
- また
- Amazon
- アマゾンセージメーカー
- Amazon SageMaker ジャンプスタート
- Amazon Webサービス
- an
- 分析
- および
- アナウンス
- どれか
- API
- 適用された
- アプローチ
- です
- 周りに
- 記事
- 物品
- AS
- At
- 試み
- 権威
- オートマチック
- 自動的に
- 利用できます
- 避ける
- AWS
- ベース
- ベース
- BE
- になりました
- なぜなら
- になる
- さ
- 信じる
- と考えています
- ベンジャミン
- より良いです
- の間に
- ボディ
- 両言語で
- 両側
- 境界
- 簡潔に
- 持って来る
- もたらす
- 内蔵
- ビジネス
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- コール
- 缶
- 例
- 原因となる
- 課金
- 選択する
- class
- クライアント
- クローザー
- CNN
- コード
- 組み合わせる
- 組み合わせ
- 結合
- 来ます
- 約束
- コミットした
- コマンドと
- 比較します
- コンプリート
- 計算
- コンピュータ
- Computer Vision
- コンセプト
- プロフェッショナルな方法で
- 会議
- コンテナ
- 続ける
- 連続的な
- 貢献
- 費用
- コスト効率の良い
- 可能性
- 弁護士
- 逆効果
- 国
- 裁判所
- 作ります
- 作成
- 犯罪
- 刑事上の
- データ
- データ入力
- データセット
- 死んだ
- 決定
- デフォルト
- デリー
- 実証します
- 実証
- 部門
- によっては
- 展開します
- 展開
- 記載された
- 決定する
- 開発する
- 開発
- 異なる
- の違い
- 異なります
- 直接
- 異なる
- do
- デッカー
- ドメイン
- 行われ
- ドント
- によって
- ダウン
- デュレーション
- 間に
- 各
- 前
- 東
- 簡単に
- 経済
- 効率的な
- 努力
- 適格
- 有効にする
- end
- エンドポイント
- エンジニア
- 確保
- 入ります
- エントリ
- 環境
- 時代
- 倫理的な
- 評価する
- 評価します
- 評価
- さらに
- 証拠
- 例
- 例
- 除く
- 興奮した
- 実行
- 体験
- エキス
- 顔
- 信仰
- 家族
- 少数の
- File
- 名
- フォロー中
- 強
- 外国の
- フォーマル
- 正式に
- 形式でアーカイブしたプロジェクトを保存します.
- フォワード
- 創業
- から
- フル
- さらに
- 未来
- 世代
- ジェネレータ
- 取得する
- 与える
- Go
- 目標
- 政府
- GPU
- 大きい
- 陸上
- グループ
- Hardware
- 持ってる
- he
- 助けます
- ことができます
- 彼女の
- こちら
- ハイ
- ハイライト
- 彼の
- 主催
- 認定条件
- How To
- しかしながら
- HTML
- HTTP
- HTTPS
- 抱き合う顔
- 人間
- 人権
- 人類
- ID
- イド
- if
- イリノイ州
- 画像
- 直ちに
- 実装
- import
- 改善します
- in
- include
- 含めて
- 増える
- 独立性
- 個人
- 個別に
- 情報
- インフラ関連事業
- 初期
- 不正
- 入力
- お問い合わせ
- を取得する必要がある者
- 機関
- 世界全体
- 解釈
- に
- 調べる
- 調査
- 調査
- イスラエル
- IT
- ITS
- 1月
- ジョブ
- join
- 参加
- JPG
- JSON
- 裁判官
- 六月
- 管轄
- ただ
- 正義
- キー
- 知っている
- 着陸
- 言語
- 大
- 姓
- レイテンシ
- 後で
- 起動
- 学習
- 左
- う
- 軽く
- ような
- 好き
- LINE
- ライン
- リンク
- 連結
- リスト
- 耳を傾ける
- 負荷
- 長い
- より長いです
- ロー
- 機械
- 機械学習
- make
- 作成
- 管理する
- 方法
- 多くの
- マークされた
- マッチ
- マッチング
- 数学的
- 五月..
- 手段
- メンバー
- メンバー
- メンバーシップ
- メモリ
- 方法
- メトリック
- 最小化
- ML
- モード
- モデル
- 月
- 他には?
- 音楽を聴く際のスピーカーとして
- しなければなりません
- 名
- ナチュラル
- 自然言語処理
- 必要
- 必要
- 交渉
- どちらでもありません
- オランダ
- ネットワーキング
- 新作
- ニュース
- ニュースリリース
- ノート
- 今
- オブジェクト
- 入手
- of
- Office
- 正式に
- on
- ONE
- の
- 開いた
- オープンソース
- 開かれた
- 反対する
- 反対した
- or
- オリジナル
- OS
- 私たちの
- でる
- 出力
- が
- パッケージ
- ページ
- パレスチナ
- 論文
- パラメーター
- パラメータ
- 部
- パーティー
- パス
- path
- 舗装
- 平和
- のワークプ
- 実行する
- パーミッション
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- お願いします
- ポイント
- 可能
- ポスト
- 予測する
- 予測
- 予測
- 予測
- Predictor
- 優先
- 準備
- 準備
- 前提条件
- 社長
- 圧力
- 素数
- 首相
- 校長
- 問題
- 問題
- プロセス
- ラボレーション
- 処理
- 生産された
- 繁栄
- 提供します
- 提供
- は、大阪で
- 提供
- 公表
- 目的
- Python
- 範囲
- 準備
- リアル
- への
- 記録
- 記録
- リファレンス
- 指し
- リリース
- 削除済み
- 繰り返し
- レポート
- 要求
- リクエスト
- 必要とする
- の提出が必要です
- 要件
- 研究者
- リソース
- 応答
- 回答
- 責任
- 責任
- 結果
- 結果
- return
- 収益
- レビュー
- 権利
- 職種
- ローマ
- 行
- ラン
- s
- セージメーカー
- SageMaker の推論
- 前記
- 同じ
- 格言
- シナリオ
- 科学
- 科学者
- スコア
- SDDK
- を求める
- 選択
- 送信
- シニア
- シリーズ
- サービス
- セッションに
- 設定
- shared
- 彼女
- すべき
- 表示する
- ショーケース
- 作品
- 側面
- 署名されました
- 同様に
- 簡単な拡張で
- から
- 状況
- 状況
- サイズ
- 小さい
- So
- 社会
- 社会
- ソフトウェア
- 溶液
- ソリューション
- 一部
- 話す
- 話す
- 支出
- start
- 開始
- 都道府県
- 国務省
- 最先端の
- ステートメント
- 米国
- 統計的
- 手順
- ステップ
- まだ
- 停止
- ストレージ利用料
- 店舗
- 保存され
- 簡単な
- 戦略的
- 流れ
- ストリーミング
- 強く
- テーマ
- まとめる
- 概要
- 夏
- サポート
- 取る
- 撮影
- 取り
- 仕事
- タスク
- テク
- テンプレート
- 地域
- 領土
- test
- より
- それ
- 情報
- オランダ
- ステート
- 世界
- アプリ環境に合わせて
- それら
- その後
- したがって、
- ボーマン
- 彼ら
- この
- それらの
- 介して
- スループット
- 時間
- 時系列
- 〜へ
- 今日
- 一緒に
- 引き裂かれた
- に向かって
- トレーニング
- 最適化の適用
- トランス
- トランスフォーム
- インタビュー
- true
- 真実
- type
- 覆します
- ユナイテッド
- 米国
- ユニバーサル
- 大学
- 異なり、
- アップロード
- に
- us
- つかいます
- 中古
- 副会長
- ビジョン
- ボリューム
- W
- 欲しいです
- 戦争
- ました
- よく見る
- 仕方..
- we
- ウェブ
- Webサービス
- Wednesday
- 歓迎
- 歓迎
- WELL
- この試験は
- いつ
- かどうか
- which
- while
- 誰
- ワイド
- 広い範囲
- 意志
- 以内
- 無し
- ワーキング
- 世界
- でしょう
- You
- あなたの
- ゼファーネット