アマゾンセージメーカー 持っています 発表の Amazon SageMaker の XNUMX つの新しい完了基準のサポート 自動モデルチューニング、モデルに最適なハイパーパラメーター構成を見つけるときに、調整ジョブの停止基準を制御するための追加のレバー セットを提供します。
この投稿では、これらの新しい完了基準、それらをいつ使用するか、およびそれらがもたらす利点について説明します。
SageMaker自動モデル調整
自動モデル調整とも呼ばれます ハイパーパラメータ調整、選択したメトリックによって測定されたモデルの最適なバージョンを見つけます。 選択したアルゴリズムと指定したハイパーパラメータ範囲を使用して、提供されたデータセットで多くのトレーニング ジョブを起動します。 各トレーニング ジョブは、目標指標が大幅に改善されていない場合に早期に完了することができます。これは早期停止と呼ばれます。
これまで、トレーニング ジョブの最大数を指定するなど、チューニング ジョブ全体を制御する方法は限られていました。 ただし、このパラメーター値の選択は、せいぜいヒューリスティックです。 値を大きくするとチューニング コストが増加し、値を小さくすると常に最適なバージョンのモデルが得られるとは限りません。
SageMaker 自動モデル調整は、調整ジョブの複数の完了基準を提供することで、これらの課題を解決します。 個々のトレーニング ジョブ レベルではなく、チューニング レベルで適用されます。つまり、より高い抽象化レイヤーで動作します。
ジョブ完了基準を調整する利点
チューニング ジョブがいつ停止するかをより適切に制御することで、ジョブを長期間実行せず、計算コストが高くなるため、コスト削減のメリットが得られます。 また、ジョブが早期に停止することがなく、目的を満たす十分に高品質のモデルを取得できることも意味します。 一連の反復の後、モデルが改善されなくなった場合、または推定された残りの改善がコンピューティング リソースと時間を正当化できない場合は、チューニング ジョブを停止することを選択できます。
既存のトレーニングジョブ完了基準の最大数に加えて トレーニングジョブの最大数、自動モデル チューニングには、最大チューニング時間、改善の監視、および収束検出に基づいてチューニングを停止するオプションが導入されています。
これらの各基準について見ていきましょう。
最大チューニング時間
以前は、トレーニング ジョブの最大数をリソース制限設定として定義して、コンピューティング リソースに関してチューニング バジェットを制御するオプションがありました。 ただし、これにより、トレーニング時間が必要以上に長くなったり短くなったりする可能性があります。
最大チューニング時間基準の追加により、チューニング ジョブを実行する時間の観点からトレーニング予算を割り当て、秒単位で定義された指定時間後にジョブを自動的に終了できるようになりました。
上記のように、 MaxRuntimeInSeconds
チューニング時間を秒単位で定義します。 チューニングの時間制限を設定すると、チューニング ジョブの期間と実験の予測コストを制限するのに役立ちます。
契約上の割引前の総コストは、次の式で見積もることができます。EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
秒単位の最大実行時間は、コストと実行時間を制限するために使用できます。 つまり、予算管理の完了基準です。
この機能はリソース制御基準の一部であり、モデルの収束は考慮されていません。 この記事の後半で説明するように、この基準を他の停止基準と組み合わせて使用することで、精度を犠牲にすることなくコストを抑えることができます。
望ましい目標指標
以前に導入されたもう XNUMX つの基準は、目標とする目標を事前に定義することです。 この基準は、特定の客観的メトリックに基づいて最適なモデルのパフォーマンスを監視し、モデルが指定された客観的メトリックに関連して定義されたしきい値に達すると、チューニングを停止します。
TargetObjectiveMetricValue
基準に従って、最適なモデルの客観的メトリクスが指定された値に達した後にモデルのチューニングを停止するよう SageMaker に指示できます。
この例では、最適なモデルの客観的メトリクスが 0.95 に達したときにモデルのチューニングを停止するように SageMaker に指示しています。
この方法は、特定のレベルの精度、精度、再現率、F1 スコア、AUC、対数損失など、モデルに到達させたい特定の目標がある場合に役立ちます。
この基準の典型的な使用例は、特定のしきい値でのモデルのパフォーマンスに既に精通しているユーザー向けです。 探索フェーズのユーザーは、最初に大きなデータセットの小さなサブセットを使用してモデルを調整し、完全なデータセットを使用してトレーニングするときにターゲットとする満足のいく評価指標のしきい値を特定できます。
改善モニタリング
この基準は、各反復後にモデルの収束を監視し、定義された数のトレーニング ジョブ後にモデルが改善されない場合は調整を停止します。 次の構成を参照してください。
この場合、 MaxNumberOfTrainingJobsNotImproving
つまり、10 回のトレーニング ジョブの後、客観的なメトリックの改善が停止した場合、チューニングが停止され、最適なモデルとメトリックが報告されます。
改善の監視を使用して、モデルの品質と全体的なワークフロー期間の間のトレードオフを調整し、異なる最適化問題間で移行できるようにする必要があります。
収束検出
収束検出は、自動モデル チューニングがいつチューニングを停止するかを決定できるようにする完了基準です。 通常、自動モデル チューニングは、大幅な改善が達成できないと推定されると、チューニングを停止します。 次の構成を参照してください。
この基準は、最初にどの停止設定を選択すればよいかわからない場合に最適です。
問題と手元のデータセットを考慮して適切な予測を行うには、どのターゲット オブジェクティブ メトリックが適切かがわからず、改善が見られなくなったときにチューニング ジョブを完了させたい場合にも役立ちます。
完了基準の比較を試す
この実験では、与えられた回帰タスクで、合計 3 のハイパーパラメータ構成を持つ 2 つのハイパーパラメータの検索空間内で最適なモデルを見つけるために、200 つの調整実験を実行します。 ダイレクト マーケティング データセット.
他のすべてが等しい場合、最初のモデルは BestObjectiveNotImproving
完了基準、XNUMX 番目のモデルは、 CompleteOnConvergence
XNUMX 番目のモデルは、完了基準を定義せずに調整されました。
各ジョブを説明するとき、その設定を観察できます BestObjectiveNotImproving
基準により、実行されるジョブが大幅に少なくなり、目的の指標と比較して最適なリソースと時間がもたらされました。
CompleteOnConvergence
基準を設定すると、実験の途中で調整を停止することもでき、基準を設定しない場合と比較して、トレーニング ジョブが少なくなり、トレーニング時間が短縮されました。
完了基準を設定しないと費用のかかる実験が行われましたが、 MaxRuntimeInSeconds
リソース制限の一部として、コストを最小限に抑える方法の XNUMX つです。
上記の結果は、完了基準を定義するときに、モデルが現在の結果を超えて改善する可能性が低いことを検出すると、Amazon SageMaker が調整プロセスをインテリジェントに停止できることを示しています。
SageMaker 自動モデル チューニングでサポートされている完了基準は相互に排他的ではなく、モデルのチューニング時に同時に使用できることに注意してください。
複数の完了基準が定義されている場合、いずれかの基準が満たされたときにチューニング ジョブが完了します。
たとえば、最大チューニング時間などのリソース制限基準と、改善の監視や収束検出などの収束基準を組み合わせることで、最適なコスト管理と最適な目標メトリックを生成できます。
まとめ
この投稿では、最大チューニング時間、改善モニタリング、収束検出など、SageMaker に新たに導入された一連の完了基準を選択することで、チューニング ジョブをインテリジェントに停止する方法について説明しました。
イテレーション全体にわたる改善の観察に基づくインテリジェントな停止は、完了基準を定義しない場合と比較して、予算と時間の管理を大幅に最適化する可能性があることを実験で示しました。
また、これらの基準は相互に排他的ではなく、モデルを調整するときに同時に使用して、予算管理と最適な収束の両方を利用できることも示しました。
自動モデル調整を構成および実行する方法の詳細については、次を参照してください。 ハイパーパラメータ調整ジョブ設定の指定.
著者について
ダグ・ムバヤ データと分析を専門とするシニア パートナー ソリューション アーキテクトです。 Doug は AWS パートナーと緊密に連携し、クラウドでのデータおよび分析ソリューションの統合を支援しています。
カイトラマトゥール AWS のプリンシパル ソリューション アーキテクトです。 彼女は、高度にスケーラブルで信頼性が高く、安全で費用対効果の高いソリューションを AWS で構築する際に顧客とパートナーを導きます。 彼女は機械学習に情熱を傾けており、顧客が ML のニーズを AWS AI/ML サービスを使用してソリューションに変換するのを支援しています。 彼女は ML Specialty 認定を含む 5 つの認定を保持しています。 余暇には、読書、ヨガ、娘たちとの時間を楽しんでいます。
イロスラフ・シェルバティ AWS の機械学習エンジニアです。 彼は主に、Amazon SageMaker プラットフォームの改善と、顧客がその機能を最大限に活用できるよう支援することに取り組んでいます。 余暇には、ジムに行ったり、アイススケートやハイキングなどのアウトドア スポーツをしたり、新しい AI 研究に追いついたりするのが好きです。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- できる
- 私たちについて
- 上記の.
- 精度
- 達成する
- 達成
- 越えて
- 添加
- NEW
- 利点
- 後
- AI
- 愛の研究
- AI / ML
- アルゴリズム
- すべて
- 既に
- Amazon
- アマゾンセージメーカー
- 量
- 分析論
- および
- 適用された
- オートマチック
- 自動的に
- AWS
- ベース
- さ
- 恩恵
- 利点
- BEST
- より良いです
- の間に
- 越えて
- バウンド
- 持って来る
- 予算
- 建物
- 呼ばれます
- 場合
- レスリング
- 一定
- 認証
- 認定
- 課題
- 選択する
- 選ばれた
- 密接に
- クラウド
- 組み合わせ
- 比べ
- 比較
- コンプリート
- 記入済みの
- 完了
- 完成
- 計算
- コントロール
- 収束
- 費用
- コスト削減
- コスト効率の良い
- コスト
- 可能性
- 基準
- 電流プローブ
- Customers
- データ
- 定義済みの
- 定義
- 実証
- 希望
- 細部
- 検出
- 異なります
- お得な商品
- 話し合います
- 議論する
- そうではありません
- ドント
- 各
- 早い
- 使用可能
- エンジニア
- 確保
- 推定
- 見積もり
- 評価
- すべてのもの
- 例
- 特別
- 既存の
- 高価な
- 実験
- 探査
- 探る
- おなじみの
- 特徴
- 特徴
- もう完成させ、ワークスペースに掲示しましたか?
- 発見
- 発見
- 名
- フォーカス
- フォロー中
- 式
- フル
- 一般に
- 取得する
- 与えられた
- 与え
- Go
- 目標
- 良い
- ガイド
- ジム
- 持って
- 助け
- ことができます
- より高い
- 非常に
- 保持している
- 認定条件
- How To
- しかしながら
- HTML
- HTTPS
- ハイパーパラメーターの最適化
- ハイパーパラメータ調整
- ICE
- 識別する
- 改善します
- 改善
- 改善
- 改善
- in
- その他の
- 含めて
- 増加
- 個人
- 当初
- 統合する
- インテリジェント-
- 導入
- 紹介します
- IT
- 繰り返し
- 繰り返し
- ジョブ
- Jobs > Create New Job
- 知っている
- 既知の
- より大きい
- 層
- つながる
- 学習
- ツェッペリン
- ことができます
- レベル
- 可能性が高い
- LIMIT
- 限定的
- より長いです
- 機械
- 機械学習
- 管理
- 多くの
- マーケティング
- マックス
- 最大化します
- 手段
- ミーツ
- 方法
- メトリック
- メトリック
- 最小化
- ML
- モデル
- モニタリング
- モニター
- 他には?
- 最も
- の試合に
- 互いに
- ニーズ
- 新作
- 数
- 客観
- 目的
- 観察する
- ONE
- 動作
- 最適な
- 最適化
- 最適化
- オプション
- その他
- 全体
- パラメーター
- 部
- パートナー
- パートナー
- 情熱的な
- パフォーマンス
- 期間
- 相
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- ポスト
- 精度
- 予測
- 前に
- 校長
- 問題
- 問題
- プロセス
- 作り出す
- 投影
- 提供
- 提供
- 品質
- リーチ
- 達した
- リーディング
- 合理的な
- 関係
- 信頼性のある
- 報告
- 研究
- リソースを追加する。
- リソース
- 結果
- 結果として
- 結果
- ラン
- 犠牲にする
- セージメーカー
- SageMaker自動モデルチューニング
- 貯蓄
- ド電源のデ
- を検索
- 二番
- 秒
- 安全に
- 選択
- 選択
- シニア
- サービス
- セッションに
- 設定
- 設定
- すべき
- 表示する
- 重要
- 著しく
- 小さい
- より小さい
- So
- 溶液
- ソリューション
- 解決する
- 一部
- スペース
- 専門
- 特定の
- 指定の
- 支出
- スピン
- スポーツ
- Force Stop
- 停止
- 停止
- 停止する
- そのような
- サポート
- サポート
- サポート
- 取る
- ターゲット
- 仕事
- 条件
- アプリ環境に合わせて
- 三番
- 三
- しきい値
- 介して
- 時間
- <font style="vertical-align: inherit;">回数</font>
- 〜へ
- あまりに
- トータル
- トレーニング
- 翻訳する
- 典型的な
- つかいます
- 使用事例
- ユーザー
- 値
- バージョン
- 方法
- この試験は
- which
- 誰
- 意志
- 以内
- 無し
- 言葉
- 作品
- でしょう
- 産出
- ヨガ
- You
- あなたの
- ゼファーネット