Amazon SageMaker 自動モデルチューニングでグリッド検索がサポートされるようになりました

今日 アマゾンセージメーカー のグリッド検索のサポートを発表しました 自動モデルチューニング、モデルに最適なハイパーパラメーター構成を見つけるための追加の戦略をユーザーに提供します。

Amazon SageMaker の自動モデル チューニングは、 範囲 指定したハイパーパラメータの次に、最高のパフォーマンスを発揮するモデルが得られるハイパーパラメータ値を選択します。 メトリック お好みの。

モデルに最適なハイパーパラメータ値を見つけるために、Amazon SageMaker の自動モデル調整では、次のような複数の戦略がサポートされています。 ベイジアン （デフォルト）、 ランダム 検索、および ハイパーバンド.

グリッド検索

グリッド検索は、定義したハイパーパラメーターのグリッド内の構成を徹底的に調査します。これにより、グリッド内の最も有望なハイパーパラメーター構成に関する洞察を得て、さまざまなチューニング実行で結果を決定論的に再現できます。 グリッド検索により、ハイパー パラメーター検索空間全体が調査されたという確信が高まります。 この利点にはトレードオフがあります。これは、主な目標が最適なハイパーパラメーター構成を見つけることである場合、ベイジアンおよびランダム検索よりも計算コストが高くなるためです。

Amazon SageMaker によるグリッド検索

Amazon SageMaker では、目的のメトリクスを最大化または最小化する最適なハイパーパラメータの組み合わせが問題で必要な場合に、グリッド検索を使用します。 お客様が Grid Search を使用する一般的なユース ケースは、モデルの精度と再現性が、それを取得するために必要なトレーニング コストよりもビジネスにとって重要な場合です。

Amazon SageMaker でグリッド検索を有効にするには、 Strategy 〜へのフィールド Grid チューニング ジョブを作成するときは、次のようにします。

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

さらに、グリッド検索では、ジョブ定義で離散値のカテゴリ範囲として検索空間 (デカルト グリッド) を定義する必要があります。 CategoricalParameterRanges Action ParameterRanges 次のように、パラメータ：

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

指定しないことに注意 MaxNumberOfTrainingJobs これは、カテゴリの組み合わせの数から自動的に決定されるためです。 ランダム検索とベイジアン検索を使用する場合は、 MaxNumberOfTrainingJobs パラメーターは、コンピューティングの上限を定義することでチューニング ジョブのコストを制御する方法として使用されます。 グリッド検索では、 MaxNumberOfTrainingJobs (オプションになりました) は、グリッド検索の候補数として自動的に設定されます。 HyperParameterTuningJob の説明 形。 これにより、目的のハイパーパラメーターのグリッドを徹底的に調べることができます。 さらに、グリッド検索ジョブの定義は離散カテゴリ範囲のみを受け入れ、グリッド内の各値は離散と見なされるため、連続範囲または整数範囲の定義は必要ありません。

グリッド検索実験

この実験では、与えられた回帰タスクで、200 個のハイパーパラメーターの検索空間内で最適なハイパーパラメーターを検索します。 eta そして、10 alpha 0.1 から 1 の範囲です。 ダイレクト マーケティング データセット 回帰モデルを調整します。

• イータ: 過適合を防ぐために更新で使用されるステップ サイズの縮小。 各ブースティング ステップの後、新しい機能の重みを直接取得できます。 の eta パラメーターは実際に機能の重みを縮小して、ブースティング プロセスをより保守的にします。
• アルファ: 重みの L1 正則化項。 この値を大きくすると、モデルがより保守的になります。

左のグラフは、 eta 目的のメトリクスに関連するハイパーパラメーターであり、最適なモデルを返す前に、グリッド検索が X 軸の検索空間 (グリッド) 全体を使い果たした様子を示しています。 同様に、右のグラフは、XNUMX つのデカルト空間で XNUMX つのハイパーパラメーターを分析して、グリッド内のすべてのポイントが調整中に選択されたことを示しています。

上記の実験は、グリッド検索の網羅的な性質により、定義された検索空間が与えられた場合に最適なハイパーパラメーターの選択が保証されることを示しています。 また、他のすべての条件が同じであれば、チューニングの繰り返しで検索結果を再現できることも示しています。

Amazon SageMaker 自動モデル調整ワークフロー (AMT)

Amazon SageMaker の自動モデル調整を使用すると、ベイジアン、ランダム検索、グリッド検索、ハイパーバンドなどのいくつかの検索戦略を使用してデータセットでトレーニング ジョブを実行することにより、モデルの最適なバージョンを見つけることができます。 自動モデル調整を使用すると、指定したハイパーパラメーター範囲内で最適なハイパーパラメーター構成を自動的に検索することにより、モデルの調整にかかる時間を短縮できます。

Amazon SageMaker AMT でグリッド検索を使用する利点を確認したので、AMT のワークフローを見て、すべてが SageMaker にどのように適合するかを理解しましょう。

まとめ

この投稿では、グリッド検索戦略を使用して最適なモデルを見つける方法と、さまざまなチューニング ジョブで決定論的に結果を再現するその機能について説明しました。 他の戦略と比較してグリッド検索を使用する場合のトレードオフと、ハイパーパラメーター空間のどの領域が最も有望であるかを探索し、決定論的に結果を再現する方法について説明しました。

自動モデル調整の詳細については、次の Web サイトにアクセスしてください。 製品ページ & 技術文書.

著者,

ダグ・ムバヤ データと分析を専門とするシニア パートナー ソリューション アーキテクトです。 Doug は AWS パートナーと緊密に連携し、クラウドでのデータおよび分析ソリューションの統合を支援しています。