Amazon SageMaker 自动模型调整现在支持网格搜索

的旅程 亚马逊SageMaker 宣布支持网格搜索 自动模型调整，为用户提供额外的策略来为您的模型找到最佳的超参数配置。

Amazon SageMaker 自动模型调优通过使用以下方法在数据集上运行许多训练作业来找到模型的最佳版本 范围 您指定的超参数。然后，它选择超参数值，从而产生表现最佳的模型，如通过测量 公 您的选择。

为了找到最适合您的模型的超参数值，Amazon SageMaker 自动模型调优支持多种策略，包括 贝叶斯 （默认）， 随机 搜索，以及 超频带.

网格搜索

网格搜索详尽地探索您定义的超参数网格中的配置，这使您能够深入了解网格中最有前途的超参数配置，并在不同的调优运行中确定性地重现结果。网格搜索让您更有信心探索整个超参数搜索空间。这种好处需要权衡，因为如果您的主要目标是找到最佳的超参数配置，那么它的计算成本比贝叶斯搜索和随机搜索更昂贵。

使用 Amazon SageMaker 进行网格搜索

在 Amazon SageMaker 中，当您的问题需要您拥有最佳超参数组合来最大化或最小化您的目标指标时，您可以使用网格搜索。客户使用网格搜索的一个常见用例是模型准确性和可重复性对您的业务比获得模型所需的培训成本更重要。

要在 Amazon SageMaker 中启用网格搜索，请设置 Strategy 字段 Grid 创建调优作业时，如下：

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

此外，网格搜索要求您使用以下命令将搜索空间（笛卡尔网格）定义为作业定义中离散值的分类范围： CategoricalParameterRanges 键下 ParameterRanges 参数，如下：

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

请注意，我们没有指定 MaxNumberOfTrainingJobs 用于职位定义中的网格搜索，因为这是根据类别组合的数量为您确定的。使用随机和贝叶斯搜索时，您可以指定 MaxNumberOfTrainingJobs 参数作为通过定义计算上限来控制调整作业成本的方法。通过网格搜索，值 MaxNumberOfTrainingJobs （现在可选）自动设置为网格搜索的候选数 描述HyperParameterTuningJob 形状。这使您可以彻底探索所需的超参数网格。此外，网格搜索作业定义仅接受离散分类范围，不需要连续或整数范围定义，因为网格中的每个值都被视为离散。

网格搜索实验

在这个实验中，给定一个回归任务，我们在 200 个超参数、20 个超参数的搜索空间内搜索最佳超参数。 eta 4th 和5th 轴车削中心 alpha 范围从 0.1 到 1。我们使用 直销数据集 调整回归模型。

• ETA：更新时使用步长收缩来防止过度拟合。在每个提升步骤之后，您可以直接获得新特征的权重。这 eta 参数实际上缩小了特征权重，使提升过程更加保守。
• 阿尔法：权重的 L1 正则化项。增加该值会使模型更加保守。

左图显示了对 eta 与目标指标相关的超参数，并演示网格搜索如何在返回最佳模型之前耗尽 X 轴上的整个搜索空间（网格）。同样，右侧的图表分析了单个笛卡尔空间中的两个超参数，以证明网格中的所有点都是在调整过程中选取的。

上面的实验表明，网格搜索的详尽性质保证了给定定义的搜索空间的最佳超参数选择。它还表明，在所有其他条件相同的情况下，您可以通过调整迭代重现搜索结果。

Amazon SageMaker 自动模型调优工作流程 (AMT)

借助 Amazon SageMaker 自动模型调整，您可以使用贝叶斯、随机搜索、网格搜索和 Hyperband 等多种搜索策略在数据集上运行训练作业，从而找到模型的最佳版本。自动模型调整可让您通过在指定的超参数范围内自动搜索最佳超参数配置来减少调整模型的时间。

现在我们已经回顾了在 Amazon SageMaker AMT 中使用网格搜索的优势，接下来让我们看一下 AMT 的工作流程并了解它们如何在 SageMaker 中结合在一起。

结论

在这篇文章中，我们讨论了如何使用网格搜索策略来查找最佳模型及其在不同调优作业中确定性地重现结果的能力。我们讨论了与其他策略相比使用网格搜索时的权衡，以及它如何允许您探索超参数空间的哪些区域最有希望并确定性地重现结果。

要了解有关自动模型调整的更多信息，请访问 产品页面 和 技术文档.

关于作者

道格·姆巴亚 是一名高级合作伙伴解决方案架构师，专注于数据和分析。 Doug 与 AWS 合作伙伴密切合作，帮助他们在云中集成数据和分析解决方案。