亚马逊SageMaker 具有 公布 支持 Amazon SageMaker 的三个新完成标准 自动模型调整,为您提供一组额外的控制杆,以在为您的模型找到最佳超参数配置时控制调整作业的停止标准。
在这篇文章中,我们将讨论这些新的完成标准、何时使用它们以及它们带来的一些好处。
SageMaker自动模型调整
自动模型调整,也称为 超参数调整, 找到我们选择的度量标准衡量的模型的最佳版本。 它使用选择的算法和指定的超参数范围在提供的数据集上启动许多训练作业。 当目标指标没有显着改善时,可以提前完成每个训练作业,这称为提前停止。
到目前为止,控制整体调优作业的方法有限,例如指定训练作业的最大数量。 然而,此参数值的选择充其量是启发式的。 较大的值会增加调整成本,而较小的值可能不会始终产生模型的最佳版本。
SageMaker 自动模型调整通过为调整作业提供多个完成条件来解决这些挑战。 它应用于调整级别而不是每个单独的训练作业级别,这意味着它在更高的抽象层上运行。
调整作业完成标准的好处
通过更好地控制调整作业何时停止,您可以通过不让作业长时间运行和计算成本高来获得成本节约的好处。 这也意味着您可以确保工作不会过早停止,并且您可以获得满足您目标的质量足够好的模型。 当模型在一组迭代后不再改进时,或者当估计的剩余改进不能证明计算资源和时间的合理性时,您可以选择停止调整作业。
除了现有的最大培训作业完成标准 最大培训职位数,自动模型调整引入了基于最大调整时间、改进监控和收敛检测停止调整的选项。
让我们探讨这些标准中的每一个。
最大调谐时间
以前,您可以选择将最大训练作业数定义为资源限制设置,以控制计算资源方面的调整预算。 然而,这可能导致比需要或期望的不必要的更长或更短的训练时间。
通过添加最大调整时间标准,您现在可以根据运行调整作业的时间分配训练预算,并在以秒为单位定义的指定时间后自动终止作业。
如上所示,我们使用 MaxRuntimeInSeconds
以秒为单位定义调整时间。 设置调整时间限制有助于您限制调整作业的持续时间以及实验的预计成本。
可以使用以下公式估算任何合同折扣前的总成本:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
以秒为单位的最大运行时间可用于限制成本和运行时间。 换句话说,它是一个预算控制完成标准。
此功能是资源控制标准的一部分,并未考虑模型的收敛性。 正如我们在本文后面看到的那样,该标准可以与其他停止标准结合使用,以在不牺牲准确性的情况下实现成本控制。
期望的目标指标
另一个先前引入的标准是预先定义目标目标。 该标准根据特定的目标指标监控最佳模型的性能,并在模型达到与指定目标指标相关的定义阈值时停止调整。
随着 TargetObjectiveMetricValue
标准,我们可以指示 SageMaker 在最佳模型的客观指标达到指定值后停止调整模型:
在此示例中,我们指示 SageMaker 在最佳模型的客观指标达到 0.95 时停止调整模型。
当您有一个希望模型达到的特定目标时(例如特定级别的准确度、精确度、召回率、F1 分数、AUC、对数损失等),此方法很有用。
此标准的典型用例是针对已经熟悉模型在给定阈值下的性能的用户。 处于探索阶段的用户可能首先使用较大数据集的一小部分来调整模型,以确定在使用完整数据集进行训练时要确定的令人满意的评估指标阈值。
改进监控
此标准会在每次迭代后监控模型的收敛性,如果在定义的训练作业数量后模型没有改善,则停止调整。 请参阅以下配置:
在这种情况下,我们设置 MaxNumberOfTrainingJobsNotImproving
到 10,这意味着如果客观指标在 10 个训练作业后停止改善,则调整将停止并报告最佳模型和指标。
改进监控应该用于调整模型质量和整个工作流程持续时间之间的权衡,其方式可能在不同的优化问题之间转移。
收敛检测
收敛检测是一个完成标准,它让自动模型调整决定何时停止调整。 通常,自动模型调整会在估计无法实现显着改进时停止调整。 请参阅以下配置:
当您最初不知道要选择什么停止设置时,该标准最适合。
如果您不知道在给定问题和手头数据集的情况下什么目标客观指标对于进行良好预测是合理的,并且宁愿在不再改进时完成调优工作,它也很有用。
尝试比较完成标准
在这个实验中,给定一个回归任务,我们运行 3 个调整实验,以在总共具有 2 个超参数配置的 200 个超参数的搜索空间中找到最优模型,使用 直销数据集.
在其他条件相同的情况下,第一个模型用 BestObjectiveNotImproving
完成标准,第二个模型用 CompleteOnConvergence
第三个模型在没有定义完成标准的情况下进行了调整。
在描述每项工作时,我们可以观察到设置 BestObjectiveNotImproving
标准导致了相对于目标指标的最佳资源和时间,运行的作业明显减少。
CompleteOnConvergence
与不设置标准相比,标准还能够在实验中途停止调整,从而减少培训工作并缩短培训时间。
虽然没有设置完成标准会导致代价高昂的实验,但定义 MaxRuntimeInSeconds
作为资源限制的一部分将是最小化成本的一种方式。
上面的结果表明,在定义完成条件时,Amazon SageMaker 能够在检测到模型不太可能改进超过当前结果时智能地停止调整过程。
请注意,SageMaker 自动模型调整中支持的完成条件并不相互排斥,可以在调整模型时同时使用。
当定义了多个完成条件时,只要满足任何一个条件,调整作业就会完成。
例如,资源限制标准(如最大调整时间)与收敛标准(如改进监控或收敛检测)的组合可以产生最佳成本控制和最佳目标指标。
结论
在本文中,我们讨论了您现在如何通过选择 SageMaker 中新引入的一组完成标准(例如最长调整时间、改进监控或收敛检测)来智能地停止调整作业。
我们通过实验证明,与不定义完成标准相比,基于跨迭代的改进观察的智能停止可能会导致显着优化的预算和时间管理。
我们还表明,这些标准并不相互排斥,可以在调整模型时同时使用,以利用预算控制和最优收敛。
有关如何配置和运行自动模型调整的更多详细信息,请参阅 指定超参数调整作业设置.
作者简介
道格·姆巴亚 是一名高级合作伙伴解决方案架构师,专注于数据和分析。 Doug 与 AWS 合作伙伴密切合作,帮助他们在云中集成数据和分析解决方案。
柴特拉·马图尔 是 AWS 的首席解决方案架构师。 她指导客户和合作伙伴在 AWS 上构建高度可扩展、可靠、安全且经济高效的解决方案。 她对机器学习充满热情,并帮助客户使用 AWS AI/ML 服务将他们的 ML 需求转化为解决方案。 她拥有 5 项认证,包括 ML 专业认证。 在业余时间,她喜欢阅读、瑜伽和与女儿们共度时光。
雅罗斯拉夫·舍巴蒂 是 AWS 的机器学习工程师。 他主要致力于改进 Amazon SageMaker 平台并帮助客户充分利用其功能。 在业余时间,他喜欢去健身房、进行滑冰或徒步旅行等户外运动,以及了解新的 AI 研究。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- Able
- 关于
- 以上
- 账号管理
- 实现
- 横过
- 增加
- 额外
- 优点
- 后
- AI
- 研究
- AI / ML
- 算法
- 所有类型
- 已经
- Amazon
- 亚马逊SageMaker
- 量
- 分析
- 和
- 应用的
- 自动表
- 自动
- AWS
- 基于
- before
- 作为
- 得益
- 好处
- 最佳
- 更好
- 之间
- 超越
- 界
- 带来
- 预算
- 建筑物
- 被称为
- 案件
- 摔角
- 一定
- 证书
- 认证
- 挑战
- 选择
- 密切
- 云端技术
- 组合
- 相比
- 对照
- 完成
- 完成
- 完成对
- 完成
- 计算
- 配置
- 控制
- 收敛
- 价格
- 节约成本
- 经济有效
- 成本
- 可以
- 标准
- 电流
- 合作伙伴
- data
- 定义
- 定义
- 证明
- 期望
- 详情
- 检测
- 不同
- 已优惠
- 讨论
- 讨论
- 不会
- 别
- 每
- 早
- 启用
- 工程师
- 确保
- 估计
- 估计
- 评估
- 一切
- 例子
- 独家
- 现有
- 昂贵
- 实验
- 勘探
- 探索
- 熟悉
- 专栏
- 特征
- 找到最适合您的地方
- 寻找
- 发现
- 姓氏:
- 专注焦点
- 以下
- 公式
- ,
- 通常
- 得到
- 特定
- 给予
- Go
- 目标
- 非常好
- 指南
- 健身房
- 有
- 帮助
- 帮助
- 更高
- 高度
- 持有
- 创新中心
- How To
- 但是
- HTML
- HTTPS
- 超参数优化
- 超参数调整
- ICE
- 鉴定
- 改善
- 改进
- 改善
- 改善
- in
- 其他
- 包含
- 增加
- 个人
- 原来
- 整合
- 智能化
- 介绍
- 推出
- IT
- 迭代
- 迭代
- 工作
- 工作机会
- 知道
- 已知
- 大
- 层
- 铅
- 学习
- 导致
- 让
- Level
- 容易
- 极限
- 有限
- 不再
- 机
- 机器学习
- 颠覆性技术
- 许多
- 营销
- 最大
- 生产力
- 最多
- 手段
- 会见
- 方法
- 公
- 指标
- 最小化
- ML
- 模型
- 模型
- 监控
- 显示器
- 更多
- 最先进的
- 多
- 相互
- 需要
- 全新
- 数
- 目标
- 目标
- 观察
- 一
- 运营
- 最佳
- 优化
- 优化
- 附加选项
- 其他名称
- 最划算
- 参数
- 部分
- 合伙人
- 伙伴
- 多情
- 性能
- 期
- 相
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 帖子
- 平台精度
- 预测
- 先前
- 校长
- 市场问题
- 问题
- 过程
- 生产
- 预计
- 提供
- 优
- 质量
- 达到
- 达到
- 阅读
- 合理
- 关系
- 可靠
- 报道
- 研究
- 资源
- 资源
- 导致
- 导致
- 成果
- 运行
- 牺牲
- sagemaker
- SageMaker 自动模型调整
- 储
- 可扩展性
- 搜索
- 其次
- 秒
- 安全
- 选择
- 选择
- 前辈
- 特色服务
- 集
- 设置
- 设置
- 应该
- 显示
- 显著
- 显著
- 小
- 小
- So
- 方案,
- 解决方案
- 解决
- 一些
- 太空
- 其他
- 具体的
- 指定
- 花费
- 自旋
- 运动
- Stop 停止
- 停止
- 停车
- 车站
- 这样
- SUPPORT
- 支持
- 支持
- 采取
- 目标
- 任务
- 条款
- 其
- 第三
- 三
- 门槛
- 通过
- 次
- 时
- 至
- 也有
- 合计
- 产品培训
- 翻译
- 普遍
- 使用
- 用例
- 用户
- 验证
- 折扣值
- 版本
- 方法
- 什么是
- 这
- WHO
- 将
- 中
- 也完全不需要
- 话
- 合作
- 将
- 产量
- 瑜伽
- 完全
- 您一站式解决方案
- 和风网