在云中运行机器学习 (ML) 实验可以跨越许多服务和组件。 构建、自动化和跟踪 ML 实验的能力对于实现 ML 模型的快速开发至关重要。 借助自动化机器学习 (AutoML) 领域的最新进展,即致力于 ML 流程自动化的 ML 领域,您可以构建准确的决策模型,而无需深入的 ML 知识。 在这篇文章中,我们关注 AutoGluon,这是一个开源 AutoML 框架,它允许您使用几行 Python 构建准确的 ML 模型。
AWS 提供了广泛的服务来管理和运行 ML 工作流程,让您可以根据自己的技能和应用程序选择解决方案。 例如,如果您已经使用 AWS步骤功能 要编排分布式应用程序的组件,您可以使用相同的服务来构建和自动化您的 ML 工作流。 AWS 提供的其他 MLOps 工具包括 Amazon SageMaker管道,这使您能够在 亚马逊SageMaker Studio 具有 MLOps 功能(例如 CI/CD 兼容性、模型监控和模型批准)。 开源工具,例如 阿帕奇气流— 在 AWS 上通过 适用于 Apache Airflow 的 Amazon 托管工作流-和 库贝流,以及混合解决方案,也受支持。 例如,您可以使用 Step Functions 管理数据摄取和处理,同时使用 SageMaker Pipelines 训练和部署您的 ML 模型。
在这篇文章中,我们展示了即使是没有 ML 专业知识的开发人员也可以使用 AutoGluon 轻松构建和维护最先进的 ML 模型 亚马逊SageMaker 和 Step Functions 来编排工作流组件。
在对 AutoGluon 算法进行概述之后,我们将介绍工作流定义以及示例和 代码教程 您可以将其应用于您自己的数据。
自动胶
AutoGluon 是一个开源 AutoML 框架,它通过只用几行 Python 代码训练准确的 ML 模型来加速 ML 的采用。 尽管这篇文章侧重于表格数据,但 AutoGluon 还允许您训练用于图像分类、对象检测和文本分类的最先进模型。 AutoGluon 表格创建并组合不同的模型以找到最佳解决方案。
AWS 的 AutoGluon 团队发布了一个 纸 介绍了构建图书馆的原则:
- 简单 – 您可以直接从原始数据创建分类和回归模型,而无需分析数据或执行特征工程
- 鲁棒性 – 即使某些个别模型失败,整体训练过程也应该成功
- 可预测的时机 – 您可以在您想要投入培训的时间内获得最佳结果
- 容错 – 您可以随时停止和恢复训练,如果该过程在云中的点图像上运行,则可以优化成本
有关该算法的更多详细信息,请参阅 纸 由 AWS 的 AutoGluon 团队发布。
安装后 AutoGluon 封装 及其依赖项,训练模型就像编写三行代码一样简单:
AutoGluon 团队通过在多个 Kaggle 比赛中进入前 10 名排行榜证明了框架的实力。
解决方案概述
我们使用 Step Functions 来实施涵盖训练、评估和部署的 ML 工作流。 管道设计通过修改您在运行时输入管道的输入参数来实现快速且可配置的实验。
您可以配置管道以实现不同的工作流,例如:
- 如果此时不需要部署,则训练新的 ML 模型并将其存储在 SageMaker 模型注册表中
- 部署预训练的 ML 模型,用于在线(SageMaker端点) 或离线 (SageMaker批量转换) 推断
- 运行完整的管道以从头开始训练、评估和部署 ML 模型
解决方案包括一般 状态机 (参见下图),它根据一组输入参数编排要运行的一组操作。
状态机的步骤如下:
- 第一步
IsTraining
决定我们是使用预训练模型还是从头开始训练模型。 如果使用预训练模型,状态机跳到第 7 步。 - 当需要新的 ML 模型时,
TrainSteps
触发第二个状态机,该状态机执行所有必要的操作并将结果返回到当前状态机。 我们将在下一节中详细介绍训练状态机。 - 训练结束后,
PassModelName
将训练作业名称存储在状态机上下文的指定位置,以便在以下状态中重用。 - 如果选择了评估阶段,
IsEvaluation
将状态机重定向到评估分支。 否则,它跳到第 7 步。 - 然后使用 AWS Lambda 调用的函数
ModelValidation
步。 Lambda 函数检索测试集上的模型性能,并将其与输入参数中指定的用户可配置阈值进行比较。 以下代码是评估结果的示例: - 如果模型评估在
EvaluationResults
成功后,状态机继续执行最终的部署步骤。 如果模型的执行低于用户定义的标准,则状态机停止并跳过部署。 - 如果选择部署,
IsDeploy
通过启动第三个状态机DeploySteps
,我们将在本文后面描述。 如果不需要部署,状态机将在此处停止。
一组输入参数样本可在 GitHub回购.
训练状态机
使用 AutoGluon 训练新 ML 模型的状态机由两个步骤组成,如下图所示。 第一步是创建模型的 SageMaker 训练作业。 第二个将条目保存在 SageMaker 模型注册表中。
您可以将这些步骤作为主状态机的一部分自动运行,也可以作为独立进程运行。
部署状态机
现在让我们看看专用于部署阶段的状态机(见下图)。 如前所述,该架构同时支持在线和离线部署。 前者包括部署 SageMaker 端点,而后者运行 SageMaker 批量转换作业。
实施步骤如下:
ChoiceDeploymentMode
查看输入参数以定义需要哪种部署模式,并将状态机指向相应的分支。- 如果选择了端点,则
EndpointConfig
step 定义了它的配置,而CreateEndpoint
开始分配所需计算资源的过程。 此分配可能需要几分钟,因此状态机在WaitForEndpoint
并使用 Lambda 函数轮询端点状态。 - 在配置端点时,
ChoiceEndpointStatus
返回到WaitForEndpoint
状态,否则它继续DeploymentFailed
orDeploymentSucceeded
. - 如果选择离线部署,状态机将运行 SageMaker 批量转换作业,之后状态机将停止。
结论
这篇文章介绍了一个易于使用的管道来编排 AutoML 工作流程并在云中实现快速实验,从而无需高级 ML 知识即可提供准确的 ML 解决方案。
我们提供一个通用管道以及两个模块化管道,允许您在需要时分别执行训练和部署。 此外,该解决方案与 SageMaker 完全集成,受益于其功能和计算资源。
现在开始 代码教程 将本文中介绍的资源部署到您的 AWS 账户并运行您的第一个 AutoML 实验。
作者简介
费德里科·皮奇尼尼 是亚马逊机器学习解决方案实验室的深度学习架构师。 他对机器学习、可解释的 AI 和 MLOps 充满热情。 他专注于为 AWS 客户设计 ML 管道。 工作之余,他喜欢运动和披萨。
保罗·伊雷拉 是亚马逊机器学习解决方案实验室的一名数据科学家,他帮助客户解决与 ML 和云功能相关的业务问题。 他拥有巴黎 Telecom ParisTech 的计算机视觉博士学位。
- "
- 10
- 100
- 7
- a
- 对,能力--
- 关于我们
- 账号管理
- 精准的
- 横过
- 行动
- 地址
- 采用
- 高级
- 进步
- AI
- 算法
- 所有类型
- 分配
- 允许
- 允许
- 已经
- 尽管
- Amazon
- 分析
- 应用领域
- 应用领域
- 使用
- 架构
- 国家 / 地区
- 自动化
- 自动化
- 自动
- 自动化
- 可使用
- AWS
- 作为
- 如下。
- 建立
- 商业
- 可以得到
- 能力
- 选择
- 分类
- 云端技术
- 码
- 兼容性
- 比赛
- 完成
- 组件
- 一台
- 计算
- 配置
- 继续
- 相应
- 成本
- 创建信息图
- 创建
- 标准
- 电流
- 当前状态
- 合作伙伴
- data
- 数据科学家
- 专用
- 深
- 部署
- 部署
- 部署
- 描述
- 设计
- 设计
- 细节
- 详情
- 检测
- 开发
- 研发支持
- 不同
- 直接
- 分布
- 容易
- 易于使用
- enable
- 使
- 端点
- 必要
- 评估
- 评估
- 例子
- 例子
- 专门知识
- 高效率
- 专栏
- 特征
- 姓氏:
- 重点
- 以下
- 如下
- 骨架
- 止
- 功能
- 功能
- 总类
- 有
- 帮助
- 点击此处
- 持有
- 创新中心
- HTTPS
- 杂交种
- 图片
- 图片
- 实施
- 履行
- 实施
- 包括
- 个人
- 输入
- 安装
- 集成
- IT
- 工作
- 知识
- 实验室
- 最新
- 学习
- 自学资料库
- 线
- 圖書分館的位置
- 看
- 机
- 机器学习
- 保持
- 管理
- 管理
- 提到
- ML
- 模型
- 模型
- 模块化
- 监控
- 更多
- 多
- 亦即
- 必要
- 需要
- 下页
- 最多线路
- 优惠精选
- 这一点在线下监测数字化产品的影响方面尤为明显。
- 在线
- 其他名称
- 除此以外
- 最划算
- 己
- 巴黎
- 部分
- 多情
- 表演
- 执行
- 相
- 比萨饼
- 英寸
- 当下
- 礼物
- 问题
- 过程
- 过程
- 处理
- 提供
- 范围
- 原
- 发布
- 必须
- 资源
- 成果
- 简历
- 回报
- 运行
- 同
- 科学家
- 选
- 服务
- 特色服务
- 集
- 几个
- 显示
- 技能
- So
- 方案,
- 解决方案
- 一些
- 运动
- Spot
- 独立
- 开始
- 启动
- 州/领地
- 国家的最先进的
- 州
- Status
- 商店
- 商店
- 实力
- 成功
- 支持
- 支持
- 团队
- 电信
- test
- 三
- 门槛
- 通过
- 次
- 工具
- 最佳
- 向
- 跟踪时
- 培训
- 产品培训
- 改造
- 使用
- 愿景
- 是否
- 而
- 中
- 也完全不需要
- 工作
- 工作流程
- 写作
- 您一站式解决方案