Amazon SageMaker 模型卡 使您能够标准化模型的记录方式,从而实现模型从设计、构建、培训和评估的生命周期的可见性。 模型卡旨在成为有关模型的业务和技术元数据的单一事实来源,可以可靠地用于审计和文档目的。 它们提供了对于模型治理很重要的模型情况说明书。
到目前为止,模型卡在逻辑上与模型中的模型相关联。 Amazon SageMaker 模型注册表 使用型号名称匹配。 然而,当通过机器学习 (ML) 模型解决业务问题时,随着客户迭代问题,他们会创建模型的多个版本,并且需要操作和管理多个模型版本。 因此,他们需要能够将模型卡与特定模型版本相关联。
在这篇文章中,我们讨论了一项新功能,该功能支持在已部署的模型版本级别将模型卡与模型注册表集成。 我们讨论管理模型卡版本的解决方案架构和最佳实践,并逐步介绍如何设置、操作和管理模型卡与模型注册表中模型版本的集成。
解决方案概述
SageMaker 模型卡可帮助您从治理角度标准化模型记录,而 SageMaker 模型注册表可帮助您部署和操作 ML 模型。 模型注册表支持分层结构,用于组织和存储具有模型元数据信息的 ML 模型。
当组织使用机器学习解决业务问题(例如客户流失预测)时,我们建议执行以下步骤:
- 为要解决的业务问题创建一张模型卡。
- 为要解决的业务问题创建模型包组。
- 构建、训练、评估和注册模型包版本的第一个版本(例如 Customer Churn V1)。
- 更新将模型包版本链接到模型卡的模型卡。
- 当您迭代新的模型包版本时,克隆以前版本的模型卡并链接到新的模型包版本(例如,客户流失 V2)。
下图说明了 SageMaker 模型卡如何与模型注册表集成。
如上图所示,SageMaker 模型卡和模型注册表的集成允许您将模型卡与模型注册表中的特定模型版本关联。 这使您能够为注册的模型版本建立单一事实来源,并在 SageMaker 上模型旅程的所有阶段提供全面且标准化的文档,从而促进可发现性并促进整个模型生命周期的治理、合规性和问责制。
管理模型卡的最佳实践
在机器学习中进行治理运营是当今许多企业组织的关键要求,特别是在高度监管的行业中。 作为这些要求的一部分,AWS 提供了多种服务来实现 ML 环境的可靠运行。
SageMaker 模型卡在一个位置记录有关 ML 模型的关键详细信息,以简化治理和报告。 模型卡可帮助您捕获模型的预期用途和风险评级、培训详细信息和指标、评估结果和观察结果等详细信息,以及注意事项、建议和自定义信息等其他标注。
模型卡需要在整个开发过程中进行管理和更新 机器学习生命周期。 它们是机器学习中持续交付和管道的重要组成部分。 就像架构完善的 ML 项目在 MLOps 的保护下实现持续集成和持续交付 (CI/CD) 一样,持续的 ML 文档流程是许多受监管行业或高风险用例的关键功能。 模型卡是负责任且透明的 ML 开发最佳实践的一部分。
下图显示了模型卡应如何成为开发生命周期的一部分。
考虑以下最佳实践:
- 我们建议在项目生命周期的早期创建模型卡。 在项目的第一阶段,当你正在做的时候 确定业务目标 和 构建机器学习问题,您应该开始创建模型卡。 当您完成业务需求和重要性能指标的不同步骤时,您可以创建草稿状态的模型卡并确定业务详细信息和预期用途。
- 作为您的一部分 模型开发生命周期阶段,您应该使用模型注册表对用于生产的模型进行编目、管理模型版本并将元数据与模型关联。 模型注册表支持沿袭跟踪。
- 成功迭代并准备好将模型部署到生产环境后,就可以更新模型卡了。 在里面 部署生命周期阶段,您可以更新型号卡的型号详细信息。 您还应该更新培训详细信息、评估详细信息、道德考虑因素以及警告和建议。
模型卡具有与其关联的版本。 给定的模型版本在除模型卡状态之外的所有属性中都是不可变的。 如果您对模型卡进行任何其他更改,例如评估指标、描述或预期用途,SageMaker 会创建模型卡的新版本以反映更新的信息。 这是为了确保模型卡一旦创建就无法被篡改。 此外,每个唯一的模型名称只能有一个关联的模型卡,并且在创建模型卡后无法更改。
ML 模型是动态的,工作流自动化组件使您能够轻松扩展在生产中构建、训练、测试和部署数百个模型的能力,加快迭代速度,减少手动编排导致的错误,并构建可重复的机制。
因此,模型卡的生命周期将如下图所示。 每次在模型生命周期中更新模型卡时,都会自动创建模型卡的新版本。 每次迭代新的模型版本时,都会创建一个新的模型卡,该模型卡可以继承之前模型版本的部分模型卡信息,并遵循相同的生命周期。
先决条件
这篇文章假设您的模型注册表中已经有模型。 如果您想继续操作,可以使用 GitHub 上的以下 SageMaker 示例来填充模型注册表: SageMaker Pipelines 与 Model Monitor 和 Clarify 集成.
将模型卡与模型注册表中的模型版本集成
在这个例子中,我们有 model-monitor-clarify-group
包在我们的模型注册表中。
在该软件包中,有两个型号版本可供选择。
在此示例中,我们将模型的版本 1 链接到新模型卡。 在模型注册表中,您可以查看版本 1 的详细信息。
我们现在可以使用 SageMaker Python SDK 中的新功能。 来自 sagemaker.model_card ModelPackage
模块中,您可以从模型注册表中选择您想要将模型卡链接到的特定模型版本。
您现在可以为模型版本创建新的模型卡并指定 model_package_details
参数与检索到的先前模型包。 您需要在模型卡中填写所有必要的附加详细信息。 在这篇文章中,我们创建一个简单的模型卡作为示例。
然后,您可以使用该定义通过 SageMaker Python SDK 创建模型卡。
再次加载型号卡时,可以在下方看到关联的型号 "__model_package_details"
.
您还可以选择使用以下选项更新现有模型卡 model_package
如下面的示例代码片段所示:
最后,当在现有模型包中创建或更新新的模型包版本时,如果该模型包组中已存在模型卡,则某些信息(例如业务详细信息和预期用途)可以转移到新模型卡中。
清理
如果使用先决条件部分中提到的笔记本创建资源,则用户负责清理资源。 请按照笔记本中的说明清理资源。
结论
在这篇文章中,我们讨论了如何将 SageMaker 模型卡与模型注册表中的模型版本集成。 我们分享了解决方案架构以及实施模型卡的最佳实践,并展示了如何设置和操作模型卡以改善模型治理状况。 我们鼓励您尝试此解决方案并在评论部分分享您的反馈。
作者简介
拉姆·维塔尔 是 AWS 的首席 ML 解决方案架构师。 他拥有 20 多年设计和构建分布式、混合和云应用程序的经验。 他热衷于构建安全且可扩展的 AI/ML 和大数据解决方案,以帮助企业客户进行云采用和优化之旅,从而改善其业务成果。 闲暇时,他骑着摩托车,带着他两岁的小羊嘟嘟散步!
娜塔莎堡 是澳大利亚和新西兰公共部门的政府数据科学主管、AWS 的 SA 负责人。 她帮助组织引导他们的机器学习之旅,从框架机器学习问题到部署到生产中为他们提供支持,同时确保最佳架构实践到位以确保他们的成功。 Natacha 专注于 MLOps 和负责任的人工智能领域的组织。
- :具有
- :是
- $UP
- 1
- 100
- 20
- 20 年
- 7
- 8
- a
- 对,能力--
- 关于
- 问责制
- 实现
- 横过
- 额外
- 另外
- 采用
- 后
- 再次
- AI
- AI / ML
- 所有类型
- 允许
- 沿
- 已经
- 还
- Amazon
- 亚马逊SageMaker
- 亚马逊网络服务
- an
- 和
- 任何
- 应用领域
- 架构
- 保健
- AS
- 律师
- 相关
- 假设
- At
- 属性
- 审计
- 澳大利亚
- 自动
- 自动化和干细胞工程
- 可使用
- AWS
- BE
- 如下。
- 最佳
- 最佳实践
- 大
- 大数据运用
- 建立
- 建筑物
- 商业
- CAN
- 能力
- 捕获
- 卡
- 牌
- 进行
- 例
- 检索目录
- 变
- 更改
- 清洁
- 云端技术
- 云采用
- 码
- 注释
- 符合
- 组件
- 全面
- 注意事项
- 连续
- 创建信息图
- 创建
- 创建
- 创造
- 创建
- 危急
- 习俗
- 顾客
- 合作伙伴
- data
- 数据科学
- 定义
- 交货
- 部署
- 部署
- 部署
- 描述
- 描述
- 设计
- 详情
- 确定
- 研发支持
- 不同
- 讨论
- 讨论
- 分布
- 文件
- 文件
- 草案
- 两
- 动态
- 每
- 早
- 容易
- enable
- 使
- 鼓励
- 确保
- 企业
- 环境
- 故障
- 建立
- 伦理
- 评估
- 评估
- 所有的
- 例子
- 现有
- 存在
- 体验
- 促进
- 快
- 专栏
- 反馈
- 数字
- (名字)
- 重点
- 遵循
- 以下
- 针对
- 止
- GitHub上
- 特定
- 治理
- 政府
- 团队
- 有
- he
- 帮助
- 帮助
- 更高
- 高度
- 他的
- 创新中心
- How To
- 但是
- HTML
- HTTPS
- 数百
- 杂交种
- if
- 说明
- 一成不变
- 实施
- 器物
- 重要
- 改善
- in
- 行业
- 信息
- 开始
- 说明
- 整合
- 集成
- 整合
- 积分
- 拟
- 成
- IT
- 旅程
- JPG
- 铅
- 学习
- Level
- 生命周期
- 喜欢
- 血统
- 友情链接
- 链接
- 装载
- 看
- 占地
- 机
- 机器学习
- 使
- 制作
- 管理
- 管理
- 管理的
- 手册
- 许多
- 匹配
- 机制
- 提到
- 元数据
- 指标
- ML
- 多播
- 模型
- 模型
- 模块
- 显示器
- 摩托车
- 多
- 姓名
- 导航
- 必要
- 需求
- 全新
- 新西兰
- 特别是
- 笔记本
- 现在
- of
- on
- 一旦
- 一
- 仅由
- 操作
- 优化
- 附加选项
- or
- 管弦乐编曲
- 组织
- 组织
- 组织
- 其他名称
- 我们的
- 输出
- 结果
- 超过
- 包
- 参数
- 部分
- 特别
- 多情
- 性能
- 透视
- 相
- 地方
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 请
- 帖子
- 做法
- 预测
- 以前
- 校长
- 市场问题
- 过程
- 生产
- 项目
- 促进
- 提供
- 提供
- 国家
- 目的
- 蟒蛇
- 内存
- 等级
- 准备
- 建议
- 建议
- 减少
- 反映
- 寄存器
- 在相关机构注册的
- 注册处
- 监管
- 受管制行业
- 可靠
- 可重复的
- 报告
- 需求
- 岗位要求
- 资源
- 提供品牌战略规划
- 成果
- 风险
- SA
- sagemaker
- 同
- 可扩展性
- 鳞片
- 科学
- SDK
- 部分
- 扇形
- 安全
- 看到
- 特色服务
- 集
- 几个
- Share
- 共用的,
- 她
- 应该
- 显示
- 如图
- 作品
- 简易
- 单
- 片段
- 方案,
- 解决方案
- 解决
- 解决
- 一些
- 来源
- 具体的
- 实习
- Status
- 步骤
- 存储
- 精简
- 结构体
- 成功
- 顺利
- 这样
- 支持
- 支持
- 肯定
- 文案
- test
- 比
- 这
- 其
- 他们
- 然后
- 从而
- 因此
- 他们
- Free Introduction
- 那些
- 通过
- 始终
- 次
- 至
- 今晚
- 跟踪
- 培训
- 产品培训
- 透明
- 真相
- 尝试
- 二
- 伞
- 下
- 独特
- 更新
- 更新
- 更新
- 使用
- 用过的
- 使用
- 运用
- v1
- 版本
- 版本
- 能见度
- 想
- 方法..
- we
- 卷筒纸
- Web服务
- 为
- ,尤其是
- 而
- 将
- 工作
- 工作流程
- 加工
- 将
- 年
- 完全
- 您一站式解决方案
- 新西兰
- 和风网