随着人工智能 (AI) 和机器学习 (ML) 技术已成为主流,许多企业已成功在生产中大规模构建由 ML 模型支持的关键业务应用程序。 然而,由于这些机器学习模型正在为企业做出关键的业务决策,因此企业在整个机器学习生命周期中添加适当的护栏非常重要。 Guardrails 确保模型生命周期中使用的代码、配置、数据和模型配置的安全性、隐私性和质量得到版本控制和保留。
对于企业来说,实施这些护栏变得越来越困难,因为企业内部的机器学习流程和活动变得越来越复杂,因为包含了需要多个利益相关者和角色贡献的深度参与流程。 除了数据工程师和数据科学家之外,还包括自动化和简化机器学习生命周期的操作流程。 此外,业务利益相关者的激增以及在某些情况下的法律和合规性审查需要有能力增加在整个机器学习生命周期中管理访问控制、活动跟踪和报告的透明度。
为 ML 模型开发、验证和使用提供系统可见性的框架称为 ML 治理。 在 AWS re:Invent 2022 期间, AWS 推出新的机器学习治理工具 亚马逊SageMaker 这简化了访问控制并提高了 ML 项目的透明度。 作为机器学习治理一部分的可用工具之一是 Amazon SageMaker 模型卡,它能够通过在整个模型生命周期中集中和标准化文档来创建模型信息的单一事实来源。
SageMaker 模型卡使您能够标准化模型的记录方式,从而实现模型从设计、构建、培训和评估的生命周期的可见性。 模型卡旨在成为有关模型的业务和技术元数据的单一事实来源,可以可靠地用于审计和文档目的。 它们提供了对于模型治理很重要的模型情况说明书。
当您扩展模型、项目和团队时,作为最佳实践,我们建议您采用多账户策略,为 ML 模型开发和部署提供项目和团队隔离。 有关改进 ML 模型治理的更多信息,请参阅 使用 Amazon SageMaker 改进机器学习模型的治理.
架构概述
架构实现如下:
- 数据科学账户——数据科学家进行实验 SageMaker 工作室 并构建 MLOps 设置以使用以下命令将模型部署到临时/生产环境 SageMaker 项目.
- ML 共享服务帐户 – 从数据科学帐户设置的 MLOps 将使用以下方式触发持续集成和持续交付 (CI/CD) 管道 AWS 代码提交 和 AWS 代码管道.
- 开发帐户 – CI/CD 管道将进一步触发该帐户中的 ML 管道,涵盖数据预处理、模型训练和模型评估和注册等后处理。 这些管道的输出将在中部署模型 SageMaker 端点 用于推理目的。 根据您的治理要求,数据科学和开发账户可以合并到单个 AWS 账户中。
- 数据帐户 – 在开发帐户中运行的 ML 管道将从该帐户中提取数据。
- 测试和生产帐户 – CI/CD 管道将在开发帐户之后继续部署,以在这些帐户中设置 SageMaker 端点配置。
- 安全和治理 – AWS Identity and Access Management (IAM)、AWS IAM Identity Center、AWS CloudTrail、AWS Key Management Service (AWS KMS)、Amazon CloudWatch 和 AWS Security Hub 等服务将在这些账户中使用,作为安全和治理的一部分。治理。
下图说明了此体系结构。
有关设置可扩展的多帐户 ML 架构的更多信息,请参阅 使用 Amazon SageMaker 为企业提供 MLOps 基础.
我们的客户需要能够跨账户共享模型卡,以通过模型卡中共享的信息来提高模型的可见性和治理。 现在,通过跨账户模型卡共享,客户可以享受多账户策略的优势,同时可以访问组织中的可用模型卡,从而加速协作并确保治理。
在这篇文章中,我们将展示如何使用模型卡的新跨账户共享功能跨模型开发生命周期 (MDLC) 账户设置和访问模型卡。 首先,我们将描述设置模型卡跨账户共享功能的场景和架构,然后深入探讨如何跨账户设置和访问共享模型卡的每个组件,以提高可见性和模型治理。
解决方案概述
在构建机器学习模型时,我们建议设置多帐户架构以提供工作负载隔离,从而提高安全性、可靠性和可扩展性。 在这篇文章中,我们将假设为客户流失用例构建和部署模型。 下面的架构图显示了推荐的方法之一 - 集中式模型卡 - 用于在多账户机器学习模型开发生命周期 (MDLC) 架构中管理模型卡。 但是,您也可以采用另一种方法,即中心辐射模型卡。 在这篇文章中,我们将仅关注集中式模型卡方法,但相同的原理可以扩展到中心辐射型方法。 主要区别在于每个分支帐户将维护自己的模型卡版本,并且将具有聚合和复制到集中帐户的流程。
下图说明了此体系结构。
架构实现如下:
- 首席数据科学家被通知使用 ML 解决客户流失用例,他们通过在 ML 共享服务帐户中为处于草稿状态的客户流失 V1 模型创建模型卡来启动 ML 项目
- 通过自动化,该模型卡可与 ML 开发帐户共享
- 数据科学家构建模型,并开始根据实验结果通过 API 将信息填充到模型卡中,并且模型卡状态设置为待审核
- 通过自动化,该模型卡与 ML 测试帐户共享
- ML 工程师 (MLE) 在 ML Test 帐户中运行集成和验证测试,并且中央注册表中的模型被标记为“待批准”
- 模型审批者使用中央模型卡中提供的支持文档审核模型结果,并批准模型卡进行生产部署。
- 通过自动化,该模型卡以只读模式与 ML Prod 帐户共享。
先决条件
在开始之前,请确保您具备以下先决条件:
- 二 AWS账户.
- 在这两个 AWS 账户中,具有管理员访问权限的 IAM 联合角色可以执行以下操作:
- 在 Amazon SageMaker 中创建、编辑、查看和删除模型卡。
- 在 AWS RAM 中创建、编辑、查看和删除资源共享。
有关更多信息,请参阅 AWS RAM 的 IAM 策略示例.
设置模型卡共享
创建模型卡的账户即为模型卡账户。 模型卡帐户中的用户与可以更新的共享帐户共享它们。 模卡账户内的用户可以通过以下方式分享自己的模卡 AWS 资源访问管理器 (AWS RAM)。 AWS RAM 可帮助您跨 AWS 账户共享资源。
在下一节中,我们将展示如何共享模型卡。
首先,如前所述,为客户流失用例创建一个模型卡。 在 Amazon SageMaker 控制台上,展开治理部分并选择 模型卡.
我们创建模型卡 草案 状态与名称 客户流失模型卡. 有关更多信息,请参阅 创建模型卡。 在此演示中,您可以将其余字段留空并创建模型卡。
或者,您可以使用以下 AWS CLI 命令创建模型卡:
现在,使用 AWS RAM 创建跨账户共享。 在 AWS RAM 控制台中,选择 创建资源共享.
输入资源共享的名称,例如“Customer-Churn-Model-Card-Share”。 在资源中 – 可选 部分,选择资源类型为 SageMaker 模型卡。 我们在上一步中创建的模型卡将出现在列表中。
选择该模型,它将显示在“选定的资源”部分中。 如以下步骤所示再次选择该资源,然后选择 下一页.
在下一页上,您可以选择托管权限。 您可以创建自定义权限或使用默认选项“AWSRAMPermissionSageMakerModelCards
”,然后选择 下一页. 有关更多信息,请参阅 管理 AWS RAM 中的权限.
在下一页上,您可以选择校长。 在选择主体类型下,选择 AWS 账户 并输入分享模型卡的账号ID。 选择 地址 并继续下一页。
在最后一页上,查看信息并选择“创建资源共享”。 或者,您可以使用以下命令 命令行界面 创建资源共享的命令:
在 AWS RAM 控制台上,您可以看到资源共享的属性。 确保共享资源、托管权限和共享主体位于“Associated
“ 状态。
使用 AWS RAM 创建资源共享后,可以向资源共享中指定的委托人授予对该共享资源的访问权限。
- 如果您开启与 AWS Organizations 的 AWS RAM 共享,并且您共享的委托人与共享账户位于同一组织中,则这些委托人在其账户管理员向其授予权限后即可获得访问权限。
- 如果您不启用与组织的 AWS RAM 共享,您仍然可以与组织中的各个 AWS 账户共享资源。 使用帐户中的管理员收到加入资源共享的邀请,他们必须接受邀请,资源共享中指定的主体才能访问共享资源。
- 如果资源类型支持,您还可以与组织外部的帐户共享。 使用帐户中的管理员收到加入资源共享的邀请,他们必须接受邀请,资源共享中指定的主体才能访问共享资源。
有关 AWS RAM 的更多信息,请参阅 AWS RAM 的术语和概念.
访问共享模型卡
现在我们可以登录共享AWS账户来访问模型卡了。 确保您使用允许访问 AWS RAM 的 IAM 权限(IAM 角色)访问 AWS 控制台。
通过 AWS RAM,您可以查看已添加到的资源共享、您可以访问的共享资源以及与您共享资源的 AWS 账户。 当您不再需要访问某个资源共享的共享资源时,也可以保留该资源共享。
要查看共享 AWS 账户中的模型卡:
- 导航到 与我共享:共享资源 AWS RAM 控制台中的页面。
- 确保您在创建共享的同一 AWS 区域中操作。
- 从模型帐户共享的模型将在列表中可用。 如果资源列表很长,那么您可以应用过滤器来查找特定的共享资源。 您可以应用多个过滤器来缩小搜索范围。
- 以下信息可用:
- 资源 ID – 资源的 ID。 这是我们之前在模型卡帐户中创建的模型卡的名称。
- 资源类型 – 资源类型。
- 最后分享日期 – 与您共享资源的日期。
- 资源份额 – 包含该资源的资源共享的数量。 选择值以查看资源份额。
- 所有者 ID – 拥有资源的主体的 ID。
您还可以使用 AWS CLI 选项访问模型卡。 对于使用正确凭证配置的 AWS IAM 策略,请确保您有权在 Amazon SageMaker 中创建、编辑和删除模型卡。 欲了解更多信息,请参阅 配置 AWS CLI.
您可以使用以下 AWS IAM 权限策略作为模板:
您可以运行以下 AWS CLI 命令来访问共享模型卡的详细信息。
现在您可以从此帐户更改此模型卡。
进行更改后,返回到模型卡帐户以查看我们在此共享帐户中所做的更改。
问题类型已更新为“Customer Churn Model
”,我们已将其作为 AWS CLI 命令输入的一部分提供。
清理
您现在可以删除您创建的模型卡。 确保删除您创建的用于共享模型卡的 AWS RAM 资源共享。
结论
在这篇文章中,我们概述了用于安全可靠地扩展和管理 ML 工作负载的多账户架构。 我们讨论了用于设置模型卡共享的架构模式,并说明了集中式模型卡共享模式的工作原理。 最后,我们在多个帐户之间设置模型卡共享,以提高模型开发生命周期的可见性和治理。 我们鼓励您尝试新模型的卡片共享功能,并让我们知道您的反馈。
关于作者
维沙奈克 是 Amazon Web Services (AWS) 的高级解决方案架构师。 他是一名建设者,乐于帮助客户完成业务需求并通过 AWS 解决方案和最佳实践解决复杂的挑战。 他的核心关注领域包括机器学习、DevOps 和容器。 在业余时间,Vishal 喜欢制作有关时空旅行和平行宇宙主题的短片。
拉姆·维塔尔 是 AWS 的首席 ML 解决方案架构师。 他拥有 20 多年设计和构建分布式、混合和云应用程序的经验。 他热衷于构建安全且可扩展的 AI/ML 和大数据解决方案,以帮助企业客户进行云采用和优化之旅,从而改善其业务成果。 闲暇时,他骑着摩托车,带着他两岁的小羊嘟嘟散步!
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 汽车/电动汽车, 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- 图表Prime。 使用 ChartPrime 提升您的交易游戏。 访问这里。
- 块偏移量。 现代化环境抵消所有权。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/use-amazon-sagemaker-model-cards-sharing-to-improve-model-governance/
- :具有
- :是
- :在哪里
- $UP
- 10
- 100
- 20
- 20 年
- 2022
- 361
- 7
- 700
- 9
- a
- 关于
- 加快
- 接受
- ACCESS
- 访问
- 访问
- 完成
- 账号管理
- 账户
- 实现
- 横过
- 操作
- 活动
- 活动
- 加
- 添加
- 增加
- 另外
- 采用
- 采用
- 后
- 再次
- 骨料
- AI
- AI / ML
- 让
- 还
- Amazon
- 亚马逊SageMaker
- 亚马逊网络服务
- 亚马逊网络服务(AWS)
- an
- 和
- 另一个
- APIs
- 出现
- 应用领域
- 使用
- 的途径
- 方法
- 架构
- 保健
- 国家 / 地区
- 人造的
- 人工智能
- 人工智能(AI)
- AS
- 承担
- At
- 属性
- 审计
- 自动化
- 自动化和干细胞工程
- 可使用
- AWS
- AWS身份和访问管理(IAM)
- AWS re:Invent
- 背部
- 基于
- BE
- 因为
- 成为
- 成为
- 很
- before
- 好处
- 最佳
- 最佳实践
- 大
- 大数据运用
- 都
- 建立
- 建设者
- 建筑物
- 建立
- 商业
- 商业应用
- 但是
- by
- 被称为
- CAN
- 能力
- 能力
- 卡
- 牌
- 案件
- 例
- Center
- 中央
- 集中
- 挑战
- 更改
- 云端技术
- 云采用
- 码
- 合作
- 复杂
- 符合
- 元件
- 概念
- 进行
- 配置
- 配置
- 安慰
- 消费
- 集装箱
- 继续
- 连续
- 捐款
- 控制
- 核心
- 正确
- 覆盖
- 创建信息图
- 创建
- 创建
- 资历
- 危急
- 习俗
- 顾客
- 合作伙伴
- data
- 数据科学
- 数据科学家
- 日期
- 决定
- 深
- 默认
- 交货
- 根据
- 部署
- 部署
- 部署
- 描述
- 描述
- 设计
- 详情
- 开发
- 研发支持
- 差异
- 讨论
- 分布
- 潜水
- do
- 文件
- 别
- 草案
- 两
- ,我们将参加
- 每
- 此前
- 效果
- enable
- 鼓励
- 端点
- 工程师
- 工程师
- 增强
- 享受
- 确保
- 输入
- 企业
- 企业
- 环境中
- 评估
- 例子
- 扩大
- 体验
- 实验
- 事实
- 专栏
- 联邦
- 反馈
- 字段
- 薄膜
- 过滤
- 过滤器
- 终于
- 找到最适合您的地方
- (名字)
- 专注焦点
- 以下
- 如下
- 针对
- 基金会
- 骨架
- 止
- 进一步
- 得到
- 越来越
- 给
- Go
- 治理
- 治理
- 授予
- 补助金
- 民政事务总署
- 更难
- 有
- 有
- he
- 帮助
- 帮助
- 帮助
- 他的
- 创新中心
- How To
- 但是
- HTML
- HTTPS
- 中心
- 杂交种
- ID
- 身分
- if
- 说明
- 实施
- 重要
- 改善
- 改善
- in
- 包括
- 包括
- 包容
- 个人
- 信息
- 输入
- 积分
- 房源搜索
- 拟
- 成
- 介绍
- 请帖
- 参与
- 隔离
- IT
- 它的
- 加入
- 旅程
- JPG
- 键
- 知道
- (姓氏)
- 学习
- 离开
- 法律咨询
- 让
- 生命周期
- 喜欢
- 清单
- 清单
- 日志
- 长
- 不再
- 爱
- 机
- 机器学习
- 制成
- 主要
- 主流
- 保持
- 使
- 制作
- 管理
- 颠覆性技术
- 经理
- 管理的
- 许多
- 标
- me
- 元数据
- ML
- 多播
- 时尚
- 模型
- 模型
- 更多
- 摩托车
- 多
- 多
- 必须
- 姓名
- 狭窄
- 需求
- 需要
- 全新
- 下页
- 没有
- 现在
- 数
- of
- on
- 一
- 仅由
- 操作
- 操作
- 优化
- 附加选项
- or
- 组织
- 组织
- 输出
- 结果
- 产量
- 学校以外
- 超过
- 简介
- 己
- 拥有
- 页
- 部分
- 多情
- 模式
- 有待
- 权限
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 政策
- 政策
- 帖子
- 供电
- 在练习上
- 做法
- 先决条件
- 以前
- 先前
- 校长
- 校长
- 原则
- 隐私
- 市场问题
- 过程
- 处理
- 生产
- 项目
- 项目
- 正确
- 提供
- 提供
- 提供
- 目的
- 质量
- 内存
- RE
- 只读模式
- 接收
- 接收
- 建议
- 建议
- 参考
- 地区
- 注册
- 注册处
- 可靠性
- 余
- 报告
- 要求
- 岗位要求
- 资源
- 资源
- 成果
- 检讨
- 评论
- 角色
- 运行
- 运行
- 运行
- sagemaker
- 同
- 可扩展性
- 可扩展性
- 鳞片
- 缩放
- 脚本
- 科学
- 科学家
- 科学家
- 搜索
- 部分
- 安全
- 安全
- 保安
- 看到
- 选
- 服务
- 特色服务
- 集
- 设置
- 格局
- Share
- 共用的,
- 分享
- 共享
- 片
- 短
- 显示
- 如图
- 作品
- 自
- 单
- So
- 解决方案
- 解决
- 一些
- 或很快需要,
- 来源
- 具体的
- 指定
- 利益相关者
- 标准化
- 开始
- 开始
- 启动
- 个人陈述
- Status
- 步
- 步骤
- 仍
- 策略
- 精简
- 成功
- 支持
- 支持
- 肯定
- 浪涌
- 团队
- 队
- 文案
- 技术
- 模板
- test
- 测试
- 这
- 信息
- 其
- 他们
- 主题
- 然后
- 那里。
- 从而
- 博曼
- 他们
- Free Introduction
- 那些
- 通过
- 始终
- 次
- 时间旅行
- 至
- 工具
- 跟踪
- 产品培训
- 用户评论透明
- 旅行
- 触发
- 真相
- 尝试
- 转
- 类型
- 下
- 宇宙
- 更新
- us
- 用法
- 使用
- 用例
- 用过的
- 用户
- 运用
- v1
- 验证
- 折扣值
- 版本
- 通过
- 查看
- VISHAL
- 能见度
- 是
- we
- 卷筒纸
- Web服务
- ,尤其是
- 这
- 而
- WHO
- 将
- 中
- 工作
- 年
- 完全
- 您一站式解决方案
- 和风网