这是一篇与普华永道的 Vik Pant 和 Kyle Bassett 共同撰写的客座博文。
随着组织越来越多地投资于机器学习 (ML),采用 ML 已成为业务转型战略不可或缺的一部分。 最近的普华永道首席执行官 公布的数据显示,84% 的加拿大 CEO 同意人工智能 (AI) 将在未来 5 年内显着改变他们的业务,使这项技术比以往任何时候都更加重要。 然而,将 ML 实施到生产中需要考虑各种因素,特别是能够安全、战略性和负责任地驾驭 AI 世界。 成为 AI 驱动的第一步,尤其是一个巨大的挑战,是有效地开发可以在云中可持续扩展的 ML 管道。 从生成和维护模型而不是模型本身的管道的角度来考虑 ML,有助于构建通用且有弹性的预测系统,这些系统能够更好地承受相关数据随时间发生的有意义的变化。
许多组织以以模型为中心的观点开始他们进入 ML 世界的旅程。 在构建 ML 实践的早期阶段,重点是训练受监督的 ML 模型,这些模型是从数据(通常是历史数据)中学习的输入(自变量)和输出(因变量)之间关系的数学表示。 模型是获取输入数据、对其执行计算和计算并生成预测或推论的数学工件。
尽管这种方法是一个合理且相对简单的起点,但由于模型训练、调整、测试和试验活动的手动和临时性质,它本身不具有可扩展性或本质上的可持续性。 在 ML 领域具有更高成熟度的组织采用 ML 操作 (MLOps) 范例,该范例包含持续集成、持续交付、持续部署和持续培训。 这种范式的核心是以管道为中心的观点,用于开发和操作工业强度的 ML 系统。
在这篇文章中,我们首先概述 MLOps 及其优势,描述简化其实现的解决方案,并提供有关架构的详细信息。 我们以一个案例研究结束,该案例研究强调了实施该解决方案的大型 AWS 和普华永道客户实现的收益。
背景
MLOps 管道是一组相互关联的步骤序列,用于在生产中构建、部署、操作和管理一个或多个 ML 模型。 这样的管道包含构建、测试、调整和部署 ML 模型所涉及的阶段,包括但不限于数据准备、特征工程、模型训练、评估、部署和监控。 因此,ML 模型是 MLOps 管道的产物,而管道是用于创建一个或多个 ML 模型的工作流。 此类管道支持用于构建、校准、评估和实施 ML 模型的结构化和系统化流程,并且模型本身会生成预测和推论。 通过自动化管道阶段的开发和操作,组织可以缩短交付模型的时间,提高模型在生产中的稳定性,并改善数据科学家、软件工程师和 IT 管理员团队之间的协作。
解决方案概述
AWS 提供全面的云原生服务组合,用于以可扩展和可持续的方式开发和运行 MLOps 管道。 亚马逊SageMaker 包含全面的功能组合,作为完全托管的 MLOps 服务,使开发人员能够在云中创建、训练、部署、操作和管理 ML 模型。 SageMaker 涵盖整个 MLOps 工作流程,从收集到准备和训练数据,内置高性能算法和复杂的自动化 ML (AutoML) 实验,以便公司可以选择适合其业务优先级和偏好的特定模型。 SageMaker 使组织能够协作自动化大部分 MLOps 生命周期,这样他们就可以专注于业务成果,而不会冒项目延迟或成本上升的风险。 通过这种方式,SageMaker 使企业能够专注于结果,而不必担心与支持工业强度预测服务相关的基础设施、开发和维护。
SageMaker 包括 亚马逊SageMaker JumpStart,它为寻求加速其 MLOps 旅程的组织提供开箱即用的解决方案模式。 组织可以从预训练和开源模型开始,这些模型可以通过再训练和迁移学习进行微调以满足他们的特定需求。 此外,JumpStart 还提供旨在解决常见用例的解决方案模板,以及带有预写入门代码的示例 Jupyter 笔记本。 只需访问 JumpStart 登录页面即可访问这些资源 亚马逊SageMaker Studio.
PwC 构建了一个预打包的 MLOps 加速器,可以进一步加快实现价值的时间并提高使用 SageMaker 的组织的投资回报率。 该 MLOps 加速器通过集成互补的 AWS 服务增强了 JumpStart 的原生功能。 PwC 的 MLOps 加速器凭借一套全面的技术工件,包括基础架构即代码 (IaC) 脚本、数据处理工作流、服务集成代码和管道配置模板,简化了开发和运行生产级预测系统的过程。
架构概述
将来自 AWS 的云原生无服务器服务纳入普华永道 MLOps 加速器的架构中是优先考虑的事情。 该加速器的入口点是任何协作工具,例如 Slack,数据科学家或数据工程师可以使用该工具为 MLOps 请求 AWS 环境。 这样的请求被解析,然后使用该协作工具中的工作流功能完全或半自动地批准。 请求获得批准后,其详细信息将用于参数化 IaC 模板。 这些 IaC 模板的源代码在 AWS 代码提交. 这些参数化的 IaC 模板被提交给 AWS CloudFormation 用于建模、配置和管理 AWS 和第三方资源的堆栈。
下图说明了工作流程。
在 AWS CloudFormation 为 AWS 上的 MLOps 预置环境后,该环境就可供数据科学家、数据工程师及其合作者使用。 PWC 加速器包括预定义的角色 AWS身份和访问管理 (IAM) 与 MLOps 活动和任务相关。 这些角色指定 MLOps 环境中的服务和资源,各种用户可以根据他们的工作配置文件访问这些服务和资源。 访问 MLOps 环境后,用户可以访问 SageMaker 上的任何模态以履行其职责。 这些包括 SageMaker 笔记本实例, 亚马逊SageMaker自动驾驶仪 实验和工作室。 您可以受益于 SageMaker 的所有特性和功能,包括模型训练、调优、评估、部署和监控。
该加速器还包括与 亚马逊数据区 用于跨组织边界大规模共享、搜索和发现数据,以生成和丰富模型。 同样,用于训练、测试、验证和检测模型漂移的数据可以来自各种服务,包括 亚马逊Redshift, 亚马逊关系数据库服务 (亚马逊 RDS), 亚马逊弹性文件系统 (亚马逊 EFS),以及 亚马逊简单存储服务 (亚马逊 S3)。 预测系统可以通过多种方式部署,包括直接作为 SageMaker 端点、SageMaker 端点包装在 AWS Lambda 函数,以及通过自定义代码调用的 SageMaker 端点 Amazon Elastic Kubernetes服务 (Amazon EKS)或 亚马逊弹性计算云 (Amazon EC2)。 亚马逊CloudWatch 用于全面监控 AWS 上 MLOps 的环境,以观察来自整个堆栈(应用程序、基础设施、网络和服务)的警报、日志和事件数据。
下图说明了此体系结构。
案例研究
在本节中,我们分享了加拿大一家大型保险公司的说明性案例研究。 它侧重于实施 PwC Canada 的 MLOps 加速器和 JumpStart 模板所产生的变革性影响。
该客户与 PwC Canada 和 AWS 合作,以解决模型开发效率低下和部署流程效率低下、缺乏一致性和协作以及难以扩展 ML 模型等挑战。 此 MLOps 加速器与 JumpStart 模板的实施实现了以下目标:
- 端到端自动化 – 自动化将数据预处理、模型训练、超参数调整以及模型部署和监控的时间减半
- 协作和标准化 – 促进整个组织一致性的标准化工具和框架几乎使模型创新速度翻了一番
- 模型治理和合规性 – 他们实施了模型治理框架,以确保所有 ML 模型都符合监管要求并遵守公司的道德准则,从而将风险管理成本降低了 40%
- 可扩展的云基础设施 – 他们投资于可扩展的基础架构,以有效管理海量数据并同时部署多个 ML 模型,从而将基础架构和平台成本降低 50%
- 快速部署 – 预打包解决方案将生产时间缩短了 70%
通过快速部署包提供 MLOps 最佳实践,我们的客户能够降低其 MLOps 实施的风险,并释放 ML 在一系列业务功能(例如风险预测和资产定价)方面的全部潜力。 总体而言,PwC MLOps 加速器和 JumpStart 之间的协同作用使我们的客户能够简化、扩展、保护和维持他们的数据科学和数据工程活动。
需要注意的是,PwC 和 AWS 的解决方案并非特定于行业,而是跨行业和跨部门的。
结论
SageMaker 及其加速器使组织能够提高其 ML 程序的生产力。 有很多好处,包括但不限于以下内容:
- 协作创建 IaC、MLOps 和 AutoML 用例,以实现标准化带来的业务优势
- 使用 IaC、MLOps 和 AutoML 实现高效的实验性原型制作,无论是否使用代码,以从开发到部署的过程中加速 AI
- 使用 AutoML 自动执行繁琐、耗时的任务,例如特征工程和超参数调整
- 采用连续模型监控范例,使 ML 模型使用的风险与企业风险偏好保持一致
请联系这篇文章的作者, AWS 咨询加拿大或 加拿大普华永道 了解有关 Jumpstart 和 PwC 的 MLOps 加速器的更多信息。
作者简介
维克 是加拿大普华永道云和数据实践的合伙人,他在多伦多大学获得信息科学博士学位。 他确信他的生物神经网络和他在 SageMaker 上训练的人工神经网络之间存在心灵感应联系。 与他联系 LinkedIn.
凯尔 是加拿大普华永道云和数据实践的合伙人,与他的技术炼金术士精锐团队一起,他们编织了迷人的 MLOP 解决方案,以加速的商业价值吸引客户。 凭借人工智能的力量和一点魔法,凯尔将复杂的挑战变成了数字童话,使不可能成为可能。 与他联系 LinkedIn.
弗朗索瓦 是 AWS 加拿大专业服务部的首席咨询顾问,也是加拿大数据和创新咨询业务的负责人。 他指导客户建立和实施他们的整体云之旅和数据计划,重点关注愿景、战略、业务驱动因素、治理、目标运营模型和路线图。 与他联系 LinkedIn.
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图爱流。 Web3 数据智能。 知识放大。 访问这里。
- 与 Adryenn Ashley 一起铸造未来。 访问这里。
- 使用 PREIPO® 买卖 PRE-IPO 公司的股票。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/accelerate-machine-learning-time-to-value-with-amazon-sagemaker-jumpstart-and-pwcs-mlops-accelerator/
- :具有
- :是
- :不是
- $UP
- 100
- 7
- a
- Able
- 关于
- 加快
- 加速
- 加速器
- 加速器
- ACCESS
- 访问
- 访问
- 实现
- 横过
- 活动
- Ad
- 另外
- 地址
- 管理员
- 采用
- 采用
- advisory
- 后
- AI
- 算法
- 对齐
- 所有类型
- 让
- 允许
- 沿
- 还
- Amazon
- Amazon EC2
- 亚马逊RDS
- 亚马逊SageMaker
- 亚马逊SageMaker JumpStart
- 亚马逊网络服务
- 量
- an
- 和
- 任何
- 应用领域
- 的途径
- 批准
- 架构
- 保健
- 武装的
- 人造的
- 人工智能
- 人工智能(AI)
- AS
- 评估
- 财富
- 相关
- At
- 作者
- 自动化
- 自动化
- 自动化
- 自动化和干细胞工程
- AutoML
- AWS
- AWS CloudFormation
- AWS专业服务
- 基于
- BE
- 成为
- 成为
- 作为
- 得益
- 好处
- 最佳
- 最佳实践
- 更好
- 之间
- 博客
- 边界
- 建立
- 建筑物
- 建
- 内建的
- 商业
- 业务功能
- 业务转型
- 企业
- 但是
- by
- 计算
- CAN
- 加拿大
- 加拿大
- 能力
- 案件
- 案例研究
- 例
- 中央
- CEO
- 老总
- 挑战
- 挑战
- 更改
- 更改
- 客户
- 客户
- 云端技术
- 云基础设施
- 码
- 合作
- 收藏
- COM的
- 购买的订单均
- 相当常见
- 公司
- 公司
- 公司的
- 补充
- 完成
- 复杂
- 全面
- 包含
- 计算
- 计算
- 音乐会
- 配置
- 分享链接
- 地都
- 连接
- 注意事项
- 顾问
- CONTACT
- 连续
- 成本
- 盖
- 裂纹
- 创建信息图
- 创造
- 危急
- 习俗
- 顾客
- 合作伙伴
- data
- 资料准备
- 数据处理
- 数据科学
- 数据科学家
- 数据库
- 延误
- 交付
- 交货
- 依赖的
- 部署
- 部署
- 部署
- 部署
- 描述
- 设计
- 详情
- 开发
- 发展
- 研发支持
- 困难
- 数字
- 直接
- 发现
- 域
- 翻倍
- 驱动程序
- 两
- 早
- 赚
- 只
- 高效
- enable
- 启用
- 使
- 包含
- 工程师
- 工程师
- 工程师
- 提高
- 增强
- 丰富
- 确保
- 企业
- 整个
- 条目
- 环境
- 建立
- 伦理
- 评估
- 事件
- EVER
- 例子
- 实验
- 专栏
- 特征
- 文件
- 完
- 姓氏:
- 第一步
- 适合
- 专注焦点
- 重点
- 聚焦
- 以下
- 针对
- 骨架
- 框架
- 止
- ,
- 充分
- 功能
- 进一步
- 生成
- 治理
- 大
- 更大的
- 客人
- 方针
- 指南
- 减半
- he
- 帮助
- 高性能
- 突出
- 他
- 他的
- 历史的
- 但是
- HTML
- HTTP
- HTTPS
- 超参数调整
- 身分
- 说明
- 影响力故事
- 实施
- 履行
- 实施
- 实施
- 不可能
- 改善
- in
- 包括
- 包括
- 包含
- 包容
- 增加
- 增加
- 日益
- 独立
- 行业
- 行业中的应用:
- 低效
- info
- 信息
- 基础设施
- 創新
- 输入
- 输入
- 保险
- 积分
- 整合
- 积分
- 房源搜索
- 成
- 本质
- 投资
- 投资
- 投资
- 调用
- 参与
- IT
- 它的
- 工作
- 旅程
- JPG
- 缺乏
- 着陆
- 大
- 铅
- 学习用品
- 知道
- 学习
- 生命周期
- 有限
- 机
- 机器学习
- 保持
- 保养
- 多数
- 制作
- 管理
- 管理
- 颠覆性技术
- 管理的
- 方式
- 手册
- 许多
- 大规模
- 数学的
- 到期
- 有意义的
- 满足
- ML
- 多播
- 模型
- 模型
- 显示器
- 监控
- 更多
- 多
- 本地人
- 自然
- 导航
- 几乎
- 需要
- 网络
- 网络
- 神经网络
- 神经网络
- 下页
- 特别是
- 笔记本
- 注意到
- 观察
- of
- 优惠精选
- on
- 一
- 开放源码
- 操作
- 操作
- 运营
- or
- 组织
- 组织
- 组织
- 我们的
- 超过
- 最划算
- 简介
- 包
- 页
- 范例
- 部分
- 合伙人
- 合作
- 模式
- 演出
- 管道
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 点
- 个人档案
- 可能
- 帖子
- 潜力
- 功率
- 供电
- 供电
- 在练习上
- 做法
- 预测
- 预测
- 喜好
- 准备
- 价格
- 校长
- 优先
- 过程
- 过程
- 处理
- 产品
- 生产
- 生产率
- 所以专业
- 简介
- 曲目
- 训练课程
- 项目
- 促进
- 原型
- 提供
- 提供
- 普华永道
- 范围
- 快
- 率
- 宁
- 准备
- 实现
- 合理
- 最近
- 减少
- 减少
- 减少
- 监管
- 有关
- 关系
- 相对
- 相应
- 请求
- 岗位要求
- 弹性
- 资源
- 成果
- 回报
- 风险
- 变更管理
- 冒着
- 路线图
- 角色
- 运行
- 安然
- sagemaker
- 可扩展性
- 鳞片
- 缩放
- 科学
- 科学家
- 科学家
- 脚本
- 搜索
- 部分
- 行业
- 安全
- 寻求
- 无服务器
- 服务
- 特色服务
- 集
- Share
- 共享
- 应该
- 显著
- 同样
- 简易
- 简化
- 只是
- 同时
- 松弛
- So
- 软件
- 方案,
- 解决方案
- 极致
- 来源
- 源代码
- 具体的
- 速度
- 稳定性
- 堆
- 堆栈
- 实习
- 开始
- 开始
- 步骤
- 存储
- 从战略
- 策略
- 策略
- 精简
- 结构化
- 工作室
- 学习
- 提交
- 这样
- 套房
- SUPPORT
- 可持续发展
- 协同
- 产品
- 滑车
- 采取
- 目标
- 任务
- 团队
- 队
- 科技
- 文案
- 专业技术
- 模板
- 条款
- 测试
- 比
- 这
- 世界
- 其
- 他们
- 他们自己
- 然后
- 那里。
- 博曼
- 他们
- 思维
- 第三方
- Free Introduction
- 通过
- 次
- 耗时的
- 至
- 工具
- 工具
- 多伦多
- 培训
- 产品培训
- 火车
- 转让
- 转型
- 变革
- 原来
- 一般
- 大学
- 开锁
- 亮相
- 用法
- 使用
- 用过的
- 用户
- 运用
- 折扣值
- 各种
- 各个
- 多才多艺
- 愿景
- 卷
- 是
- 方法..
- 方法
- we
- 编织
- 卷筒纸
- Web服务
- 井
- 这
- WHO
- 将
- 中
- 也完全不需要
- 工作流程
- 世界
- 包裹
- 年
- 完全
- 和风网