这篇文章由汤森路透的 Ramdev Wudali 和 Kiran Mantripragada 共同撰写。
1992年, 汤森路透 (TR) 发布了其首个人工智能法律研究服务 WIN(Westlaw Is Natural),这在当时是一项创新,因为大多数搜索引擎仅支持布尔术语和连接符。 从那时起,TR 取得了更多的里程碑,其人工智能产品和服务的数量和种类不断增加,为全球法律、税务、会计、合规和新闻服务专业人士提供支持,每年产生数十亿机器学习 (ML) 见解.
随着 AI 服务的大幅增加,TR 的下一个里程碑是简化创新并促进协作。 标准化跨业务职能和人工智能从业者角色的人工智能解决方案的构建和重用,同时确保遵守企业最佳实践:
- 自动化和标准化重复的无差别工程工作
- 根据通用治理标准确保对敏感数据进行必要的隔离和控制
- 提供对可扩展计算资源的轻松访问
为了满足这些要求,TR 围绕以下五个支柱构建了企业 AI 平台:数据服务、实验工作区、中央模型注册表、模型部署服务和模型监控。
在这篇文章中,我们讨论了 TR 和 AWS 如何合作开发 TR 的第一个企业 AI 平台,这是一个基于 Web 的工具,可提供 ML 实验、培训、中央模型注册表、模型部署和模型监控等功能。 所有这些功能都是为了应对 TR 不断发展的安全标准而构建的,并为最终用户提供简单、安全和合规的服务。 我们还分享了 TR 如何通过单一管理平台对跨不同业务部门创建的 ML 模型进行监控和治理。
挑战
从历史上看,在 TR,ML 一直是拥有高级数据科学家和工程师的团队的能力。 拥有高技能资源的团队能够根据他们的需要实施复杂的 ML 流程,但很快就会变得非常孤立。 孤立的方法没有提供任何可见性来提供对极其关键的决策预测的治理。
TR 业务团队拥有丰富的领域知识; 然而,ML 所需的技术技能和繁重的工程工作使得他们很难利用他们深厚的专业知识来借助 ML 的力量解决业务问题。 TR 希望使技能大众化,使组织内的更多人可以使用它。
TR 中的不同团队遵循自己的实践和方法。 TR 希望为用户构建跨越 ML 生命周期的功能,通过使团队能够专注于业务目标而不是重复的无差异工程工作来加速 ML 项目的交付。
此外,围绕数据和道德 AI 的法规不断发展,要求 TR 的 AI 解决方案采用共同的治理标准。
解决方案概述
TR 的企业 AI 平台旨在为不同角色提供简单和标准化的服务,为 ML 生命周期的每个阶段提供功能。 TR 确定了五个主要类别,将所有 TR 的要求模块化:
- 数据服务 – 实现对企业数据资产的轻松安全访问
- 实验工作区 – 提供实验和训练 ML 模型的能力
- 中央模型注册 – 跨不同业务部门构建的模型的企业目录
- 模型部署服务 – 按照 TR 的企业 CI/CD 实践提供各种推理部署选项
- 模型监控服务 – 提供监测数据和模型偏差和漂移的能力
如下图所示,这些微服务的构建考虑了一些关键原则:
- 消除用户无差别的工程工作
- 单击按钮即可提供所需的功能
- 根据 TR 的企业标准保护和管理所有功能
- 为 ML 活动带来单一管理平台
TR 的 AI 平台微服务构建于 亚马逊SageMaker 作为核心引擎,AWS 无服务器组件用于工作流,AWS DevOps 服务用于 CI/CD 实践。 SageMaker 工作室 用于实验和训练,SageMaker 模型注册表用于注册模型。 中央模型注册表由 SageMaker 模型注册表和 Amazon DynamoDB 表。 SageMaker 托管服务 用于部署模型,而 SageMaker模型监视器 和 SageMaker澄清 用于监控模型的漂移、偏差、自定义度量计算器和可解释性。
以下部分详细描述了这些服务。
数据服务
传统的 ML 项目生命周期从查找数据开始。 一般来说,数据科学家会花费 60% 或更多的时间在需要时找到正确的数据。 就像每个组织一样,TR 拥有多个数据存储,作为不同数据域的单一事实点。 TR 确定了两个为大多数 ML 用例提供数据的关键企业数据存储:对象存储和关系数据存储。 TR 构建了一个 AI Platform 数据服务,以无缝地提供从用户的实验工作区对两个数据存储的访问,并消除用户导航复杂流程以自行获取数据的负担。 TR 的 AI 平台遵循数据和模型治理团队定义的所有合规性和最佳实践。 这包括强制性的数据影响评估,帮助 ML 从业者理解和遵守数据的道德和适当使用,并通过正式的批准流程确保对数据的适当访问。 该服务以及所有平台服务的核心是根据 TR 和行业确定的最佳实践的安全性和合规性。
亚马逊简单存储服务 (Amazon S3) 对象存储充当内容数据湖。 TR 构建流程以安全地将数据从内容数据湖访问到用户的实验工作区,同时保持所需的授权和可审计性。 Snowflake 用作企业关系主数据存储。 根据用户请求并获得数据所有者的批准,AI Platform 数据服务会向用户提供数据快照,以便用户在他们的实验工作区中随时可用。
从各种来源访问数据是一个很容易解决的技术问题。 但 TR 解决的复杂性是建立批准工作流,自动识别数据所有者,发送访问请求,确保通知数据所有者他们有一个待处理的访问请求,并根据批准状态采取行动将数据提供给请求者。 跟踪并记录整个过程中的所有事件,以确保可审计性和合规性。
如下图所示,TR使用 AWS步骤功能 协调工作流程和 AWS Lambda 运行功能。 Amazon API网关 用于公开具有 API 端点的功能,以便从其 Web 门户使用。
模型实验和开发
标准化 ML 生命周期的一项基本功能是允许数据科学家试验不同 ML 框架和数据大小的环境。 在几分钟内在云中启用这样一个安全、合规的环境,可以减轻数据科学家处理云基础设施、网络要求和安全标准措施的负担,从而将注意力集中在数据科学问题上。
TR 构建了一个实验工作区,提供对服务的访问,例如 AWS胶水, 亚马逊电子病历和 SageMaker Studio,以启用符合企业云安全标准的数据处理和 ML 功能,并为每个业务部门提供所需的帐户隔离。 TR在实施方案的过程中遇到了以下挑战:
- 早期的编排并不是完全自动化的,涉及多个手动步骤。 追踪问题发生的位置并不容易。 TR 通过使用 Step Functions 编排工作流程克服了这个错误。 通过使用 Step Functions,构建复杂的工作流、管理状态和错误处理变得更加容易。
- 正确 AWS身份和访问管理 (IAM) 实验工作区的角色定义很难定义。 为了符合 TR 的内部安全标准和最小权限模型,最初,工作区角色是使用内联策略定义的。 因此,内联策略随时间增长并变得冗长,超过了 IAM 角色允许的策略大小限制。 为了缓解这种情况,TR 转而使用更多客户管理的策略并在工作区角色定义中引用它们。
- TR 有时会达到 AWS 账户级别应用的默认资源限制。 由于达到了所需的资源类型限制,这导致偶尔无法启动 SageMaker 作业(例如,训练作业)。 TR 在这个问题上与 SageMaker 服务团队密切合作。 这个问题在 AWS 团队推出 SageMaker 作为支持服务后得到解决 服务配额 在六月2022。
如今,TR 的数据科学家可以通过创建独立的工作区并添加所需的团队成员进行协作来启动 ML 项目。 通过为他们提供各种大小的自定义内核映像,SageMaker 提供的无限规模触手可及。 SageMaker Studio 迅速成为 TR AI 平台的重要组成部分,并将用户行为从使用受限桌面应用程序转变为可扩展且短暂的专用引擎。 下图说明了此体系结构。
中央模型注册
模型注册表为 TR 的所有机器学习模型提供了一个中央存储库,可以跨业务功能以标准化方式对这些模型进行风险和健康管理,并简化潜在模型的重用。 因此,该服务需要执行以下操作:
- 提供注册新旧模型的能力,无论是在 SageMaker 内部还是外部开发
- 实施治理工作流程,使数据科学家、开发人员和利益相关者能够查看和共同管理模型的生命周期
- 通过创建 TR 中所有模型的集中视图以及元数据和健康指标来提高透明度和协作
TR 开始设计时仅使用 SageMaker 模型注册表,但 TR 的关键要求之一是提供注册在 SageMaker 外部创建的模型的功能。 TR 评估了不同的关系数据库,但最终选择了 DynamoDB,因为来自遗留来源的模型的元数据模式将非常不同。 TR 也不想给用户强加任何额外的工作,因此他们使用 亚马逊EventBridge 规则和所需的 IAM 角色。 TR 使用 DynamoDB 增强了中央注册表,以扩展注册在用户桌面上创建的遗留模型的功能。
TR 的 AI Platform 中央模型注册表集成到 AI Platform 门户中,并提供可视化界面来搜索模型、更新模型元数据以及了解模型基线指标和定期自定义监控指标。 下图说明了此体系结构。
模型部署
TR 确定了两种主要的自动化部署模式:
- 使用 SageMaker 开发的模型通过 SageMaker 批量转换作业以按首选计划进行推理
- 使用开源库在本地桌面上的 SageMaker 外部开发的模型,通过使用 SageMaker 处理作业运行自定义推理代码的自带容器方法,作为一种无需重构代码即可迁移这些模型的有效方法
借助 AI Platform 部署服务,TR 用户(数据科学家和 ML 工程师)可以从目录中识别模型,并通过 UI 驱动的工作流提供所需参数,将推理作业部署到他们选择的 AWS 账户中。
TR 使用 AWS DevOps 服务(例如 AWS 代码管道 和 AWS 代码构建. TR 使用 Step Functions 来编排读取和预处理数据的工作流,以创建 SageMaker 推理作业。 TR 使用以下代码将所需组件部署为代码 AWS CloudFormation 模板。 下图说明了此体系结构。
模型监控
如果不能监控模型,ML 生命周期是不完整的。 TR 的企业治理团队还要求并鼓励业务团队随着时间的推移监控他们的模型性能,以应对任何监管挑战。 TR 从监测漂移模型和数据开始。 TR 使用 SageMaker Model Monitor 提供数据基线和推理基本事实,以定期监控 TR 的数据和推理如何漂移。 除了 SageMaker 模型监控指标外,TR 通过开发特定于其模型的自定义指标来增强监控能力。 这将帮助 TR 的数据科学家了解何时重新训练他们的模型。
除了漂移监控,TR 还想了解模型中的偏差。 SageMaker Clarify 的开箱即用功能用于构建 TR 的偏置服务。 TR 监控数据和模型偏差,并通过 AI Platform 门户向用户提供这些指标。
为了帮助所有团队采用这些企业标准,TR 已使这些服务独立并可通过 AI Platform 门户轻松获得。 TR 的业务团队可以进入门户并自行部署模型监控作业或偏差监控作业,并按照他们喜欢的时间表运行它们。 他们会收到有关作业状态和每次运行指标的通知。
TR 使用 AWS 服务进行 CI/CD 部署、工作流编排、无服务器框架和 API 端点来构建可以独立触发的微服务,如下面的架构所示。
结果和未来的改进
TR 的 AI 平台于 3 年第三季度上线,包含所有五个主要组件:数据服务、实验工作区、中央模型注册表、模型部署和模型监控。 TR 为其业务部门举办了内部培训课程以加入该平台,并为他们提供了自学培训视频。
AI Platform 为 TR 的团队提供了前所未有的能力; 它为 TR 的企业治理团队打开了广泛的可能性,以增强合规性标准并集中注册,从而提供跨 TR 内所有 ML 模型的单一窗格视图。
TR 承认没有任何产品在首次发布时处于最佳状态。 TR的所有组件都处于不同的成熟度,TR的Enterprise AI Platform团队正处于持续增强阶段,迭代完善产品功能。 TR 当前的改进管道包括添加额外的 SageMaker 推理选项,例如实时、异步和多模型端点。 TR 还计划将模型可解释性作为其模型监控服务的一项功能。 TR 计划使用 SageMaker Clarify 的可解释性功能来开发其内部可解释性服务。
结论
TR 现在可以安全地处理大量数据,并使用高级 AWS 功能在几周内将 ML 项目从构思到生产,而以前需要几个月的时间。 借助 AWS 服务的开箱即用功能,TR 内的团队可以有史以来第一次注册和监控 ML 模型,从而符合他们不断发展的模型治理标准。 TR 使数据科学家和产品团队能够有效地释放他们的创造力来解决最复杂的问题。
要了解有关 TR 在 AWS 上的企业人工智能平台的更多信息,请查看 AWS re:Invent 2022 会议. 如果您想了解 TR 如何使用 AWS数据实验室 程序,请参阅 案例研究.
作者简介
拉姆德夫乌达利 是一名数据架构师,帮助架构和构建 AI/ML 平台,使数据科学家和研究人员能够通过专注于数据科学而不是基础设施需求来开发机器学习解决方案。 在业余时间,他喜欢折纸来制作折纸镶嵌图案,还喜欢穿着不拘小节的 T 恤。
基兰·曼特里普拉加达 是汤森路透人工智能平台高级总监。 AI Platform 团队负责启用生产级 AI 软件应用程序,并支持数据科学家和机器学习研究人员的工作。 Kiran 对科学、人工智能和工程充满热情,喜欢弥合研究与产品化之间的差距,将人工智能的真正创新带给最终消费者。
巴瓦那·奇鲁玛米拉 是 AWS 的高级驻地架构师。 她热衷于数据和 ML 运营,并以极大的热情帮助企业构建数据和 ML 战略。 在业余时间,她喜欢和家人一起旅行、徒步旅行、园艺和看纪录片。
斯里尼瓦沙沙伊克 是位于波士顿的 AWS 的解决方案架构师。 他帮助企业客户加速他们的云之旅。 他热衷于容器和机器学习技术。 在业余时间,他喜欢与家人共度时光、烹饪和旅行。
李庆伟 是Amazon Web Services的机器学习专家。 在打破顾问的研究补助金帐户并未能兑现他承诺的诺贝尔奖之后,他获得了运营研究博士学位。 目前,他帮助金融服务和保险行业的客户在AWS上构建机器学习解决方案。 在业余时间,他喜欢阅读和教学。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/how-thomson-reuters-built-an-ai-platform-using-amazon-sagemaker-to-accelerate-delivery-of-ml-projects/
- 100
- 2022
- 7
- a
- Able
- 关于
- 加快
- 加速
- ACCESS
- 无障碍
- 根据
- 账号管理
- 基本会计和财务报表
- 实现
- 实现
- 获得
- 横过
- 操作
- 行为
- 额外
- 地址
- 采用
- 高级
- 后
- AI
- 人工智能平台
- 人工智能服务
- AI / ML
- 所有类型
- 允许
- 靠
- Amazon
- 亚马逊SageMaker
- 亚马逊网络服务
- 量
- 和
- API
- 应用领域
- 应用的
- 的途径
- 方法
- 批准
- 架构
- 围绕
- 授权
- 自动化
- 自动化
- 自动表
- 可使用
- AWS
- 基于
- 底线
- 因为
- before
- 作为
- 最佳
- 最佳实践
- 之间
- 偏见
- 十亿美元
- 波士顿
- 桥
- 带来
- 带来
- 布罗克
- 建立
- 建筑物
- 建立
- 建
- 负担
- 商业
- 业务功能
- 能力
- 例
- 检索目录
- 类别
- 造成
- 中央
- 集中
- 挑战
- 查
- 选择
- 选择
- 密切
- 云端技术
- 云基础设施
- 云安全
- 码
- 合作
- 合作
- 合作
- 统
- 未来
- 相当常见
- 相比
- 完成
- 复杂
- 复杂
- 符合
- 兼容
- 元件
- 组件
- 包含
- 计算
- 消费
- 消费者
- 容器
- 集装箱
- 内容
- 继续
- 连续
- 控制
- 核心
- 创建信息图
- 创建
- 创造
- 创造力
- 危急
- 关键
- 电流
- 目前
- 习俗
- 合作伙伴
- data
- 数据湖
- 数据处理
- 数据科学
- 数据库
- 决策
- 深
- 深厚的专业知识
- 默认
- 交付
- 交货
- 民主化
- 部署
- 部署
- 部署
- 描述
- 设计
- 通过电脑捐款
- 细节
- 决心
- 开发
- 发达
- 开发
- 发展
- 研发支持
- 不同
- 难
- 副总经理
- 讨论
- 纪录片
- 域
- 域名
- 向下
- 早
- 更容易
- 容易
- 只
- 高效
- 努力
- 自主性的
- enable
- 启用
- 使
- 使
- 鼓励
- 端点
- 发动机
- 工程师
- 工程师
- 引擎
- 增强
- 确保
- 保证
- 企业
- 企业
- 热情
- 环境
- 错误
- 必要
- 伦理
- 评估
- 事件
- EVER
- 发展
- 演变
- 例子
- 实验
- 专门知识
- 延长
- 非常
- 促进
- 失败
- 家庭
- 专栏
- 特征
- 少数
- 最后
- 金融
- 金融服务
- 找到最适合您的地方
- 寻找
- (名字)
- 第一次
- 专注焦点
- 聚焦
- 遵循
- 以下
- 如下
- 正式
- 框架
- 止
- 履行
- 充分
- 功能
- 功能
- 未来
- 差距
- 其他咨询
- 产生
- 得到
- 玻璃
- Go
- 理想中
- 治理
- 授予
- 陆运
- 成长
- 处理
- 硬
- 健康管理
- 帮助
- 帮助
- 帮助
- 高度
- 托管
- 创新中心
- 但是
- HTML
- HTTPS
- 确定
- 鉴定
- 确定
- 身分
- 图片
- 影响力故事
- 实施
- 实施
- 实施
- 征收
- 改善
- in
- 包括
- 增加
- 独立
- 独立地
- 行业中的应用:
- 基础设施
- 初始
- 創新
- 可行的洞见
- 代替
- 保险
- 集成
- 接口
- 内部
- 参与
- 隔离
- 问题
- IT
- 工作
- 工作机会
- 旅程
- 键
- 知道
- 知识
- 湖泊
- 发射
- 推出
- 发射
- 学习用品
- 学习
- 遗产
- 法律咨询
- Level
- 各级
- 库
- 极限
- 范围
- 生活
- 本地
- 机
- 机器学习
- 制成
- 主要
- 制作
- 制作
- 管理
- 颠覆性技术
- 管理的
- 任务
- 方式
- 手册
- 许多
- 到期
- 措施
- 成员
- 元数据
- 方法
- 公
- 指标
- 微服务
- 迁移
- 里程碑
- 里程碑
- 介意
- 分钟
- 减轻
- ML
- 模型
- 模型
- 显示器
- 监控
- 显示器
- 个月
- 更多
- 最先进的
- 多
- 自然
- 导航
- 需求
- 需要
- 工业网络
- 全新
- 消息
- 下页
- 诺贝尔奖
- 数
- 对象
- 偶然
- 最多线路
- 提供
- 优惠精选
- 板载
- 一
- 开放源码
- 打开
- 运营
- 附加选项
- 管弦乐编曲
- 组织
- 本来
- 学校以外
- 己
- 业主
- 面包
- 纸类
- 参数
- 情
- 多情
- 模式
- 员工
- 性能
- 定期
- 相
- 管道
- 规划行程
- 计划
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 点
- 政策
- 政策
- 门户网站
- 可能性
- 帖子
- 潜力
- 功率
- 做法
- 预测
- 首选
- 小学
- 原则
- 奖金
- 市场问题
- 问题
- 过程
- 过程
- 处理
- 产品
- 生产
- 核心产品
- 专业人士
- 曲目
- 项目
- 项目
- 许诺
- 提供
- 提供
- 提供
- 优
- Q3
- q3 2022
- 很快
- 范围
- 范围
- RE
- 达到
- 阅读
- 真实
- 实时的
- 收到
- 寄存器
- 注册处
- 法规
- 监管
- 释放
- 发布
- 去掉
- 知识库
- 请求
- 必须
- 岗位要求
- 研究
- 研究人员
- 资源
- 资源
- 提供品牌战略规划
- 路透社
- 风险
- 角色
- 角色
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 运行
- sagemaker
- SageMaker 推理
- 可扩展性
- 鳞片
- 始你
- 科学
- 科学家
- 无缝的
- 无缝
- 搜索
- 搜索引擎
- 部分
- 安全
- 担保
- 安全
- 保安
- 发送
- 前辈
- 敏感
- 服务
- 无服务器
- 服务
- 特色服务
- 招生面试
- 几个
- Share
- 如图
- 简易
- 自
- 单
- 尺寸
- 尺寸
- 技能的
- 技能
- 快照
- So
- 软件
- 方案,
- 解决方案
- 解决
- 来源
- 专家
- 具体的
- 花
- 花费
- 阶段
- 利益相关者
- 标准化
- 标准
- 开始
- 启动
- 州
- Status
- 步
- 步骤
- 存储
- 商店
- 商店
- 策略
- 精简
- 工作室
- 这样
- 支持
- 支持
- 交换的
- 同步
- 表
- 采取
- 税
- 教诲
- 团队
- 队
- 文案
- 技术技能
- 技术
- 模板
- 条款
- 其
- 因此
- 汤森路透
- 通过
- 始终
- 次
- 至
- 工具
- 跟踪
- 传统
- 培训
- 产品培训
- 改造
- 用户评论透明
- 旅游
- 巨大
- 引发
- 理解
- 单元
- 单位
- 发挥
- 无限
- 更新
- 使用
- 用户
- 用户
- 各种
- 各个
- 广阔
- 通过
- 视频
- 查看
- 能见度
- 观看
- 卷筒纸
- Web服务
- 基于网络的
- 周
- 是否
- 而
- 宽
- 大范围
- 将
- 赢
- 中
- 也完全不需要
- 工作
- 工作
- 工作流程
- 全世界
- 将
- 年
- 您一站式解决方案
- 和风网