这篇文章由埃森哲云架构师 Zdenko Estok 和埃森哲 DeepRacer SME Sakar Selimcan 共同撰写。
随着绝大多数行业(从医疗保健到保险,从制造到营销)越来越多地使用人工智能 (AI) 和机器学习 (ML),在大规模构建和训练模型时,主要重点转移到效率上。 创建可扩展且无障碍的数据科学环境是关键。 启动和配置为特定用例量身定制的环境可能需要花费大量时间,而且更难让同事参与协作。
根据 Accenture,设法有效扩展 AI 和 ML 的公司可以获得近三倍的投资回报。 尽管如此,并非所有公司都能在 AI/ML 之旅中实现预期回报。 用于自动化基础架构的工具包对于在公司内横向扩展 AI/ML 工作变得至关重要。
AWS 深度赛车 是开始强化学习 (RL) 的一种简单而有趣的方式,强化学习是一种 ML 技术,代理可以在给定环境中发现要采取的最佳行动。 在我们的例子中,这将是一辆 AWS DeepRacer 车辆,试图在赛道上快速比赛。 您可以通过动手教程快速开始使用 RL,这些教程将指导您完成训练 RL 模型的基础知识,并以令人兴奋的方式测试它们。 自动驾驶赛车体验.
这篇文章展示了公司如何使用基础架构即代码 (IaC) AWS云开发套件 (AWS CDK) 来加速创建和复制高度可转移的基础设施,并轻松地大规模竞争 AWS DeepRacer 赛事。
“IaC 与托管 Jupyter 环境相结合,为我们提供了两全其美的优势:可重复、高度可转移的数据科学环境,让我们能够让 AWS DeepRacer 竞争对手专注于他们最擅长的事情:快速训练快速模型。”
– Selimcan Sakar,埃森哲的 AWS DeepRacer SME。
解决方案概述
在创建可应用于多个用例的可扩展模板时,编排所有必要的服务需要花费大量时间。 在过去, AWS CloudFormation 已创建模板以自动创建这些服务。 随着自动化和配置的进步以及抽象级别的提高以使用 IaC 工具设置不同的环境,AWS CDK 正在被各种企业广泛采用。 AWS CDK 是一个开源软件开发框架,用于定义您的云应用程序资源。 它利用编程语言的熟悉性和表现力为您的应用程序建模,同时以安全和可重复的方式配置资源。
在这篇文章中,我们启用了使用执行日志分析所需的不同组件的配置 亚马逊SageMaker 通过 AWS CDK 在 AWS DeepRacer 上 结构体.
尽管 DeepRacer 控制台中提供的分析图在授予的奖励和取得的进步方面如果有效且直接,但它无法深入了解汽车通过航路点的速度,或者汽车在赛道上更喜欢什么样的路线. 这就是高级日志分析发挥作用的地方。 我们先进的日志分析旨在回顾性地提高训练效率,以了解在训练多个模型时哪些奖励函数和动作空间比其他的更好,以及模型是否过度拟合,以便赛车手可以更智能地训练并以更少的训练取得更好的结果。
我们的解决方案描述了使用 AWS CDK 的 AWS DeepRacer 环境配置,以加快用户在 AWS 上针对 AWS DeepRacer 事件试验 SageMaker 日志分析和强化学习的旅程。
管理员可以运行中提供的 AWS CDK 脚本 GitHub回购 通过 AWS管理控制台 或者在他们的环境中加载代码后在终端中。 步骤如下:
- 可选 AWS 云9 在控制台上。
- 将 GitHub 中的 AWS CDK 模块加载到 AWS Cloud9 环境中。
- 按照本文所述配置 AWS CDK 模块。
- 打开 cdk.context.json 文件并检查所有参数。
- 根据需要修改参数并使用预期角色运行 AWS CDK 命令以启动适合该角色的已配置环境。
下图说明了解决方案体系结构。
在 AWS CDK 的帮助下,我们可以对预配置的资源进行版本控制,并拥有一个符合企业级最佳实践的高度可传输的环境。
先决条件
要使用 AWS CDK 预置 ML 环境,请完成以下先决条件:
- 有权访问区域内的 AWS 账户和权限,以便为不同的角色部署必要的资源。 确保您拥有将 AWS CDK 堆栈部署到您的账户中的凭据和权限。
- 我们建议遵循通过以下资源中详述的概念突出显示的某些最佳实践:
- 克隆 GitHub回购 进入你的环境。
将投资组合部署到您的帐户中
在此部署中,我们使用 AWS Cloud9 通过 AWS CDK 创建数据科学环境。
- 导航到 AWS Cloud9 控制台。
- 指定您的环境类型、实例类型和平台。
- 指定您的 AWS身份和访问管理 (IAM) 角色、VPC 和子网。
- 在您的 AWS Cloud9 环境中,创建一个名为 DeepRacer 的新文件夹。
- 运行以下命令来安装 AWS CDK,并确保您具有正确的依赖项来部署产品组合:
- 要验证是否已安装 AWS CDK 并访问文档,请在您的终端中运行以下命令(它应该会将您重定向到 AWS CDK 文档):
- 现在我们可以从中克隆 AWS DeepRacer 存储库 GitHub上.
- 在 AWS Cloud9 中打开克隆的存储库:
查看内容后 DeepRacer_cdk
目录下会有一个文件叫 package.json
定义了所有必需的模块和依赖项。 这是您可以在模块中定义资源的地方。
- 接下来,为 AWS CDK 应用程序安装所有必需的模块和依赖项:
这将合成相应的 CloudFormation 模板。
- 要运行部署,请使用参数名称更改 context.json 文件或在运行时显式定义它们:
以下组件是基于运行脚本为 AWS DeepRacer 日志分析创建的:
- An IAM角色 适用于具有托管策略的 SageMaker 笔记本
- A SageMaker笔记本实例 实例类型显式添加为 cdk 上下文参数或存储在 context.json 文件中的默认值
- 具有在 context.json 文件中指定的 CIDR 以及配置的四个公共子网的 VPC
- Sagemaker notebook 实例的新安全组允许在 VPC 内进行通信
- 带有 bash 脚本的 SageMaker 生命周期策略预加载另一个的内容 GitHub存储库,其中包含我们用于在 AWS DeepRacer 模型上运行日志分析的文件
- 您可以按如下方式运行 AWS CDK 堆栈:
- 转到部署堆栈的区域中的 AWS CloudFormation 控制台以验证资源。
现在,用户可以开始使用这些服务在 SageMaker for AWS DeepRacer 上进行日志分析和深度 RL 模型训练。
模块测试
您还可以在部署堆栈之前运行一些单元测试,以验证您是否不小心删除了任何必需的资源。 单元测试位于 DeepRacer/test/deep_racer.test.ts
并且可以使用以下代码运行:
使用 cdk-dia 生成图表
要生成图表,请完成以下步骤:
- Install 安装
graphviz
使用您的操作系统工具:
这将安装 cdk-dia 应用程序。
- 现在运行以下代码:
您的 AWS CDK 堆栈的图形表示将以 .png 格式存储。
运行上述步骤后,您应该能够看到带有状态的笔记本实例的创建过程 待审批. 当笔记本实例的状态为 在役 (如以下屏幕截图所示),您可以继续执行后续步骤。
- 打开Jupyter 开始运行用于执行日志分析的 Python 脚本。
有关使用 AWS DeepRacer 和相关可视化进行日志分析的更多详细信息,请参阅 使用日志分析来推动实验并赢得 AWS DeepRacer F1 ProAm 比赛.
清理
为避免持续收费,请完成以下步骤:
- 使用 cdk destroy 删除通过 AWS CDK 创建的资源。
- 在 AWS CloudFormation 控制台上,删除 CloudFormation 堆栈。
结论
AWS DeepRacer 活动是提高组织所有支柱和级别的兴趣和增加 ML 知识的好方法。 在本文中,我们分享了如何配置动态 AWS DeepRacer 环境和设置选择性服务以加速用户在 AWS 平台上的旅程。 我们讨论了如何创建服务 Amazon SageMaker 笔记本实例、IAM 角色、具有最佳实践的 SageMaker 笔记本生命周期配置、VPC 和 亚马逊弹性计算云 (Amazon EC2) 实例基于使用 AWS CDK 识别上下文并使用 AWS DeepRacer 为不同用户扩展。
配置CDK环境,运行高级日志分析notebook,提高模块运行效率。 帮助赛车手在更短的时间内取得更好的成绩,并获得对奖励功能和行动的精细洞察。
参考资料
更多信息可在以下资源中获得:
作者简介
兹登科·埃斯托克 在 Accenture 担任云架构师和 DevOps 工程师。 他与 AABG 合作开发和实施创新的云解决方案,并专注于基础架构即代码和云安全。 Zdenko 喜欢骑自行车上班,喜欢在大自然中愉快地散步。
塞利姆坎“能”萨卡尔 是埃森哲的云优先开发人员和解决方案架构师,专注于人工智能,热衷于观察模型融合。
希哈尔夸特拉 是 Amazon Web Services 的 AI/ML 专家解决方案架构师,与领先的全球系统集成商合作。 Shikhar 协助为组织设计、构建和维护经济高效、可扩展的云环境,并支持 GSI 合作伙伴在 AWS 上构建战略性行业解决方案。 Shikhar 喜欢在业余时间弹吉他、作曲和练习正念。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
- 10
- 100
- 11
- 7
- 9
- a
- Able
- 加快
- Accenture
- ACCESS
- 偶然地
- 账号管理
- 实现
- 横过
- 操作
- 行动
- 添加
- 额外
- 采用
- 高级
- 进步
- 后
- 经纪人
- AI
- AI / ML
- 艾滋病
- 目标
- 所有类型
- 允许
- Amazon
- Amazon EC2
- 亚马逊SageMaker
- 亚马逊SageMaker Studio
- 亚马逊网络服务
- 量
- 分析
- 和
- 另一个
- API
- 应用
- 应用领域
- 应用领域
- 应用的
- 架构
- 围绕
- 人造的
- 人工智能
- 人工智能(AI)
- 协助
- 相关
- 自动化
- 自动化和干细胞工程
- 可使用
- AWS
- AWS 云9
- AWS CloudFormation
- AWS 深度赛车
- 基于
- 打坏
- 基础
- 成为
- before
- 作为
- 最佳
- 最佳实践
- 更好
- 带来
- 建筑物
- 被称为
- 可以得到
- 汽车
- 案件
- 例
- 一定
- 更改
- 收费
- 云端技术
- 云安全
- Cloud9
- 码
- 合作
- 同事
- 结合
- 沟通
- 公司
- 竞争
- 竞争对手
- 完成
- 组件
- 计算
- 概念
- 配置
- 大量
- 安慰
- 包含
- 内容
- 上下文
- 控制
- 汇集
- 公司
- 相应
- 创建信息图
- 创建
- 创造
- 创建
- 资历
- data
- 数据科学
- 深
- 默认
- 定义
- 部署
- 部署
- 部署
- 部署
- 描述
- 摧毁
- 详细
- 详情
- 开发
- 开发商
- 研发支持
- 图
- 不同
- 发现
- 讨论
- 文件
- 不会
- 驾驶
- ,我们将参加
- 动态
- 容易
- 有效
- 效率
- 有效
- 工作的影响。
- 或
- enable
- 工程师
- 企业级
- 企业
- 环境
- 环境中
- 必要
- 甚至
- 活动
- 事件
- 令人兴奋的
- 预期
- 表现的
- f1
- 熟悉
- 高效率
- 文件
- 档
- 姓氏:
- 专注焦点
- 以下
- 如下
- 格式
- 骨架
- 止
- 开玩笑
- 功能
- Gain增益
- 生成
- 得到
- GitHub上
- 给
- 特定
- 全球
- 授予
- 图形
- 大
- 团队
- 指南
- 动手
- 医疗保健
- 帮助
- 突出
- 高度
- 横
- 创新中心
- How To
- HTML
- HTTPS
- 确定
- 身分
- 实施
- in
- 增加
- 增加
- 行业
- 行业中的应用:
- 信息
- 基础设施
- 创新
- 洞察
- 可行的洞见
- 安装
- 安装
- 例
- 保险
- 房源搜索
- 兴趣
- 投资
- IT
- 旅程
- JSON
- 键
- 类
- 知识
- 语言
- 发射
- 领导
- 学习
- 各级
- Line
- 装载
- 位于
- 机
- 机器学习
- 多数
- 使
- 管理
- 管理
- 颠覆性技术
- 方式
- 制造业
- 营销
- 满足
- 正念
- ML
- 模型
- 模型
- 模块
- 模块
- 移动
- 多
- 音乐
- 名称
- 自然
- 几乎
- 必要
- 全新
- 下页
- 笔记本
- 办公
- 板载
- 正在进行
- 开放源码
- 开源软件
- 操作
- 操作系统
- 最佳
- 秩序
- 组织
- 其它
- 参数
- 参数
- 合伙人
- 情
- 过去
- 执行
- 权限
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 播放
- 播放
- 政策
- 个人档案
- 帖子
- 功率
- 做法
- 先决条件
- 小学
- 过程
- 代码编程
- 编程语言
- 进展
- 提供
- 规定
- 国家
- 蟒蛇
- 很快
- 种族
- 车手
- 赛车
- 提高
- 范围
- 建议
- 重定向
- 关于
- 地区
- 去掉
- 可重复的
- 复制
- 知识库
- 表示
- 必须
- 资源
- 成果
- 回报
- 回报
- 检讨
- 积分
- 奖励
- 角色
- 角色
- 运行
- 运行
- 安全
- sagemaker
- 可扩展性
- 鳞片
- 规模艾
- 缩放
- 科学
- 保安
- 可选择的
- 特色服务
- 集
- 格局
- 共用的,
- 转移
- 应该
- 如图
- 作品
- 简易
- 聪明
- EMS
- So
- 软件
- 软件开发
- 方案,
- 解决方案
- 一些
- 剩余名额
- 专家
- 专业
- 具体的
- 指定
- 堆
- 开始
- 开始
- Status
- 步骤
- 仍
- 存储
- 简单的
- 善用
- 工作室
- 子网
- 子网
- 支持
- 系统
- 量身定制
- 采取
- 需要
- 模板
- 模板
- 终端
- test
- 测试
- 基础知识
- 其
- 通过
- 次
- 至
- 工具
- 跟踪时
- 培训
- 产品培训
- 三倍
- 教程
- 理解
- 单元
- us
- 使用
- 用例
- 用户
- 折扣值
- 各个
- 广阔
- 汽车
- 确认
- 版本
- 通过
- 观看
- 卷筒纸
- Web服务
- 什么是
- 是否
- 这
- 而
- 广泛
- 将
- 赢
- 中
- 工作
- 加工
- 合作
- 世界
- 将
- 完全
- 您一站式解决方案
- 和风网