数据科学家需要一个一致且可重现的机器学习 (ML) 和数据科学工作负载环境,以支持管理依赖关系并且是安全的。 AWS深度学习容器 已经提供预构建的 Docker 镜像,用于在 TensorFlow、PyTorch 和 MXNet 等常见框架中训练和服务模型。 为了改善这种体验,我们在 2023 JupyterCon 上宣布了 SageMaker 开源发行版的公开测试版。 这为不同专业水平的 ML 开发人员提供了统一的端到端 ML 体验。 开发人员不再需要在不同的框架容器之间切换进行实验,或者从本地 JupyterLab 环境和 SageMaker 笔记本转移到 SageMaker 上的生产作业。 开源 SageMaker Distribution 支持最常见的数据科学、ML 和可视化包和库,例如 TensorFlow、PyTorch、Scikit-learn、Pandas 和 Matplotlib。 您可以从 Amazon ECR 公共图库 从今天开始。
在本文中,我们将向您展示如何使用 SageMaker 开源发行版在您的本地环境中快速进行试验,并轻松将它们推广到 SageMaker 上的作业。
解决方案概述
对于我们的示例,我们展示了使用 PyTorch 训练图像分类模型。 我们使用 国民党 PyTorch 上公开可用的数据集。 我们训练一个神经网络模型,测试模型的性能,最后打印训练和测试损失。 此示例的完整笔记本可在 SageMaker Studio 实验室示例存储库. 我们开始使用开源发行版在本地笔记本电脑上进行实验,将其移动到 亚马逊SageMaker Studio 使用更大的实例,然后将笔记本安排为笔记本作业。
先决条件
您需要满足以下先决条件:
设置本地环境
您可以直接在本地笔记本电脑上开始使用开源发行版。 要启动 JupyterLab,请在终端上运行以下命令:
你可以替换 ECR_IMAGE_ID
与任何可用的图像标签 Amazon ECR 公共图库,或选择 latest-gpu
如果您使用的是支持 GPU 的机器,请标记。
此命令将启动 JupyterLab 并在终端上提供一个 URL,例如 http://127.0.0.1:8888/lab?token=<token>
. 复制链接并在您喜欢的浏览器中输入它以启动 JupyterLab。
设置工作室
Studio 是 ML 的端到端集成开发环境 (IDE),可让开发人员和数据科学家大规模构建、训练、部署和监控 ML 模型。 Studio 提供了广泛的第一方镜像列表,其中包含常见的框架和包,例如 Data Science、TensorFlow、PyTorch 和 Spark。 这些图像使数据科学家只需选择他们选择的用于计算的框架和实例类型,就可以轻松开始使用 ML。
您现在可以使用 Studio 的 Studio 在 Studio 上使用 SageMaker 开源发行版 带上你自己的形象 特征。 要将开源分发添加到您的 SageMaker 域,请完成以下步骤:
- 将开源发行版添加到您的帐户 Amazon Elastic Container注册 (Amazon ECR) 存储库,方法是在您的终端上运行以下命令:
- 创建 SageMaker 图像并将图像附加到 Studio 域:
- 在 SageMaker 控制台上,通过选择您的域和现有用户配置文件启动 Studio。
- 或者,按照中的步骤重新启动 Studio 关闭并更新 SageMaker Studio.
下载笔记本
从本地下载示例笔记本 GitHub回购.
在您选择的 IDE 中打开笔记本,并在笔记本的开头添加一个单元格以进行安装 torchsummary
。 该 torchsummary
包不是分发的一部分,在笔记本上安装它可以确保笔记本运行端到端。 我们推荐使用 conda
or micromamba
管理环境和依赖关系。 将以下单元格添加到笔记本并保存笔记本:
在本地notebook上实验
通过选择上传图标将笔记本上传到您启动的 JupyterLab UI,如以下屏幕截图所示。
上传后,启动 cv-kmnist.ipynb
笔记本。 您可以立即开始运行单元,而无需安装任何依赖项,例如 torch、matplotlib 或 ipywidgets。
如果您执行了前面的步骤,您会看到您可以从笔记本电脑本地使用该分发版。 在下一步中,我们在 Studio 上使用相同的发行版来利用 Studio 的功能。
将实验移至 Studio(可选)
或者,让我们将实验推广到 Studio。 Studio 的优势之一是底层计算资源完全具有弹性,因此您可以轻松调高或调低可用资源,并且更改会在后台自动发生,而不会中断您的工作。 如果您想在更大的数据集和计算实例上运行之前的同一个笔记本,您可以迁移到 Studio。
导航到您之前启动的 Studio UI,然后选择上传图标以上传笔记本。
启动笔记本后,系统会提示您选择图像和实例类型。 在内核启动器上,选择 sagemaker-runtime
作为图像和 ml.t3.medium
实例,然后选择 选择.
您现在可以端到端地运行笔记本,而无需对笔记本从本地开发环境到 Studio 笔记本进行任何更改!
将笔记本安排为作业
当您完成实验后,SageMaker 会提供多种选项来生产您的笔记本,例如训练作业和 SageMaker 管道。 一种这样的选择是直接将笔记本本身作为非交互式、计划的笔记本作业运行,使用 SageMaker 笔记本作业. 例如,您可能希望定期重新训练您的模型,或定期对传入数据进行推断并生成报告供利益相关者使用。
在 Studio 中,选择笔记本作业图标以启动笔记本作业。 如果您在笔记本电脑本地安装了笔记本作业扩展,您还可以直接从笔记本电脑安排笔记本。 看 安装指南 在本地设置笔记本作业扩展。
notebook 作业自动使用开源发行版的 ECR 镜像 URI,因此您可以直接调度 notebook 作业。
按计划运行,选择一个时间表,例如每周的周六,然后选择 创建。 您也可以选择 现在跑步 如果您想立即查看结果。
当第一个笔记本作业完成时,您可以通过选择直接从 Studio UI 查看笔记本输出 笔记本 下 输出文件.
其他注意事项
除了直接将公开可用的 ECR 映像用于 ML 工作负载之外,开源发行版还具有以下优势:
- 用于构建镜像的 Dockerfile 是公开的,供开发人员探索和构建自己的镜像。 您还可以继承此图像作为基础图像并安装您的自定义库以获得可重现的环境。
- 如果您不习惯 Docker 并且更喜欢在您的 JupyterLab 环境中使用 Conda 环境,我们提供了一个
env.out
每个已发布版本的文件。 您可以使用文件中的说明创建您自己的 Conda 环境来模拟相同的环境。 例如查看CPU环境文件 cpu.env.out. - 您可以使用图像的 GPU 版本来运行与 GPU 兼容的工作负载,例如深度学习和图像处理。
清理
完成以下步骤以清理您的资源:
- 如果您已安排您的笔记本按计划运行,请暂停或删除计划 笔记本作业定义 选项卡以避免为未来的工作付费。
- 关闭所有 Studio 应用程序以避免为未使用的计算使用量付费。 看 关闭并更新 Studio 应用程序 作为指示。
- 或者,删除 Studio 域(如果您创建了一个域)。
结论
在 ML 生命周期的不同阶段维护可重现的环境是数据科学家和开发人员面临的最大挑战之一。 通过 SageMaker 开源发行版,我们提供了一个图像,其中包含最常见的 ML 框架和包的相互兼容版本。 该发行版也是开源的,为开发人员提供了包和构建过程的透明度,从而更容易定制他们自己的发行版。
在本文中,我们向您展示了如何在您的本地环境、Studio 上使用该发行版,以及如何将其用作训练作业的容器。 此功能目前处于公开测试阶段。 我们鼓励您试一试并分享您的反馈和问题 公共 GitHub 存储库!
关于作者
杜尔加苏里 是 Amazon SageMaker Service SA 团队的 ML 解决方案架构师。 她热衷于让每个人都能接触到机器学习。 在 AWS 的 4 年中,她帮助为企业客户建立了 AI/ML 平台。 工作之余,她喜欢骑摩托车、看悬疑小说,以及带着她 5 岁的哈士奇犬长距离散步。
克坦·维杰瓦吉亚 是 Amazon Web Services (AWS) 的高级软件开发工程师。 他的重点领域是机器学习、分布式系统和开源。 工作之余,他喜欢自我托管和享受大自然。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- EVM财务。 去中心化金融的统一接口。 访问这里。
- 量子传媒集团。 IR/PR 放大。 访问这里。
- 柏拉图爱流。 Web3 数据智能。 知识放大。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/get-started-with-the-open-source-amazon-sagemaker-distribution/
- :具有
- :是
- :不是
- $UP
- 1
- 10
- 100
- 11
- 2023
- 7
- 9
- a
- 关于
- 无障碍
- 横过
- 加
- 增加
- 额外
- 优点
- 优点
- AI / ML
- 所有类型
- 已经
- 还
- Amazon
- 亚马逊SageMaker
- 亚马逊网络服务
- 亚马逊网络服务(AWS)
- an
- 和
- 公布
- 任何
- 应用
- 应用
- 保健
- 地区
- AS
- At
- 连接
- 自动
- 可使用
- 避免
- AWS
- 背景
- 基地
- 基于
- BE
- 开始
- 测试
- 之间
- 最大
- 浏览器
- 建立
- by
- CAN
- 喵星人
- 细胞
- 挑战
- 更改
- 选择
- 选择
- 分类
- COM的
- 相当常见
- 兼容
- 完成
- 计算
- 配置
- 一贯
- 安慰
- 消费
- 容器
- 集装箱
- 创建信息图
- 创建
- 目前
- 习俗
- 合作伙伴
- 定制
- data
- 数据科学
- 数据集
- 深
- 深入学习
- 默认
- 部署
- 描述
- 开发
- 研发支持
- 不同
- 直接
- 分布
- 分布式系统
- 分配
- 码头工人
- 域
- 完成
- 向下
- 每
- 此前
- 更容易
- 容易
- 使
- 鼓励
- 结束
- 端至端
- 工程师
- 确保
- 输入
- 企业
- 环境
- 环境中
- 所有的
- 每个人
- 例子
- 例子
- 现有
- 体验
- 实验
- 专门知识
- 探索
- 出口
- 延期
- 广泛
- 专栏
- 特征
- 反馈
- 文件
- 终于
- (名字)
- 专注焦点
- 其次
- 以下
- 针对
- 骨架
- 框架
- 止
- ,
- 充分
- 未来
- 生成
- 得到
- GitHub上
- GPU
- 有
- 有
- he
- 帮助
- 这里
- 他的
- 创新中心
- How To
- HTML
- HTTPS
- ICON
- if
- 图片
- 图像分类
- 图片
- 立即
- 改善
- in
- 来电
- 安装
- 安装
- 安装
- 例
- 说明
- 集成
- 成
- 问题
- IT
- 本身
- 工作
- 工作机会
- JPG
- JSON
- 实验室
- 笔记本电脑
- 大
- 发射
- 推出
- 学习
- 让
- 各级
- 库
- 生命周期
- 喜欢
- 喜欢
- 友情链接
- 清单
- 本地
- 当地
- 登录
- 长
- 不再
- 离
- 爱
- 机
- 机器学习
- 使
- 制作
- 管理
- 管理的
- matplotlib
- 可能
- 迁移
- ML
- 模型
- 模型
- 显示器
- 最先进的
- 摩托车
- 移动
- 多
- 相互
- 神秘
- 姓名
- 自然
- 需求
- 需要
- 网络
- 神经网络
- 全新
- 下页
- 没有
- 笔记本
- 现在
- of
- 优惠精选
- on
- 一
- 打开
- 开放源码
- 附加选项
- 附加选项
- or
- 我们的
- 输出
- 学校以外
- 己
- 包
- 包
- 大熊猫
- 部分
- 多情
- 暂停
- 付款
- 性能
- 地方
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 帖子
- 比较喜欢
- 首选
- 先决条件
- 打印
- 私立
- 过程
- 处理
- 生产
- 本人简介
- 促进
- 提供
- 提供
- 优
- 国家
- 公然
- 出版
- 推
- 蟒蛇
- pytorch
- 很快
- 建议
- 更换
- 业务报告
- 知识库
- 岗位要求
- 资源
- 成果
- 运行
- 运行
- s
- SA
- sagemaker
- SageMaker管道
- 同
- 星期六
- 保存
- 鳞片
- 始你
- 预定
- 科学
- 科学家
- scikit学习
- 安全
- 看到
- 前辈
- 服务
- 特色服务
- 服务
- 集
- 设置
- Share
- 她
- 显示
- 展示
- 显示
- 如图
- 简易
- 只是
- So
- 软件
- 软件开发
- 解决方案
- 来源
- 火花
- 花
- 实习
- 利益相关者
- 开始
- 开始
- 开始
- 步
- 步骤
- 工作室
- 这样
- 支持
- Switch 开关
- 产品
- 行李牌
- 采取
- 团队
- tensorflow
- 终端
- test
- 这
- 其
- 他们
- 然后
- 博曼
- 他们
- Free Introduction
- 次
- 至
- 今晚
- 火炬
- 培训
- 产品培训
- 用户评论透明
- 尝试
- 类型
- ui
- 相关
- 统一
- 未使用
- 更新
- 上传
- 网址
- 用法
- 使用
- 用过的
- 用户
- 使用
- 运用
- 版本
- 查看
- 可视化
- 想
- 通缉
- we
- 卷筒纸
- Web服务
- 周
- ,尤其是
- 将
- 也完全不需要
- 工作
- 加工
- 年
- 完全
- 您一站式解决方案
- 和风网