亚马逊SageMaker 客户可以通过以下方式查看和管理他们的配额限制 服务配额. 此外,他们还可以查看近乎实时的利用率指标并创建 亚马逊CloudWatch 度量 查看和以编程方式查询 SageMaker 配额。
SageMaker 可帮助您轻松构建、训练和部署机器学习 (ML) 模型。 要了解更多信息,请参阅 开始使用 Amazon SageMaker. Service Quotas 允许您从中央位置查看和管理 SageMaker 的配额,从而简化了限制管理。
借助 Service Quotas,您可以查看 AWS 账户或 AWS 区域中资源、操作或项目的最大数量。 您还可以使用服务配额请求增加可调整的配额。
随着 MLOps 实践使用的增加,以及因此对指定用于 ML 模型实验和再训练的资源的需求,更多的客户需要运行多个实例,通常同时运行相同的实例类型。
许多数据科学团队经常并行工作,使用多个实例同时进行处理、训练和调优。 以前,用户有时会达到某些特定实例类型的可调整帐户限制,并且必须手动向 AWS 请求提高限制。
从 服务配额用户界面, 您可以从列表中选择配额并选择 请求增加配额. 有关更多信息,请参阅 请求增加配额.
在本文中,我们展示了如何使用新功能在达到高级别实例时自动请求增加限制。
解决方案概述
下图说明了解决方案体系结构。
此架构包括以下工作流程:
- CloudWatch 指标监控资源的使用情况。 当资源使用超过某个预先配置的阈值时,会触发 CloudWatch 警报。
- 消息发送至 亚马逊简单通知服务 (亚马逊 SNS)。
- 该消息由一个接收 AWS Lambda 功能。
- Lambda 函数请求增加配额。
除了请求增加特定账户的配额外,Lambda 函数还可以将配额增加添加到 组织模板 (最多 10 个配额)。 这样,在给定 AWS 组织下创建的任何新账户默认都会增加配额请求。
先决条件
完成以下先决条件步骤:
- 设置一个 AWS账户 并创建一个 AWS身份和访问管理 (IAM) 用户。 有关说明,请参阅 保护您的 AWS 账户.
- 安装 AWS SAM CLI.
使用 AWS 无服务器应用程序模型进行部署
使用 GitHub回购,在终端中运行以下命令:
部署解决方案后,您应该会在 CloudWatch 控制台上看到一个新警报。 此警报监控 ml.t3.medium 实例的 SageMaker 笔记本实例的使用情况。
如果您的资源使用率超过 50%,则会触发警报并且 Lambda 函数会请求增加。
如果您拥有的账户是 AWS 组织的一部分,并且您拥有 配额请求模板 启用后,如果模板有可用插槽,您还应该在模板上看到这些增加。 这样,来自该组织的新帐户在创建时也会配置增加。
使用 CloudWatch 控制台进行部署
要使用 CloudWatch 控制台部署应用程序,请完成以下步骤:
- 在 CloudWatch 控制台上,选择 所有警报 在导航窗格中。
- 创建警报.
- 选择指标.
- 用法.
- 选择您要监控的指标。
- 选择您希望触发警报的条件。
配置告警时更多可能的配置,参见 基于静态阈值创建 CloudWatch 警报.
- 配置要通知有关警报的 SNS 主题。
您还可以使用 Amazon SNS 在触发警报时触发 Lambda 函数。 看 将 AWS Lambda 与 Amazon SNS 结合使用 获取更多信息.
- 针对 警报名称,输入名称。
- 下一页.
- 创建警报.
清理
要清理作为本文的一部分创建的资源,请确保删除所有创建的堆栈。 为此,请运行以下命令:
结论
在本文中,我们展示了如何使用 SageMaker 与 Service Quotas 的新集成来自动化 SageMaker 资源的配额增加请求。 这样,数据科学团队可以有效地并行工作并减少与实例不可用相关的问题。
您可以通过访问了解有关 Amazon SageMaker 配额的更多信息 文件. 您还可以了解有关服务配额的更多信息 相关信息.
关于作者
布鲁诺·克莱因 是 AWS ProServe 团队的机器学习工程师。 他特别喜欢创建自动化和改进生产模型的生命周期。 在空闲时间,他喜欢户外活动和徒步旅行。
帕拉斯梅赫拉 是 AWS 的高级产品经理。 他专注于帮助构建 Amazon SageMaker 培训和处理。 在业余时间,Paras 喜欢与家人共度时光,也喜欢在湾区骑公路自行车。 你可以在 LinkedIn.
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/best-practices-for-viewing-and-querying-amazon-sagemaker-service-quota-usage/
- :是
- $UP
- 10
- 100
- 7
- 8
- a
- 关于
- ACCESS
- 访问
- 账号管理
- 账户
- 行动
- 增加
- 可调整的
- 报警
- 所有类型
- 允许
- Amazon
- 亚马逊SageMaker
- 和
- 应用领域
- 架构
- 国家 / 地区
- 围绕
- AS
- At
- 自动化
- 自动
- 可使用
- AWS
- AWS Lambda
- 基于
- 海湾
- BE
- 最佳
- 最佳实践
- 超越
- 建立
- by
- CAN
- CD
- 中央
- 一定
- 完成
- 流程条件
- 安慰
- 创建信息图
- 创建
- 创造
- 创建
- 合作伙伴
- data
- 数据科学
- 默认
- 需求
- 部署
- 部署
- 指定
- 只
- 启用
- 工程师
- 输入
- 家庭
- 特征
- 找到最适合您的地方
- 重点
- 以下
- 针对
- Free
- 止
- 功能
- 混帐
- 特定
- GOES
- 有
- 帮助
- 帮助
- 高
- 创新中心
- HTML
- HTTP
- HTTPS
- 身分
- 改善
- in
- 包括
- 增加
- 增加
- 增加
- 增加
- 信息
- 例
- 说明
- 积分
- 问题
- 项目
- JPG
- 学习用品
- 学习
- Level
- 生命周期
- 喜欢
- 极限
- 范围
- 清单
- 圖書分館的位置
- 机
- 机器学习
- 使
- 管理
- 颠覆性技术
- 经理
- 手动
- 最多
- 中等
- 的话
- 公
- 指标
- ML
- 多播
- 模型
- 模型
- 显示器
- 显示器
- 更多
- 多
- 姓名
- 旅游导航
- 近
- 需求
- 全新
- 新功能
- 下页
- 笔记本
- 通知
- 数
- of
- on
- 组织
- 户外活动
- 面包
- 并行
- 部分
- 特别
- 尤其
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 可能
- 帖子
- 做法
- 先前
- 处理
- 产品
- 产品经理
- 生产
- 达到
- 达到
- 上游
- 实时的
- 收到
- 减少
- 地区
- 有关
- 请求
- 要求
- 资源
- 资源
- 路
- 运行
- sagemaker
- Sam
- 同
- 科学
- 前辈
- 无服务器
- 服务
- 几个
- 应该
- 显示
- 简易
- 插槽
- 方案,
- 一些
- 具体的
- 花
- 花费
- 堆栈
- 开始
- 步骤
- 团队
- 队
- 模板
- 终端
- 这
- 其
- 因此
- 门槛
- 通过
- 次
- 至
- 主题
- 培训
- 产品培训
- 触发
- 引发
- true
- 下
- 用法
- 使用
- 用户
- 用户
- 查看
- 方法..
- 工作
- 将
- 完全
- 您一站式解决方案
- 和风网