具有多个 Amazon SageMaker 域的独立业务线或团队 PlatoBlockchain 数据智能。 垂直搜索。 人工智能。

具有多个 Amazon SageMaker 域的独立业务线或团队

亚马逊SageMaker Studio 是用于机器学习 (ML) 的完全集成开发环境 (IDE),使数据科学家和开发人员能够执行 ML 工作流的每一步,从准备数据到构建、训练、调整和部署模型。

要访问 SageMaker Studio, 亚马逊 SageMaker 画布或其他 亚马逊机器学习环境 喜欢 Amazon SageMaker 上的 RStudio,您必须先预置一个 SageMaker 域。 SageMaker 域包括关联的 亚马逊弹性文件系统 (亚马逊 EFS)卷; 授权用户名单; 以及各种安全、应用程序、策略和 亚马逊虚拟私有云 (亚马逊 VPC)配置。

管理员现在可以配置多个 SageMaker 域,以便在单个 AWS 账户中分隔不同的业务线或团队。 这会在组织中的各个组的用户、文件存储和配置设置之间创建逻辑分离。 例如,您的组织可能希望将您的财务业务线与可持续性研究部门分开,如以下多域控制台所示。

创建多个 SageMaker 域还允许您精细地设置域级配置,例如 专有网络配置 为了允许一些团体的研究访问公共互联网,同时强制流量通过特定的 VPC 给业务单位以更大的限制。

自动标记

除了分离用户、文件存储和域配置之外,管理员还可以分离在其域内创建的 SageMaker 资源。 默认情况下,SageMaker 现在会自动标记新的 SageMaker 资源,例如训练作业、处理作业、实验、管道和模型注册表条目及其各自的 sagemaker:domain-arn. SageMaker 还将资源标记为 sagemaker:user-profile-arn or sagemaker:space-arn 在更细粒度的级别指定资源创建。

成本分配

管理员可以使用自动标记来轻松监控与其业务线、团队、个人用户或个人业务问题相关的成本,方法是使用以下工具 AWS 预算AWS 成本管理器. 例如,管理员可以附加一个 成本分配标签 等加工。为 sagemaker:domain-arn 标签。

成本分配标签

这使他们能够利用 Cost Explorer 可视化给定域的笔记本支出。

AWS 成本管理

域级资源隔离

管理员可以附加 AWS身份和访问管理 (IAM) 策略确保域的用户只能创建和打开源自其各自域的 SageMaker 资源。 以下代码是此类策略的示例:

{
    "Version": "2012-10-17",
    "Statement":
    [
        {
            "Sid": "CreateRequireDomainTag",
            "Effect": "Allow",
            "Action":
            [
                "SageMaker:Create*",
                "SageMaker:Update*"
            ],
            "Resource": "*",
            "Condition":
            {
                "ForAllValues:StringEquals":
                {
                    "aws:TagKeys":
                    [
                        "sagemaker:domain-arn"
                    ]
                }
            }
        },
        {
            "Sid": "ResourceAccessRequireDomainTag",
            "Effect": "Allow",
            "Action":
            [
                "SageMaker:Update*",
                "SageMaker:Delete*",
                "SageMaker:Describe*"
            ],
            "Resource": "*",
            "Condition":
            {
                "StringEquals":
                {
                    "aws:ResourceTag/sagemaker:domain-arn": "arn:aws:sagemaker:::domain/"
                }
            }
        }
    ]
}

欲了解更多信息,请参阅 多域概览.

用域标签回填现有资源

多域能力上线后,新资源自动打上标签 aws:ResourceTag/sagemaker:domain-arn. 但是,如果您想更新现有资源以促进资源隔离,主管部门可以使用 add-tag 脚本中的 SageMaker API 调用。 下面的示例显示了如何将所有现有实验标记到一个域:

domain_arn=arn:aws:sagemaker:::domain/
experiments=`aws --region $REGION 
sagemaker list-experiments`
for row in $(echo "${experiments}" | jq -r '.ExperimentSummaries[] | @base64'); do
    _jq() {
     echo ${row} | base64 --decode | jq -r ${1}
    }

    exp_name=$(_jq '.ExperimentName')
    exp_arn=$(_jq '.ExperimentArn')

    echo "Tagging resource name: $exp_name and arn: $exp_arn with "sagemaker:domain-arn=$domain_arn""
    echo `aws sagemaker 
        add-tags 
        --resource-arn $exp_arn 
        --tags "Key=sagemaker:domain-arn,Value=$domain_arn" 
        --region $REGION`
    echo "Tagging done for: $exp_name"
    sleep 1
done

您可以使用以下代码示例验证是否正确标记了任何单个资源:

aws sagemaker 
list-tags 
--resource-arn  
--region  

解决方案概述

在本节中,我们概述了如何在您自己的 AWS 账户中设置多个 SageMaker 域。 您可以使用 AWS命令行界面 (AWS CLI) 或 SageMaker 控制台。 参考 加入 Amazon SageMaker 域 有关创建域的最新说明。

使用 AWS CLI 创建域

与之前的 API 相比没有必要的 API 更改 aws sagemaker create-domain CLI 调用,但现在支持 --default-space-settings 如果您打算在 SageMaker Studio 中使用共享空间。 有关详细信息,请参阅 Amazon SageMaker Studio 中的共享空间.

使用您指定的配置创建一个新域 aws sagemaker create-domain,然后您就可以用用户填充它了。

使用 SageMaker 控制台创建域

在更新的 SageMaker 控制台上,您可以通过名为 SageMaker 域 在导航窗格中。

在这里,您将看到打开现有域或使用图形界面创建新域的选项。

创建域

结论

利用多个 SageMaker 域可以灵活地满足您的组织需求。 无论您是需要隔离用户及其业务组,还是由于配置差异想要运行单独的域,我们都鼓励您在单个 AWS 账户中建立多个 SageMaker 域!


作者简介

肖恩·摩根(Sean Morgan)肖恩·摩根(Sean Morgan) 是 AWS 的 AI/ML 解决方案架构师。 他在半导体和学术研究领域拥有丰富的经验,并利用自己的经验帮助客户在 AWS 上实现目标。 在空闲时间,Sean 是一名活跃的开源贡献者/维护者,并且是 TensorFlow Add-ons 的特殊兴趣小组负责人。

具有多个 Amazon SageMaker 域的独立业务线或团队 PlatoBlockchain 数据智能。 垂直搜索。 人工智能。阿尔卡普拉瓦德 是 AWS 的高级软件工程师。 他已在 Amazon 工作 7 年多,目前致力于改善 Amazon SageMaker Studio IDE 体验。 你可以在 LinkedIn.

具有多个 Amazon SageMaker 域的独立业务线或团队 PlatoBlockchain 数据智能。 垂直搜索。 人工智能。库纳尔贾 是 AWS 的高级产品经理。 他专注于将 Amazon SageMaker Studio 构建为所有 ML 开发步骤的首选 IDE。 在业余时间,Kunal 喜欢滑雪和探索太平洋西北部。 你可以找到他 LinkedIn.

具有多个 Amazon SageMaker 域的独立业务线或团队 PlatoBlockchain 数据智能。 垂直搜索。 人工智能。张涵 是 Amazon Web Services 的高级软件工程师。 她是 Amazon SageMaker Notebooks 和 Amazon SageMaker Studio 发布团队的一员,一直专注于为客户构建安全的机器学习环境。 在业余时间,她喜欢在太平洋西北地区远足和滑雪。

时间戳记:

更多来自 AWS机器学习