Отдельные направления бизнеса или команды с несколькими доменами Amazon SageMaker

Студия Amazon SageMaker — это полностью интегрированная среда разработки (IDE) для машинного обучения (ML), которая позволяет специалистам по данным и разработчикам выполнять все этапы рабочего процесса ML, от подготовки данных до создания, обучения, настройки и развертывания моделей.

Чтобы получить доступ к SageMaker Studio, Холст Amazon SageMaker, Или другие Среды машинного обучения Amazon такое как RStudio на Amazon SageMaker, необходимо сначала выделить домен SageMaker. Домен SageMaker включает связанный Эластичная файловая система Amazon (Amazon EFS) объем; список авторизованных пользователей; различные средства безопасности, приложения, политики и Виртуальное частное облако Amazon (Amazon VPC).

Теперь администраторы могут выделить несколько доменов SageMaker, чтобы разделить разные направления бизнеса или команды в рамках одной учетной записи AWS. Это создает логическое разделение между пользователями, хранилищем файлов и настройками конфигурации для различных групп в вашей организации. Например, ваша организация может захотеть отделить свое финансовое направление от отдела исследований в области устойчивого развития, как показано на следующей многодоменной консоли.

Создание нескольких доменов SageMaker также позволяет детально задавать конфигурации на уровне домена, такие как Конфигурации VPC чтобы разрешить общедоступный доступ в Интернет для исследований некоторых групп, при этом трафик должен проходить через указанное VPC для бизнес-подразделений с большими ограничениями.

Автоматическая пометка

Помимо разделения пользователей, хранилища файлов и конфигураций домена, администраторы также могут разделять ресурсы SageMaker, созданные в их домене. По умолчанию SageMaker теперь автоматически помечает новые ресурсы SageMaker, такие как задания обучения, задания обработки, эксперименты, конвейеры и записи реестра моделей, с их соответствующими тегами. sagemaker:domain-arn. SageMaker также помечает ресурс тегом sagemaker:user-profile-arn or sagemaker:space-arn для обозначения создания ресурсов на еще более детальном уровне.

Распределение затрат

Администраторы могут использовать автоматическую маркировку, чтобы легко отслеживать расходы, связанные с их направлением деятельности, командами, отдельными пользователями или отдельными бизнес-проблемами, используя такие инструменты, как Бюджеты AWS и Анализ затрат AWS. Например, администратор может прикрепить тег распределения затрат для sagemaker:domain-arn тег.

Это позволяет им использовать Cost Explorer для визуализации расходов на ноутбуки для данного домена.

Изоляция ресурсов на уровне домена

Администраторы могут прикреплять Управление идентификацией и доступом AWS (IAM), которые гарантируют, что пользователь домена может создавать и открывать только те ресурсы SageMaker, которые происходят из их соответствующего домена. Следующий код является примером такой политики:

{
    "Version": "2012-10-17",
    "Statement":
    [
        {
            "Sid": "CreateRequireDomainTag",
            "Effect": "Allow",
            "Action":
            [
                "SageMaker:Create*",
                "SageMaker:Update*"
            ],
            "Resource": "*",
            "Condition":
            {
                "ForAllValues:StringEquals":
                {
                    "aws:TagKeys":
                    [
                        "sagemaker:domain-arn"
                    ]
                }
            }
        },
        {
            "Sid": "ResourceAccessRequireDomainTag",
            "Effect": "Allow",
            "Action":
            [
                "SageMaker:Update*",
                "SageMaker:Delete*",
                "SageMaker:Describe*"
            ],
            "Resource": "*",
            "Condition":
            {
                "StringEquals":
                {
                    "aws:ResourceTag/sagemaker:domain-arn": "arn:aws:sagemaker:::domain/"
                }
            }
        }
    ]
}

Для получения дополнительной информации см. Обзор нескольких доменов.

Заполнение существующих ресурсов тегами домена

С момента запуска многодоменной возможности новые ресурсы автоматически помечаются тегом aws:ResourceTag/sagemaker:domain-arn. Однако, если вы хотите обновить существующие ресурсы, чтобы упростить их изоляцию, администраторы могут использовать add-tag Вызов SageMaker API в скрипте. В приведенном ниже примере показано, как привязать все существующие эксперименты к домену:

domain_arn=arn:aws:sagemaker:::domain/
experiments=`aws --region $REGION 
sagemaker list-experiments`
for row in $(echo "${experiments}" | jq -r '.ExperimentSummaries[] | @base64'); do
    _jq() {
     echo ${row} | base64 --decode | jq -r ${1}
    }

    exp_name=$(_jq '.ExperimentName')
    exp_arn=$(_jq '.ExperimentArn')

    echo "Tagging resource name: $exp_name and arn: $exp_arn with "sagemaker:domain-arn=$domain_arn""
    echo `aws sagemaker 
        add-tags 
        --resource-arn $exp_arn 
        --tags "Key=sagemaker:domain-arn,Value=$domain_arn" 
        --region $REGION`
    echo "Tagging done for: $exp_name"
    sleep 1
done

Вы можете убедиться, что любой отдельный ресурс был правильно помечен с помощью следующего примера кода:

aws sagemaker 
list-tags 
--resource-arn  
--region  

Обзор решения

В этом разделе мы расскажем, как настроить несколько доменов SageMaker в собственной учетной записи AWS. Вы можете либо использовать Интерфейс командной строки AWS (интерфейс командной строки AWS) или консоль SageMaker. Ссылаться на Подключение к домену Amazon SageMaker самые последние инструкции по созданию домена.

Создайте домен с помощью интерфейса командной строки AWS

Нет необходимых изменений API по сравнению с предыдущим aws sagemaker create-domain вызов CLI, но теперь есть поддержка --default-space-settings если вы собираетесь использовать общие пространства в SageMaker Studio. Для получения дополнительной информации см. общие пространства в Amazon SageMaker Studio.

Создайте новый домен с указанными вами конфигурациями, используя aws sagemaker create-domain, и тогда вы готовы заполнить его пользователями.

Создайте домен с помощью консоли SageMaker.

В обновленной консоли SageMaker вы можете администрировать свои домены с помощью новой опции под названием Домены SageMaker в навигационной панели.

Здесь вам будет предложено открыть существующие домены или создать новый с помощью графического интерфейса.

Заключение

Использование нескольких доменов SageMaker обеспечивает гибкость для удовлетворения потребностей вашей организации. Если вам нужно изолировать пользователей и их бизнес-группы или вы хотите запустить отдельные домены из-за различий в конфигурации, мы рекомендуем вам настроить несколько доменов SageMaker в рамках одной учетной записи AWS!

Об авторах

Шон Морган является архитектором решений AI/ML в AWS. У него есть опыт работы в области полупроводников и академических исследований, и он использует свой опыт, чтобы помочь клиентам достичь своих целей в AWS. В свободное время Шон является активным участником/мейнтейнером с открытым исходным кодом и руководителем специальной группы по интересам надстроек TensorFlow.

Аркаправа Де является старшим инженером-программистом в AWS. Он работает в Amazon более 7 лет и в настоящее время работает над улучшением среды разработки Amazon SageMaker Studio. Вы можете найти его на LinkedIn.

Кунал Джа является старшим менеджером по продуктам в AWS. Он сосредоточен на создании Amazon SageMaker Studio в качестве предпочтительной IDE для всех этапов разработки машинного обучения. В свободное время Кунал любит кататься на лыжах и исследовать северо-запад Тихого океана. Вы можете найти его на LinkedIn.

Хан Чжан является старшим инженером-программистом в Amazon Web Services. Она входит в группу запуска Amazon SageMaker Notebooks и Amazon SageMaker Studio и занимается созданием безопасных сред машинного обучения для клиентов. В свободное время она любит ходить в походы и кататься на лыжах на северо-западе Тихого океана.