Организуйте разработку машинного обучения, используя общие пространства в SageMaker Studio для совместной работы в режиме реального времени.

Студия Amazon SageMaker — первая полностью интегрированная среда разработки (IDE) для машинного обучения (ML). Он предоставляет единый визуальный веб-интерфейс, в котором вы можете выполнять все этапы разработки машинного обучения, включая подготовку данных и построение, обучение и развертывание моделей.

В пределах Домен Amazon SageMaker, пользователи могут подготовить личное приложение Amazon SageMaker Studio IDE, которое запускает бесплатный сервер JupyterServer со встроенными интеграциями для изучения Amazon. SageMaker эксперименты, оркестровать Конвейеры Amazon SageMaker, и многое другое. Пользователи платят только за гибкие вычисления на ядрах своих ноутбуков. Эти личные приложения автоматически монтируют личные Эластичная файловая система Amazon (Amazon EFS), чтобы они могли хранить код, данные и другие файлы изолированными от других пользователей. Студия Amazon SageMaker уже поддерживает совместное использование ноутбуков между частными приложениями, но асинхронный механизм может замедлить процесс итерации.

Теперь с общие пространства в Amazon SageMaker Studio, пользователи могут организовывать совместные усилия и инициативы по машинному обучению, создавая общее приложение IDE, которое пользователи используют со своим собственным профилем пользователя Amazon SageMaker. Работники данных, работающие совместно в общем пространстве, получают доступ к среде Amazon SageMaker Studio, где они могут просматривать, читать, редактировать и совместно использовать свои записные книжки в режиме реального времени, что дает им самый быстрый способ начать работу над новыми идеями вместе со своими коллегами. Сотрудники, работающие с данными, могут даже одновременно работать над одним и тем же ноутбуком, используя возможности совместной работы в режиме реального времени. В записной книжке каждый пользователь, выполняющий совместное редактирование, обозначен отдельным курсором, который показывает имя соответствующего профиля пользователя.

Общие пространства в SageMaker Studio автоматически помечают ресурсы, такие как задания обучения, задания обработки, эксперименты, конвейеры и записи реестра моделей, созданные в рамках рабочей области, с их соответствующими тегами. sagemaker:space-arn. Пространство фильтрует эти ресурсы в пользовательском интерфейсе (UI) Amazon SageMaker Studio, поэтому пользователям предоставляются только эксперименты SageMaker, конвейеры и другие ресурсы, которые имеют отношение к их усилиям по машинному обучению.

Обзор решения

Поскольку общие пространства автоматически помечают ресурсы, администраторы могут легко отслеживать расходы, связанные с ML, и планировать бюджеты с помощью таких инструментов, как Бюджеты AWS и Анализ затрат AWS. Как администратору вам нужно будет только прикрепить тег распределения затрат для sagemaker:space-arn.

После этого вы можете использовать AWS Cost Explorer, чтобы определить, сколько стоят отдельные проекты машинного обучения для вашей организации.

Начните работу с общими пространствами в Amazon SageMaker Studio

В этом разделе мы проанализируем типичный рабочий процесс создания и использования общих пространств в Amazon SageMaker Studio.

Создайте общее пространство в Amazon SageMaker Studio

Вы можете использовать консоль Amazon SageMaker или Интерфейс командной строки AWS (AWS CLI), чтобы добавить поддержку пробелов в существующий домен. Для получения самой актуальной информации, пожалуйста, проверьте Создать общее пространство. Общие пространства работают только с образом JupyterLab 3 SageMaker Studio и доменами SageMaker, использующими аутентификацию AWS Identity and Access Management (AWS IAM).

Создание консоли

Чтобы создать пространство в выделенном домене Amazon SageMaker, сначала необходимо установить роль выполнения по умолчанию для выделенного пространства. От Детали домена страницы, выберите настройки домена И выберите Редактировать. Затем вы можете установить роль выполнения пространства по умолчанию, которую необходимо выполнить только один раз для каждого домена, как показано на следующей диаграмме:

Далее вы можете перейти к Управление пространством вкладку в вашем домене и выберите Создавай кнопку, как показано на следующей схеме:

Создание интерфейса командной строки AWS

Вы также можете установить роль выполнения пространства домена по умолчанию в интерфейсе командной строки AWS. Чтобы определить ARN образа JupyterLab3 вашего региона, проверьте Установка версии JupyterLab по умолчанию.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

Как только это будет завершено для вашего домена, вы можете создать общее пространство из CLI.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

Запустите общее пространство в Amazon SageMaker Studio

Пользователи могут запустить общее пространство, выбрав Презентация рядом со своим профилем пользователя в консоли AWS для своего домена Amazon SageMaker.

После выбора Spaces в разделе «Совместная работа», затем выберите пространство для запуска:

Кроме того, пользователи могут создать предварительно подписанный URL-адрес для запуска пространства через интерфейс командной строки AWS:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

Сотрудничество в режиме реального времени

После загрузки IDE общего пространства Amazon SageMaker Studio пользователи могут выбрать Сотрудники вкладку на левой панели, чтобы увидеть, какие пользователи активно работают в вашем пространстве и на какой записной книжке. Если над одной записной книжкой работает несколько человек, вы увидите курсор с именем профиля другого пользователя, в котором они редактируют:

На следующем снимке экрана вы можете увидеть различное взаимодействие с пользователем при редактировании и просмотре одной и той же записной книжки:

Заключение

В этом посте мы показали, как общие пространства в SageMaker Studio добавляют в Amazon SageMaker Studio возможность совместной работы в среде IDE в реальном времени. Автоматическое добавление тегов помогает пользователям определять и фильтровать свои ресурсы Amazon SageMaker, в том числе: эксперименты, конвейеры и записи реестра моделей, чтобы максимально повысить производительность пользователей. Кроме того, администраторы могут использовать эти применяемые теги для отслеживания затрат, связанных с данным пространством, и устанавливать соответствующие бюджеты с помощью AWS Cost Explorer и AWS Budgets.

Ускорьте совместную работу вашей команды уже сегодня, настроив общие пространства в Amazon SageMaker Studio для конкретных задач машинного обучения!

Об авторах

Шон Морган является архитектором решений AI/ML в AWS. У него есть опыт работы в области полупроводников и академических исследований, и он использует свой опыт, чтобы помочь клиентам достичь своих целей в AWS. В свободное время Шон является активным участником/мейнтейнером с открытым исходным кодом и руководителем специальной группы по интересам надстроек TensorFlow.

Хан Чжан является старшим инженером-программистом в Amazon Web Services. Она входит в группу запуска Amazon SageMaker Notebooks и Amazon SageMaker Studio и занимается созданием безопасных сред машинного обучения для клиентов. В свободное время она любит ходить в походы и кататься на лыжах на северо-западе Тихого океана.

Аркаправа Де является старшим инженером-программистом в AWS. Он работает в Amazon более 7 лет и в настоящее время работает над улучшением среды разработки Amazon SageMaker Studio. Вы можете найти его на LinkedIn.

Кунал Джа является старшим менеджером по продуктам в AWS. Он сосредоточен на создании Amazon SageMaker Studio в качестве предпочтительной IDE для всех этапов разработки машинного обучения. В свободное время Кунал любит кататься на лыжах и исследовать северо-запад Тихого океана. Вы можете найти его на LinkedIn.