Організуйте розробку машинного навчання за допомогою спільних просторів у SageMaker Studio для співпраці в реальному часі

Студія Amazon SageMaker це перше повністю інтегроване середовище розробки (IDE) для машинного навчання (ML). Він надає єдиний візуальний веб-інтерфейс, де ви можете виконувати всі етапи розробки ML, включаючи підготовку даних і створення, навчання та розгортання моделей.

У межах Домен Amazon SageMaker, користувачі можуть створити особисту програму IDE Amazon SageMaker Studio, яка запускає безкоштовний JupyterServer із вбудованою інтеграцією для перевірки Amazon Експерименти SageMaker, оркеструвати Трубопроводи Amazon SageMaker, і багато іншого. Користувачі платять лише за гнучкі обчислення на ядрах своїх ноутбуків. Ці персональні програми автоматично монтують приватні програми відповідного користувача Еластична файлова система Amazon (Amazon EFS), щоб вони могли зберігати код, дані та інші файли ізольовано від інших користувачів. Студія Amazon SageMaker вже підтримує спільний доступ до блокнотів між приватними програмами, але асинхронний механізм може уповільнити процес ітерації.

Тепер з спільні простори в Amazon SageMaker Studio, користувачі можуть організовувати спільні зусилля та ініціативи ML, створюючи спільну програму IDE, яку користувачі використовують із власним профілем користувача Amazon SageMaker. Працівники обробки даних, які співпрацюють у спільному просторі, отримують доступ до середовища Amazon SageMaker Studio, де вони можуть отримувати доступ, читати, редагувати та ділитися своїми блокнотами в режимі реального часу, що дає їм найшвидший спосіб почати ітерацію з колегами над новими ідеями. Працівники обробки даних можуть навіть одночасно працювати над одним ноутбуком, використовуючи можливості співпраці в реальному часі. Блокнот позначає кожного користувача, який спільно редагує, окремим курсором, який показує ім’я відповідного профілю користувача.

Спільні простори в SageMaker Studio автоматично позначають ресурси, як-от навчальні завдання, завдання обробки, експерименти, конвеєри та записи реєстру моделей, створені в межах робочого простору, з їх відповідними тегами. sagemaker:space-arn. Простір фільтрує ці ресурси в інтерфейсі користувача (UI) Amazon SageMaker Studio, тому користувачам представлені лише експерименти SageMaker, конвеєри та інші ресурси, які мають відношення до їхніх завдань машинного навчання.

Огляд рішення

Оскільки спільні простори автоматично позначають ресурси тегами, адміністратори можуть легко відстежувати витрати, пов’язані з роботою з машинного навчання, і планувати бюджети за допомогою таких інструментів, як Бюджети AWS та AWS Cost Explorer. Як адміністратор вам потрібно буде лише прикріпити a тег розподілу вартості та цінності sagemaker:space-arn.

Після цього ви можете використовувати AWS Cost Explorer, щоб визначити, скільки окремі проекти ML коштують вашій організації.

Почніть роботу зі спільними просторами в Amazon SageMaker Studio

У цьому розділі ми проаналізуємо типовий робочий процес для створення та використання спільних просторів у Amazon SageMaker Studio.

Створіть спільний простір в Amazon SageMaker Studio

Ви можете використовувати Amazon SageMaker Console або Інтерфейс командного рядка AWS (AWS CLI), щоб додати підтримку просторів до існуючого домену. Щоб отримати найновішу інформацію, будь ласка, перевірте Створіть спільний простір. Спільні простори працюють лише з образом JupyterLab 3 SageMaker Studio та для доменів SageMaker із використанням автентифікації AWS Identity and Access Management (AWS IAM).

Створення консолі

Щоб створити простір у визначеному домені Amazon SageMaker, вам спочатку потрібно встановити для призначеного простору роль виконання за умовчанням. Від Деталі домену виберіть сторінку настройки домену Вкладка і виберіть Редагувати. Тоді ви можете встановити роль виконання простору за замовчуванням, яку потрібно виконати лише один раз для кожного домену, як показано на наведеній нижче схемі:

Далі ви можете перейти до Управління космосом у вашому домені та виберіть Створювати кнопку, як показано на наступній схемі:

Створення AWS CLI

Ви також можете встановити роль виконання простору домену за замовчуванням з AWS CLI. Щоб визначити ARN зображення JupyterLab3 вашого регіону, перевірте Встановлення версії JupyterLab за замовчуванням.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

Коли це буде завершено для вашого домену, ви зможете створити спільний простір із CLI.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

Запустіть спільний простір в Amazon SageMaker Studio

Користувачі можуть запустити спільний простір, вибравши Запуск кнопку поруч із їхнім профілем користувача в консолі AWS для домену Amazon SageMaker.

Після вибору Приміщення у розділі «Спільна робота», а потім виберіть, який простір запустити:

Крім того, користувачі можуть створити попередньо підписану URL-адресу для запуску простору через AWS CLI:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

Співпраця в реальному часі

Після завантаження IDE спільного простору Amazon SageMaker Studio користувачі можуть вибрати Співробітники на лівій панелі, щоб побачити, які користувачі активно працюють у вашому просторі та на якому блокноті. Якщо над одним блокнотом працює більше ніж одна особа, ви побачите курсор із іменем профілю іншого користувача, де вони редагують:

На наведеному нижче знімку екрана ви можете побачити різну взаємодію з користувачем, який редагує та переглядає той самий блокнот:

Висновок

У цій публікації ми показали вам, як спільні простори в SageMaker Studio додають до Amazon SageMaker Studio досвід спільної роботи в IDE в реальному часі. Автоматичне додавання тегів допомагає користувачам охоплювати та фільтрувати свої ресурси Amazon SageMaker, що включає: експерименти, конвеєри та записи реєстру моделей для максимального підвищення продуктивності користувачів. Крім того, адміністратори можуть використовувати ці застосовані теги, щоб відстежувати витрати, пов’язані з певним простором, і встановлювати відповідні бюджети за допомогою AWS Cost Explorer і AWS Budgets.

Прискоріть співпрацю вашої команди вже сьогодні, створивши спільні простори в Amazon SageMaker Studio для ваших конкретних завдань машинного навчання!

Про авторів

Шон Морган є архітектором рішень AI/ML в AWS. Він має досвід у галузі напівпровідників та наукових досліджень і використовує свій досвід, щоб допомогти клієнтам досягти своїх цілей у AWS. У вільний час Шон є активним учасником/супроводжувачем з відкритим кодом і є керівником групи за особливими інтересами для додатків TensorFlow.

Хань Чжан є старшим інженером-програмістом Amazon Web Services. Вона є частиною команди запуску Amazon SageMaker Notebooks і Amazon SageMaker Studio і зосереджується на створенні безпечних середовищ машинного навчання для клієнтів. У вільний час вона любить піші прогулянки та катання на лижах на північному заході Тихого океану.

Аркаправа Де є старшим інженером-програмістом в AWS. Він працює в Amazon понад 7 років і зараз працює над покращенням досвіду IDE Amazon SageMaker Studio. Ви можете знайти його на LinkedIn.

Кунал Джа є старшим менеджером з продуктів у AWS. Він зосереджений на створенні Amazon SageMaker Studio як IDE вибору для всіх етапів розробки ML. У вільний час Кунал любить кататися на лижах і досліджувати північний захід Тихого океану. Ви можете знайти його на LinkedIn.