Студія Amazon SageMaker це перше повністю інтегроване середовище розробки (IDE) для машинного навчання (ML). Studio надає єдиний візуальний веб-інтерфейс, де ви можете виконувати всі кроки розробки ML, необхідні для підготовки даних, а також створювати, навчати та розгортати моделі. Конфігурації життєвого циклу це сценарії оболонки, які запускаються подіями життєвого циклу Studio, наприклад запуском нового блокнота Studio. Ви можете використовувати конфігурації життєвого циклу для автоматизації налаштування середовища Studio. Ця настройка включає в себе встановлення спеціальних пакетів, налаштування розширень блокнота, попереднє завантаження наборів даних і налаштування сховищ вихідного коду. Наприклад, ви можете як адміністратор домену Studio заощаджуйте кошти завдяки автоматичному вимкненню програм для ноутбука після тривалого періоду бездіяльності.
Команда Набір хмарних розробок AWS (AWS CDK) — це структура для визначення хмарної інфраструктури за допомогою коду та її надання AWS CloudFormation стеки. Стек — це набір ресурсів AWS, які можна програмно оновлювати, переміщувати або видаляти. AWS CDK конструкти це будівельні блоки додатків AWS CDK, що представляють собою план для визначення хмарних архітектур.
У цій публікації ми покажемо, як використовувати AWS CDK для налаштування Studio, використання конфігурацій життєвого циклу Studio та надання доступу до нього науковцям і розробникам даних у вашій організації.
Огляд рішення
Модульність конфігурацій життєвого циклу дозволяє застосовувати їх до всіх користувачів у домені або до окремих користувачів. Таким чином ви можете налаштувати конфігурації життєвого циклу та посилатися на них у Studio шлюз ядра або сервер Jupyter швидко і послідовно. Шлюз ядра є точкою входу для взаємодії з примірником ноутбука, тоді як сервер Jupyter представляє примірник Studio. Це дає вам змогу застосовувати найкращі практики DevOps і відповідати стандартам безпеки, відповідності та конфігурації в усіх облікових записах і регіонах AWS. Для цієї публікації ми використовуємо Python як основну мову, але код можна легко змінити на інші підтримувані AWS CDK мови. Для отримання додаткової інформації див Робота з AWS CDK.
Передумови
Щоб розпочати, переконайтеся, що у вас є такі передумови:
Клонуйте репозиторій GitHub
По-перше, клон GitHub сховище.
Коли ви клонуєте репозиторій, ви можете помітити, що у нас є класичний проект AWS CDK із каталогом studio-lifecycle-config-construct
, який містить конструкцію та ресурси, необхідні для створення конфігурацій життєвого циклу.
Конструкції AWS CDK
Файл, який ми хочемо перевірити aws_sagemaker_lifecycle.py
. Цей файл містить SageMakerStudioLifeCycleConfig
конструкція, яку ми використовуємо для налаштування та створення конфігурацій життєвого циклу.
Команда SageMakerStudioLifeCycleConfig
construct забезпечує структуру для побудови конфігурацій життєвого циклу за допомогою користувача AWS Lambda функція та код оболонки, зчитані з файлу. Конструкція містить такі параметри:
- ID – Назва поточного проекту.
- studio_lifecycle_content - The base64 закодований вміст.
- studio_lifecycle_tags – Мітки, які ви призначаєте для організації ресурсів Amazon. Вони вводяться як пари ключ-значення і є необов’язковими для цієї конфігурації.
- studio_lifecycle_config_app_type -
JupyterServer
для самого унікального сервера таKernelGateway
app відповідає запущеному контейнеру зображень SageMaker.
Додаткову інформацію про архітектуру ноутбука Studio див Пориньте глибоко в архітектуру Amazon SageMaker Studio Notebooks.
Нижче наведено фрагмент коду конструкції конфігурації життєвого циклу Studio (aws_sagemaker_lifecycle.py
):
Після того як ви імпортуєте та інсталюєте конструкцію, ви можете її використовувати. У наведеному нижче фрагменті коду показано, як створити конфігурацію життєвого циклу за допомогою конструкції в стеку або в app.py
або інша конструкція:
Розгорніть конструкції AWS CDK
Щоб розгорнути стек AWS CDK, виконайте наведені нижче команди в місці, де ви клонували репозиторій.
Команда може бути python
замість python3
залежно від конфігурації шляху.
- Створіть віртуальне середовище:
- Для macOS/Linux використовуйте
python3 -m venv .cdk-venv
. - Для Windows використовуйте
python3 -m venv .cdk-venv
.
- Для macOS/Linux використовуйте
- Активуйте віртуальне середовище:
- Для macOS/Linux використовуйте
source .cdk-venvbinactivate
. - Для Windows використовуйте
.cdk-venv/Scripts/activate.bat
. - Для PowerShell використовуйте
.cdk-venv/Scripts/activate.ps1
.
- Для macOS/Linux використовуйте
- Встановіть необхідні залежності:
pip install -r requirements.txt
pip install -r requirements-dev.txt
- На цьому етапі ви можете додатково синтезувати шаблон CloudFormation для цього коду:
- Розгорніть рішення за допомогою таких команд:
aws configure
cdk bootstrap
cdk deploy
Коли стек буде успішно розгорнуто, ви зможете переглянути стек на консолі CloudFormation.
Ви також зможете переглянути конфігурацію життєвого циклу на консолі SageMaker.
Виберіть конфігурацію життєвого циклу, щоб переглянути код оболонки, який виконується, а також будь-які теги, які ви призначили.
Додайте конфігурацію життєвого циклу Studio
Є кілька способів підключити конфігурацію життєвого циклу. У цьому розділі ми представляємо два методи: використання Консоль управління AWSі програмно з використанням наданої інфраструктури.
Додайте конфігурацію життєвого циклу за допомогою консолі
Щоб використовувати консоль, виконайте наступні кроки:
- На консолі SageMaker виберіть Домени у навігаційній панелі.
- Виберіть доменне ім’я, яке ви використовуєте, і поточний профіль користувача, а потім виберіть Редагувати.
- Виберіть конфігурацію життєвого циклу, яку ви хочете використовувати, і виберіть Приєднувати.
Звідси ви також можете встановити його за замовчуванням.
Додайте конфігурацію життєвого циклу програмно
Ви також можете отримати ARN конфігурації життєвого циклу Studio, створеної конструкцією, і приєднати його до конструкції Studio програмно. У наведеному нижче коді показано, як ARN конфігурації життєвого циклу передається в конструкцію Studio:
Прибирати
Виконайте кроки в цьому розділі, щоб очистити свої ресурси.
Видаліть конфігурацію життєвого циклу Studio
Щоб видалити конфігурацію життєвого циклу, виконайте такі дії:
- На консолі SageMaker виберіть Конфігурації життєвого циклу студії у навігаційній панелі.
- Виберіть конфігурацію життєвого циклу, а потім виберіть видаляти.
Видаліть стек AWS CDK
Коли ви закінчите зі створеними ресурсами, ви можете знищити стек AWS CDK, виконавши таку команду в місці, де ви клонували репозиторій:
Коли буде запропоновано підтвердити видалення стека, введіть yes
.
Ви також можете видалити стек на консолі AWS CloudFormation, виконавши такі дії:
- На консолі AWS CloudFormation виберіть Стеки у навігаційній панелі.
- Виберіть стек, який потрібно видалити.
- На панелі відомостей про стек виберіть видаляти.
- Вибирати Видалити стек коли з'являється підказка.
Якщо ви зіткнетеся з будь-якими помилками, можливо, вам доведеться вручну видалити деякі ресурси залежно від конфігурації вашого облікового запису.
Висновок
У цьому дописі ми обговорили, як Studio служить IDE для робочих навантажень ML. Studio пропонує підтримку конфігурації життєвого циклу, яка дозволяє налаштовувати спеціальні сценарії оболонки для виконання автоматизованих завдань або налаштовувати середовища розробки під час запуску. Ми використовували конструкції AWS CDK для створення інфраструктури для настроюваних ресурсів і конфігурації життєвого циклу. Конструкції синтезуються в стеки CloudFormation, які потім розгортаються для створення спеціального ресурсу та сценарію життєвого циклу, який використовується в Studio та ядрі ноутбука.
Для отримання додаткової інформації відвідайте Студія Amazon SageMaker.
Про авторів
Корі Херстон є інженером-програмістом у Amazon ML Solutions Lab. Зараз він працює над розробкою багаторазового програмного забезпечення.
Алекс Чіраят є старшим інженером з машинного навчання в Amazon ML Solutions Lab. Він очолює команди науковців та інженерів із обробки даних для створення додатків ШІ для задоволення потреб бізнесу.
Гурі Пандешвар є інженером-менеджером Amazon ML Solutions Lab. Він і його команда інженерів працюють над розробкою багаторазових рішень і фреймворків, які допоможуть прискорити впровадження послуг AWS AI/ML для бізнес-випадків використання клієнтів.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- EVM Фінанси. Уніфікований інтерфейс для децентралізованих фінансів. Доступ тут.
- Quantum Media Group. ІЧ/ПР посилений. Доступ тут.
- PlatoAiStream. Web3 Data Intelligence. Розширення знань. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/use-the-aws-cdk-to-deploy-amazon-sagemaker-studio-lifecycle-configurations/
- :є
- :де
- $UP
- 100
- 12
- 14
- 7
- a
- Здатний
- прискорювати
- доступ
- рахунки
- Рахунки
- через
- адреса
- Прийняття
- після
- AI
- AI / ML
- ВСІ
- дозволяє
- Також
- Amazon
- Лабораторія рішень Amazon ML
- Amazon SageMaker
- Студія Amazon SageMaker
- Amazon Web Services
- an
- та
- Інший
- будь-який
- додаток
- застосування
- Застосовувати
- додатка
- архітектура
- ЕСТЬ
- AS
- призначений
- At
- приєднувати
- автоматизувати
- Автоматизований
- автоматично
- AWS
- AWS CloudFormation
- BE
- буття
- КРАЩЕ
- передового досвіду
- блоки
- будувати
- Створюємо
- бізнес
- але
- by
- CAN
- випадків
- змінилися
- Вибирати
- classic
- хмара
- інфраструктура хмари
- код
- збір
- COM
- повний
- дотримання
- конфігурація
- підтвердити
- Консоль
- будувати
- Контейнер
- містить
- зміст
- відповідає
- витрати
- створювати
- створений
- Поточний
- В даний час
- виготовлений на замовлення
- настройка
- дані
- набори даних
- глибокий
- дефолт
- визначаючи
- Залежно
- розгортання
- розгорнути
- знищити
- деталі
- розробників
- розробка
- обговорювалися
- домен
- Доменне ім'я
- зроблений
- вниз
- легко
- або
- включіть
- дозволяє
- інженер
- Інженери
- Що натомість? Створіть віртуальну версію себе у
- запис
- Навколишнє середовище
- середовищах
- помилки
- Події
- приклад
- Розширення
- філе
- Перший
- після
- для
- Рамки
- каркаси
- від
- повністю
- функція
- шлюз
- отримати
- GitHub
- Мати
- має
- he
- допомога
- тут
- його
- Як
- How To
- HTML
- HTTP
- HTTPS
- ID
- зображення
- імпорт
- in
- includes
- інформація
- Інфраструктура
- встановлювати
- установка
- екземпляр
- замість
- інтегрований
- взаємодіяти
- інтерфейс
- в
- IT
- ЙОГО
- сам
- JPG
- lab
- етикетки
- мова
- мови
- запуск
- Веде за собою
- вивчення
- Життєвий цикл
- розташування
- Довго
- машина
- навчання за допомогою машини
- головний
- зробити
- управління
- менеджер
- вручну
- Може..
- Зустрічатися
- методика
- ML
- Моделі
- більше
- переїхав
- множинний
- ім'я
- навігація
- потреби
- Нові
- ноутбук
- спостерігати
- of
- Пропозиції
- on
- or
- організація
- Інше
- пакети
- пар
- pane
- параметри
- Пройшов
- шлях
- Виконувати
- періодів
- plato
- Інформація про дані Платона
- PlatoData
- точка
- пошта
- PowerShell
- практики
- Готувати
- передумови
- представити
- профіль
- проект
- за умови
- забезпечує
- забезпечення
- Python
- швидко
- Читати
- райони
- Сховище
- представляє
- представляє
- вимагається
- Вимога
- ресурс
- ресурси
- багаторазовий
- прогін
- біг
- Безпека
- мудрець
- Вчені
- сфера
- scripts
- розділ
- SELF
- старший
- служить
- Послуги
- комплект
- установка
- Склад
- Повинен
- Показувати
- Шоу
- Вимикати
- один
- Софтвер
- Інженер-програміст
- рішення
- Рішення
- деякі
- Source
- вихідні
- конкретний
- стек
- Стеки
- стандартів
- почалася
- Починаючи
- заходи
- студія
- Успішно
- такі
- підтримка
- Підтриманий
- система
- завдання
- команда
- команди
- шаблон
- Що
- Команда
- Їх
- потім
- вони
- це
- через
- до
- поїзд
- спрацьовує
- два
- створеного
- оновлений
- використання
- використовуваний
- користувач
- користувачі
- використання
- вид
- Віртуальний
- візит
- хотіти
- шлях..
- способи
- we
- Web
- веб-сервіси
- Web-Based
- ДОБРЕ
- коли
- в той час як
- який
- волі
- windows
- з
- робочий
- працює
- Ти
- вашу
- зефірнет