Студия Amazon SageMaker — первая полностью интегрированная среда разработки (IDE) для машинного обучения (ML). Studio предоставляет единый визуальный веб-интерфейс, в котором можно выполнять все этапы разработки машинного обучения, необходимые для подготовки данных, а также для создания, обучения и развертывания моделей. Конфигурации жизненного цикла — это сценарии оболочки, запускаемые событиями жизненного цикла Studio, такими как запуск новой записной книжки Studio. Вы можете использовать конфигурации жизненного цикла для автоматизации настройки среды Studio. Эта настройка включает установку пользовательских пакетов, настройку расширений записной книжки, предварительную загрузку наборов данных и настройку репозиториев исходного кода. Например, как администратор домена Studio, вы можете захотеть экономия средств за счет автоматического закрытия приложений для ноутбуков после длительного бездействия.
Ассоциация Комплект для разработки облачных сервисов AWS (AWS CDK) — это платформа для определения облачной инфраструктуры с помощью кода и предоставления ее с помощью AWS CloudFormation стеки. Стек — это набор ресурсов AWS, которые можно программно обновлять, перемещать или удалять. CDK AWS конструкции являются строительными блоками приложений AWS CDK, представляющими собой схему для определения облачных архитектур.
В этом посте мы покажем, как использовать AWS CDK для настройки Studio, использования конфигураций жизненного цикла Studio и обеспечения доступа к нему для специалистов по данным и разработчиков в вашей организации.
Обзор решения
Модульность конфигураций жизненного цикла позволяет применять их ко всем пользователям в домене или к определенным пользователям. Таким образом, вы можете настроить конфигурации жизненного цикла и ссылаться на них в Studio. шлюз ядра или сервер Jupyter быстро и последовательно. Шлюз ядра — это точка входа для взаимодействия с экземпляром ноутбука, тогда как сервер Jupyter представляет экземпляр Studio. Это позволяет применять лучшие практики DevOps и соответствовать стандартам безопасности, соответствия и конфигурации во всех аккаунтах AWS и регионах. В этом посте мы используем Python в качестве основного языка, но код можно легко изменить на другие языки, поддерживаемые AWS CDK. Для получения дополнительной информации см. Работа с AWS CDK.
Предпосылки
Для начала убедитесь, что у вас есть следующие предпосылки:
Клонировать репозиторий GitHub
Первое клонировать домен Репозиторий GitHub.
Когда вы клонируете репозиторий, вы можете заметить, что у нас есть классический проект AWS CDK с каталогом studio-lifecycle-config-construct
, который содержит конструкцию и ресурсы, необходимые для создания конфигураций жизненного цикла.
Конструкции AWS CDK
Файл, который мы хотим проверить, aws_sagemaker_lifecycle.py
. Этот файл содержит SageMakerStudioLifeCycleConfig
конструкция, которую мы используем для настройки и создания конфигураций жизненного цикла.
Ассоциация SageMakerStudioLifeCycleConfig
конструкция предоставляет основу для создания конфигураций жизненного цикла с использованием пользовательского AWS Lambda функция и код оболочки, считанные из файла. Конструкция содержит следующие параметры:
- ID – Название текущего проекта.
- studio_lifecycle_content - base64 кодированный контент.
- studio_lifecycle_tags – Метки, которые вы назначаете для организации ресурсов Amazon. Они вводятся как пары ключ-значение и являются необязательными для этой конфигурации.
- studio_lifecycle_config_app_type –
JupyterServer
предназначен для самого уникального сервера, аKernelGateway
app соответствует работающему контейнеру образа SageMaker.
Дополнительные сведения об архитектуре ноутбука Studio см. Подробное изучение архитектуры ноутбуков Amazon SageMaker Studio..
Ниже приведен фрагмент кода конструкции конфигурации жизненного цикла Studio (aws_sagemaker_lifecycle.py
):
После импорта и установки конструкции ее можно использовать. В следующем фрагменте кода показано, как создать конфигурацию жизненного цикла, используя конструкцию в стеке либо в app.py
или другая конструкция:
Развертывание конструкций AWS CDK
Чтобы развернуть стек AWS CDK, выполните следующие команды в том месте, где вы клонировали репозиторий.
Команда может быть python
вместо python3
в зависимости от конфигурации вашего пути.
- Создайте виртуальную среду:
- Для macOS/Linux используйте
python3 -m venv .cdk-venv
. - Для Windows используйте
python3 -m venv .cdk-venv
.
- Для macOS/Linux используйте
- Активируйте виртуальную среду:
- Для macOS/Linux используйте
source .cdk-venvbinactivate
. - Для Windows используйте
.cdk-venv/Scripts/activate.bat
. - Для PowerShell используйте
.cdk-venv/Scripts/activate.ps1
.
- Для macOS/Linux используйте
- Установите необходимые зависимости:
pip install -r requirements.txt
pip install -r requirements-dev.txt
- На этом этапе вы можете дополнительно синтезировать шаблон CloudFormation для этого кода:
- Разверните решение с помощью следующих команд:
aws configure
cdk bootstrap
cdk deploy
После успешного развертывания стека вы сможете просмотреть стек на консоли CloudFormation.
Вы также сможете просмотреть конфигурацию жизненного цикла на консоли SageMaker.
Выберите конфигурацию жизненного цикла, чтобы просмотреть исполняемый код оболочки, а также все назначенные вами теги.
Прикрепите конфигурацию жизненного цикла Studio
Существует несколько способов присоединения конфигурации жизненного цикла. В этом разделе мы представляем два метода: использование Консоль управления AWSи программно с использованием предоставленной инфраструктуры.
Прикрепите конфигурацию жизненного цикла с помощью консоли
Чтобы использовать консоль, выполните следующие действия:
- На консоли SageMaker выберите Домены в навигационной панели.
- Выберите используемое доменное имя и текущий профиль пользователя, затем выберите Редактировать.
- Выберите конфигурацию жизненного цикла, которую вы хотите использовать, и выберите Прикреплять.
Отсюда вы также можете установить его по умолчанию.
Прикрепите конфигурацию жизненного цикла программно
Вы также можете получить ARN конфигурации жизненного цикла Studio, созданной конструкцией, и программно присоединить ее к конструкции Studio. В следующем коде показана передача ARN конфигурации жизненного цикла в конструкцию Studio:
Убирать
Выполните действия, описанные в этом разделе, чтобы очистить ресурсы.
Удалить конфигурацию жизненного цикла Studio
Чтобы удалить конфигурацию жизненного цикла, выполните следующие действия:
- На консоли SageMaker выберите Конфигурации жизненного цикла Studio в навигационной панели.
- Выберите конфигурацию жизненного цикла, затем выберите Удалить.
Удалить стек AWS CDK
Когда вы закончите с созданными вами ресурсами, вы можете уничтожить свой стек AWS CDK, выполнив следующую команду в том месте, где вы клонировали репозиторий:
На запрос подтверждения удаления стека введите yes
.
Вы также можете удалить стек в консоли AWS CloudFormation, выполнив следующие действия:
- В консоли AWS CloudFormation выберите Стеки в навигационной панели.
- Выберите стек, который вы хотите удалить.
- В области сведений о стеке выберите Удалить.
- Выберите Удалить стопку когда будет предложено.
Если вы столкнетесь с какими-либо ошибками, возможно, вам придется вручную удалить некоторые ресурсы в зависимости от конфигурации вашей учетной записи.
Заключение
В этом посте мы обсудили, как Studio служит IDE для рабочих нагрузок машинного обучения. Studio предлагает поддержку конфигурации жизненного цикла, которая позволяет настраивать пользовательские сценарии оболочки для выполнения автоматизированных задач или настраивать среды разработки при запуске. Мы использовали конструкции AWS CDK для создания инфраструктуры для пользовательских ресурсов и конфигурации жизненного цикла. Конструкции синтезируются в стеки CloudFormation, которые затем развертываются для создания настраиваемого ресурса и сценария жизненного цикла, которые используются в Studio и ядре Notebook.
Для получения дополнительной информации посетите Студия Amazon SageMaker.
Об авторах
Кори Хейрстон работает инженером-программистом в лаборатории решений Amazon ML. В настоящее время он работает над предоставлением многоразовых программных решений.
Алекс Чираят — старший инженер по машинному обучению в лаборатории решений Amazon ML. Он возглавляет группы ученых и инженеров, занимающихся данными, для создания приложений ИИ для удовлетворения потребностей бизнеса.
Гури Пандешвар работает инженером-менеджером в лаборатории решений Amazon ML. Он и его команда инженеров работают над созданием повторно используемых решений и платформ, которые помогают ускорить внедрение сервисов AWS AI/ML для бизнес-применений клиентов.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- ЭВМ Финанс. Единый интерфейс для децентрализованных финансов. Доступ здесь.
- Квантум Медиа Групп. ИК/PR усиление. Доступ здесь.
- ПлатонАйСтрим. Анализ данных Web3. Расширение знаний. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/use-the-aws-cdk-to-deploy-amazon-sagemaker-studio-lifecycle-configurations/
- :является
- :куда
- $UP
- 100
- 12
- 14
- 7
- a
- в состоянии
- ускорять
- доступ
- Учетная запись
- Учетные записи
- через
- адрес
- Принятие
- После
- AI
- AI / ML
- Все
- позволяет
- причислены
- Amazon
- Лаборатория решений Amazon ML
- Создатель мудреца Амазонки
- Студия Amazon SageMaker
- Amazon Web Services
- an
- и
- Другой
- любой
- приложение
- Приложения
- Применить
- Программы
- архитектура
- МЫ
- AS
- назначенный
- At
- прикреплять
- автоматизировать
- Автоматизированный
- автоматически
- AWS
- AWS CloudFormation
- BE
- не являетесь
- ЛУЧШЕЕ
- лучшие практики
- Блоки
- строить
- Строительство
- бизнес
- но
- by
- CAN
- случаев
- менялась
- Выберите
- классический
- облако
- облачная инфраструктура
- код
- лыжных шлемов
- COM
- полный
- Соответствие закону
- Конфигурация
- подтвердить
- Консоли
- строить
- Container
- содержит
- содержание
- соответствует
- Расходы
- Создайте
- создали
- Текущий
- В настоящее время
- изготовленный на заказ
- настройка
- данным
- Наборы данных
- глубоко
- По умолчанию
- определяющий
- в зависимости
- развертывание
- развернуть
- уничтожить
- подробнее
- застройщиков
- Развитие
- обсуждается
- домен
- Имя домена
- сделанный
- вниз
- легко
- или
- включить
- позволяет
- инженер
- Инженеры
- Enter
- запись
- Окружающая среда
- средах
- ошибки
- События
- пример
- расширения
- Файл
- Во-первых,
- после
- Что касается
- Рамки
- каркасы
- от
- полностью
- функция
- шлюз
- получить
- GitHub
- Есть
- имеющий
- he
- помощь
- здесь
- его
- Как
- How To
- HTML
- HTTP
- HTTPS
- ID
- изображение
- Импортировать
- in
- включает в себя
- информация
- Инфраструктура
- устанавливать
- Установка
- пример
- вместо
- интегрированный
- взаимодействовать
- Интерфейс
- в
- IT
- ЕГО
- саму трезвость
- JPG
- лаборатория
- Этикетки
- язык
- Языки
- запуск
- Лиды
- изучение
- Жизненный цикл
- расположение
- Длинное
- машина
- обучение с помощью машины
- Главная
- сделать
- управление
- менеджер
- вручную
- Май..
- Встречайте
- методы
- ML
- Модели
- БОЛЕЕ
- переехал
- с разными
- имя
- Навигация
- потребности
- Новые
- ноутбук
- наблюдать
- of
- Предложения
- on
- or
- организация
- Другое
- пакеты
- пар
- хлеб
- параметры
- Прошло
- путь
- Выполнять
- периодов
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Точка
- После
- PowerShell
- практиками
- Подготовить
- предпосылки
- представить
- Профиль
- Проект
- при условии
- приводит
- обеспечение
- Питон
- быстро
- Читать
- районы
- хранилище
- представляющий
- представляет
- обязательный
- Требования
- ресурс
- Полезные ресурсы
- многоразовый
- Run
- Бег
- Сохранность
- sagemaker
- Ученые
- сфера
- скрипты
- Раздел
- SELF
- старший
- служит
- Услуги
- набор
- установка
- Оболочка
- должен
- показывать
- Шоу
- выключать
- одинарной
- Software
- Инженер-программист
- Решение
- Решения
- некоторые
- Источник
- исходный код
- конкретный
- стек
- Стеки
- стандартов
- и политические лидеры
- Начало
- Шаги
- студия
- Успешно
- такие
- поддержка
- Поддержанный
- система
- задачи
- команда
- команды
- шаблон
- который
- Ассоциация
- Их
- тогда
- они
- этой
- Через
- в
- Train
- срабатывает
- два
- созданного
- обновление
- использование
- используемый
- Информация о пользователе
- пользователей
- через
- Вид
- Виртуальный
- Войти
- хотеть
- Путь..
- способы
- we
- Web
- веб-сервисы
- Web-Based
- ЧТО Ж
- когда
- в то время как
- , которые
- будете
- окна
- работает
- работает
- Ты
- ВАШЕ
- зефирнет