Предоставление сред машинного обучения и управление ими с помощью Amazon SageMaker Canvas с использованием AWS CDK и AWS Service Catalog.

Распространение машинного обучения (МО) в широком диапазоне вариантов использования становится распространенным явлением в каждой отрасли. Тем не менее, это опережает увеличение числа практиков машинного обучения, которые традиционно отвечали за внедрение этих технических решений для достижения бизнес-результатов.

На современном предприятии существует необходимость в том, чтобы машинное обучение использовалось специалистами, не занимающимися машинным обучением, которые хорошо разбираются в данных, что является основой машинного обучения. Чтобы воплотить это в жизнь, ценность машинного обучения реализуется на предприятии с помощью платформ машинного обучения без кода. Эти платформы позволяют разным пользователям, например бизнес-аналитикам, использовать машинное обучение без написания единой строки кода и быстро, просто и интуитивно решать бизнес-задачи. Холст Amazon SageMaker — это визуальный сервис «укажи и щелкни», который позволяет бизнес-аналитикам использовать машинное обучение для решения бизнес-задач путем самостоятельной генерации точных прогнозов — без необходимости какого-либо опыта машинного обучения или написания единой строки кода. Canvas расширил использование машинного обучения на предприятии благодаря простому в использовании интуитивно понятному интерфейсу, который помогает компаниям быстро внедрять решения.

Несмотря на то, что Canvas позволил демократизировать машинное обучение, проблема подготовки и развертывания сред машинного обучения безопасным способом все еще остается. Как правило, на большинстве крупных предприятий за это отвечают центральные ИТ-группы. В этом посте мы обсудим, как ИТ-команды могут администрировать, предоставлять и управлять безопасными средами машинного обучения с помощью Холст Amazon SageMaker, Комплект для разработки облачных сервисов AWS (AWS CDK) и Каталог сервисов AWS. В публикации представлено пошаговое руководство для ИТ-администраторов, позволяющее быстро и масштабно добиться этого.

Обзор AWS CDK и каталога сервисов AWS

AWS CDK — это среда разработки программного обеспечения с открытым исходным кодом для определения ресурсов облачных приложений. Он использует знакомые и выразительные возможности языков программирования для моделирования ваших приложений, обеспечивая при этом ресурсы безопасным и воспроизводимым образом.

AWS Service Catalog позволяет централизованно управлять развернутыми ИТ-сервисами, приложениями, ресурсами и метаданными. С помощью AWS Service Catalog вы можете создавать, совместно использовать, организовывать и управлять облачными ресурсами с помощью шаблонов инфраструктуры как кода (IaC), а также обеспечивать быстрое и простое выделение ресурсов.

Обзор решения

Мы обеспечиваем подготовку сред машинного обучения с помощью Canvas в три этапа:

1. Во-первых, мы расскажем, как вы можете управлять портфелем ресурсов, необходимых для утвержденного использования Canvas, с помощью AWS Service Catalog.
2. Затем мы развертываем пример портфеля каталога сервисов AWS для Canvas с помощью AWS CDK.
3. Наконец, мы покажем, как вы можете подготовить среды Canvas по требованию в течение нескольких минут.

Предпосылки

Чтобы подготовить среды машинного обучения с помощью Canvas, AWS CDK и каталога сервисов AWS, необходимо сделать следующее:

1. Получите доступ к учетной записи AWS, в которой будет развернут портфель каталога услуг. Убедитесь, что у вас есть учетные данные и разрешения для развертывания стека AWS CDK в вашей учетной записи. Семинар AWS CDK это полезный ресурс, к которому вы можете обратиться, если вам нужна поддержка.
2. Мы рекомендуем следовать некоторым передовым методам, которые выделены с помощью концепций, подробно описанных в следующих ресурсах:
3. Клон этот репозиторий GitHub в вашу среду.

Предоставление утвержденных сред машинного обучения с помощью Amazon SageMaker Canvas с помощью AWS Service Catalog.

В регулируемых отраслях и на большинстве крупных предприятий вам необходимо соблюдать требования, предъявляемые ИТ-командами к предоставлению и управлению средами машинного обучения. Они могут включать безопасную частную сеть, шифрование данных, элементы управления, позволяющие разрешать только авторизованным и аутентифицированным пользователям, таким как Управление идентификацией и доступом AWS (IAM) для доступа к таким решениям, как Canvas, а также для строгого ведения журналов и мониторинга в целях аудита.

Как ИТ-администратор, вы можете использовать каталог сервисов AWS для создания и организации безопасных воспроизводимых сред машинного обучения с помощью SageMaker Canvas в портфолио продуктов. Это управляется с помощью элементов управления IaC, которые встроены в соответствии с упомянутыми выше требованиями и могут быть предоставлены по запросу в течение нескольких минут. Вы также можете контролировать, кто может получить доступ к этому портфолио для запуска продуктов.

Следующая диаграмма иллюстрирует эту архитектуру.

Пример потока

В этом разделе мы демонстрируем пример портфеля каталога сервисов AWS с SageMaker Canvas. Портфель состоит из различных аспектов среды Canvas, которые являются частью портфеля Service Catalog:

• Домен студии – Canvas – это приложение, работающее внутри Домены студии. Домен состоит из Эластичная файловая система Amazon (Amazon EFS), список авторизованных пользователей, а также диапазон безопасности, приложений, политик и Виртуальное частное облако Amazon (VPC) конфигурации. Учетная запись AWS связана с одним доменом для каждого региона.
• Amazon S3 ведро – После создания домена Studio Простой сервис хранения Amazon (Amazon S3) предназначен для Canvas, чтобы разрешить импорт наборов данных из локальных файлов, также известный как локальная загрузка файлов. Этот сегмент находится в учетной записи клиента и предоставляется один раз.
• Пользователь холста — SageMaker Canvas — это приложение, в котором вы можете добавлять профили пользователей в домене Studio для каждого пользователя Canvas, которые могут импортировать наборы данных, создавать и обучать модели машинного обучения без написания кода, а также выполнять прогнозы для модели.
• Запланированное завершение сеансов Canvas – Пользователи Canvas могут выйти из интерфейса Canvas, когда они закончат свои задачи. Альтернативно, администраторы могут закрывать сеансы Canvas из Консоль управления AWS как часть управления сеансами Canvas. В этой части портфолио каталога сервисов AWS AWS Lambda функция создан и подготовлен для автоматического закрытия сеансов Canvas через определенные запланированные интервалы. Это помогает управлять открытыми сеансами и закрывать их, когда они не используются.

Этот пример потока можно найти в Репозиторий GitHub для быстрой справки.

Разверните поток с помощью AWS CDK

В этом разделе мы развертываем процесс, описанный ранее, с помощью AWS CDK. После его развертывания вы также можете отслеживать версии и управлять портфелем.

Стек портфолио можно найти в app.py и продукт укладывается под products/ папка. Вы можете повторять роли IAM, Служба управления ключами AWS (AWS KMS) и настройку VPC в studio_constructs/ папка. Перед развертыванием стека в своей учетной записи вы можете отредактировать следующие строки в app.py и предоставьте доступ к портфолио любой роли IAM по вашему выбору.

Вы можете управлять доступом к портфолио для соответствующих пользователей, групп и ролей IAM. Видеть Предоставление доступа пользователям Больше подробностей.

Разверните портфолио в своем аккаунте

Теперь вы можете запустить следующие команды, чтобы установить AWS CDK и убедиться, что у вас есть правильные зависимости для развертывания портфолио:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Выполните следующие команды, чтобы развернуть портфолио в своей учетной записи:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

Первые две команды получают идентификатор вашей учетной записи и текущий регион, используя Интерфейс командной строки AWS (AWS CLI) на вашем компьютере. Следуя этому, cdk bootstrap и cdk deploy создавайте активы локально и развертывайте стек за несколько минут.

Портфолио теперь можно найти в каталоге сервисов AWS, как показано на следующем снимке экрана.

Подготовка по запросу

Продукты в портфеле могут быть запущены быстро и легко по запросу от Резервирование в меню консоли AWS Service Catalog. Типичный процесс — сначала запустить домен Studio и автоматическое отключение Canvas, потому что это обычно однократное действие. Затем вы можете добавить пользователей Canvas в домен. Идентификатор домена и IAM-роль пользователя ARN сохраняются в Менеджер систем AWS и автоматически заполняются пользовательскими параметрами, как показано на следующем снимке экрана.

Вы также можете использовать теги распределения затрат, прикрепленные к каждому пользователю. Например, UserCostCenter — это пример тега, в который вы можете добавить имя каждого пользователя.

Основные соображения по управлению средами машинного обучения с использованием Canvas

Теперь, когда мы предоставили и развернули портфель каталогов сервисов AWS, ориентированный на Canvas, мы хотели бы выделить несколько соображений по управлению средами машинного обучения на основе Canvas, ориентированными на домен и профиль пользователя.

Ниже приведены соображения относительно домена Studio:

• Сеть для Canvas управляется на уровне домена Studio, где домен развертывается в частной подсети VPC для безопасного подключения. Видеть Обеспечение безопасности подключения к Amazon SageMaker Studio с помощью частного VPC чтобы узнать больше.
• Роль выполнения IAM по умолчанию определяется на уровне домена. Эта роль по умолчанию назначается всем пользователям Canvas в домене.
• Шифрование выполняется с помощью AWS KMS путем шифрования тома EFS в домене. Для дополнительных элементов управления вы можете указать свой собственный управляемый ключ, также известный как ключ, управляемый клиентом (CMK). Видеть Защита данных в состоянии покоя с помощью шифрования чтобы узнать больше.
• Возможность загружать файлы с локального диска осуществляется путем присоединения политики совместного использования ресурсов между источниками (CORS) к корзине S3, используемой Canvas. Видеть Разрешите пользователям загружать локальные файлы чтобы узнать больше.

Ниже приведены соображения, касающиеся профиля пользователя:

• Аутентификацию в Studio можно выполнять как через единый вход (SSO), так и через IAM. Если у вас есть существующий поставщик удостоверений для объединения пользователей для доступа к консоли, вы можете назначить профиль пользователя Studio для каждого федеративного удостоверения с помощью IAM. См. раздел Назначение политики пользователям Studio in Настройка Amazon SageMaker Studio для команд и групп с полной изоляцией ресурсов чтобы узнать больше.
• Каждому профилю пользователя можно назначить роли выполнения IAM. При использовании Studio пользователь принимает роль, сопоставленную с его профилем пользователя, которая переопределяет роль выполнения по умолчанию. Вы можете использовать это для точного контроля доступа внутри команды.
• Вы можете добиться изоляции с помощью элементов управления доступом на основе атрибутов (ABAC), чтобы пользователи могли получать доступ только к ресурсам своей команды. Видеть Настройка Amazon SageMaker Studio для команд и групп с полной изоляцией ресурсов чтобы узнать больше.
• Вы можете выполнять детальное отслеживание затрат, применяя теги распределения затрат к профилям пользователей.

Убирать

Чтобы очистить ресурсы, созданные указанным выше стеком AWS CDK, перейдите на страницу стеков AWS CloudFormation и удалите стеки Canvas. Вы также можете запустить cdk destroy из папки репозитория, чтобы сделать то же самое.

Заключение

В этом посте мы рассказали, как быстро и легко подготовить среды машинного обучения с помощью Canvas с помощью AWS Service Catalog и AWS CDK. Мы обсудили, как создать портфель в каталоге сервисов AWS, предоставить портфель и развернуть его в своей учетной записи. ИТ-администраторы могут использовать этот метод для развертывания и управления пользователями, сеансами и связанными с ними расходами при подготовке Canvas.

Узнайте больше о Canvas на странице продукта и Руководство разработчика. Для дальнейшего чтения вы можете узнать, как предоставить бизнес-аналитикам доступ к SageMaker Canvas с помощью AWS SSO без консоли. Вы также можете узнать, как бизнес-аналитики и специалисты по данным могут быстрее сотрудничать с помощью Canvas и Studio.

Об авторах

Давиде Галлителли является специалистом по разработке решений для AI/ML в регионе EMEA. Он базируется в Брюсселе и тесно сотрудничает с клиентами из стран Бенилюкса. Он был разработчиком с самого раннего возраста, начав программировать в возрасте 7 лет. Он начал изучать AI/ML в университете и с тех пор влюбился в него.

Софиан Хамити является специалистом по архитектуре решений AI / ML в AWS. Он помогает клиентам из разных отраслей ускорить переход на ИИ / МО, помогая им создавать и вводить в действие комплексные решения машинного обучения.

Шьям Шринивасан является главным менеджером по продуктам в команде AWS AI/ML, ведущей управление продуктами для Amazon SageMaker Canvas. Шьям заботится о том, чтобы сделать мир лучше с помощью технологий, и увлечен тем, как ИИ и машинное обучение могут стать катализатором в этом путешествии.

Ави Патель работает инженером-программистом в команде Amazon SageMaker Canvas. Его опыт состоит из работы с полным стеком с упором на фронтенд. В свободное время он любит участвовать в проектах с открытым исходным кодом в криптопространстве и узнавать о новых протоколах DeFi.

Джаред Хейвуд является старшим менеджером по развитию бизнеса в AWS. Он глобальный специалист по искусственному интеллекту и машинному обучению, помогающий клиентам с машинным обучением без кода. Последние 5 лет он работал в области AutoML и запустил такие продукты на Amazon, как Amazon SageMaker JumpStart и Amazon SageMaker Canvas.