Надання та керування середовищами ML за допомогою Amazon SageMaker Canvas за допомогою AWS CDK і AWS Service Catalog

Поширення машинного навчання (ML) у широкому діапазоні випадків використання стає поширеним у кожній галузі. Однак це випереджає збільшення кількості практиків ML, які традиційно відповідали за впровадження цих технічних рішень для досягнення бізнес-результатів.

На сучасному підприємстві існує потреба в машинному навчанні для тих, хто не займається машинним навчанням і володіють даними, які є основою ML. Щоб це стало реальністю, цінність машинного навчання реалізується в усьому підприємстві за допомогою платформ машинного навчання без коду. Ці платформи дозволяють різним особам, наприклад бізнес-аналітикам, використовувати ML без написання жодного рядка коду та надавати рішення бізнес-проблем швидким, простим та інтуїтивно зрозумілим способом. Canvas Amazon SageMaker — це візуальна служба «вкажи й клацни», яка дає змогу бізнес-аналітикам використовувати ML для вирішення бізнес-проблем шляхом самостійного створення точних прогнозів, не вимагаючи досвіду ML або написання жодного рядка коду. Canvas розширив використання ML на підприємстві за допомогою простого у використанні інтуїтивно зрозумілого інтерфейсу, який допомагає компаніям швидко впроваджувати рішення.

Незважаючи на те, що Canvas уможливив демократизацію ML, проблема створення та розгортання середовищ ML у безпечний спосіб все ще залишається. Як правило, за це відповідають центральні ІТ-групи більшості великих підприємств. У цій публікації ми обговорюємо, як ІТ-команди можуть адмініструвати, створювати та керувати безпечними середовищами машинного навчання за допомогою Canvas Amazon SageMaker, Набір хмарних розробок AWS (AWS CDK) і Каталог послуг AWS. Публікація представляє покроковий посібник для ІТ-адміністраторів, як досягти цього швидко та в масштабі.

Огляд AWS CDK і каталогу послуг AWS

AWS CDK — це платформа розробки програмного забезпечення з відкритим кодом для визначення ресурсів ваших хмарних додатків. Він використовує звичні та експресивні можливості мов програмування для моделювання ваших додатків, одночасно надаючи ресурси безпечним і повторюваним способом.

AWS Service Catalog дозволяє централізовано керувати розгорнутими ІТ-сервісами, програмами, ресурсами та метаданими. За допомогою AWS Service Catalog ви можете створювати, надавати спільний доступ, організовувати та керувати хмарними ресурсами за допомогою шаблонів інфраструктури у вигляді коду (IaC) і вмикати швидке та просте надання.

Огляд рішення

Ми забезпечуємо середовище ML за допомогою Canvas у три етапи:

1. По-перше, ми розповідаємо, як ви можете керувати портфелем ресурсів, необхідних для схваленого використання Canvas, використовуючи AWS Service Catalog.
2. Потім ми розгортаємо приклад портфоліо AWS Service Catalog для Canvas за допомогою AWS CDK.
3. Нарешті, ми демонструємо, як можна створити середовища Canvas на вимогу за лічені хвилини.

Передумови

Щоб надати середовищем машинного навчання Canvas, AWS CDK і AWS Service Catalog, потрібно зробити наступне:

1. Мати доступ до облікового запису AWS, де буде розгорнуто портфоліо каталогу послуг. Переконайтеся, що у вас є облікові дані та дозволи для розгортання стека AWS CDK у вашому обліковому записі. The Семінар AWS CDK це корисний ресурс, до якого можна звернутися, якщо вам потрібна допомога.
2. Ми рекомендуємо дотримуватися певних найкращих практик, які висвітлюються через концепції, детально описані в наступних ресурсах:
3. Клон це сховище GitHub у ваше оточення.

Надайте схвалені середовища машинного навчання за допомогою Amazon SageMaker Canvas за допомогою каталогу послуг AWS

У регульованих галузях і більшості великих підприємств вам потрібно дотримуватися вимог ІТ-команд щодо створення та керування середовищами ML. Вони можуть включати захищену приватну мережу, шифрування даних, елементи керування, щоб дозволити лише авторизованим і автентифікованим користувачам, таким як Управління ідентифікацією та доступом AWS (IAM) для доступу до рішень, таких як Canvas, і суворого журналювання та моніторингу для цілей аудиту.

Як ІТ-адміністратор ви можете використовувати AWS Service Catalog для створення та організації безпечних, відтворюваних середовищ машинного навчання за допомогою SageMaker Canvas у портфоліо продуктів. Це управляється за допомогою елементів керування IaC, які вбудовано для задоволення вимог, згаданих вище, і можуть бути надані за запитом протягом декількох хвилин. Ви також можете контролювати, хто має доступ до цього портфоліо для запуску продуктів.

Наступна схема ілюструє цю архітектуру.

Приклад потоку

У цьому розділі ми демонструємо приклад портфоліо каталогу послуг AWS із SageMaker Canvas. Портфоліо складається з різних аспектів середовища Canvas, які є частиною портфоліо Service Catalog:

• Студійний домен – Canvas – це програма, яка працює всередині Студійні домени. Домен складається з Еластична файлова система Amazon (Amazon EFS), список авторизованих користувачів, а також ряд засобів безпеки, програм, політик і Віртуальна приватна хмара Amazon (VPC) конфігурації. Обліковий запис AWS пов’язано з одним доменом для кожного регіону.
• Відро Amazon S3 – Після створення домену Studio ан Служба простого зберігання Amazon Відро (Amazon S3) передбачено для Canvas, щоб дозволити імпортувати набори даних із локальних файлів, також відоме як локальне завантаження файлів. Це відро знаходиться в обліковому записі клієнта та надається один раз.
• Користувач Canvas – SageMaker Canvas – це програма, у якій ви можете додавати профілі користувачів у межах домену Studio для кожного користувача Canvas, який може продовжувати імпорт наборів даних, створювати та навчати моделі ML без написання коду та запускати прогнози на моделі.
• Заплановане завершення сеансів Canvas – Користувачі Canvas можуть вийти з інтерфейсу Canvas, коли вони виконають свої завдання. Як альтернатива, адміністратори можуть закрити сеанси Canvas від Консоль управління AWS як частину керування сеансами Canvas. У цій частині портфоліо каталогу послуг AWS ан AWS Lambda функція створюється та надається для автоматичного завершення сеансів Canvas через визначені заплановані проміжки часу. Це допомагає керувати відкритими сеансами та вимикати їх, коли вони не використовуються.

Цей приклад потоку можна знайти в GitHub сховище для швидкої довідки.

Розгорніть потік за допомогою AWS CDK

У цьому розділі ми розгортаємо потік, описаний раніше, за допомогою AWS CDK. Після розгортання ви також можете відстежувати версії та керувати портфоліо.

Стек портфоліо можна знайти в app.py і продукт укладається під products/ папку. Ви можете повторювати ролі IAM, Служба управління ключами AWS (AWS KMS) і налаштування VPC у studio_constructs/ папку. Перш ніж розгортати стек у своєму обліковому записі, ви можете відредагувати наступні рядки app.py і надайте доступ до портфоліо ролі IAM на ваш вибір.

Ви можете керувати доступом до портфоліо для відповідних користувачів, груп і ролей IAM. Побачити Надання доступу користувачам для більш докладної інформації.

Розмістіть портфоліо у своєму обліковому записі

Тепер ви можете запустити такі команди, щоб інсталювати AWS CDK і переконатися, що у вас є потрібні залежності для розгортання портфоліо:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Виконайте такі команди, щоб розгорнути портфоліо у своєму обліковому записі:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

Перші дві команди отримують ідентифікатор вашого облікового запису та поточний регіон за допомогою Інтерфейс командного рядка AWS (AWS CLI) на вашому комп’ютері. Слідом за цим, cdk bootstrap та cdk deploy створювати ресурси локально та розгортати стек за кілька хвилин.

Тепер портфоліо можна знайти в каталозі послуг AWS, як показано на наступному знімку екрана.

Надання на вимогу

Продукти в портфоліо можна швидко та легко запустити за запитом Резервування меню на консолі каталогу послуг AWS. Зазвичай спочатку запускають домен Studio та автоматичне завершення роботи Canvas, оскільки зазвичай це одноразова дія. Потім ви можете додати користувачів Canvas до домену. Ідентифікатор домену та роль IAM користувача ARN зберігаються в Менеджер систем AWS і автоматично заповнюються параметрами користувача, як показано на наступному знімку екрана.

Ви також можете використовувати теги розподілу вартості, які додаються до кожного користувача. Наприклад, UserCostCenter це зразок тегу, до якого можна додати ім’я кожного користувача.

Основні міркування щодо керування середовищами машинного навчання за допомогою Canvas

Тепер, коли ми підготували та розгорнули портфоліо AWS Service Catalog, орієнтоване на Canvas, ми хотіли б висвітлити кілька міркувань щодо керування середовищами машинного навчання на основі Canvas, зосередженими на домені та профілі користувача.

Нижче наведено зауваження щодо домену Studio:

• Мережею для Canvas керують на рівні домену Studio, де домен розгортається в приватній підмережі VPC для безпечного підключення. Побачити Забезпечення підключення до Amazon SageMaker Studio за допомогою приватного VPC щоб дізнатися більше.
• Роль виконання IAM за замовчуванням визначається на рівні домену. Ця роль за умовчанням призначається всім користувачам Canvas у домені.
• Шифрування здійснюється за допомогою AWS KMS шляхом шифрування тому EFS у домені. Для додаткових елементів керування ви можете вказати власний керований ключ, також відомий як керований клієнтом ключ (CMK). Побачити Захист даних у спокої за допомогою шифрування щоб дізнатися більше.
• Можливість завантажувати файли з вашого локального диска здійснюється шляхом додавання політики спільного використання ресурсів між джерелами (CORS) до сегмента S3, який використовується Canvas. Побачити Надайте своїм користувачам дозвіл на завантаження локальних файлів щоб дізнатися більше.

Нижче наведено міркування щодо профілю користувача:

• Автентифікація в Studio може здійснюватися як через систему єдиного входу (SSO), так і через IAM. Якщо у вас є наявний постачальник посвідчень для об’єднання користувачів для доступу до консолі, ви можете призначити профіль користувача Studio кожному об’єднаному ідентифікатору за допомогою IAM. Дивіться розділ Призначення політики користувачам Studio in Налаштування Amazon SageMaker Studio для команд і груп із повною ізоляцією ресурсів щоб дізнатися більше.
• Кожному профілю користувача можна призначити ролі виконання IAM. Під час використання Studio користувач приймає роль, зіставлену з його профілем користувача, яка замінює роль виконання за замовчуванням. Ви можете використовувати це для детального керування доступом у команді.
• Ви можете досягти ізоляції за допомогою засобів керування доступом на основі атрибутів (ABAC), щоб гарантувати, що користувачі зможуть отримати доступ лише до ресурсів своєї команди. Побачити Налаштування Amazon SageMaker Studio для команд і груп із повною ізоляцією ресурсів щоб дізнатися більше.
• Ви можете виконувати точне відстеження витрат, застосовуючи теги розподілу вартості до профілів користувачів.

Прибирати

Щоб очистити ресурси, створені стеком AWS CDK вище, перейдіть на сторінку стеків AWS CloudFormation і видаліть стеки Canvas. Ви також можете бігати cdk destroy з теки сховища, щоб зробити те саме.

Висновок

У цій публікації ми розповіли, як можна швидко та легко створити середовища ML за допомогою Canvas за допомогою каталогу послуг AWS та AWS CDK. Ми обговорили, як ви можете створити портфоліо в AWS Service Catalog, створити портфоліо та розгорнути його у своєму обліковому записі. ІТ-адміністратори можуть використовувати цей метод для розгортання та керування користувачами, сеансами та пов’язаними витратами під час надання Canvas.

Дізнайтеся більше про Canvas на Сторінка продукту і Посібник розробника. Для подальшого читання ви можете дізнатися, як надайте бізнес-аналітикам доступ до SageMaker Canvas за допомогою AWS SSO без консолі. Ви також можете дізнатися, як бізнес-аналітики та дослідники даних можуть швидше співпрацювати за допомогою Canvas і Studio.

Про авторів

Давіде Галлітеллі є спеціалістом архітектора рішень для AI/ML у регіоні EMEA. Він базується в Брюсселі і тісно співпрацює з клієнтами по всьому Бенілюксу. Він був розробником з самого дитинства, почавши кодувати у віці 7 років. Він почав вивчати AI/ML в університеті і з тих пір закохався в нього.

Софіан Хаміті є спеціалістом з AI/ML, архітектором рішень у AWS. Він допомагає клієнтам у різних галузях прискорити свій шлях до ШІ/ML, допомагаючи їм створювати та впроваджувати наскрізні рішення машинного навчання.

Шям Срінівасан є головним менеджером із продуктів у команді AWS AI/ML, очолює управління продуктами для Amazon SageMaker Canvas. Шям дбає про те, щоб зробити світ кращим за допомогою технологій, і він захоплений тим, як ШІ та машинне навчання можуть стати каталізатором у цій подорожі.

Аві Патель працює інженером-програмістом у команді Amazon SageMaker Canvas. Його досвід роботи складається з повного стека з фокусом на інтерфейсі. У вільний час він любить робити внесок у проекти з відкритим кодом у криптопросторі та вивчати нові протоколи DeFi.

Джаред Хейвуд є старшим менеджером з розвитку бізнесу в AWS. Він є глобальним спеціалістом зі штучного інтелекту та ML, який допомагає клієнтам із машинним навчанням без коду. Останні 5 років він працював у сфері AutoML і запускав такі продукти на Amazon, як Amazon SageMaker JumpStart і Amazon SageMaker Canvas.