Завдяки хмарним обчисленням, оскільки обчислювальна потужність і дані стали доступнішими, машинне навчання (ML) тепер справляє вплив на всі галузі та є основною частиною кожного бізнесу та галузі.
Студія Amazon SageMaker це перше повністю інтегроване середовище розробки ML (IDE) із веб-інтерфейсом. Ви можете виконувати всі кроки розробки ML і мати повний доступ, контроль і видимість кожного кроку, необхідного для створення, навчання та розгортання моделей.
Амазонська червона зміна це повністю кероване, швидке, безпечне та масштабоване хмарне сховище даних. Організації часто хочуть використовувати SageMaker Studio для отримання прогнозів на основі даних, що зберігаються в сховищі даних, наприклад Amazon Redshift.
Як описано в Добре побудований фреймворк AWS, розподіл робочих навантажень між обліковими записами дає змогу вашій організації встановлювати загальні огорожі, ізолюючи середовища. Це може бути особливо корисним для певних вимог безпеки, а також для спрощення контролю витрат і моніторингу між проектами та командами. Організації з архітектурою кількох облікових записів зазвичай мають Amazon Redshift і SageMaker Studio у двох окремих облікових записах AWS. Крім того, Amazon Redshift і SageMaker Studio зазвичай налаштовуються у VPC з приватними підмережами, щоб покращити безпеку та зменшити ризик несанкціонованого доступу як найкращу практику.
Амазонська червона зміна рідно підтримує обмін даними між обліковими записами, коли використовуються типи вузлів RA3. Якщо ви використовуєте будь-які інші типи вузлів Amazon Redshift, наприклад DS2 або DC2, ви можете використовувати піринг VPC для встановлення з’єднання між обліковими записами між Amazon Redshift і SageMaker Studio.
У цій публікації ми ознайомимося з покроковими інструкціями щодо встановлення підключення між обліковими записами до будь-якого типу вузла Amazon Redshift (RA3, DC2, DS2), підключивши кластер Amazon Redshift, розташований в одному обліковому записі AWS, до SageMaker Studio в іншому AWS обліковий запис у тому самому регіоні за допомогою пірингу VPC.
Огляд рішення
Ми починаємо з двох облікових записів AWS: облікового запису виробника зі сховищем даних Amazon Redshift і облікового запису споживача для Amazon SageMaker Випадки використання ML із налаштованою SageMaker Studio. Нижче наведено загальний огляд робочого процесу:
- Налаштуйте SageMaker Studio за допомогою
VPCOnly
режим в обліковому записі споживача. Це перешкоджає SageMaker надавати доступ до Інтернету вашим студійним ноутбукам. Весь трафік SageMaker Studio проходить через вказаний VPC і підмережі. - Щоб увімкнути, оновіть домен SageMaker Studio
SourceIdentity
для поширення імені профілю користувача. - створити Управління ідентифікацією та доступом AWS (IAM) в обліковому записі виробника Amazon Redshift, яку візьме на себе роль IAM SageMaker Studio для доступу до Amazon Redshift.
- Оновіть роль виконання SageMaker IAM в обліковому записі споживача SageMaker Studio, який SageMaker Studio використовуватиме для виконання ролі в обліковому записі виробника Amazon Redshift.
- Налаштуйте однорангове з’єднання між VPC в обліковому записі виробника Amazon Redshift і обліковому записі споживача SageMaker Studio.
- Запит Amazon Redshift у SageMaker Studio в обліковому записі споживача.
Наступна схема ілюструє нашу архітектуру рішення.
Передумови
Кроки, описані в цій публікації, припускають, що Amazon Redshift запущено в приватній підмережі в обліковому записі виробника Amazon Redshift. Запуск Amazon Redshift у приватній підмережі забезпечує додатковий рівень безпеки та ізоляції порівняно із запуском у публічній підмережі, оскільки приватна підмережа недоступна безпосередньо з Інтернету та є більш захищеною від зовнішніх атак.
Щоб завантажити загальнодоступні бібліотеки, ви повинні створити VPC та приватну та загальнодоступну підмережі в обліковому записі користувача SageMaker. Потім запустіть шлюз NAT у загальнодоступній підмережі та додайте інтернет-шлюз для SageMaker Studio у приватній підмережі для доступу до Інтернету. Інструкції щодо встановлення підключення до приватної підмережі див Як налаштувати шлюз NAT для приватної підмережі в Amazon VPC?
Налаштуйте SageMaker Studio з режимом VPCOnly в обліковому записі користувача
Щоб створити SageMaker Studio за допомогою VPCOnly
режимі, виконайте наступні кроки:
- На консолі SageMaker виберіть Studio у навігаційній панелі.
- Запустіть SageMaker Studio, виберіть Стандартна установка, і вибрати Конфігурувати.
Якщо ви вже користуєтеся AWS IAM Identity Center (наступник AWS Single Sign-On) для доступу до облікових записів AWS, ви можете використовувати його для автентифікації. В іншому випадку ви можете використовувати IAM для автентифікації та використовувати свої існуючі федеративні ролі.
- У Загальні налаштування розділ, виберіть Створіть нову роль.
- У Створіть роль IAM розділі, за бажанням вкажіть свій Служба простого зберігання Amazon (Amazon S3) відра, вибравши будь-який, питомаабо ніхто, Потім виберіть Створіть роль.
Це створює роль виконання SageMaker, наприклад AmazonSageMaker-ExecutionRole-00000000
.
- під Розділ мережі та зберігання, виберіть VPC, підмережу (приватну підмережу) і групу безпеки, яку ви створили як попередню умову.
- Select Тільки VPC, Потім виберіть МАЙБУТНІ.
Оновіть свій домен SageMaker Studio, щоб увімкнути SourceIdentity для поширення імені профілю користувача
SageMaker Studio інтегровано з AWS CloudTrail щоб дозволити адміністраторам контролювати та перевіряти діяльність користувачів і виклики API із ноутбуків SageMaker Studio. Ви можете налаштувати SageMaker Studio для запису посвідчення користувача (зокрема, файлу ім'я профілю користувача) для моніторингу й аудиту активності користувачів і викликів API із записників SageMaker Studio в подіях CloudTrail.
Ми рекомендуємо ввімкнути цю функцію, щоб реєструвати певні дії користувачів між кількома профілями користувачів SourceIdentity
для поширення домену SageMaker Studio з іменем профілю користувача. Це дозволяє зберігати інформацію про користувача в сеансі, щоб ви могли приписувати дії конкретному користувачеві. Цей атрибут також зберігається, коли ви зв’язуєте ролі, тож ви можете отримати детальну видимість їхніх дій в обліковому записі виробника. На момент написання цієї публікації ви можете налаштувати це лише за допомогою Інтерфейс командного рядка AWS (AWS CLI) або будь-який інструмент командного рядка.
Щоб оновити цю конфігурацію, усі програми в домені мають бути в Зупинено or Віддалений стан.
Використовуйте наступний код, щоб увімкнути розповсюдження імені профілю користувача як SourceIdentity
:
Для цього потрібно додати sts:SetSourceIdentity
у довірчих відносинах для вашої ролі виконання.
Створіть роль IAM в обліковому записі виробника Amazon Redshift, яку SageMaker Studio має прийняти для доступу до Amazon Redshift
Щоб створити роль, яку SageMaker візьме на себе для доступу до Amazon Redshift, виконайте такі дії:
- Відкрийте консоль IAM в обліковому записі виробника Amazon Redshift.
- Вибирати Ролі на панелі навігації, а потім виберіть Створіть роль.
- на Виберіть довірену організацію сторінка, виберіть Спеціальна політика довіри.
- Введіть наведену нижче спеціальну політику довіри в редакторі та надайте свій ідентифікатор облікового запису користувача SageMaker і створену вами роль виконання SageMaker:
- Вибирати МАЙБУТНІ.
- на Додайте необхідні дозволи сторінку, виберіть Створити політику.
- Додайте наступний зразок політики та внесіть необхідні зміни на основі вашої конфігурації.
- Збережіть політику, додавши назву, наприклад
RedshiftROAPIUserAccess
.
Команда SourceIdentity
Атрибут використовується для прив’язування ідентифікатора оригінального користувача SageMaker Studio до користувача бази даних Amazon Redshift. Дії користувача в обліковому записі виробника потім можна відстежувати за допомогою журналів аудиту бази даних CloudTrail і Amazon Redshift.
- на Назвіть, перегляньте та створіть введіть назву ролі, перегляньте налаштування та виберіть Створіть роль.
Оновіть роль IAM в обліковому записі користувача SageMaker, яку SageMaker Studio приймає в обліковому записі виробника Amazon Redshift
Щоб оновити роль виконання SageMaker, щоб вона взяла на себе роль, яку ми щойно створили, виконайте такі дії:
- Відкрийте консоль IAM в обліковому записі користувача SageMaker.
- Вибирати Ролі на панелі навігації, а потім виберіть роль виконання SageMaker, яку ми створили (
AmazonSageMaker-ExecutionRole-*
). - У Політика дозволів розділ, на Додати дозволи меню, виберіть Створіть вбудовану політику.
- В редакторі, на ст JSON вкладку, введіть таку політику, де це ARN ролі, яку ви створили в обліковому записі продюсера Amazon Redshift:
Ви можете отримати ARN ролі, створеної в обліковому записі виробника Amazon Redshift, на консолі IAM, як показано на наступному знімку екрана.
- Вибирати Огляд політики.
- для ІМ'Я, введіть назву своєї політики.
- Вибирати Створити політику.
Ваша політика дозволів має виглядати так, як на знімку екрана нижче.
Налаштуйте однорангове з’єднання між VPC в обліковому записі виробника Amazon Redshift і обліковому записі споживача SageMaker Studio
Щоб встановити зв’язок між SageMaker Studio VPC і Amazon Redshift VPC, два VPC мають бути однорангові за допомогою пірингу VPC. Щоб встановити з’єднання, виконайте наступні кроки:
- В обліковому записі Amazon Redshift або SageMaker відкрийте консоль Amazon VPC.
- На панелі навігації виберіть Пірингові з'єднання, Потім виберіть Створіть однорангове з'єднання.
- для ІМ'Я, введіть назву свого підключення.
- під Виберіть локальний VPC для однорангового зв’язку, виберіть локальний VPC.
- під Виберіть інший VPC для однорангового зв’язку, вкажіть інший VPC у тому ж регіоні та інший обліковий запис.
- Вибирати Створіть однорангове з'єднання.
- Перегляньте з’єднання для пірингу VPC і виберіть Прийняти запит щоб активувати.
Після успішного встановлення однорангового з’єднання VPC ви створюєте маршрути на SageMaker і Amazon Redshift VPC, щоб завершити з’єднання між ними.
- В обліковому записі SageMaker відкрийте консоль Amazon VPC.
- Вибирати Маршрутні таблиці на панелі навігації, потім виберіть VPC, пов’язаний із SageMaker, і відредагуйте маршрути.
- Додайте CIDR для Amazon Redshift VPC призначення та ціль як однорангове з’єднання.
- Крім того, додайте шлюз NAT.
- Вибирати зберегти зміни.
- В обліковому записі Amazon Redshift відкрийте консоль Amazon VPC.
- Вибирати Маршрутні таблиці на панелі навігації, виберіть VPC, пов’язаний із Amazon Redshift, і відредагуйте маршрути.
- Додайте CIDR для цільового SageMaker VPC і ціль як однорангове з’єднання.
- Крім того, додайте інтернет-шлюз.
- Вибирати зберегти зміни.
Ви можете підключитися до SageMaker Studio зі свого VPC через кінцеву точку інтерфейсу у своєму VPC замість підключення через Інтернет. Коли ви використовуєте кінцеву точку інтерфейсу VPC, зв’язок між вашим VPC і API SageMaker або середовищем виконання повністю та безпечно здійснюється в мережі AWS.
- Щоб створити кінцеву точку VPC, в обліковому записі SageMaker відкрийте консоль VPC.
- Вибирати Кінцеві точки на панелі навігації, а потім виберіть Створити кінцеву точку.
- Укажіть SageMaker VPC, відповідні підмережі та відповідні групи безпеки, щоб дозволити вхідний і вихідний трафік NFS для вашого домену ноутбуків SageMaker, і виберіть Створіть кінцеву точку VPC.
Запит Amazon Redshift у SageMaker Studio в обліковому записі споживача
Після успішного встановлення всіх мереж виконайте кроки в цьому розділі, щоб підключитися до кластера Amazon Redshift в обліковому записі користувача SageMaker Studio за допомогою бібліотеки AWS SDK для pandas:
- У SageMaker Studio створіть новий блокнот.
- Якщо пакет AWS SDK для pandas не встановлено, ви можете встановити його за допомогою наступного:
Це встановлення не є постійним і буде втрачено, якщо програму KernelGateway буде видалено. Спеціальні пакети можна додавати як частину a Конфігурація життєвого циклу.
- Введіть наступний код у першу клітинку та запустіть код. Замінити
RoleArn
таregion_name
значення на основі налаштувань вашого облікового запису:
- Введіть наступний код у нову комірку та запустіть код, щоб отримати ім’я поточного профілю користувача SageMaker:
- Введіть наступний код у нову клітинку та запустіть код:
Щоб успішно надіслати запит Amazon Redshift, ваш адміністратор бази даних має призначити новоствореному користувачеві необхідні дозволи на читання в кластері Amazon Redshift в обліковому записі виробника.
- Введіть наведений нижче код у нову клітинку, оновіть запит відповідно до таблиці Amazon Redshift і запустіть клітинку. Це має повернути записи для подальшої обробки та аналізу даних.
Тепер ви можете розпочати перетворення й аналіз даних відповідно до вимог вашого бізнесу.
Прибирати
Щоб очистити будь-які ресурси та уникнути повторних витрат, видаліть кінцеві точки SageMaker VPC, кластер Amazon Redshift і програми, користувачів і домен SageMaker Studio. Також видаліть усі створені вами сегменти та об’єкти S3.
Висновок
У цій публікації ми показали, як встановити з’єднання між обліковими записами між приватними VPC Amazon Redshift і SageMaker Studio в різних облікових записах за допомогою пірингу VPC і отримати доступ до даних Amazon Redshift у SageMaker Studio за допомогою ланцюжка ролей IAM, а також реєструвати ідентифікатор користувача, коли користувач доступ до Amazon Redshift із SageMaker Studio. За допомогою цього рішення ви позбавляєтеся від необхідності вручну переміщувати дані між обліковими записами для доступу до них. Ми також розповіли, як отримати доступ до кластера Amazon Redshift за допомогою бібліотеки AWS SDK для pandas у SageMaker Studio та підготувати дані для ваших випадків використання ML.
Щоб дізнатися більше про Amazon Redshift і SageMaker, див Посібник розробника баз даних Amazon Redshift та Документація Amazon SageMaker.
Про авторів
Супрія Пурагундла є старшим архітектором рішень в AWS. Вона допомагає ключовим клієнтам на шляху до штучного інтелекту та машинного навчання. Вона захоплюється штучним інтелектом, керованим даними, і сферою глибини машинного навчання.
Марк Карп є архітектором машинного навчання в команді Amazon SageMaker. Він зосереджується на допомозі клієнтам проектувати, розгортати та керувати робочими навантаженнями ML у масштабі. У вільний час він любить подорожувати та досліджувати нові місця.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/configure-cross-account-access-of-amazon-redshift-clusters-in-amazon-sagemaker-studio-using-vpc-peering/
- : має
- :є
- : ні
- :де
- $UP
- 10
- 100
- 11
- 13
- 14
- 15%
- 7
- 8
- 9
- a
- МЕНЮ
- доступ
- доступний
- доступною
- доступ до
- рахунки
- Рахунки
- через
- дію
- дії
- діяльність
- додавати
- доданий
- додати
- Додатковий
- Адміністратори
- AI
- ВСІ
- дозволяти
- дозволяє
- вже
- Також
- Amazon
- Амазонська червона зміна
- Amazon SageMaker
- Студія Amazon SageMaker
- Amazon Web Services
- серед
- an
- аналіз
- та
- Інший
- будь-який
- API
- додаток
- відповідний
- додатка
- архітектура
- ЕСТЬ
- ПЛОЩА
- AS
- асоційований
- припустити
- передбачає
- At
- нападки
- аудит
- Authentication
- доступний
- уникнути
- AWS
- заснований
- BE
- стали
- оскільки
- було
- КРАЩЕ
- між
- обидва
- будувати
- Створюємо
- бізнес
- by
- call
- Виклики
- CAN
- Може отримати
- випадків
- Центр
- певний
- ланцюг
- Вибирати
- хмара
- хмарних обчислень
- кластер
- код
- загальний
- Комунікація
- порівняний
- повний
- обчислення
- обчислення
- стан
- проводиться
- конфігурація
- налаштувати
- З'єднуватися
- З'єднувальний
- зв'язку
- зв'язок
- Консоль
- споживач
- контроль
- управління
- Core
- Коштувати
- витрати
- створювати
- створений
- створює
- Повноваження
- Поточний
- виготовлений на замовлення
- клієнт
- Клієнти
- дані
- обробка даних
- обмін даними
- керовані даними
- Database
- дата, час
- розгортання
- глибина
- описаний
- дизайн
- призначення
- Розробник
- розробка
- різний
- безпосередньо
- do
- домен
- скачати
- кожен
- редактор
- ефект
- або
- усунутий
- включіть
- дозволяє
- Кінцева точка
- Що натомість? Створіть віртуальну версію себе у
- повністю
- Навколишнє середовище
- середовищах
- встановити
- встановлений
- Події
- Кожен
- виконання
- існуючий
- Дослідження
- зовнішній
- ШВИДКО
- Перший
- фокусується
- стежити
- після
- для
- від
- повністю
- далі
- шлюз
- отримати
- Group
- Групи
- Мати
- he
- допомогу
- допомагає
- на вищому рівні
- його
- Як
- How To
- HTML
- HTTP
- HTTPS
- i
- ID
- Особистість
- if
- ілюструє
- Impact
- імпорт
- удосконалювати
- in
- промисловість
- інформація
- встановлювати
- установка
- встановлений
- замість
- інструкції
- інтегрований
- інтерфейс
- інтернет
- Доступ в інтернет
- в
- ізоляція
- IT
- подорож
- JPG
- json
- просто
- ключ
- запуск
- запущений
- запуск
- шар
- УЧИТЬСЯ
- вивчення
- libraries
- бібліотека
- Лінія
- місцевий
- розташований
- журнал
- каротаж
- подивитися
- втрачений
- машина
- навчання за допомогою машини
- зробити
- Робить
- управляти
- вдалося
- вручну
- матч
- Меню
- метадані
- метод
- ML
- режим
- Моделі
- монітор
- контрольований
- моніторинг
- більше
- рухатися
- повинен
- ім'я
- навігація
- необхідно
- Необхідність
- потреби
- мережу
- мережа
- Нові
- нещодавно
- вузол
- ноутбук
- зараз
- об'єкт
- об'єкти
- of
- часто
- on
- ONE
- тільки
- відкрити
- or
- організація
- організації
- оригінал
- Інше
- інакше
- наші
- над
- огляд
- пакет
- пакети
- сторінка
- панди
- pane
- частина
- особливо
- проходити
- пристрасний
- однолітка
- Виконувати
- дозвіл
- Дозволи
- місця
- plato
- Інформація про дані Платона
- PlatoData
- Політика
- політика
- пошта
- влада
- практика
- Прогнози
- Готувати
- запобігає
- Головний
- приватний
- обробка
- виробник
- профіль
- Профілі
- проектів
- забезпечувати
- забезпечує
- забезпечення
- громадськість
- Читати
- рекомендований
- запис
- облік
- повторювані
- зменшити
- регіон
- відносини
- замінювати
- запросити
- вимагається
- Вимога
- Вимагається
- ресурс
- ресурси
- ті
- повертати
- Умови повернення
- огляд
- Risk
- Роль
- ролі
- маршрути
- прогін
- мудрець
- то ж
- масштабовані
- шкала
- Sdk
- розділ
- безпечний
- безпечно
- безпеку
- вибирає
- старший
- окремий
- розділення
- Послуги
- Сесія
- комплект
- налаштування
- кілька
- поділ
- вона
- Повинен
- показав
- показаний
- аналогічний
- простий
- спростити
- один
- So
- рішення
- Рішення
- конкретний
- конкретно
- зазначений
- старт
- стан
- Заява
- Крок
- заходи
- зберігання
- зберігати
- студія
- підмережі
- підмережі
- Успішно
- такі
- таблиця
- Мета
- команда
- команди
- тимчасовий
- Що
- Команда
- Площа
- їх
- Їх
- потім
- це
- через
- TIE
- час
- до
- інструмент
- трафік
- поїзд
- перетворень
- Подорож
- Довіряйте
- Довірений
- ПЕРЕГЛЯД
- два
- тип
- Типи
- типово
- Оновити
- використання
- використовуваний
- користувач
- користувачі
- використання
- Цінності
- версія
- видимість
- пішов
- хотіти
- було
- we
- Web
- веб-сервіси
- Web-Based
- ДОБРЕ
- коли
- в той час як
- волі
- з
- в
- робочий
- письмовий
- Ти
- вашу
- зефірнет