RStudio на Amazon SageMaker це перший у галузі повністю керований RStudio Workbench у хмарі. Ви можете швидко запустити звичне інтегроване середовище розробки (IDE) RStudio і підключати базові обчислювальні ресурси, не перериваючи роботу, що полегшує створення машинного навчання (ML) і аналітичних рішень у масштабі R. RStudio на SageMaker уже постачається з a вбудований образ попередньо налаштовані інструменти програмування R та науки про дані; однак вам часто потрібно налаштувати середовище IDE. Починаючи з сьогоднішнього дня, ви можете створювати власне власне зображення з пакетами та інструментами на ваш вибір і робити їх доступними для всіх користувачів RStudio на SageMaker кількома кліками.
Створення власного зображення має кілька переваг. Ви можете стандартизувати та спростити початковий досвід для науковців із даних і розробників, надавши стартовий образ, попередньо налаштувавши драйвери, необхідні для підключення до сховищ даних, або попередньо встановивши спеціалізоване програмне забезпечення для обробки даних для домену вашого бізнесу. Крім того, організації, які раніше розміщували власний RStudio Workbench, можуть мати існуючі контейнерні середовища, які вони хочуть продовжувати використовувати в RStudio на SageMaker.
У цій публікації ми ділимося покроковими інструкціями зі створення власного зображення та перенесення його в RStudio на SageMaker за допомогою Консоль управління AWS or Інтерфейс командного рядка AWS (AWS CLI). Ви можете налаштувати та запустити своє перше спеціальне середовище IDE за кілька простих кроків. Додаткову інформацію про вміст, який обговорюється в цій публікації, див Принесіть свій власний образ RStudio.
Огляд рішення
Коли фахівець із обробки даних починає новий сеанс у RStudio на SageMaker, надається новий екземпляр обчислення ML на вимогу, а образ контейнера, який визначає середовище виконання (операційна система, бібліотеки, версії R тощо), запускається на ML. екземпляр. Ви можете надати своїм дослідникам даних кілька варіантів для середовища виконання, створивши власні зображення контейнерів і зробивши їх доступними на панелі запуску RStudio Workbench, як показано на наступному знімку екрана.
На наведеній нижче схемі описано процес створення власного зображення. Спочатку ви створюєте власний образ контейнера з Dockerfile і надсилаєте його до сховища Реєстр контейнерів Amazon Elastic (Amazon ECR). Далі ви створюєте зображення SageMaker, яке вказує на зображення контейнера в Amazon ECR, і додаєте це зображення до свого Домен SageMaker. Це робить настроюване зображення доступним для запуску нового сеансу в RStudio.
Передумови
Щоб реалізувати це рішення, ви повинні мати такі передумови:
- RStudio на домені SageMaker
- Управління ідентифікацією та доступом AWS (IAM) для взаємодії з Amazon ECR
- Відповідна версія AWS CLI
Ми надаємо докладнішу інформацію про кожну з них у цьому розділі.
RStudio на домені SageMaker
Якщо у вас є існуючий домен SageMaker із RStudio, увімкненим до 7 квітня 2022 року, ви повинні видалити та повторно створити RStudioServerPro
додаток під назвою профілю користувача domain-shared
щоб отримати останні оновлення для створення власних зображень. Команди AWS CLI є такими. Зауважте, що ця дія перериває роботу користувачів RStudio на SageMaker.
Якщо ви вперше використовуєте RStudio на SageMaker, виконайте крок за кроком процес налаштування, описаний у Почніть роботу з RStudio на Amazon SageMakerабо запустіть наступне AWS CloudFormation шаблон для налаштування вашого першого RStudio на домені SageMaker. Якщо у вас уже є робочий RStudio на домені SageMaker, ви можете пропустити цей крок.
Для наступного шаблону RStudio на SageMaker CloudFormation потрібна ліцензія RStudio, схвалена через Менеджер ліцензій AWS. Докладніше про ліцензування див Ліцензія RStudio. Також зауважте, що для кожного регіону AWS дозволено лише один домен SageMaker, тому вам потрібно буде використовувати обліковий запис AWS і регіон, у якому немає домену.
- Вибирати Запустити стек.
Посилання переведе вас до регіону us-east-1, але ви можете змінити регіон, який вам подобається. - У Вкажіть шаблон розділ, вибрати МАЙБУТНІ.
- У Вкажіть деталі стека розділ, для Назва стека, введіть ім'я.
- для параметри, введіть ім’я профілю користувача SageMaker.
- Вибирати МАЙБУТНІ.
- У Налаштувати параметри стека розділ, вибрати МАЙБУТНІ.
- У Розгляд розділ, виберіть Я визнаю, що AWS CloudFormation може створювати ресурси IAM І вибирай МАЙБУТНІ.
- Коли стан стека змінюється на
CREATE_COMPLETE
, перейдіть до панель управління на консолі SageMaker, щоб знайти домен і нового користувача.
Політики IAM для взаємодії з Amazon ECR
Щоб взаємодіяти з вашими приватними репозиторіями Amazon ECR, вам потрібні такі дозволи IAM у користувача або ролі IAM, яку ви використовуватимете для створення та надсилання зображень Docker:
Щоб спочатку створити з загальнодоступного образу Amazon ECR, як показано в цій публікації, вам потрібно прикріпити керований AWS AmazonElasticContainerRegistryPublicReadOnly політики для вашого користувача чи ролі IAM.
Щоб створити образ контейнера Docker, ви можете використовувати локальний клієнт Docker або Збірка SageMaker Docker Інструмент CLI з терміналу в RStudio на SageMaker. Для останнього дотримуйтеся попередніх умов у Використання інтерфейсу командної команди Amazon SageMaker Studio Image Build для створення зображень контейнерів із ваших ноутбуків Studio щоб налаштувати дозволи IAM і інструмент CLI.
Версії AWS CLI
Існують мінімальні вимоги до версії інструменту AWS CLI для запуску команд, згаданих у цій публікації. Обов’язково оновіть AWS CLI на обраному терміналі:
- AWS CLI v1 >= 1.23.6
- AWS CLI v2 >= 2.6.2
Підготуйте Dockerfile
Ви можете налаштувати середовище виконання в RStudio у файлі Docker. Оскільки налаштування залежать від вашого сценарію використання та вимог, у цьому прикладі ми покажемо вам основні та найпоширеніші налаштування. Ви можете завантажити повністю зразок Dockerfile.
Встановіть компоненти сеансу RStudio Workbench
Найважливішим програмним забезпеченням, яке слід інсталювати у ваш власний образ контейнера, є RStudio Workbench. Завантажуємо з загальнодоступне відро S3, розміщене на RStudio PBC. Існує багато випусків версій і дистрибутивів ОС для використання. Версія інсталяції має бути сумісною з версією RStudio Workbench, яка використовується в RStudio на SageMaker, тобто 1.4.1717-3 на момент написання. ОС (аргумент ОС у наступному фрагменті) має відповідати базі OS
використовується в зображенні контейнера. У нашому зразку Докер-файл, базовим образом, який ми використовуємо, є Amazon Linux 2 із публічного репозиторію Amazon ECR, яким керує AWS. Сумісною ОС RStudio Workbench є centos7.
Ви можете знайти всі параметри випуску ОС за допомогою такої команди:
Встановити R (і версії R)
Середовище виконання для вашого власного образу контейнера RStudio потребує принаймні однієї версії R. Спершу ми можемо встановити версію R і зробити її стандартною R, створивши м’які посилання на /usr/local/bin/
:
Науковці даних часто потребують кількох версій R, щоб вони могли легко перемикатися між проектами та базою коду. RStudio на SageMaker підтримує легке перемикання між версіями R, як показано на наступному знімку екрана.
RStudio на SageMaker автоматично сканує та знаходить версії R у наступних каталогах:
Ми можемо встановити більше версій в образ контейнера, як показано в наступному фрагменті. Вони будуть встановлені в /opt/R/
.
Встановіть професійні драйвери RStudio
Науковцям із даних часто потрібно отримати доступ до даних із таких джерел, як Амазонка Афіна та Амазонська червона зміна у RStudio на SageMaker. Ви можете зробити це за допомогою Професійні драйвери RStudio та Підключення RStudio. Переконайтеся, що ви встановили відповідні бібліотеки та драйвери, як показано в наступному фрагменті:
Встановити власні бібліотеки
Ви також можете інсталювати додаткові бібліотеки R і Python, щоб спеціалістам із обробки даних не потрібно було встановлювати їх на льоту:
Коли ви завершите налаштування у Dockerfile, настав час створити образ контейнера та надіслати його в Amazon ECR.
Створіть і надішліть на Amazon ECR
Ви можете створити образ контейнера з файлу Docker з терміналу, на якому встановлено механізм Docker, наприклад вашого локального терміналу або AWS Cloud9. Якщо ви створюєте його з терміналу в RStudio на SageMaker, ви можете використовувати SageMaker Studio Image Build. Ми демонструємо кроки для обох підходів.
У локальному терміналі, де присутній механізм Docker, ви можете виконувати наступні команди з місця, де знаходиться Dockerfile. Ви можете скористатися зразком сценарію create-and-update-image.sh.
У терміналі на RStudio на SageMaker виконайте такі команди:
Після цих команд ви отримаєте репозиторій і образ контейнера Docker в Amazon ECR для нашого наступного кроку, до якого ми прикріплюємо образ контейнера для використання в RStudio на SageMaker. Зверніть увагу на URI зображення в Amazon ECR <ACCOUNT_ID>.dkr.ecr.<REGION>.amazonaws.com/<REPO>:<TAG>
для подальшого використання.
Оновіть RStudio на SageMaker через консоль
RStudio на SageMaker дозволяє налаштувати час виконання за допомогою власного образу SageMaker. Образ SageMaker є власником набору версій зображень SageMaker. Кожна версія зображення представляє образ контейнера, який сумісний із RStudio на SageMaker і зберігається в репозиторії Amazon ECR. Щоб зробити нетиповий образ SageMaker доступним для всіх користувачів RStudio в межах домену, ви можете прикріпити зображення до домену, дотримуючись інструкцій у цьому розділі.
- На консолі SageMaker перейдіть до Спеціальні зображення SageMaker Studio, приєднані до домену сторінку та виберіть Прикріпити зображення.
- Select Нове зображенняі введіть URI зображення Amazon ECR.
- Вибирати МАЙБУТНІ.
- У Властивості зображення розділ, надайте ан Назва зображення (вимагається), Відображувана назва зображення (необов'язково), Опис (необов’язково), роль IAM і теги.
Команда відображуване ім'я зображення, якщо надається, відображається в панелі запуску сеансів у RStudio на SageMaker. Якщо Відображувана назва зображення поле залишено порожнім, назва зображення замість цього відображається в RStudio на SageMaker. - Залишати Шлях монтування EFS та Розширена конфігурація (ідентифікатор користувача та ідентифікатор групи) за замовчуванням, оскільки RStudio на SageMaker керує конфігурацією за нас.
- У Тип зображення розділ, виберіть Зображення RStudio.
- Вибирати Надіслати.
Тепер ви можете побачити новий запис у списку. Варто зазначити, що з впровадженням підтримки користувацьких образів RStudio ви можете побачити нове Тип використання у стовпці таблиці, щоб позначити, чи є зображення зображенням RStudio чи зображенням Студія Amazon SageMaker зображення.
Може знадобитися до 5–10 хвилин, перш ніж спеціальні зображення стануть доступними в інтерфейсі засобу запуску сеансу. Потім ви можете запустити новий сеанс R у RStudio на SageMaker із вашими власними зображеннями.
З часом ви можете видалити старі та застарілі зображення. Щоб видалити користувацькі зображення зі списку користувацьких зображень у RStudio, виберіть зображення у списку та виберіть Detach.
Вибирати Detach знову підтвердити.
Оновіть RStudio на SageMaker через AWS CLI
У наступних розділах описано кроки, щоб створити образ SageMaker і приєднати його для використання в RStudio на SageMaker на консолі SageMaker і за допомогою AWS CLI. Ви можете скористатися зразком сценарію create-and-update-image.sh.
Створіть образ і версію зображення SageMaker
Першим кроком є створення зображення SageMaker із власного зображення контейнера в Amazon ECR, виконавши такі дві команди:
Зауважте, що спеціальне зображення, яке відображається в панелі запуску сеансів у RStudio на SageMaker, визначається введенням --display-name
. Якщо необов’язкове відображуване ім’я не вказано, введення --image-name
замість нього використовується. Також зауважте, що роль IAM дозволяє SageMaker приєднувати зображення Amazon ECR до RStudio на SageMaker.
Створіть AppImageConfig
На додаток до зображення SageMaker, яке фіксує URI зображення з Amazon ECR, конфігурація зображення програми (AppImageConfig) необхідний для використання в домені SageMaker. Ми спрощуємо налаштування для an RSessionApp
щоб ми могли просто створити конфігурацію заповнювача за допомогою такої команди:
Приєднатися до домену SageMaker
Створивши образ SageMaker і конфігурацію образу програми, ми готові приєднати власне зображення контейнера до домену SageMaker. Щоб зробити нетипове зображення SageMaker доступним для всіх користувачів RStudio у межах домену, ви приєднуєте зображення до домену як налаштування користувача за замовчуванням. Усі існуючі та нові користувачі зможуть використовувати власне зображення.
Для кращої читабельності ми розміщуємо наступну конфігурацію у файлі JSON default-user-settings.json:
У цьому файлі ми можемо вказати зображення і AppImageConfig
назвати пари в списку в DefaultUserSettings.RSessionAppSettings.CustomImages
. У цьому попередньому фрагменті передбачається, що створено два користувацькі зображення.
Потім виконайте таку команду, щоб оновити домен SageMaker:
Після оновлення домену може знадобитися до 5–10 хвилин, перш ніж спеціальні зображення стануть доступними в інтерфейсі засобу запуску сеансів. Потім ви можете запустити новий сеанс R у RStudio на SageMaker із вашими власними зображеннями.
Від’єднати зображення від домену SageMaker
Ви можете від'єднати зображення, просто видаливши ImageName
та AppImageConfigName
пари від default-user-settings.json
та оновлення домену.
Наприклад, оновлення домену за допомогою наступного default-user-settings.json
видаляє r-4.1.3-rstudio-2022
з інтерфейсу запуску сеансу R і залишає r-4.1.3-rstudio-1.4.1717-3
як єдине спеціальне зображення, доступне для всіх користувачів у домені:
Прибирати
Щоб безпечно видалити зображення та ресурси в домені SageMaker, виконайте наступні кроки в Очистіть ресурси зображень.
Щоб безпечно видалити RStudio на SageMaker і домен SageMaker, виконайте наступні кроки в Видалити домен Amazon SageMaker щоб видалити будь-яку програму RSessionGateway, профіль користувача та домен.
Щоб безпечно видалити зображення та сховища в Amazon ECR, виконайте наведені нижче дії Видалення зображення.
Нарешті, щоб видалити шаблон CloudFormation:
- На консолі AWS CloudFormation виберіть Stacks.
- Виберіть стек, який ви розгорнули для цього рішення.
- Виберіть Видалити.
Висновок
RStudio на SageMaker спрощує науковцям обробки даних створювати масштабні рішення для машинного навчання та аналітики на R, а адміністраторам – керувати надійним середовищем обробки даних для своїх розробників. Науковці даних хочуть налаштувати середовище так, щоб вони могли використовувати правильні бібліотеки для правильної роботи та досягти бажаної відтворюваності для кожного проекту ML. Адміністраторам необхідно стандартизувати середовище науки про дані з міркувань регулювання та безпеки. Тепер ви можете створювати власні зображення контейнерів, які відповідають вашим організаційним вимогам, і дозволяти дослідникам даних використовувати їх у RStudio на SageMaker.
Радимо вам спробувати. Щасливого розвитку!
Про авторів
Майкл Хсі є старшим архітектором рішень спеціаліста зі штучного інтелекту та ML. Він працює з клієнтами, щоб просувати їх шлях до машинного навчання за допомогою поєднання пропозицій ML від AWS і його знань у сфері ML. Переїхавши в Сіетл, він любить досліджувати чудову матінку-природу, яку може запропонувати місто, наприклад, пішохідні стежки, пейзажі каякінгу в SLU та захід сонця в затоці Шилшол.
Деклан Келлі є інженером-програмістом у команді Amazon SageMaker Studio. Він працює над Amazon SageMaker Studio з моменту її запуску на AWS re:Invent 2019. Крім роботи, він захоплюється походами та скелелазінням.
Шон Морган є архітектором рішень AI/ML в AWS. Він має досвід у галузі напівпровідників і наукових досліджень і використовує свій досвід, щоб допомогти клієнтам досягти своїх цілей на AWS. У вільний час Шон є активним учасником і супроводжувачем відкритого вихідного коду, а також є керівником спеціальної групи за інтересами для додатків TensorFlow.
- Coinsmart. Найкраща в Європі біржа біткойн та криптовалют.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. БЕЗКОШТОВНИЙ ДОСТУП.
- CryptoHawk. Альткойн Радар. Безкоштовне випробування.
- Джерело: https://aws.amazon.com/blogs/machine-learning/use-a-custom-image-to-bring-your-own-development-environment-to-rstudio-on-amazon-sagemaker/
- "
- &
- 1.3
- 10
- 100
- 2019
- 2022
- 7
- a
- МЕНЮ
- доступ
- рахунки
- Achieve
- дію
- активний
- доповнення
- Додатковий
- Адміністратори
- просування
- ВСІ
- дозволяє
- вже
- Amazon
- аналітика
- додаток
- підходи
- відповідний
- квітня
- доступний
- AWS
- затока
- оскільки
- буття
- Переваги
- Краще
- між
- border
- приносити
- будувати
- Створюємо
- бізнес
- Може отримати
- захвати
- випадок
- зміна
- вибір
- вибір
- Вибирати
- Місто
- хмара
- код
- Колонка
- поєднання
- загальний
- сумісний
- повний
- обчислення
- конфігурація
- З'єднувальний
- Консоль
- Контейнер
- зміст
- продовжувати
- вкладник
- створювати
- створений
- створення
- виготовлений на замовлення
- Клієнти
- налаштувати
- дані
- наука про дані
- вчений даних
- демонструвати
- залежить
- розгорнути
- описувати
- описаний
- деталі
- розробників
- розробка
- дисплей
- Розподілу
- Docker
- Ні
- домен
- вниз
- скачати
- кожен
- легко
- ефект
- заохочувати
- двигун
- інженер
- Що натомість? Створіть віртуальну версію себе у
- Навколишнє середовище
- необхідності
- приклад
- існуючий
- досвід
- знайомий
- Поля
- Перший
- перший раз
- стежити
- після
- слідує
- Безкоштовна
- від
- Повний
- Крім того
- отримання
- Цілі
- великий
- Group
- щасливий
- допомога
- утримувач
- відбувся
- Однак
- HTTPS
- Особистість
- зображення
- зображень
- здійснювати
- важливо
- промисловості
- інформація
- вхід
- встановлювати
- екземпляр
- інтегрований
- інтерес
- IT
- робота
- подорож
- знання
- останній
- запуск
- запуск
- вести
- вивчення
- ліцензія
- ліцензування
- Лінія
- LINK
- зв'язку
- Linux
- список
- місцевий
- машина
- навчання за допомогою машини
- зробити
- РОБОТИ
- Робить
- управляти
- вдалося
- управління
- менеджер
- матч
- згаданий
- може бути
- мінімальний
- ML
- більше
- Morgan
- найбільш
- мати
- множинний
- природа
- Переміщення
- потреби
- наступний
- пропонувати
- Пропозиції
- операційний
- операційна система
- Опції
- організаційної
- організації
- власний
- точок
- Політика
- політика
- переважним
- представити
- приватний
- процес
- професійний
- профіль
- Програмування
- проект
- проектів
- забезпечувати
- за умови
- забезпечення
- громадськість
- швидко
- RE
- досягати
- Причини
- регіон
- регуляторні
- звільнити
- Релізи
- доречний
- видалення
- Сховище
- представляє
- вимагається
- Вимога
- Вимагається
- дослідження
- ресурс
- ресурси
- Роль
- прогін
- біг
- безпечно
- шкала
- наука
- вчений
- Вчені
- Шон
- безпеку
- напівпровідник
- комплект
- установка
- установка
- кілька
- Поділитись
- Показувати
- показаний
- простий
- з
- So
- М'який
- Софтвер
- Інженер-програміст
- solid
- рішення
- Рішення
- спеціальний
- спеціаліст
- спеціалізований
- стек
- почалася
- починається
- Заява
- Статус
- магазинів
- студія
- захід
- підтримка
- Опори
- перемикач
- система
- команда
- термінал
- Команда
- через
- час
- сьогодні
- інструмент
- інструменти
- ui
- при
- Оновити
- Updates
- оновлення
- us
- використання
- користувачі
- версія
- Чи
- в
- без
- Work
- робочий
- працює
- вартість
- лист
- вашу