Сервер коду хосту на Amazon SageMaker

Перевидано Платоном

читають: 0

Командам машинного навчання (ML) потрібна гнучкість у виборі свого інтегрованого середовища розробки (IDE) під час роботи над проектом. Це дозволяє вам мати продуктивний досвід розробника та швидко впроваджувати інновації. Ви навіть можете використовувати кілька IDE в рамках проекту. Amazon SageMaker дозволяє командам ML вибирати роботу з повністю керованих хмарних середовищ Студія Amazon SageMaker, Екземпляри блокнота SageMaker, або з вашого локального комп’ютера за допомогою локальний режим.

SageMaker надає Jupyter і RStudio можливість одним клацанням миші створювати, навчати, налагоджувати, розгортати та контролювати моделі ML. У цій публікації ми також поділимося a рішення для хостингу код-сервер на SageMaker.

За допомогою сервера коду користувачі можуть працювати В.С. Код на віддалених машинах і отримати до нього доступ у веб-браузері. Для команд ML розміщення сервера коду на SageMaker забезпечує мінімальні зміни в досвіді локальної розробки та дозволяє вам кодувати з будь-якого місця, на масштабованій хмарі. За допомогою VS Code ви також можете використовувати вбудовані середовища Conda з оптимізованими для AWS TensorFlow і PyTorch, керованими репозиторіями Git, локальним режимом та іншими функціями, наданими SageMaker, щоб пришвидшити доставку. Для ІТ-адміністраторів це дозволяє стандартизувати та пришвидшити надання керованих безпечних інтегрованих інтегрованих інтегрованих інтегрованих інтегрованих інтегрованих інтегрованих інтерфейсах у хмарі, щоб швидко залучати та залучати команди ML до їхніх проектів.

Огляд рішення

У цій публікації ми розглядаємо встановлення як для середовищ Studio (Варіант A), так і для екземплярів ноутбука (Варіант B). Для кожного варіанту ми проходимо процес інсталяції вручну, який команди ML можуть запустити у своєму середовищі, і автоматизовану інсталяцію, яку ІТ-адміністратори можуть налаштувати для них за допомогою Інтерфейс командного рядка AWS (AWS CLI).

Наступна діаграма ілюструє огляд архітектури для розміщення сервера коду на SageMaker.

Наше рішення прискорює встановлення та налаштування сервера коду у вашому середовищі. Він працює як для JupyterLab 3 (рекомендовано), так і для JupyterLab 1, які працюють в примірниках ноутбука Studio та SageMaker. Він складається зі сценаріїв оболонки, які виконують наступне на основі параметра.

Для Studio (варіант A) сценарій оболонки виконує такі дії:

Для екземплярів блокнота SageMaker (Варіант Б) сценарій оболонки виконує такі дії:

Встановлює код-сервер.
Додає ярлик сервера коду в меню файлів блокнота Jupyter і засіб запуску JupyterLab для швидкого доступу до IDE.
Створює спеціальне середовище Conda для керування залежностями.
Встановлює Python та Docker розширення в IDE.

У наступних розділах ми ознайомимося з процесом встановлення рішення для варіантів A та B. Переконайтеся, що у вас є доступ до Studio або примірника блокнота.

Варіант A: Розмістіть сервер коду в Studio

Щоб розмістити сервер коду в Studio, виконайте такі дії:

Вибирати Системний термінал у програмі запуску Studio.

Щоб установити рішення сервера коду, виконайте такі команди в системному терміналі:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/studio
 
chmod +x install-codeserver.sh
./install-codeserver.sh

# Note: when installing on JL1, please prepend the nohup command to the install command above and run as follows: 
# nohup ./install-codeserver.sh

Виконання команд має тривати кілька секунд.

Перезавантажте сторінку браузера, де ви побачите a Сервер коду на панелі запуску Studio.
Вибирати Сервер коду щоб відкрити нову вкладку веб-переглядача, що дозволить вам отримати доступ до сервера кодів із вашого браузера.
Розширення Python уже встановлено, і ви можете приступати до роботи над своїм проектом ML.

Ви можете відкрити папку проекту у VS Code та вибрати попередньо створене середовище Conda для запуску сценаріїв Python.

ml-10244-vscode-conda

Автоматизуйте встановлення сервера коду для користувачів у домені Studio

Як ІТ-адміністратор ви можете автоматизувати встановлення для користувачів Studio за допомогою a конфігурація життєвого циклу. Це можна зробити для всіх профілів користувачів у домені Studio або для окремих. Побачити Налаштуйте Amazon SageMaker Studio за допомогою конфігурацій життєвого циклу для більш докладної інформації.

Для цієї публікації ми створюємо конфігурацію життєвого циклу з install-codeserver і приєднайте його до наявного домену Studio. Встановлення виконується для всіх профілів користувачів у домені.

З терміналу, налаштованого за допомогою AWS CLI та відповідних дозволів, виконайте такі команди:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/studio

LCC_CONTENT=`openssl base64 -A -in install-codeserver.sh`

aws sagemaker create-studio-lifecycle-config 
    --studio-lifecycle-config-name install-codeserver-on-jupyterserver 
    --studio-lifecycle-config-content $LCC_CONTENT 
    --studio-lifecycle-config-app-type JupyterServer 
    --query 'StudioLifecycleConfigArn'

aws sagemaker update-domain 
    --region  
    --domain-id  
    --default-user-settings 
    '{
    "JupyterServerAppSettings": {
    "DefaultResourceSpec": {
    "LifecycleConfigArn": "arn:aws:sagemaker:::studio-lifecycle-config/install-codeserver-on-jupyterserver",
    "InstanceType": "system"
    },
    "LifecycleConfigArns": [
    "arn:aws:sagemaker:::studio-lifecycle-config/install-codeserver-on-jupyterserver"
    ]
    }}'

# Make sure to replace ,  and  in the previous commands with
# the Studio domain ID, the AWS region and AWS Account ID you are using respectively.

Після перезапуску сервера Jupyter сервер Сервер коду на панелі запуску Studio.

Варіант B: Розмістіть сервер коду на екземплярі ноутбука SageMaker

Щоб розмістити сервер коду на екземплярі блокнота SageMaker, виконайте такі дії:

Запустіть термінал через Jupyter або JupyterLab для свого примірника ноутбука.
Якщо ви використовуєте Jupyter, виберіть термінал на Нові меню.
Щоб інсталювати рішення сервера коду, виконайте такі команди у вашому терміналі:
```
curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/notebook-instances
 
chmod +x install-codeserver.sh
chmod +x setup-codeserver.sh
sudo ./install-codeserver.sh
sudo ./setup-codeserver.sh
```
Сервер коду та інсталяції розширень постійні на екземплярі ноутбука. Однак, якщо ви зупините або перезапустите екземпляр, вам потрібно запустити наступну команду, щоб переналаштувати сервер коду:

sudo ./setup-codeserver.sh

Виконання команд має тривати кілька секунд. Ви можете закрити вкладку терміналу, коли побачите таке.
Тепер перезавантажте сторінку Jupyter і перевірте Нові знову меню.
Команда Сервер коду опція тепер має бути доступною.

Ви також можете запустити сервер коду з JupyterLab за допомогою спеціальної кнопки запуску, як показано на наступному знімку екрана.

ml-10244-jupyterlab-code-server-button

Вибір Сервер коду відкриє нову вкладку браузера, що дозволить вам отримати доступ до сервера коду з вашого браузера. Розширення Python і Docker уже встановлено, і ви можете приступити до роботи у своєму проекті ML.

ml-10244-notebook-vscode

Автоматизуйте встановлення сервера коду на екземпляр ноутбука

Як ІТ-адміністратор ви можете автоматизувати встановлення сервера коду за допомогою a конфігурація життєвого циклу запускається під час створення екземпляра та автоматизує налаштування за допомогою одного, що запускається під час запуску екземпляра.

Тут ми створюємо приклад екземпляра блокнота та конфігурацію життєвого циклу за допомогою CLI AWS, on-create запускається конфігурація install-codeserver та on-start пробіжки setup-codeserver.

З терміналу, налаштованого за допомогою AWS CLI та відповідних дозволів, виконайте такі команди:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/notebook-instances

aws sagemaker create-notebook-instance-lifecycle-config 
    --notebook-instance-lifecycle-config-name install-codeserver 
    --on-start Content=$((cat setup-codeserver.sh || echo "")| base64) 
    --on-create Content=$((cat install-codeserver.sh || echo "")| base64)

aws sagemaker create-notebook-instance 
    --notebook-instance-name  
    --instance-type  
    --role-arn  
    --lifecycle-config-name install-codeserver

# Make sure to replace , ,
# and  in the previous commands with the appropriate values.

Встановлення сервера коду тепер автоматизоване для екземпляра ноутбука.

Висновок

з код-сервер розміщені на SageMaker, команди ML можуть запускати VS Code на масштабованих хмарних обчисленнях, кодувати з будь-якого місця та пришвидшити реалізацію своїх проектів ML. Для ІТ-адміністраторів це дозволяє стандартизувати та пришвидшити надання керованих безпечних інтегрованих інтегрованих інтегрованих інтегрованих інтерфейсів у хмарі, щоб швидко підключити та включити команди ML у свої проекти.

У цій публікації ми поділилися рішенням, яке можна використовувати для швидкого встановлення сервера коду як на примірниках Studio, так і на ноутбуках. Ми поділилися процесом встановлення вручну, який команди ML можуть запустити самостійно, та автоматизованою установкою, яку ІТ-адміністратори можуть налаштувати для них.

Щоб продовжити навчання, відвідайте AWSome SageMaker на GitHub, щоб знайти всі відповідні та актуальні ресурси, необхідні для роботи з SageMaker.

Про авторів

Розмістіть сервер коду на Amazon SageMaker PlatoBlockchain Data Intelligence. Вертикальний пошук. Ai. Джузеппе Анджело Порчеллі є головним спеціалістом з машинного навчання архітектором рішень для веб-сервісів Amazon. Маючи кілька років розробки програмного забезпечення та досвіду машинного навчання, він працює з клієнтами будь-якого розміру, щоб глибоко зрозуміти їхні бізнес- та технічні потреби та розробити рішення для штучного інтелекту та машинного навчання, які найкращим чином використовують хмару AWS та стек машинного навчання Amazon. Він працював над проектами в різних областях, включаючи MLOps, Computer Vision, NLP, і залучаючи широкий набір послуг AWS. У вільний час Джузеппе любить грати у футбол.

Розмістіть сервер коду на Amazon SageMaker PlatoBlockchain Data Intelligence. Вертикальний пошук. Ai. Софіан Хаміті є спеціалістом з AI/ML, архітектором рішень у AWS. Він допомагає клієнтам у різних галузях прискорити свій шлях до ШІ/ML, допомагаючи їм створювати та впроваджувати наскрізні рішення машинного навчання.

Ерік Пенья є старшим менеджером із технічних продуктів у команді платформ штучного інтелекту AWS, працює над інтерактивним машинним навчанням Amazon SageMaker. Зараз він зосереджується на інтеграції IDE у SageMaker Studio. Він має ступінь MBA від Массачусетського технологічного інституту Слоуна, а поза роботою любить грати в баскетбол і футбол.