Цю публікацію спільно написали Зденко Есток, Cloud Architect в Accenture, і Сакар Селімкан, DeepRacer SME в Accenture.
Зі збільшенням використання штучного інтелекту (AI) і машинного навчання (ML) у переважній більшості галузей (від охорони здоров’я до страхування, від виробництва до маркетингу) основний акцент зміщується на ефективність під час створення та навчання моделей у масштабі. Ключовим є створення масштабованого та легкого середовища обробки даних. Це може зайняти значну кількість часу, щоб запустити та налаштувати середовище, адаптоване для конкретного випадку використання, і навіть важче залучити колег до співпраці.
За оцінками Accenture, компанії, яким вдається ефективно масштабувати AI та ML, можуть отримати майже потрійну віддачу від своїх інвестицій. Тим не менш, не всі компанії отримують очікувану віддачу від свого шляху AI/ML. Набори інструментів для автоматизації інфраструктури стають важливими для горизонтального масштабування зусиль AI/ML всередині корпорації.
AWS Deep Racer це простий і цікавий спосіб розпочати навчання з підкріпленням (RL), техніку ML, за допомогою якої агент виявляє оптимальні дії, які слід виконати в певному середовищі. У нашому випадку це буде транспортний засіб AWS DeepRacer, який намагається швидко мчати по треку. Ви можете швидко розпочати роботу з RL за допомогою практичних посібників, які проведуть вас через основи навчання моделям RL та перевірять їх у захопливому, досвід автономних гонок.
Ця публікація показує, як компанії можуть використовувати інфраструктуру як код (IaC) з Набір хмарних розробок AWS (AWS CDK), щоб прискорити створення та реплікацію інфраструктури з високою можливістю передачі та легко конкурувати за масштабні події AWS DeepRacer.
«IaC у поєднанні з керованим середовищем Jupyter дав нам найкраще з обох світів: повторювані середовища науки про дані, які можна передати, щоб ми могли залучати наших конкурентів AWS DeepRacer, щоб зосередитися на тому, що вони роблять найкраще: швидко тренувати швидкі моделі».
– Селімкан Сакар, AWS DeepRacer SME в Accenture.
Огляд рішення
Оркестрування всіх необхідних служб займає значну кількість часу, коли справа доходить до створення масштабованого шаблону, який можна застосувати для багатьох випадків використання. В минулому, AWS CloudFormation створено шаблони для автоматизації створення цих сервісів. Завдяки прогресу в автоматизації та налаштуванні зі зростаючими рівнями абстракції для налаштування різних середовищ за допомогою інструментів IAC, AWS CDK широко впроваджується на різних підприємствах. AWS CDK — це платформа розробки програмного забезпечення з відкритим кодом для визначення ресурсів ваших хмарних програм. Він використовує звичні та експресивні можливості мов програмування для моделювання ваших додатків, одночасно надаючи ресурси безпечним і повторюваним способом.
У цій публікації ми ввімкнемо надання різних компонентів, необхідних для виконання аналізу журналу за допомогою Amazon SageMaker на AWS DeepRacer через AWS CDK конструкти.
Хоча графік аналізу, наданий у консолі DeepRacer, ефективний і зрозумілий щодо наданих винагород і досягнутого прогресу, він не дає уявлення про те, як швидко автомобіль рухається через маршрутні точки, або яку лінію автомобіль віддає перевагу навколо треку. . Ось тут і вступає в дію розширений аналіз журналів. Наш розширений аналіз журналу має на меті підвищити ефективність тренувань ретроспективно, щоб зрозуміти, які функції винагороди та області дій працюють краще за інші під час тренування кількох моделей, а також чи є модель переобладнаною, щоб гонщики могли тренуватися розумніше та досягати кращих результатів із меншим тренуванням.
Наше рішення описує конфігурацію середовища AWS DeepRacer із використанням AWS CDK для прискорення подорожі користувачів, які експериментують із аналізом журналів SageMaker і навчанням посилення на AWS для події AWS DeepRacer.
Адміністратор може запустити сценарій AWS CDK, наданий у GitHub репо чЕРЕЗ Консоль управління AWS або в терміналі після завантаження коду в їхнє середовище. Кроки такі:
- відкритий AWS Cloud9 на консолі.
- Завантажте модуль AWS CDK із GitHub у середовище AWS Cloud9.
- Налаштуйте модуль AWS CDK, як описано в цій публікації.
- Відкрийте файл cdk.context.json і перевірте всі параметри.
- За потреби змініть параметри та запустіть команду AWS CDK із запланованою особою, щоб запустити налаштоване середовище, яке підходить для цієї особистості.
Наступна діаграма ілюструє архітектуру рішення.
За допомогою AWS CDK ми можемо контролювати версії наших наданих ресурсів і мати середовище з високою транспортабельністю, яке відповідає найкращим практикам на рівні підприємства.
Передумови
Щоб надати середовища ML за допомогою AWS CDK, виконайте такі передумови:
- Мати доступ до облікового запису AWS і дозволи в Регіоні для розгортання необхідних ресурсів для різних персон. Переконайтеся, що у вас є облікові дані та дозволи для розгортання стека AWS CDK у вашому обліковому записі.
- Ми рекомендуємо дотримуватися певних найкращих практик, які висвітлюються через концепції, детально описані в наступних ресурсах:
- Клонуйте GitHub репо у ваше оточення.
Розмістіть портфоліо у своєму обліковому записі
У цьому розгортанні ми використовуємо AWS Cloud9 для створення середовища обробки даних за допомогою AWS CDK.
- Перейдіть до консолі AWS Cloud9.
- Укажіть тип середовища, тип екземпляра та платформу.
- Вкажіть свій Управління ідентифікацією та доступом AWS (IAM), роль VPC і підмережа.
- У вашому середовищі AWS Cloud9 створіть нову папку під назвою DeepRacer.
- Виконайте таку команду, щоб установити AWS CDK, і переконайтеся, що у вас є потрібні залежності для розгортання портфоліо:
- Щоб переконатися, що AWS CDK встановлено, і отримати доступ до документів, виконайте таку команду у своєму терміналі (вона має перенаправити вас до документації AWS CDK):
- Тепер ми можемо клонувати репозиторій AWS DeepRacer GitHub.
- Відкрийте клоноване репо в AWS Cloud9:
Після перегляду вмісту в DeepRacer_cdk
каталогу, там буде файл під назвою package.json
з усіма визначеними необхідними модулями та залежностями. Тут ви можете визначити свої ресурси в модулі.
- Далі встановіть усі необхідні модулі та залежності для програми AWS CDK:
Це призведе до синтезу відповідного шаблону CloudFormation.
- Щоб запустити розгортання, або змініть файл context.json з іменами параметрів, або явно визначте їх під час виконання:
Для аналізу журналу AWS DeepRacer на основі запуску скрипта створюються такі компоненти:
- An Роль IAM для ноутбука SageMaker із керованою політикою
- A Екземпляр ноутбука SageMaker з типом екземпляра, явно доданим як параметр контексту cdk, або значенням за замовчуванням, що зберігається у файлі context.json
- VPC із CIDR, як зазначено у файлі context.json, разом із чотирма налаштованими публічними підмережами
- Нова група безпеки для екземпляра ноутбука Sagemaker, що дозволяє спілкуватися в межах VPC
- Політика життєвого циклу SageMaker із сценарієм bash, який попередньо завантажує вміст іншого GitHub сховище, який містить файли, які ми використовуємо для запуску аналізу журналів на моделях AWS DeepRacer
- Ви можете запустити стек AWS CDK наступним чином:
- Перейдіть до консолі AWS CloudFormation у регіоні, де розгорнуто стек, щоб перевірити ресурси.
Тепер користувачі можуть почати використовувати ці служби для роботи з аналізом журналів і глибоким навчанням моделі RL на SageMaker для AWS DeepRacer.
Тестування модуля
Ви також можете запустити деякі модульні тести перед розгортанням стека, щоб переконатися, що ви випадково не видалили необхідні ресурси. Модульні тести знаходяться в DeepRacer/test/deep_racer.test.ts
і може бути запущений за допомогою такого коду:
Створення діаграм за допомогою cdk-dia
Щоб створити діаграми, виконайте такі кроки:
- Встановлювати
graphviz
за допомогою інструментів вашої операційної системи:
Це встановить програму cdk-dia.
- Тепер запустіть наступний код:
Графічне представлення вашого стеку AWS CDK буде збережено у форматі .png.
Після виконання попередніх кроків ви повинні побачити процес створення екземпляра блокнота зі статусом В очікуванні. Коли стан екземпляра блокнота є InService (як показано на наступному знімку екрана), ви можете продовжити наступні кроки.
- Вибирати Відкрийте Юпітер щоб запустити сценарій Python для аналізу журналу.
Додаткову інформацію про аналіз журналів за допомогою AWS DeepRacer і пов’язаних візуалізацій див Використання аналізу журналів для проведення експериментів і перемоги в AWS DeepRacer F1 ProAm Race.
Прибирати
Щоб уникнути поточних платежів, виконайте такі дії:
- Використовуйте cdk destroy, щоб видалити ресурси, створені за допомогою AWS CDK.
- На консолі AWS CloudFormation видаліть стек CloudFormation.
Висновок
Події AWS DeepRacer — це чудовий спосіб підвищити інтерес і розширити знання МЛ на всіх стовпах і рівнях організації. У цій публікації ми поділилися тим, як можна налаштувати динамічне середовище AWS DeepRacer і налаштувати вибіркові служби для прискорення подорожі користувачів на платформі AWS. Ми обговорили, як створити сервіси Amazon SageMaker Notebook Instance, ролі IAM, конфігурацію життєвого циклу ноутбука SageMaker із передовими практиками, VPC та Обчислювальна хмара Amazon Elastic (Amazon EC2) екземпляри на основі визначення контексту за допомогою AWS CDK і масштабування для різних користувачів за допомогою AWS DeepRacer.
Налаштуйте середовище CDK і запустіть блокнот із розширеним аналізом журналів, щоб забезпечити ефективність роботи модуля. Допоможіть гонщикам досягти кращих результатів за менший час і отримайте детальну інформацію про функції винагороди та дії.
посилання
Більше інформації доступно на наступних ресурсах:
- Автоматизуйте налаштування Amazon SageMaker Studio за допомогою AWS CDK
- Посилання на API AWS SageMaker CDK
Про авторів
Зденко Есток працює хмарним архітектором та інженером DevOps в Accenture. Він працює з AABG над розробкою та впровадженням інноваційних хмарних рішень, а також спеціалізується на інфраструктурі як код і хмарній безпеці. Зденко любить їздити в офіс на велосипеді та любить приємні прогулянки на природі.
Селімкан «Може» Сакар є першим розробником хмарних технологій і архітектором рішень у Accenture, який зосереджується на штучному інтелекті та пристрасті спостерігати за конвергенцією моделей.
Шихар Кватра є архітектором спеціалізованих рішень AI/ML в Amazon Web Services, який працює з провідним глобальним системним інтегратором. Shikhar допомагає в архітектурі, створенні та підтримці економічно ефективних, масштабованих хмарних середовищ для організації та підтримує партнера GSI у створенні стратегічних галузевих рішень на AWS. Шихар любить грати на гітарі, складати музику та практикувати усвідомленість у вільний час.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
- 10
- 100
- 11
- 7
- 9
- a
- Здатний
- прискорювати
- Accenture
- доступ
- випадково
- рахунки
- Achieve
- досягнутий
- через
- дію
- дії
- доданий
- Додатковий
- прийнята
- просунутий
- досягнення
- після
- Агент
- AI
- AI / ML
- посібник
- Цілі
- ВСІ
- Дозволити
- Amazon
- Amazon EC2
- Amazon SageMaker
- Студія Amazon SageMaker
- Amazon Web Services
- кількість
- аналіз
- та
- Інший
- API
- додаток
- додаток
- застосування
- прикладної
- архітектура
- навколо
- штучний
- штучний інтелект
- Штучний інтелект (AI)
- допомогу
- асоційований
- автоматизувати
- Автоматизація
- доступний
- AWS
- AWS Cloud9
- AWS CloudFormation
- AWS Deep Racer
- заснований
- бити
- Основи
- ставати
- перед тим
- буття
- КРАЩЕ
- передового досвіду
- Краще
- приносити
- Створюємо
- званий
- Може отримати
- автомобіль
- випадок
- випадків
- певний
- зміна
- вантажі
- хмара
- Хмара безпеки
- Cloud9
- код
- співпрацювати
- колеги
- комбінований
- Комунікація
- Компанії
- конкурувати
- конкурентів
- повний
- Компоненти
- обчислення
- поняття
- конфігурація
- значний
- Консоль
- містить
- зміст
- контекст
- контроль
- сходяться
- КОРПОРАЦІЯ
- Відповідний
- створювати
- створений
- створення
- створення
- Повноваження
- дані
- наука про дані
- глибокий
- дефолт
- певний
- розгортання
- розгорнути
- розгортання
- розгортання
- описаний
- знищити
- докладно
- деталі
- розвивати
- Розробник
- розробка
- діаграми
- різний
- виявляє
- обговорювалися
- документація
- Ні
- управляти
- під час
- динамічний
- легко
- Ефективний
- ефективність
- продуктивно
- зусилля
- або
- включіть
- інженер
- рівень підприємства
- підприємств
- Навколишнє середовище
- середовищах
- істотний
- Навіть
- Event
- Події
- захоплюючий
- очікуваний
- виразний
- f1
- Знайомство
- ШВИДКО
- філе
- Файли
- Перший
- Сфокусувати
- після
- слідує
- формат
- Рамки
- від
- веселощі
- Функції
- Отримувати
- породжувати
- отримати
- GitHub
- Давати
- даний
- Глобальний
- надається
- графік
- великий
- Group
- керівництво
- практичний
- охорона здоров'я
- допомога
- Виділено
- дуже
- Горизонтальний
- Як
- How To
- HTML
- HTTPS
- ідентифікує
- Особистість
- здійснювати
- in
- Augmenter
- зростаючий
- промисловості
- промисловість
- інформація
- Інфраструктура
- інноваційний
- розуміння
- розуміння
- встановлювати
- встановлений
- екземпляр
- страхування
- Інтелект
- інтерес
- інвестиції
- IT
- подорож
- json
- ключ
- Дитина
- знання
- мови
- запуск
- провідний
- вивчення
- рівні
- Лінія
- погрузка
- розташований
- машина
- навчання за допомогою машини
- Більшість
- зробити
- управляти
- вдалося
- управління
- манера
- виробництво
- Маркетинг
- Зустрічатися
- Уважність
- ML
- модель
- Моделі
- Модулі
- Модулі
- рухається
- множинний
- музика
- Імена
- природа
- майже
- необхідно
- Нові
- наступний
- ноутбук
- Office
- Onboard
- постійний
- з відкритим вихідним кодом
- Програмне забезпечення з відкритим кодом
- операційний
- операційна система
- оптимальний
- порядок
- організація
- інші
- параметр
- параметри
- партнер
- пристрасть
- Минуле
- виконанні
- Дозволи
- платформа
- plato
- Інформація про дані Платона
- PlatoData
- Play
- ігри
- політика
- портфель
- пошта
- влада
- практики
- передумови
- первинний
- процес
- Програмування
- мови програмування
- прогрес
- за умови
- забезпечення
- громадськість
- Python
- швидко
- Гонки
- гонщиків
- racing
- підвищення
- ранжування
- рекомендувати
- переадресовувати
- про
- регіон
- видаляти
- повторюваний
- копіювання
- Сховище
- подання
- вимагається
- ресурси
- результати
- повертати
- Умови повернення
- огляд
- Винагороджувати
- Нагороди
- Роль
- ролі
- прогін
- біг
- сейф
- мудрець
- масштабовані
- шкала
- масштаб ai
- Масштабування
- наука
- безпеку
- селективний
- Послуги
- комплект
- установка
- загальні
- Зміни
- Повинен
- показаний
- Шоу
- простий
- розумнішими
- EMS
- So
- Софтвер
- розробка програмного забезпечення
- рішення
- Рішення
- деякі
- пробіли
- спеціаліст
- спеціалізується
- конкретний
- зазначений
- стек
- старт
- почалася
- Статус
- заходи
- Як і раніше
- зберігати
- просто
- Стратегічний
- студія
- підмережі
- підмережі
- Опори
- система
- з урахуванням
- Приймати
- приймає
- шаблон
- Шаблони
- термінал
- тест
- Тести
- Команда
- Основи
- їх
- через
- час
- до
- інструменти
- трек
- поїзд
- Навчання
- Потрійний
- навчальні посібники
- розуміти
- блок
- us
- використання
- використання випадку
- користувачі
- значення
- різний
- величезний
- автомобіль
- перевірити
- версія
- через
- спостереження
- Web
- веб-сервіси
- Що
- Чи
- який
- в той час як
- широко
- волі
- виграти
- в
- Work
- робочий
- працює
- світі
- б
- Ти
- вашу
- зефірнет