Сьогодні дослідники даних, які тренують моделі глибокого навчання, повинні виявляти та виправляти проблеми з навчанням моделей, щоб досягти цільових показників точності для розгортання виробництва, і їм потрібен спосіб використання стандартних інструментів для навчання моделі налагодження. TensorBoard — це популярний інструментарій серед спільноти спеціалістів з обробки даних, який дозволяє дослідникам даних візуалізувати й аналізувати різні аспекти моделей машинного навчання (ML) і процесів навчання. Він надає набір інструментів для візуалізації показників навчання, вивчення архітектури моделі, дослідження вбудовування тощо. Проекти TensorFlow і PyTorch підтримують і використовують TensorBoard у своїй офіційній документації та прикладах.
Amazon SageMaker з TensorBoard — це можливість, яка передає інструменти візуалізації TensorBoard у SageMaker. Інтегрований із навчальними завданнями та доменами SageMaker, він надає користувачам домену SageMaker доступ до даних TensorBoard і допомагає користувачам домену виконувати завдання налагодження моделі за допомогою плагінів візуалізації SageMaker TensorBoard. Коли вони створюють навчальне завдання SageMaker, користувачі домену можуть використовувати TensorBoard за допомогою SDK SageMaker Python або API Boto3. SageMaker із TensorBoard підтримується плагіном SageMaker Data Manager, за допомогою якого користувачі домену можуть отримати доступ до багатьох навчальних завдань в одному місці в програмі TensorBoard.
У цій публікації ми демонструємо, як налаштувати навчальне завдання з TensorBoard у SageMaker за допомогою SDK SageMaker Python, отримати доступ до SageMaker TensorBoard, дослідити вихідні дані навчання, візуалізовані в TensorBoard, і видалити програми TensorBoard, які не використовуються.
Огляд рішення
Типове навчальне завдання для глибокого навчання в SageMaker складається з двох основних кроків: підготовки навчального сценарію та налаштування засобу запуску навчальних завдань SageMaker. У цій публікації ми розповімо про необхідні зміни для збору даних, сумісних із TensorBoard, із навчання SageMaker.
Передумови
Щоб почати використовувати SageMaker із TensorBoard, вам потрібно налаштувати домен SageMaker з Amazon VPC під обліковим записом AWS. Для доступу до TensorBoard на SageMaker потрібні профілі користувачів домену для кожного окремого користувача, а Управління ідентифікацією та доступом AWS (IAM) для виконання ролі потрібен мінімальний набір дозволів, зокрема:
sagemaker:CreateApp
sagemaker:DeleteApp
sagemaker:DescribeTrainingJob
sagemaker:Search
s3:GetObject
s3:ListBucket
Додаткову інформацію про те, як налаштувати домен SageMaker і профілі користувачів, див Підключення до домену Amazon SageMaker за допомогою швидкого налаштування та Додавання та видалення профілів користувачів.
Структура каталогів
При використанні Студія Amazon SageMaker, структура каталогу може бути організована таким чином:
Тут, script/train.py
це ваш навчальний сценарій, і simple_tensorboard.ipynb
запускає навчальну роботу SageMaker.
Змініть свій сценарій навчання
Ви можете використовувати будь-який із наведених нижче інструментів для збору тензорів і скалярів: TensorBoardX, TensorFlow Summary Writer, PyTorch Summary Writer або Налагоджувач Amazon SageMakerі вкажіть вихідний шлях даних як каталог журналу в навчальному контейнері (log_dir
). У цьому прикладі коду ми використовуємо TensorFlow, щоб навчити просту, повноцінну нейронну мережу для завдання класифікації. Інші варіанти див Підготуйте навчальне завдання з конфігурацією вихідних даних TensorBoard, в train()
функцію, ми використовуємо tensorflow.keras.callbacks
Інструмент .TensorBoard для збору тензорів і скалярів, вкажіть /opt/ml/output/tensorboard
як каталог журналу в навчальному контейнері та передайте його аргументу зворотних викликів навчання моделі. Перегляньте наступний код:
Створіть навчальну програму запуску SageMaker із конфігурацією даних TensorBoard
Використовуйте sagemaker.debugger.TensorBoardOutputConfig під час налаштування оцінювача фреймворка SageMaker, який відображає Служба простого зберігання Amazon (Amazon S3), який ви вказали для збереження даних TensorBoard із локальним шляхом у навчальному контейнері (наприклад, /opt/ml/output/tensorboard
). Ви можете використовувати інший локальний вихідний шлях контейнера. Однак воно повинно узгоджуватися зі значенням LOG_DIR
змінна, як зазначено на попередньому кроці, щоб SageMaker успішно шукав локальний шлях у навчальному контейнері та зберігав дані TensorBoard у вихідному сегменті S3.
Далі передайте об’єкт модуля в tensorboard_output_config
параметр класу оцінювача. У наступному фрагменті коду показано приклад підготовки оцінювача TensorFlow із вихідним параметром конфігурації TensorBoard.
Нижче наведено шаблонний код:
Наступний код для навчального контейнера:
Наступний код є конфігурацією TensorBoard:
Запустіть навчальну роботу з наступним кодом:
Доступ до TensorBoard на SageMaker
Ви можете отримати доступ до TensorBoard двома методами: програмно за допомогою sagemaker.interactive_apps.tensorboard
модуль, який генерує URL-адресу, або використовує цільову сторінку TensorBoard на консолі SageMaker. Після того як ви відкриєте TensorBoard, SageMaker запускає плагін TensorBoard і автоматично знаходить і завантажує всі вихідні дані навчального завдання у форматі файлу, сумісному з TensorBoard, із сегментів S3, поєднаних із навчальними завданнями під час або після навчання.
Наступний код автоматично генерує URL-адресу цільової сторінки консолі TensorBoard:
Це повертає таке повідомлення з URL-адресою, яка відкриває цільову сторінку TensorBoard.
Щоб відкрити TensorBoard із консолі SageMaker, зверніться до Як отримати доступ до TensorBoard на SageMaker.
Коли ви відкриваєте програму TensorBoard, TensorBoard відкривається з Менеджер даних SageMaker вкладка. На наступному знімку екрана показано повний вигляд Менеджер даних SageMaker у програмі TensorBoard.
на Менеджер даних SageMaker ви можете вибрати будь-яке навчальне завдання та завантажити сумісні з TensorBoard вихідні дані навчання з Amazon S3.
- У Додати роботу з навчання розділі, використовуйте прапорці, щоб вибрати навчальні завдання, з яких ви хочете отримати дані та візуалізувати для налагодження.
- Вибирати Додати вибрані вакансії.
Вибрані вакансії мають з’явитися в Відстежувані навчальні роботи .
Оновіть засіб перегляду, вибравши піктограму оновлення у верхньому правому куті, і після успішного завантаження даних завдання мають з’явитися вкладки візуалізації.
Досліджуйте вихідні дані навчання, візуалізовані в TensorBoard
на Часовий ряд та інші графічні вкладки, ви можете переглянути список Відстежувані навчальні роботи на лівій панелі. Ви також можете використовувати прапорці для навчальних завдань, щоб показати або приховати візуалізації. Динамічні плагіни TensorBoard активуються динамічно залежно від того, як ви налаштували свій навчальний сценарій, щоб включати авторів підсумків і передати зворотні виклики для тензорної та скалярної колекції, а вкладки графіки також з’являються динамічно. На наступних знімках екрана показано приклади переглядів кожної вкладки з візуалізаціями зібраних показників двох навчальних завдань. Метрики включають плагіни часових рядів, скалярів, графіків, розподілу та гістограми.
Наступний знімок екрана є Часовий ряд перегляд вкладок.
Наступний знімок екрана є Скалярів перегляд вкладок.
Наступний знімок екрана є діаграми перегляд вкладок.
Наступний знімок екрана є Розподіл перегляд вкладок.
Наступний знімок екрана є Гістограми перегляд вкладок.
Прибирати
Після завершення моніторингу та експериментів із завданнями в TensorBoard закрийте програму TensorBoard:
- На консолі SageMaker виберіть Домени у навігаційній панелі.
- Виберіть свій домен.
- Виберіть свій профіль користувача.
- під додаткивиберіть Видалити додаток для рядка TensorBoard.
- Вибирати Так, видалити додаток.
- Введіть delete у текстове поле, а потім виберіть видаляти.
У верхній частині сторінки має з’явитися повідомлення: «За замовчуванням видаляється».
Висновок
TensorBoard — це потужний інструмент для візуалізації, аналізу та налагодження моделей глибокого навчання. У цій публікації ми надаємо посібник із використання SageMaker із TensorBoard, зокрема, як налаштувати TensorBoard у навчальному завданні SageMaker за допомогою SDK SageMaker Python, отримати доступ до SageMaker TensorBoard, дослідити вихідні дані навчання, візуалізовані в TensorBoard, і видалити програми TensorBoard, які не використовуються. Виконавши ці кроки, ви можете почати використовувати TensorBoard у SageMaker для своєї роботи.
Ми заохочуємо вас експериментувати з різними функціями та техніками.
Про авторів
Доктор Байчуань Сан є старшим спеціалістом з обробки даних в AWS AI/ML. Він захоплений вирішенням стратегічних бізнес-проблем із клієнтами за допомогою методології, що керується даними, у хмарі, і він очолював проекти у складних сферах, включаючи роботизоване комп’ютерне бачення, прогнозування часових рядів, оптимізацію цін, прогнозне технічне обслуговування, фармацевтичну розробку, систему рекомендацій щодо продуктів, тощо. У вільний час він любить подорожувати та проводити час із сім’єю.
Манодж Раві є старшим менеджером із продуктів Amazon SageMaker. Він захоплений створенням продуктів штучного інтелекту наступного покоління та працює над програмним забезпеченням та інструментами, щоб полегшити великомасштабне машинне навчання для клієнтів. Він отримав ступінь магістра ділового адміністрування в Школі бізнесу Haas і ступінь магістра з управління інформаційними системами в Університеті Карнегі-Меллона. У вільний час Манодж любить грати в теніс і займатися пейзажною фотографією.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoAiStream. Web3 Data Intelligence. Розширення знань. Доступ тут.
- Карбування майбутнього з Адріенн Ешлі. Доступ тут.
- Купуйте та продавайте акції компаній, які вийшли на IPO, за допомогою PREIPO®. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-with-tensorboard-overview-of-a-hosted-tensorboard-experience/
- : має
- :є
- $UP
- 1
- 10
- 100
- 11
- 15%
- 26%
- 28
- 7
- 8
- 9
- a
- МЕНЮ
- доступ
- рахунки
- точність
- Адам
- після
- AI
- AI / ML
- ВСІ
- дозволяє
- Також
- Amazon
- Amazon SageMaker
- серед
- an
- аналізувати
- Аналізуючи
- та
- будь-який
- API
- додаток
- з'являтися
- додаток
- застосування
- ЕСТЬ
- області
- аргумент
- AS
- аспекти
- At
- автоматично
- AWS
- BE
- було
- буття
- обидва
- Box
- коробки
- Приносить
- Створюємо
- бізнес
- by
- CAN
- Карнегі Меллон
- складні
- Зміни
- перевірка
- Вибирати
- Вибираючи
- клас
- хмара
- код
- збирати
- збір
- співтовариство
- комп'ютер
- Комп'ютерне бачення
- конфігурація
- підключений
- послідовний
- Консоль
- Контейнер
- Кут
- створювати
- Клієнти
- дані
- вчений даних
- керовані даними
- набори даних
- дата, час
- глибокий
- глибоке навчання
- демонструвати
- Залежно
- розгортання
- розробка
- розподіл
- документація
- домен
- домени
- зроблений
- вниз
- під час
- динамічний
- динамічно
- кожен
- легше
- ще
- заохочувати
- схвалювати
- епохи
- і т.д.
- оцінюється
- Вивчення
- приклад
- Приклади
- виконання
- досвід
- експеримент
- дослідити
- Дослідження
- сім'я
- риси
- відповідати
- після
- слідує
- для
- формат
- Рамки
- від
- Повний
- повністю
- функція
- генерує
- графік
- графіка
- керівництво
- Мати
- he
- допомагає
- приховувати
- його
- тримає
- відбувся
- Як
- How To
- Однак
- HTML
- HTTP
- HTTPS
- ICON
- ідентифікувати
- Особистість
- if
- імпорт
- in
- включати
- У тому числі
- індивідуальний
- інформація
- Інформаційні системи
- інтегрований
- в
- питання
- IT
- робота
- Джобс
- JPG
- json
- керас
- посадка
- ландшафт
- масштабний
- запуски
- шарів
- провідний
- вивчення
- залишити
- список
- загрузка
- вантажі
- місцевий
- журнал
- від
- машина
- навчання за допомогою машини
- головний
- обслуговування
- зробити
- управління
- менеджер
- багато
- карти
- Зустрічатися
- Mellon
- повідомлення
- Методологія
- методика
- Метрика
- мінімальний
- ML
- модель
- Моделі
- Модулі
- моніторинг
- більше
- повинен
- Переміщення
- навігація
- Необхідність
- потреби
- мережу
- нейронної мережі
- номер
- об'єкт
- of
- on
- ONE
- відкрити
- відкриття
- Відкриється
- оптимізація
- Опції
- or
- Організований
- OS
- Інше
- з
- вихід
- огляд
- сторінка
- парний
- pane
- параметр
- проходити
- пристрасний
- шлях
- Виконувати
- Дозволи
- фармацевтична
- малюнок
- місце
- plato
- Інформація про дані Платона
- PlatoData
- ігри
- будь ласка
- підключати
- plugins
- популярний
- пошта
- потужний
- підготовка
- попередній
- price
- проблеми
- процеси
- Product
- менеджер по продукції
- Production
- Продукти
- проектів
- забезпечувати
- забезпечує
- Python
- піторх
- Швидко
- Рекомендація
- регіон
- видаляти
- вимагати
- вимагається
- повертати
- Умови повернення
- робототехніка
- Роль
- ROW
- мудрець
- зберегти
- економія
- Школа
- вчений
- Вчені
- скріншоти
- Sdk
- Пошук
- побачити
- обраний
- старший
- Серія
- Сесія
- комплект
- установка
- Повинен
- Показувати
- Шоу
- простий
- Софтвер
- Розв’язування
- standard
- старт
- Крок
- заходи
- зберігання
- зберігати
- Стратегічний
- стратегічний бізнес
- структура
- студія
- Успішно
- набір
- РЕЗЮМЕ
- Підтриманий
- система
- Systems
- цілі
- Завдання
- завдання
- методи
- тензорний потік
- Тестування
- Що
- Команда
- їх
- потім
- Ці
- вони
- це
- через
- час
- Часовий ряд
- до
- інструмент
- Інструментарій
- інструменти
- топ
- поїзд
- Навчання
- Подорож
- два
- тип
- типовий
- при
- університет
- невикористаний
- URL
- використання
- користувач
- користувачі
- використання
- використовувати
- значення
- різний
- вид
- думки
- бачення
- візуалізації
- хотіти
- шлях..
- we
- коли
- який
- в той час як
- ВООЗ
- з
- в
- Work
- працює
- письменник
- Ти
- вашу
- зефірнет