Зміст і думки в цій публікації належать стороннім авторам, і AWS не несе відповідальності за зміст або точність цього повідомлення.
Оскільки все більше організацій використовують методи глибокого навчання, такі як комп’ютерне бачення та обробка природної мови, персоні розробника машинного навчання (ML) потрібні масштабовані інструменти для відстеження експериментів, походження та співпраці. Відстеження експерименту включає метадані, такі як операційна система, використовувана інфраструктура, бібліотека, а також набори вхідних і вихідних даних, які часто відстежуються в електронній таблиці вручну. Lineage передбачає відстеження наборів даних, перетворень і алгоритмів, які використовуються для створення моделі ML. Співпраця включає розробників ML, які працюють над одним проектом, а також розробників ML, які діляться своїми результатами між командами та зацікавленими сторонами бізнесу — процес, який зазвичай виконується за допомогою електронної пошти, знімків екрана та презентацій PowerPoint.
У цій публікації ми навчаємо модель ідентифікувати об’єкти для використання автономного транспортного засобу за допомогою ваг і упереджень (W&B) і Amazon SageMaker. Ми демонструємо, як спільне рішення зменшує ручну роботу розробника машинного машинного навчання, створює більшу прозорість у процесі розробки моделі та дозволяє командам співпрацювати над проектами.
Ми запускаємо цей приклад Студія Amazon SageMaker щоб ви самі спробували.
Огляд ваг і упереджень
Weights & Biases допомагає командам ML швидше створювати кращі моделі. За допомогою всього кількох рядків коду у своєму блокноті SageMaker ви можете миттєво налагоджувати, порівнювати та відтворювати свої моделі — архітектуру, гіперпараметри, коміти git, ваги моделі, використання графічного процесора, набори даних та передбачення — і все це під час співпраці зі своїми товаришами по команді.
W&B довіряють понад 200,000 XNUMX практиків ML з деяких з найбільш інноваційних компаній і дослідницьких організацій у світі. Щоб спробувати безкоштовно, зареєструйтеся на Вага та упередження, Або відвідайте Список W&B AWS Marketplace.
Початок роботи з SageMaker Studio
SageMaker Studio — це перше повністю інтегроване середовище розробки (IDE) для машинного навчання. Studio надає єдиний веб-інтерфейс, за допомогою якого фахівці з машинного машинного навчання та науковці з даних можуть створювати, навчати та розгортати моделі кількома кліками в одному місці.
Щоб розпочати роботу зі Studio, вам потрібен обліковий запис AWS і Управління ідентифікацією та доступом AWS (IAM) користувач або роль з дозволами на створення домену Studio. Звертатися до На борту до домену Amazon SageMaker щоб створити домен, і Студійна документація для огляду використання візуального інтерфейсу та ноутбуків Studio.
Налаштуйте середовище
Для цієї публікації ми зацікавлені в запуску власного коду, тому давайте імпортуємо деякі блокноти з GitHub. Ми використовуємо наступне GitHub репо як приклад, давайте завантажимо цей блокнот.
Ви можете клонувати репозиторій через термінал або інтерфейс користувача Studio. Щоб клонувати репозиторій через термінал, відкрийте системний термінал (на філе меню, виберіть Нові та термінал) і введіть таку команду:
Щоб клонувати репозиторій з інтерфейсу Studio, див Клонуйте репозиторій Git в SageMaker Studio.
Щоб почати, виберіть 01_data_processing.ipynb блокнот. Вам буде запропоновано перемикач ядра. У цьому прикладі використовується PyTorch, тому ми можемо вибрати попередньо вбудований PyTorch 1.10 Python 3.8 GPU оптимізований зображення, щоб почати наш блокнот. Ви можете побачити, як програма запускається, і коли ядро буде готове, воно покаже тип екземпляра та ядро у верхньому правому куті вашого ноутбука.
Нашому ноутбуку потрібні додаткові залежності. Цей репозиторій надає файл requirements.txt з додатковими залежностями. Запустіть першу клітинку, щоб встановити необхідні залежності:
Ви також можете створити конфігурацію життєвого циклу, щоб автоматично встановлювати пакети щоразу, коли ви запускаєте програму PyTorch. Побачити Налаштуйте Amazon SageMaker Studio за допомогою конфігурацій життєвого циклу для інструкцій та зразка реалізації.
Використовуйте ваги та упередження в SageMaker Studio
Вага та упередження (wandb
) є стандартною бібліотекою Python. Після встановлення це так само просто, як додати кілька рядків коду до сценарію навчання, і ви готові реєструвати експерименти. Ми вже встановили його через наш файл requirements.txt. Ви також можете встановити його вручну за допомогою такого коду:
Приклад: Семантична сегментація автономного транспортного засобу
Набір даних
Ми використовуємо Кембриджська база даних із мітками відео (CamVid) для цього прикладу. Він містить колекцію відео із семантичними мітками класу об’єктів, доповнені метаданими. База даних надає основні мітки істини, які пов’язують кожен піксель з одним із 32 семантичних класів. Ми можемо версію нашого набору даних як a wandb.Артефакт, таким чином ми зможемо посилатися на нього пізніше. Дивіться наступний код:
Ви можете слідкувати в 01_data_processing.ipynb зошит.
Ми також реєструємо a таблиця набору даних. Таблиці — це багаті й потужні об’єкти, подібні до DataFrame, які дозволяють робити запити та аналізувати табличні дані. Ви можете зрозуміти свої набори даних, візуалізувати прогнози моделі та поділитися статистикою на центральній інформаційній панелі.
Таблиці ваг і зміщень підтримують багато мультимедійних форматів, як-от зображення, аудіо та сигнали. Повний список медіаформатів див Типи даних.
На наступному знімку екрана показано таблицю з необробленими зображеннями з сегментацією основної істини. Ви також можете переглянути an інтерактивна версія цієї таблиці.
Тренуйте модель
Тепер ми можемо створити модель і навчити її на нашому наборі даних. Ми використовуємо PyTorch та fastai швидко прототипувати базову лінію, а потім використовувати wandb.Sweeps
оптимізувати наші гіперпараметри. Слідкуйте за в 02_semantic_segmentation.ipynb блокнот. Коли з’явиться запит на ядро під час відкриття блокнота, виберіть те саме ядро з нашого першого блокнота, PyTorch 1.10 Python 3.8 GPU оптимізований. Ваші пакунки вже встановлено, оскільки ви використовуєте ту саму програму.
Передбачається, що модель вивчає попіксельну анотацію сцени, знятої з точки зору автономного агента. Модель має категоризувати або сегментувати кожен піксель певної сцени на 32 відповідні категорії, такі як дорога, пішохід, тротуар або автомобілі. Ви можете вибрати будь-яке з сегментованих зображень у таблиці та отримати доступ до цього інтерактивного інтерфейсу для доступу до результатів сегментації та категорій.
Тому що fastai бібліотека має інтеграцію з wandb
, ви можете просто передати WandbCallback
до учня:
Для базових експериментів ми вирішили використати просту архітектуру, натхненну UNet папір з різними хребтами від тимм Ми тренували наших моделей з Фокальна втрата як критерій. За допомогою ваг і упереджень ви можете легко створювати інформаційні панелі з підсумками своїх експериментів, щоб швидко аналізувати результати навчання, як показано на наступному знімку екрана. Ви також можете переглядати цю інформаційну панель в інтерактивному режимі.
Пошук гіперпараметрів за допомогою розгорток
Щоб підвищити продуктивність базової моделі, нам потрібно вибрати найкращу модель і найкращий набір гіперпараметрів для навчання. W&B робить це легким для нас розгортки.
Виконуємо а Байєсівський пошук гіперпараметрів з метою максимізації точності переднього плану моделі на наборі даних перевірки. Щоб виконати розгортку, ми визначаємо файл конфігурації sweep.yaml. Усередині цього файлу ми передаємо потрібний метод для використання: bayes та параметри та відповідні їм значення для пошуку. У нашому випадку ми пробуємо різні магістралі, розміри пакетів і функції втрат. Ми також досліджуємо різні параметри оптимізації, як-от швидкість навчання та зниження ваги. Оскільки це безперервні значення, ми вибираємо з розподілу. Є кілька доступні параметри конфігурації для розгорток.
Після цього в терміналі ви запускаєте розгортку за допомогою командний рядок wandb:
А потім запустіть агент підчистки на цій машині з таким кодом:
Коли розгортка закінчиться, ми можемо використовувати графік паралельних координат, щоб досліджувати продуктивність моделей з різними магістралями та різними наборами гіперпараметрів. На основі цього ми можемо побачити, яка модель працює найкраще.
На наступному знімку екрана показано результати розгорток, включаючи діаграму паралельних координат і діаграми кореляції параметрів. Ви також можете переглядати цю панель інструментів у інтерактивному режимі.
Ми можемо отримати наступні ключові висновки з огляду:
- Нижча швидкість навчання та менший спад ваги призводять до кращої точності переднього плану та кращої оцінки Dice.
- Розмір партії має сильні позитивні кореляції з показниками.
- Команда Магістралі на основі VGG може бути не найкращим варіантом для навчання нашої остаточної моделі, оскільки вони схильні до а зникаючий градієнт. (Вони відфільтровуються, коли втрати розходяться.)
- Команда ResNet магістралі забезпечують найкращу загальну продуктивність щодо показників.
- Для остаточної моделі слід вибрати магістраль ResNet34 або ResNet50 через їх високу продуктивність з точки зору показників.
Дані та модельна лінія
Артефакти W&B були розроблені, щоб спростити версію ваших наборів даних і моделей, незалежно від того, чи хочете ви зберігати свої файли за допомогою W&B, чи у вас уже є сегмент, який W&B відстежує. Після того, як ви відстежуєте свої набори даних або файли моделей, W&B автоматично реєструє кожну зміну, надаючи вам повну історію змін ваших файлів, яку можна перевірити.
У нашому випадку набір даних, моделі та різні таблиці, згенеровані під час навчання, реєструються в робочій області. Ви можете швидко переглянути та уявити цей родовід, перейшовши на сторінку Артефакти стр.
Інтерпретувати передбачення моделі
Weight & Biases особливо корисно під час оцінки продуктивності моделі за допомогою потужності wandb.Таблиці щоб уявити, де наша модель працює погано. У цьому випадку ми особливо зацікавлені у виявленні правильно вразливих користувачів, таких як велосипеди та пішоходи.
Ми зареєстрували передбачені маски разом із коефіцієнтом оцінки Dice для кожного класу в таблицю. Потім ми відфільтрували за рядками, що містять потрібні класи, і відсортували за зростанням за рахунком Dice.
У наступній таблиці ми спочатку відфільтруємо, вибравши, де оцінка Dice є позитивною (на зображенні присутні пішоходи). Потім ми сортуємо в порядку зростання, щоб визначити наших пішоходів, яких найгірше виявляють. Майте на увазі, що оцінка Dice, що дорівнює 1, означає правильне сегментування пішохідного класу. Ви також можете переглянути цю таблицю в інтерактивному режимі.
Ми можемо повторити цей аналіз з іншими вразливими класами, такими як велосипеди або світлофори.
Ця функція є дуже хорошим способом ідентифікації зображень, які не позначені правильно, і позначення їх тегами для повторного анотування.
Висновок
Ця публікація продемонструвала платформу Weights & Biases MLOps, як налаштувати W&B у SageMaker Studio та як запустити вступний блокнот для спільного рішення. Потім ми розглянули варіант використання семантичної сегментації автономного транспортного засобу та продемонстрували відстеження навчань за допомогою експериментів W&B, оптимізацію гіперпараметрів за допомогою W&B розгорток та інтерпретацію результатів за допомогою таблиць W&B.
Якщо вам цікаво дізнатися більше, ви можете отримати доступ до прямого ефіру Звіт W&B. Щоб безкоштовно спробувати Weights & Biases, зареєструйтеся на сторінці Вага та упередження, Або відвідайте Список W&B AWS Marketplace.
Про авторів
Томас Капелле є інженером з машинного навчання в Weights and Biases. Він несе відповідальність за те, щоб сховище www.github.com/wandb/examples працювало та оновлювалося. Він також створює контент на основі MLOPS, застосування W&B у галузях і загалом цікавого глибокого навчання. Раніше він використовував глибоке навчання для вирішення короткострокових прогнозів сонячної енергії. Він має досвід у сфері містобудування, комбінаторної оптимізації, економіки транспорту та прикладної математики.
Дурга Сурі є архітектором рішень ML у команді Amazon SageMaker Service SA. Вона прагне зробити машинне навчання доступним для всіх. Протягом трьох років роботи в AWS вона допомагала налаштовувати платформи AI/ML для корпоративних клієнтів. Коли вона не працює, вона обожнює поїздки на мотоциклі, таємничі романи та походи зі своїм чотирирічним хаскі.
Картік Бхараті є лідером продукту для Amazon SageMaker з більш ніж десятирічним досвідом управління продуктом, стратегією продукту, виконанням і запуском.
- Coinsmart. Найкраща в Європі біржа біткойн та криптовалют.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. БЕЗКОШТОВНИЙ ДОСТУП.
- CryptoHawk. Альткойн Радар. Безкоштовне випробування.
- Джерело: https://aws.amazon.com/blogs/machine-learning/improve-ml-developer-productivity-with-weights-biases-a-computer-vision-example-on-amazon-sagemaker/
- "
- &
- 000
- 10
- 100
- a
- МЕНЮ
- доступ
- доступною
- доступ до
- рахунки
- через
- Додатковий
- AI
- алгоритми
- ВСІ
- вже
- Amazon
- аналіз
- аналізувати
- додаток
- застосування
- прикладної
- архітектура
- навколо
- Юрист
- аудіо
- автоматично
- автономний
- доступний
- AWS
- фон
- Базова лінія
- оскільки
- КРАЩЕ
- будувати
- Будує
- бізнес
- автомобілів
- випадок
- центральний
- Чарти
- Вибирати
- вибраний
- клас
- класів
- код
- співпрацювати
- співробітництво
- співробітництво
- збір
- Компанії
- повний
- комп'ютер
- конфігурація
- містить
- зміст
- Відповідний
- створювати
- створює
- Клієнти
- приладова панель
- дані
- Database
- десятиліття
- вирішене
- глибокий
- продемонстрований
- розгортання
- призначений
- Розробник
- розробників
- розробка
- різний
- розподіл
- домен
- під час
- кожен
- легко
- Економіка
- включіть
- дозволяє
- енергія
- інженер
- Що натомість? Створіть віртуальну версію себе у
- підприємство
- юридичні особи
- Навколишнє середовище
- особливо
- все
- приклад
- виконання
- досвід
- експеримент
- дослідити
- ШВИДКО
- швидше
- особливість
- Перший
- стежити
- після
- Безкоштовна
- від
- Повний
- веселощі
- Функції
- Загальне
- генерується
- Git
- GitHub
- дає
- мета
- буде
- добре
- GPU
- допоміг
- допомагає
- історія
- Як
- How To
- HTTPS
- ідентифікувати
- ідентифікує
- Особистість
- зображення
- зображень
- реалізація
- удосконалювати
- includes
- У тому числі
- промисловості
- Інфраструктура
- інноваційний
- вхід
- розуміння
- натхненний
- встановлювати
- екземпляр
- інтегрований
- інтеграція
- інтерактивний
- зацікавлений
- інтерфейс
- вступний
- IT
- тримати
- зберігання
- ключ
- етикетки
- мова
- запуск
- лідер
- УЧИТЬСЯ
- вивчення
- бібліотека
- ліній
- список
- жити
- загрузка
- машина
- навчання за допомогою машини
- зробити
- РОБОТИ
- Робить
- управління
- керівництво
- ручна робота
- вручну
- ринку
- маски
- математики
- засоби
- Медіа
- Метрика
- може бути
- mind
- ML
- модель
- Моделі
- більше
- найбільш
- мотоцикл
- множинний
- Таємниця
- Природний
- потреби
- ноутбук
- відкрити
- відкриття
- операційний
- операційна система
- Думки
- оптимізація
- Оптимізувати
- варіант
- Опції
- порядок
- організації
- Інше
- загальний
- власний
- Папір
- особливо
- пристрасний
- продуктивність
- виступи
- планування
- платформа
- Платформи
- точка
- Точка зору
- позитивний
- влада
- потужний
- Прогнози
- представити
- Presentations
- процес
- обробка
- Product
- Управління продуктом
- продуктивність
- проект
- проектів
- забезпечує
- швидко
- Сировина
- доречний
- повторювати
- Сховище
- вимагається
- Вимога
- дослідження
- відповідальний
- в результаті
- результати
- дорога
- Роль
- прогін
- біг
- то ж
- масштабовані
- сцена
- Вчені
- Пошук
- сегмент
- сегментація
- обслуговування
- комплект
- Поділитись
- поділ
- короткий термін
- демонстрації
- показаний
- підпис
- простий
- один
- Розмір
- So
- сонячний
- сонячна енергія
- рішення
- Рішення
- ВИРІШИТИ
- деякі
- standard
- старт
- почалася
- зберігати
- Стратегія
- сильний
- студія
- Вивчення
- підтримка
- Розгортки
- система
- команда
- команди
- методи
- термінал
- terms
- Команда
- суглоб
- світ
- третя сторона
- через
- час
- топ
- трек
- Відстеження
- трафік
- Навчання
- перетворень
- прозорість
- Довірений
- ui
- розуміти
- міський
- us
- використання
- користувачі
- перевірка достовірності
- значення
- різний
- автомобіль
- версія
- Відео
- Відео
- вид
- бачення
- Вразливий
- Web-Based
- Чи
- в той час як
- Вікіпедія
- Work
- робочий
- світ
- років
- вашу