Amazon SageMaker має оголошений підтримка трьох нових критеріїв завершення для Amazon SageMaker автоматична настройка моделі, надаючи вам додатковий набір важелів для керування критеріями зупинки завдання налаштування під час пошуку найкращої конфігурації гіперпараметрів для вашої моделі.
У цій публікації ми обговорюємо ці нові критерії завершення, коли їх використовувати та деякі переваги, які вони приносять.
Автоматичне налаштування моделі SageMaker
Автоматичний тюнінг моделі, також називається настройка гіперпараметрів, знаходить найкращу версію моделі за вибраним нами показником. Він запускає багато навчальних завдань на наданому наборі даних, використовуючи вибраний алгоритм і вказані діапазони гіперпараметрів. Кожне навчальне завдання можна завершити достроково, коли об’єктивний показник не покращується суттєво, що називається ранньою зупинкою.
Дотепер існували обмежені способи керування загальним завданням налаштування, наприклад визначення максимальної кількості навчальних завдань. Однак вибір цього значення параметра в кращому випадку є евристичним. Більше значення збільшує витрати на налаштування, а менше значення може не завжди дати найкращу версію моделі.
Автоматичне налаштування моделі SageMaker вирішує ці проблеми, надаючи вам кілька критеріїв виконання для роботи з налаштування. Він застосовується на рівні налаштування, а не на рівні кожної окремої навчальної роботи, що означає, що він працює на вищому рівні абстракції.
Переваги налаштування критеріїв завершення роботи
Завдяки кращому контролю над тим, коли робота з налаштування буде припинено, ви отримуєте перевагу економії коштів, оскільки робота не виконується протягом тривалого періоду часу та вимагає великих витрат на обчислення. Це також означає, що ви можете гарантувати, що робота не буде припинена занадто рано, і ви отримаєте модель достатньої якості, яка відповідає вашим цілям. Ви можете припинити роботу з налаштування, коли моделі більше не покращуються після ряду ітерацій або коли оцінене залишкове покращення не виправдовує обчислювальних ресурсів і часу.
На додаток до існуючої максимальної кількості критеріїв виконання робіт з навчання MaxNumberOfTrainingJobs, автоматичне налаштування моделі вводить опцію зупинки налаштування на основі максимального часу налаштування, моніторинг покращення та виявлення конвергенції.
Давайте розглянемо кожен із цих критеріїв.
Максимальний час налаштування
Раніше ви мали можливість визначити максимальну кількість навчальних завдань як параметр обмеження ресурсу, щоб контролювати бюджет налаштування з точки зору обчислювальних ресурсів. Однак це може призвести до непотрібного довшого або коротшого часу навчання, ніж потрібно або бажано.
З додаванням критеріїв максимального часу налаштування тепер ви можете розподілити свій бюджет навчання з точки зору кількості часу для виконання завдання налаштування та автоматично завершити завдання через певний проміжок часу, визначений у секундах.
Як видно вище, ми використовуємо MaxRuntimeInSeconds
щоб визначити час налаштування в секундах. Встановлення ліміту часу налаштування допомагає обмежити тривалість завдання налаштування, а також прогнозовану вартість експерименту.
Загальну вартість до будь-якої договірної знижки можна оцінити за такою формулою:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
Максимальний час виконання в секундах можна використовувати для зв’язування вартості та часу виконання. Іншими словами, це критерії виконання бюджетного контролю.
Ця функція є частиною критеріїв контролю ресурсів і не враховує конвергенцію моделей. Як ми побачимо далі в цьому дописі, цей критерій можна використовувати в поєднанні з іншими критеріями зупинки для досягнення контролю витрат без шкоди для точності.
Бажана цільова метрика
Інший раніше введений критерій полягає в тому, щоб заздалегідь визначити цільову мету. Критерії відстежують продуктивність найкращої моделі на основі конкретної об’єктивної метрики та припиняють налаштування, коли моделі досягають визначеного порогового значення щодо визначеної об’єктивної метрики.
З TargetObjectiveMetricValue
ми можемо наказати SageMaker припинити налаштування моделі після того, як об’єктивна метрика найкращої моделі досягне вказаного значення:
У цьому прикладі ми отримали вказівку SageMaker припинити налаштування моделі, коли цільова метрика найкращої моделі досягла 0.95.
Цей метод корисний, якщо у вас є конкретна ціль, яку ви хочете досягти вашою моделлю, як-от певний рівень точності, точності, запам’ятовування, показник F1, AUC, логарифм втрати тощо.
Типовим варіантом використання цього критерію є користувач, який уже знайомий із продуктивністю моделі за заданих порогових значень. Користувач на етапі дослідження може спочатку налаштувати модель за допомогою невеликої підмножини більшого набору даних, щоб визначити задовільний поріг оціночної метрики для націлювання під час навчання з повним набором даних.
Моніторинг покращення
Цей критерій відстежує збіжність моделей після кожної ітерації та припиняє налаштування, якщо моделі не покращуються після певної кількості навчальних завдань. Перегляньте таку конфігурацію:
У цьому випадку ми встановлюємо MaxNumberOfTrainingJobsNotImproving
до 10, що означає, що якщо об’єктивна метрика перестане покращуватися після 10 навчальних завдань, налаштування буде зупинено, і буде повідомлено про найкращу модель і метрику.
Моніторинг удосконалення слід використовувати для налаштування компромісу між якістю моделі та загальною тривалістю робочого процесу таким чином, щоб його можна було переносити між різними проблемами оптимізації.
Виявлення конвергенції
Виявлення конвергенції — це критерій завершення, який дозволяє автоматичному налаштуванню моделі вирішити, коли зупинити налаштування. Як правило, автоматичне налаштування моделі припинить налаштування, якщо оцінить, що неможливо досягти значних покращень. Перегляньте таку конфігурацію:
Цей критерій найкраще підходить, коли ви спочатку не знаєте, які параметри зупинки вибрати.
Це також корисно, якщо ви не знаєте, яка цільова цільова метрика є розумною для хорошого прогнозу, враховуючи наявну проблему та набір даних, і бажаєте завершити роботу з налаштування, коли вона більше не покращується.
Поекспериментуйте з порівнянням критеріїв завершення
У цьому експерименті, враховуючи завдання регресії, ми запускаємо 3 експерименти налаштування, щоб знайти оптимальну модель у просторі пошуку з 2 гіперпараметрів, що має загалом 200 конфігурацій гіперпараметрів, використовуючи набір даних прямого маркетингу.
За інших рівних умов перша модель була налаштована з BestObjectiveNotImproving
критерії завершення, друга модель була налаштована з CompleteOnConvergence
і третя модель була налаштована без визначених критеріїв завершення.
Описуючи кожну роботу, ми можемо зауважити, що налаштування BestObjectiveNotImproving
критеріїв призвело до найоптимальніших ресурсів і часу відносно об’єктивної метрики зі значно меншою кількістю виконаних завдань.
Команда CompleteOnConvergence
критеріїв також вдалося припинити налаштування на півдорозі експерименту, що призвело до меншої кількості навчальних завдань і скорочення часу навчання порівняно з тим, що критерій не було встановлено.
Хоча відсутність критеріїв завершення призвело до дорогого експерименту з визначенням MaxRuntimeInSeconds
як частину обмеження ресурсів було б одним із способів мінімізації витрат.
Наведені вище результати показують, що під час визначення критеріїв завершення Amazon SageMaker здатний інтелектуально зупинити процес налаштування, коли виявить, що модель має меншу ймовірність покращення за поточний результат.
Зверніть увагу, що критерії завершення, які підтримуються в автоматичному налаштуванні моделі SageMaker, не є взаємовиключними та можуть використовуватися одночасно під час настроювання моделі.
Якщо визначено більше ніж один критерій завершення, завдання налаштування завершується, коли буде виконано будь-який із критеріїв.
Наприклад, поєднання критеріїв обмеження ресурсів, таких як максимальний час налаштування, з критеріями конвергенції, такими як моніторинг покращення або виявлення конвергенції, може забезпечити оптимальний контроль витрат і оптимальну об’єктивну метрику.
Висновок
У цій публікації ми обговорювали, як тепер ви можете розумно зупинити роботу з налаштування, вибравши набір критеріїв завершення, нещодавно введених у SageMaker, наприклад максимальний час налаштування, моніторинг покращення або виявлення конвергенції.
Ми продемонстрували за допомогою експерименту, що інтелектуальна зупинка на основі спостереження за вдосконаленням протягом ітерації може призвести до значної оптимізації бюджету та управління часом порівняно з відсутністю визначення критеріїв завершення.
Ми також показали, що ці критерії не є взаємовиключними та можуть використовуватися одночасно під час налаштування моделі, щоб скористатися обома перевагами: контролю бюджету та оптимальної конвергенції.
Додаткову інформацію про те, як налаштувати та запустити автоматичне налаштування моделі, див Укажіть параметри завдання налаштування гіперпараметрів.
Про авторів
Дуг Мбайя є старшим архітектором партнерських рішень, який спеціалізується на даних і аналітиці. Даг тісно співпрацює з партнерами AWS, допомагаючи їм інтегрувати дані та аналітичні рішення в хмарі.
Чайтра Матур є головним архітектором рішень в AWS. Вона допомагає клієнтам і партнерам створювати високомасштабовані, надійні, безпечні та економічно ефективні рішення на AWS. Вона захоплюється машинним навчанням і допомагає клієнтам перетворювати їхні потреби в ML у рішення за допомогою сервісів AWS AI/ML. Вона має 5 сертифікатів, включаючи сертифікат ML Specialty. У вільний час вона любить читати, займатися йогою та проводити час зі своїми доньками.
Ярослав Щербатий є інженером машинного навчання в AWS. Він працює в основному над вдосконаленням платформи Amazon SageMaker і допомагає клієнтам якнайкраще використовувати її функції. У вільний час він любить ходити в тренажерний зал, займатися спортом на свіжому повітрі, наприклад кататися на ковзанах або пішим туризмом, а також вивчати нові дослідження ШІ.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- Здатний
- МЕНЮ
- вище
- рахунки
- точність
- Achieve
- досягнутий
- через
- доповнення
- Додатковий
- Перевага
- після
- AI
- ai дослідження
- AI / ML
- алгоритм
- ВСІ
- вже
- Amazon
- Amazon SageMaker
- кількість
- аналітика
- та
- прикладної
- автоматичний
- автоматично
- AWS
- заснований
- перед тим
- буття
- користь
- Переваги
- КРАЩЕ
- Краще
- між
- За
- Кордон
- приносити
- бюджет
- Створюємо
- званий
- випадок
- Залучайте
- певний
- сертифікація
- сертифікати
- проблеми
- Вибирати
- вибраний
- тісно
- хмара
- поєднання
- порівняний
- порівняння
- повний
- Зроблено
- Завершує
- завершення
- обчислення
- конфігурація
- контроль
- Зближення
- Коштувати
- економія на витратах
- рентабельним
- витрати
- може
- Критерії
- Поточний
- Клієнти
- дані
- певний
- визначаючи
- продемонстрований
- бажаний
- деталі
- Виявлення
- різний
- Знижка
- обговорювати
- обговорювалися
- Ні
- Не знаю
- кожен
- Рано
- включений
- інженер
- забезпечувати
- оцінка
- Оцінки
- оцінка
- все
- приклад
- Ексклюзивний курс
- існуючий
- дорогий
- експеримент
- дослідження
- дослідити
- знайомий
- особливість
- риси
- знайти
- виявлення
- знахідки
- Перший
- Сфокусувати
- після
- формула
- Повний
- в цілому
- отримати
- даний
- дає
- Go
- мета
- добре
- Гід
- гімнастика
- має
- допомогу
- допомагає
- вище
- дуже
- тримає
- Як
- How To
- Однак
- HTML
- HTTPS
- Оптимізація гіперпараметрів
- Налаштування гіперпараметрів
- ICE
- ідентифікувати
- удосконалювати
- поліпшення
- поліпшення
- поліпшення
- in
- В інших
- У тому числі
- Збільшує
- індивідуальний
- спочатку
- інтегрувати
- Розумний
- введені
- Вводить
- IT
- ітерація
- ітерації
- робота
- Джобс
- Знати
- відомий
- більше
- шар
- вести
- вивчення
- Led
- дозволяє
- рівень
- Ймовірно
- МЕЖА
- обмеженою
- довше
- машина
- навчання за допомогою машини
- управління
- багато
- Маркетинг
- Макс
- Максимізувати
- максимальний
- засоби
- відповідає
- метод
- метрика
- Метрика
- мінімізація
- ML
- модель
- Моделі
- моніторинг
- монітори
- більше
- найбільш
- множинний
- взаємно
- потреби
- Нові
- номер
- мета
- цілей
- спостерігати
- ONE
- працює
- оптимальний
- оптимізація
- оптимізований
- варіант
- Інше
- загальний
- параметр
- частина
- партнер
- партнери
- пристрасний
- продуктивність
- періодів
- фаза
- платформа
- plato
- Інформація про дані Платона
- PlatoData
- пошта
- Точність
- прогноз
- раніше
- Головний
- Проблема
- проблеми
- процес
- виробляти
- прогнозовані
- за умови
- забезпечення
- якість
- досягати
- досяг
- читання
- розумний
- зв'язок
- надійний
- Повідомляється
- дослідження
- ресурс
- ресурси
- результат
- в результаті
- результати
- прогін
- жертвуючи
- мудрець
- Автоматичне налаштування моделі SageMaker
- Економія
- масштабовані
- Пошук
- другий
- seconds
- безпечний
- вибирає
- вибір
- старший
- Послуги
- комплект
- установка
- налаштування
- Повинен
- Показувати
- значний
- істотно
- невеликий
- менше
- So
- рішення
- Рішення
- Вирішує
- деякі
- Простір
- Спеціальність
- конкретний
- зазначений
- Витрати
- спинов
- SPORTS
- Стоп
- зупинений
- зупинка
- Зупиняє
- такі
- підтримка
- Підтриманий
- Опори
- Приймати
- Мета
- Завдання
- terms
- Команда
- їх
- третій
- три
- поріг
- через
- час
- times
- до
- занадто
- Усього:
- Навчання
- переводити
- типовий
- використання
- використання випадку
- користувач
- перевірка достовірності
- значення
- версія
- способи
- Що
- який
- ВООЗ
- волі
- в
- без
- слова
- працює
- б
- вихід
- йога
- Ти
- вашу
- зефірнет