Создатель мудреца Амазонки и объявило поддержка трех новых критериев завершения для Amazon SageMaker автоматическая настройка модели, предоставляя вам дополнительный набор рычагов для управления критериями остановки задания настройки при поиске наилучшей конфигурации гиперпараметров для вашей модели.
В этом посте мы обсудим эти новые критерии завершения, когда их использовать и некоторые преимущества, которые они приносят.
SageMaker автоматическая настройка модели
Автоматическая настройка модели, также называемая настройка гиперпараметра, находит лучшую версию модели по выбранной нами метрике. Он запускает множество обучающих заданий на предоставленном наборе данных, используя выбранный алгоритм и указанные диапазоны гиперпараметров. Каждое задание по обучению может быть завершено досрочно, когда целевой показатель значительно не улучшается, что называется ранней остановкой.
До сих пор существовало ограниченное количество способов управления общим заданием по настройке, например указание максимального количества заданий по обучению. Однако выбор значения этого параметра носит в лучшем случае эвристический характер. Большее значение увеличивает затраты на настройку, а меньшее значение может не всегда давать лучшую версию модели.
Автоматическая настройка модели SageMaker решает эти проблемы, предоставляя вам несколько критериев завершения настройки. Он применяется на уровне настройки, а не на уровне каждого отдельного учебного задания, что означает, что он работает на более высоком уровне абстракции.
Преимущества настройки критериев завершения задания
Благодаря лучшему контролю над тем, когда задание по настройке будет остановлено, вы получите выгоду от экономии средств, поскольку задание не будет выполняться в течение продолжительного времени и требует больших вычислительных ресурсов. Это также означает, что вы можете гарантировать, что работа не будет остановлена слишком рано, и вы получите достаточно качественную модель, соответствующую вашим целям. Вы можете остановить задание по настройке, когда модели больше не улучшаются после набора итераций или когда предполагаемое остаточное улучшение не оправдывает вычислительные ресурсы и время.
В дополнение к существующему максимальному количеству критериев завершения обучения Макснумберофтренингджобс, автоматическая настройка модели предоставляет возможность остановить настройку на основе максимального времени настройки, мониторинга улучшений и обнаружения конвергенции.
Давайте рассмотрим каждый из этих критериев.
Максимальное время настройки
Раньше у вас была возможность определить максимальное количество учебных заданий в качестве параметра ограничения ресурсов, чтобы контролировать бюджет настройки с точки зрения вычислительных ресурсов. Однако это может привести к ненужному увеличению или сокращению времени обучения, чем необходимо или желательно.
С добавлением критерия максимального времени настройки вы теперь можете распределять свой бюджет обучения с точки зрения количества времени, необходимого для запуска задания настройки, и автоматически завершать задание по истечении заданного периода времени, определяемого в секундах.
Как видно выше, мы используем MaxRuntimeInSeconds
для определения времени настройки в секундах. Установка предела времени настройки помогает ограничить продолжительность задания по настройке, а также прогнозируемую стоимость эксперимента.
Общая стоимость до любой скидки по договору может быть оценена по следующей формуле:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
Максимальное время выполнения в секундах можно использовать для ограничения стоимости и времени выполнения. Другими словами, это критерий завершения бюджетного контроля.
Эта функция является частью критериев управления ресурсами и не учитывает конвергенцию моделей. Как мы увидим позже в этом посте, этот критерий можно использовать в сочетании с другими критериями остановки для достижения контроля над затратами без ущерба для точности.
Желаемый целевой показатель
Еще одним ранее введенным критерием является определение целевой цели заранее. Критерии отслеживают производительность лучшей модели на основе определенной целевой метрики и прекращают настройку, когда модели достигают определенного порога по отношению к указанной целевой метрике.
Для TargetObjectiveMetricValue
критерии, мы можем указать SageMaker прекратить настройку модели после того, как объективная метрика лучшей модели достигнет указанного значения:
В этом примере мы получили указание SageMaker прекратить настройку модели, когда объективная метрика лучшей модели достигла 0.95.
Этот метод удобен, когда у вас есть конкретная цель, которую вы хотите, чтобы ваша модель достигла, например, определенный уровень точности, точность, полнота, оценка F1, AUC, логарифмическая потеря и т. д.
Типичным вариантом использования этого критерия будет пользователь, который уже знаком с производительностью модели при заданных пороговых значениях. Пользователь на этапе исследования может сначала настроить модель с небольшим подмножеством большего набора данных, чтобы определить удовлетворительный порог метрики оценки, на который следует ориентироваться при обучении с полным набором данных.
Мониторинг улучшений
Этот критерий отслеживает сходимость моделей после каждой итерации и останавливает настройку, если модели не улучшаются после определенного количества заданий обучения. См. следующую конфигурацию:
В этом случае мы устанавливаем MaxNumberOfTrainingJobsNotImproving
до 10, что означает, что если целевая метрика перестанет улучшаться после 10 обучающих заданий, настройка будет остановлена, и будут представлены лучшая модель и метрика.
Мониторинг улучшений следует использовать для настройки компромисса между качеством модели и общей продолжительностью рабочего процесса таким образом, чтобы его можно было перенести между различными задачами оптимизации.
Обнаружение конвергенции
Обнаружение конвергенции — это критерий завершения, который позволяет автоматической настройке модели решить, когда остановить настройку. Как правило, автоматическая настройка модели останавливает настройку, когда она оценивает, что нельзя добиться значительного улучшения. См. следующую конфигурацию:
Критерии лучше всего подходят, когда вы изначально не знаете, какие настройки остановки выбрать.
Это также полезно, если вы не знаете, какая целевая метрика является разумной для хорошего прогноза, учитывая проблему и набор данных, и предпочитаете завершить работу по настройке, когда она больше не улучшается.
Эксперимент со сравнением критериев завершения
В этом эксперименте, учитывая задачу регрессии, мы проводим 3 эксперимента по настройке, чтобы найти оптимальную модель в пространстве поиска из 2 гиперпараметров, имеющих в общей сложности 200 конфигураций гиперпараметров, используя набор данных прямого маркетинга.
При прочих равных, первая модель была настроена с BestObjectiveNotImproving
критерии завершения, вторая модель была настроена с CompleteOnConvergence
и третья модель была настроена без определенных критериев завершения.
При описании каждой работы мы можем заметить, что установка BestObjectiveNotImproving
критерии привели к наиболее оптимальным ресурсам и времени по сравнению с объективной метрикой при значительно меньшем количестве выполненных заданий.
Ассоциация CompleteOnConvergence
Критерии также смогли остановить настройку на полпути эксперимента, что привело к меньшему количеству учебных заданий и сокращению времени обучения по сравнению с тем, чтобы не устанавливать критерии.
Хотя отсутствие критериев завершения привело к дорогостоящему эксперименту, определение MaxRuntimeInSeconds
как часть лимита ресурсов будет одним из способов минимизации затрат.
Приведенные выше результаты показывают, что при определении критериев завершения Amazon SageMaker может разумно остановить процесс настройки, когда обнаруживает, что модель вряд ли улучшится по сравнению с текущим результатом.
Обратите внимание, что критерии завершения, поддерживаемые в автоматической настройке модели SageMaker, не являются взаимоисключающими и могут использоваться одновременно при настройке модели.
Если задано более одного критерия завершения, задание настройки завершается при выполнении любого из критериев.
Например, комбинация критериев ограничения ресурсов, таких как максимальное время настройки, с критериями сходимости, такими как мониторинг улучшений или обнаружение сходимости, может обеспечить оптимальный контроль затрат и оптимальные объективные показатели.
Заключение
В этом посте мы обсудили, как теперь вы можете разумно остановить задание по настройке, выбрав набор критериев завершения, недавно введенных в SageMaker, таких как максимальное время настройки, мониторинг улучшений или обнаружение конвергенции.
С помощью эксперимента мы продемонстрировали, что интеллектуальная остановка, основанная на наблюдении за улучшениями в ходе итерации, может привести к значительному сокращению бюджета и управления временем по сравнению с отсутствием определения критериев завершения.
Мы также показали, что эти критерии не являются взаимоисключающими и могут использоваться одновременно при настройке модели, чтобы использовать как бюджетный контроль, так и оптимальную конвергенцию.
Дополнительные сведения о том, как настроить и запустить автоматическую настройку модели, см. Укажите параметры задания настройки гиперпараметров.
Об авторах
Дуг Мбая является старшим архитектором партнерских решений, специализирующимся на данных и аналитике. Дуг тесно сотрудничает с партнерами AWS, помогая им интегрировать решения для данных и аналитики в облаке.
Чайтра Матур является главным архитектором решений в AWS. Она помогает клиентам и партнерам создавать масштабируемые, надежные, безопасные и экономичные решения на AWS. Она увлечена машинным обучением и помогает клиентам воплощать свои потребности в машинном обучении в решения, используя сервисы AWS AI/ML. Имеет 5 сертификатов, включая сертификат ML Specialty. В свободное время она любит читать, заниматься йогой и проводить время со своими дочерьми.
Ярослав Щербатый является инженером по машинному обучению в AWS. В основном он работает над улучшением платформы Amazon SageMaker и помогает клиентам наилучшим образом использовать ее функции. В свободное время он любит ходить в тренажерный зал, заниматься спортом на открытом воздухе, например кататься на коньках или ходить в походы, а также следить за новыми исследованиями в области искусственного интеллекта.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- в состоянии
- О нас
- выше
- Учетная запись
- точность
- Достигать
- достигнутый
- через
- дополнение
- дополнительный
- плюс
- После
- AI
- ай исследование
- AI / ML
- алгоритм
- Все
- уже
- Amazon
- Создатель мудреца Амазонки
- количество
- аналитика
- и
- прикладной
- Автоматический
- автоматически
- AWS
- основанный
- до
- не являетесь
- польза
- Преимущества
- ЛУЧШЕЕ
- Лучшая
- между
- Beyond
- Граница
- приносить
- бюджет
- Строительство
- под названием
- случаев
- Привлекайте
- определенный
- Сертификация
- сертификаты
- проблемы
- Выберите
- выбранный
- тесно
- облако
- сочетание
- сравненный
- сравнение
- полный
- Заполненная
- зАВЕРШАЕТ
- завершение
- Вычисление
- Конфигурация
- контроль
- Сближение
- Цена
- экономия на издержках
- рентабельным
- Расходы
- может
- Критерии
- Текущий
- Клиенты
- данным
- определенный
- определяющий
- убивают
- желанный
- подробнее
- обнаружение
- различный
- скидка
- обсуждать
- обсуждается
- не
- Dont
- каждый
- Рано
- включен
- инженер
- обеспечивать
- к XNUMX году
- Оценки
- оценка
- многое
- пример
- Эксклюзивные
- существующий
- дорогим
- эксперимент
- исследование
- Больше
- знакомый
- Особенность
- Особенности
- Найдите
- обнаружение
- находит
- Во-первых,
- Фокус
- после
- формула
- полный
- в общем
- получить
- данный
- Отдаете
- Go
- цель
- хорошо
- Гиды
- Спорт зал
- имеющий
- помощь
- помогает
- высший
- очень
- имеет
- Как
- How To
- Однако
- HTML
- HTTPS
- Оптимизация гиперпараметра
- Настройка гиперпараметра
- ICE
- определения
- улучшать
- улучшение
- улучшение
- улучшение
- in
- В других
- В том числе
- Увеличивает
- individual
- первоначально
- интегрировать
- Умный
- выпустили
- Представляет
- IT
- итерация
- итерации
- работа
- Джобс
- Знать
- известный
- больше
- слой
- вести
- изучение
- привело
- Lets
- уровень
- Вероятно
- ОГРАНИЧЕНИЯ
- Ограниченный
- дольше
- машина
- обучение с помощью машины
- управление
- многих
- Маркетинг
- Макс
- Максимизировать
- максимальный
- означает
- Соответствует
- метод
- метрический
- Метрика
- минимизация
- ML
- модель
- Модели
- Мониторинг
- Мониторы
- БОЛЕЕ
- самых
- с разными
- взаимно
- потребности
- Новые
- номер
- цель
- целей
- наблюдать
- ONE
- работает
- оптимальный
- оптимизация
- оптимизированный
- Опция
- Другое
- общий
- параметр
- часть
- партнер
- партнеры
- страстный
- производительность
- периодов
- фаза
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- После
- Точность
- прогноз
- предварительно
- Основной
- Проблема
- проблемам
- процесс
- производит
- прогнозируемых
- при условии
- обеспечение
- достигать
- достиг
- Reading
- разумный
- связь
- складская
- Сообщается
- исследованиям
- ресурс
- Полезные ресурсы
- результат
- в результате
- Итоги
- Run
- пожертвовав
- sagemaker
- Автоматическая настройка модели SageMaker
- экономия
- масштабируемые
- Поиск
- Во-вторых
- секунды
- безопасный
- выбор
- выбор
- старший
- Услуги
- набор
- установка
- настройки
- должен
- показывать
- значительный
- существенно
- небольшой
- меньше
- So
- Решение
- Решения
- Решает
- некоторые
- Space
- Специальные
- конкретный
- указанный
- Расходы
- спинов
- Спорт
- Stop
- остановившийся
- остановка
- Останавливает
- такие
- поддержка
- Поддержанный
- Поддержка
- взять
- цель
- Сложность задачи
- terms
- Ассоциация
- их
- В третьих
- три
- порог
- Через
- время
- раз
- в
- слишком
- Всего
- Обучение
- переведите
- типичный
- использование
- прецедент
- Информация о пользователе
- Проверка
- ценностное
- версия
- способы
- Что
- который
- КТО
- будете
- в
- без
- слова
- работает
- бы
- Уступать
- Йога
- Ты
- ВАШЕ
- зефирнет