Amazon SageMaker Autopilot работает до восьми раз быстрее благодаря новому режиму ансамблевого обучения на базе AutoGluon.

Amazon SageMaker Автопилот добавил новый режим обучения, который поддерживает сборку моделей на основе АвтоГлюон. Режим ансамблевого обучения в Autopilot обучает несколько базовых моделей и объединяет их прогнозы с помощью наложения моделей. Для наборов данных менее 100 МБ режим ансамблевого обучения быстро строит модели машинного обучения (ML) с высокой точностью — до восьми раз быстрее, чем режим обучения оптимизации гиперпараметров (HPO) с 250 испытаниями, и до 5.8 раз быстрее, чем режим обучения HPO с 100 испытаний. Он поддерживает широкий спектр алгоритмов, включая LightGBM, CatBoost, XGBoost, Random Forest, Extra Trees, линейные модели и нейронные сети на основе PyTorch и FastAI.

Как AutoGluon строит ансамблевые модели

AutoGluon-Табулярный (AGT) — это популярная платформа AutoML с открытым исходным кодом, которая обучает высокоточные модели машинного обучения на наборах табличных данных. В отличие от существующих сред AutoML, которые в основном сосредоточены на выборе моделей и гиперпараметров, AGT успешно объединяет несколько моделей и размещает их в несколько слоев. Поведение AGT по умолчанию можно резюмировать следующим образом: при наличии набора данных AGT обучает различные базовые модели, начиная от готовых расширенных деревьев и заканчивая настраиваемыми нейронными сетями на наборе данных. Прогнозы базовых моделей используются в качестве признаков для построения модели суммирования, которая изучает соответствующий вес каждой базовой модели. С этими изученными весами модель суммирования затем объединяет прогнозы базовой модели и возвращает объединенные прогнозы в качестве окончательного набора прогнозов.

Как работает ансамблевый режим обучения автопилота

Различные наборы данных имеют характеристики, подходящие для разных алгоритмов. Имея набор данных с неизвестными характеристиками, трудно заранее знать, какие алгоритмы будут работать с набором данных лучше всего. Имея это в виду, специалисты по данным, использующие AGT, часто создают несколько пользовательских конфигураций с подмножеством алгоритмов и параметров. Они запускают эти конфигурации в заданном наборе данных, чтобы найти наилучшую конфигурацию с точки зрения производительности и задержки вывода.

Autopilot — это продукт машинного обучения с низким кодом, который автоматически создает лучшие модели машинного обучения для ваших данных. В новом режиме ансамблевого обучения автопилот выбирает оптимальный набор конфигураций AGT и выполняет несколько испытаний, чтобы получить наилучшую модель. Эти испытания проводятся параллельно, чтобы оценить возможность дальнейшего повышения производительности AGT с точки зрения объективных показателей или задержки вывода.

Результаты, наблюдаемые с использованием тестов OpenML

Чтобы оценить улучшения производительности, мы использовали наборы тестовых данных OpenML размером от 0.5 до 100 МБ и провели 10 испытаний AGT с различными комбинациями алгоритмов и конфигураций гиперпараметров. В тестах сравнивали режим ансамблевого обучения с режимом HPO с 250 испытаниями и режимом HPO с 100 испытаниями. В следующей таблице сравнивается общее время выполнения эксперимента Autopilot (в минутах) между двумя режимами обучения для разных размеров наборов данных.

Размер набора данных	Режим HPO (250 испытаний)	Режим HPO (100 испытаний)	Режим ансамбля (10 испытаний)	Улучшение времени работы с HPO 250	Улучшение времени работы с HPO 100
< 1 МБ	121.5 минут	88.0 минут	15.0 минут	8.1x	5.9x
1–10 МБ	136.1 минут	76.5 минут	25.8 минут	5.3x	3.0x
10–100 МБ	152.7 минут	103.1 минут	60.9 минут	2.5x	1.7x

Для сравнения производительности задач мультиклассовой классификации мы используем точность, для задач бинарной классификации используем показатель F1, а для задач регрессии используем R2. Прирост объективных показателей показан в следующих таблицах. Мы заметили, что режим ансамблевого обучения работает лучше, чем режим обучения HPO (как 100, так и 250 испытаний).

Обратите внимание, что режим ансамбля показывает постоянное улучшение по сравнению с режимом HPO с 250 испытаниями независимо от размера набора данных и типов задач.

В следующей таблице сравнивается точность для задач классификации с несколькими классами (чем выше, тем лучше).

Размер набора данных	Режим HPO (250 испытаний)	Режим HPO (100 испытаний)	Режим ансамбля (10 испытаний)	Процентное улучшение по сравнению с HPO 250
< 1 МБ	0.759	0.761	0.771	1.46%
1–5 МБ	0.941	0.935	0.957	1.64%
5–10 МБ	0.639	0.633	0.671	4.92%
10–50 МБ	0.998	0.999	0.999	0.11%
51–100 МБ	0.853	0.852	0.875	2.56%

В следующей таблице сравниваются баллы F1 для задач бинарной классификации (чем выше, тем лучше).

Размер набора данных	Режим HPO (250 испытаний)	Режим HPO (100 испытаний)	Режим ансамбля (10 испытаний)	Процентное улучшение по сравнению с HPO 250
< 1 МБ	0.801	0.807	0.826	3.14%
1–5 МБ	0.59	0.587	0.629	6.60%
5–10 МБ	0.886	0.889	0.898	1.32%
10–50 МБ	0.731	0.736	0.754	3.12%
51–100 МБ	0.503	0.493	0.541	7.58%

В следующей таблице сравнивается R2 для проблем регрессии (чем выше, тем лучше).

Размер набора данных	Режим HPO (250 испытаний)	Режим HPO (100 испытаний)	Режим ансамбля (10 испытаний)	Процентное улучшение по сравнению с HPO 250
< 1 МБ	0.717	0.718	0.716	0%
1–5 МБ	0.803	0.803	0.817	2%
5–10 МБ	0.590	0.586	0.614	4%
10–50 МБ	0.686	0.688	0.684	0%
51–100 МБ	0.623	0.626	0.631	1%

В следующих разделах мы покажем, как использовать новый режим обучения ансамбля в Autopilot для анализа наборов данных и простого создания высококачественных моделей машинного обучения.

Обзор набора данных

Мы используем Набор данных Титаник чтобы предсказать, выжил ли данный пассажир или нет. Это проблема бинарной классификации. Мы сосредоточимся на создании эксперимента с автопилотом с использованием нового режима обучения ансамбля и сравним результаты оценки F1 и общего времени выполнения с экспериментом с автопилотом с использованием режима обучения HPO (100 испытаний).

Имя столбца	Описание
Пассажирид	Идентификационный номер
переживший	Выживание
Pкласс	Класс билета
Имя	Имя пассажира
Секс	Секс
Возраст	Возраст в годах
Сибсп	Количество братьев и сестер или супругов на борту Титаника
Перчин	Количество родителей или детей на борту Титаника
Билет	Номер билета
Делать	Пассажирский тариф
Кабина	Номер каюты
вставших	Порт погрузки

Набор данных имеет 890 строк и 12 столбцов. Он содержит демографическую информацию о пассажирах (возраст, пол, класс билета и т. д.) и целевой столбец «Выжили» (да/нет).

Предпосылки

Выполните следующие обязательные шаги:

1. Убедитесь, что у вас есть учетная запись AWS, безопасный доступ для входа в учетную запись через Консоль управления AWSи Управление идентификацией и доступом AWS (IAM) разрешения на использование Создатель мудреца Амазонки и Простой сервис хранения Amazon (Amazon S3).
2. Скачать Набор данных Титаник и загрузить его в корзину S3 вашего счета.
3. Подключение к домену SageMaker и доступ Студия Amazon SageMaker использовать автопилот. Инструкции см. Подключение к домену Amazon SageMaker. Если вы используете существующую Studio, обновите ее до последняя версия студии использовать новый режим ансамблевой тренировки.

Создание эксперимента «Автопилот» с режимом ансамблевого обучения

Когда набор данных будет готов, вы можете инициализировать эксперимент Autopilot в Studio. Полные инструкции см. Создание эксперимента Amazon SageMaker Autopilot. Создайте эксперимент Autopilot, указав имя эксперимента, входные данные и указав целевые данные для прогнозирования в Сведения об эксперименте и данных раздел. При желании вы можете указать коэффициент утечки данных и автоматическое создание выходного местоположения Amazon S3.

В нашем случае мы указываем название эксперимента, вводим местоположение Amazon S3 и выбираем переживший как цель. Мы оставляем включенным автоматическое разделение и переопределяем выходное местоположение Amazon S3 по умолчанию.

Далее мы указываем метод обучения в Метод обучения раздел. Вы можете позволить автопилоту автоматически выбирать режим обучения, используя Авто в зависимости от размера набора данных или выберите режим обучения вручную для ансамбля или HPO. Детали каждого варианта следующие:

• Авто – Автопилот автоматически выбирает либо режим ансамбля, либо режим HPO в зависимости от размера набора данных. Если ваш набор данных больше 100 МБ, Autopilot выбирает HPO, в противном случае он выбирает ансамбль.
• Ансамбль - Автопилот использует АвтоГлюонМетод ансамбля для обучения нескольких базовых моделей и объединения их прогнозов с использованием наложения моделей в оптимальную прогнозную модель.
• Оптимизация гиперпараметра – Автопилот находит наилучшую версию модели, настраивая гиперпараметры с помощью метода байесовской оптимизации и запуская обучающие задания в вашем наборе данных. HPO выбирает алгоритмы, наиболее подходящие для вашего набора данных, и выбирает лучший диапазон гиперпараметров для настройки моделей.

Для нашего варианта использования мы выбираем Ансамбль как наш режим тренировки.

После этого переходим к Развертывание и дополнительные настройки раздел. Здесь мы отменяем выбор Автоматическое развертывание вариант. Под Дополнительные параметры, вы можете указать тип проблемы машинного обучения, которую вы хотите решить. Если ничего не указано, Autopilot автоматически определяет модель на основе предоставленных вами данных. Поскольку наша задача — бинарная классификация, мы выбираем Бинарная классификация как наш тип проблемы и F1 как наш объективный показатель.

Наконец, мы просматриваем наш выбор и выбираем Создать эксперимент.

В этот момент можно безопасно выйти из Studio и вернуться позже, чтобы проверить результат, который вы можете найти на Эксперименты .

На следующем снимке экрана показаны окончательные результаты нашей работы в режиме автопилота в режиме обучения ансамбля titanic-ens.

Вы можете увидеть несколько попыток, которые были предприняты автопилотом в режиме ансамблевой тренировки. Каждое испытание возвращает наилучшую модель из пула отдельных запусков модели и запусков моделей ансамбля стекирования.

Чтобы объяснить это немного подробнее, давайте предположим, что испытание 1 рассмотрело все восемь поддерживаемых алгоритмов и использовало уровень стека 2. Он будет внутренне создавать отдельные модели для каждого алгоритма, а также взвешенные ансамблевые модели со стеком уровня 0, уровня 1 и уровня 2. , Однако выходом Пробной версии 1 будет лучшая модель из созданного пула моделей.

Точно так же давайте рассмотрим, что в испытании 2 используются только алгоритмы повышения на основе дерева. В этом случае Trial 2 внутренне создаст три отдельные модели для каждого из трех алгоритмов, а также взвешенные ансамблевые модели и вернет лучшую модель из своего запуска.

Окончательная модель, возвращенная испытанием, может быть или не быть взвешенной ансамблевой моделью, но большинство испытаний, скорее всего, вернут свою лучшую взвешенную ансамблевую модель. Наконец, на основе выбранной объективной метрики будет определена лучшая модель среди всех 10 испытаний.

В предыдущем примере нашей лучшей моделью была модель с наивысшим баллом F1 (наша объективная метрика). Также показаны несколько других полезных показателей, включая точность, сбалансированную точность, точность и полноту. В нашей среде сквозное время выполнения этого эксперимента с автопилотом составляло 10 минут.

Создание эксперимента Autopilot с режимом обучения HPO

Теперь давайте выполним все вышеупомянутые шаги, чтобы создать второй эксперимент Autopilot с методом обучения HPO (по умолчанию 100 испытаний). Помимо выбора метода обучения, который сейчас Оптимизация гиперпараметра, все остальное остается прежним. В режиме HPO вы можете указать количество попыток, установив Максимальное количество кандидатов под Дополнительные параметры для Время выполнения, но мы рекомендуем оставить это значение по умолчанию. Не предоставляя никакой ценности в Максимальное количество кандидатов проведет 100 испытаний HPO. В нашей среде сквозное время выполнения этого эксперимента с автопилотом составило 2 часа.

Сравнение показателей времени выполнения и производительности

Мы видим, что для нашего набора данных (менее 1 МБ) режим ансамблевого обучения не только работал в 12 раз быстрее, чем режим обучения HPO (от 120 до 10 минут), но также давал улучшенные результаты F1 и другие показатели производительности.

Режим обучения	Счет F1	точность	Сбалансированная точность	ППК	Точность	Вспоминать	Потеря журнала	Время выполнения
Режим ансамбля – Взвешенный ансамбль	0.844	0.878	0.865	0.89	0.912	0.785	0.394	10 минут
Режим HPO — XGBoost	0.784	0.843	0.824	0.867	0.831	0.743	0.428	120 минут

вывод

Теперь, когда у нас есть модель-победитель, мы можем либо разверните его в конечной точке для логического вывода в реальном времени or использовать пакетные преобразования, чтобы делать прогнозы на немаркированном наборе данных, который мы скачали ранее.

Обзор

Вы можете проводить эксперименты с автопилотом быстрее без какого-либо влияния на производительность благодаря новому режиму обучения ансамбля для наборов данных размером менее 100 МБ. Для начала, создать эксперимент SageMaker Autopilot на консоли Studio и выберите Ансамбль в качестве режима обучения или позволить автопилоту автоматически определить режим обучения на основе размера набора данных. Вы можете обратиться к Справочное руководство по API CreateAutoMLJob для обновлений API и обновления до последняя версия студии использовать новый режим ансамблевой тренировки. Дополнительные сведения об этой функции см. Поддержка моделей, показатели и проверка с помощью Amazon SageMaker Autopilot а чтобы узнать больше об автопилоте, посетите странице продукта.

---

Об авторах

Яниша Ананд является старшим менеджером по продукту в команде SageMaker Low/No Code ML, в которую входит SageMaker Autopilot. Она любит кофе, ведет активный образ жизни и проводит время со своей семьей.

Сакет Сатхе является старшим научным сотрудником в команде SageMaker Autopilot. Он увлечен созданием следующего поколения алгоритмов и систем машинного обучения. Помимо работы, он любит читать, готовить, хлебать рамен и играть в бадминтон.

Абхишек Сингх работает инженером-программистом в команде Autopilot в AWS. У него более 8 лет опыта работы в качестве разработчика программного обеспечения, и он увлечен созданием масштабируемых программных решений, решающих проблемы клиентов. В свободное время Абхишек любит оставаться активным, ходить в походы или участвовать в футбольных матчах.

Вадим Омельченко — старший архитектор решений AI/ML, который увлечен тем, что помогает клиентам AWS внедрять инновации в облаке. Его предыдущий опыт работы в сфере ИТ был преимущественно наземным.