Автоматическая настройка модели Amazon SageMaker теперь поддерживает поиск по сетке

Cегодня Создатель мудреца Амазонки объявила о поддержке Grid-поиска для автоматическая настройка модели, предоставляя пользователям дополнительную стратегию для поиска лучшей конфигурации гиперпараметров для вашей модели.

Автоматическая настройка модели Amazon SageMaker находит лучшую версию модели, выполняя множество заданий обучения в вашем наборе данных с помощью ассортимент гиперпараметров, которые вы указываете. Затем он выбирает значения гиперпараметров, которые приводят к модели, которая работает лучше всего, согласно измерению метрический по вашему выбору.

Чтобы найти оптимальные значения гиперпараметров для вашей модели, автоматическая настройка модели Amazon SageMaker поддерживает несколько стратегий, в том числе байесовский (По умолчанию), случайный поиск и Гиперполоса.

Поиск по сетке

Поиск по сетке исчерпывающе исследует конфигурации в заданной вами сетке гиперпараметров, что позволяет вам получить представление о наиболее перспективных конфигурациях гиперпараметров в вашей сетке и детерминированно воспроизводить результаты при различных запусках настройки. Поиск по сетке дает вам больше уверенности в том, что все пространство поиска гиперпараметров исследовано. Это преимущество связано с компромиссом, поскольку оно требует больше вычислительных затрат, чем байесовский и случайный поиск, если ваша главная цель — найти лучшую конфигурацию гиперпараметров.

Поиск по сетке с помощью Amazon SageMaker

В Amazon SageMaker вы используете поиск по сетке, когда ваша задача требует наличия оптимальной комбинации гиперпараметров, которая максимизирует или минимизирует вашу целевую метрику. Распространенный случай использования Grid Search клиентами — это когда точность и воспроизводимость модели более важны для вашего бизнеса, чем затраты на обучение, необходимые для их получения.

Чтобы включить поиск по сетке в Amazon SageMaker, установите Strategy поле к Grid при создании задания настройки следующим образом:

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

Кроме того, поиск по сетке требует, чтобы вы определили пространство поиска (декартову сетку) как категориальный диапазон дискретных значений в определении вашего задания с помощью CategoricalParameterRanges ключ под ParameterRanges параметр следующим образом:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

Обратите внимание: мы не указываем MaxNumberOfTrainingJobs для поиска по сетке в определении вакансии, поскольку это определяется для вас на основе количества комбинаций категорий. При использовании случайного и байесовского поиска вы указываете MaxNumberOfTrainingJobs параметр как способ управления стоимостью задания по настройке путем определения верхней границы вычислений. При поиске по сетке значение MaxNumberOfTrainingJobs (теперь необязательно) автоматически устанавливается как количество кандидатов для поиска по сетке в ОписатьHyperParameterTuningJob форма. Это позволяет вам полностью изучить желаемую сетку гиперпараметров. Кроме того, определение задания поиска по сетке допускает только дискретные категориальные диапазоны и не требует определения непрерывных или целочисленных диапазонов, поскольку каждое значение в сетке считается дискретным.

Эксперимент по поиску по сетке

В этом эксперименте, учитывая задачу регрессии, мы ищем оптимальные гиперпараметры в пространстве поиска из 200 гиперпараметров, 20 eta и 10 alpha от 0.1 до 1. Мы используем набор данных прямого маркетинга настроить регрессионную модель.

• ОП: уменьшение размера шага, используемое в обновлениях для предотвращения переобучения. После каждого шага повышения вы можете напрямую получить вес новых функций. eta Параметр фактически уменьшает веса функций, чтобы сделать процесс повышения более консервативным.
• альфа: Член регуляризации L1 по весам. Увеличение этого значения делает модели более консервативными.

На графике слева представлен анализ eta гиперпараметр по отношению к целевой метрике и демонстрирует, как поиск по сетке исчерпал все пространство поиска (сетку) по осям X, прежде чем вернуть лучшую модель. Точно так же на диаграмме справа анализируются два гиперпараметра в одном декартовом пространстве, чтобы продемонстрировать, что все точки в сетке были выбраны во время настройки.

Приведенный выше эксперимент показывает, что исчерпывающий характер поиска по сетке гарантирует оптимальный выбор гиперпараметров с учетом определенного пространства поиска. Это также демонстрирует, что вы можете воспроизводить результаты поиска на всех итерациях настройки при прочих равных условиях.

Рабочие процессы автоматической настройки модели Amazon SageMaker (AMT)

С помощью автоматической настройки модели Amazon SageMaker вы можете найти лучшую версию своей модели, запустив задания обучения для своего набора данных с помощью нескольких стратегий поиска, таких как байесовский поиск, случайный поиск, поиск по сетке и гиперполоса. Автоматическая настройка модели позволяет сократить время настройки модели за счет автоматического поиска лучшей конфигурации гиперпараметров в указанных вами диапазонах гиперпараметров.

Теперь, когда мы рассмотрели преимущества использования поиска по сетке в Amazon SageMaker AMT, давайте взглянем на рабочие процессы AMT и поймем, как все это сочетается в SageMaker.

Заключение

В этом посте мы обсудили, как теперь вы можете использовать стратегию поиска по сетке для поиска лучшей модели и ее способность детерминированно воспроизводить результаты в различных заданиях по настройке. Мы обсудили компромисс при использовании поиска по сетке по сравнению с другими стратегиями и то, как он позволяет вам исследовать, какие области пространств гиперпараметров наиболее перспективны, и детерминированно воспроизводить результаты.

Чтобы узнать больше об автоматической настройке модели, посетите странице продукта и техническая документация.

Об авторе

Дуг Мбая является старшим архитектором партнерских решений, специализирующимся на данных и аналитике. Дуг тесно сотрудничает с партнерами AWS, помогая им интегрировать решения для данных и аналитики в облаке.