Автоматичне налаштування моделі Amazon SageMaker тепер підтримує пошук у сітці

ТЕПЕР Amazon SageMaker оголосив про підтримку Grid search for автоматична настройка моделі, надаючи користувачам додаткову стратегію пошуку найкращої конфігурації гіперпараметрів для вашої моделі.

Автоматичне налаштування моделі Amazon SageMaker знаходить найкращу версію моделі, запускаючи багато навчальних завдань на вашому наборі даних за допомогою діапазон гіперпараметрів, які ви вказуєте. Потім він вибирає значення гіперпараметрів, які призводять до найкращої моделі, виміряної a метрика За вашим вибором.

Щоб знайти найкращі значення гіперпараметрів для вашої моделі, автоматичне налаштування моделі Amazon SageMaker підтримує кілька стратегій, зокрема Байєсівський (За замовчуванням), випадковий пошук і Гіперсмуга.

Пошук у сітці

Пошук у сітці вичерпно досліджує конфігурації в сітці гіперпараметрів, які ви визначаєте, що дозволяє отримати уявлення про найперспективніші конфігурації гіперпараметрів у вашій сітці та детерміновано відтворювати результати під час різних прогонів налаштування. Пошук у сітці дає вам більше впевненості, що досліджено весь простір пошуку гіперпараметрів. Ця перевага пов’язана з компромісом, оскільки це обчислювально дорожче, ніж байєсівський і випадковий пошук, якщо вашою головною метою є пошук найкращої конфігурації гіперпараметрів.

Пошук у сітці за допомогою Amazon SageMaker

В Amazon SageMaker ви використовуєте пошук у сітці, коли для вашої проблеми потрібно мати оптимальну комбінацію гіперпараметрів, яка максимізує або мінімізує вашу цільову метрику. Поширений випадок, коли клієнт використовує Grid Search, коли точність і відтворюваність моделі важливіші для вашого бізнесу, ніж витрати на навчання, необхідні для їх отримання.

Щоб увімкнути пошук у сітці в Amazon SageMaker, установіть Strategy поле до Grid коли ви створюєте завдання налаштування, наступним чином:

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

Крім того, пошук у сітці вимагає від вас визначення простору пошуку (декартова сітка) як категоріального діапазону дискретних значень у визначенні вашої роботи за допомогою CategoricalParameterRanges ключ під ParameterRanges наступним чином:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

Зауважте, що ми не вказуємо MaxNumberOfTrainingJobs для пошуку в сітці у визначенні роботи, оскільки це визначається для вас на основі кількості комбінацій категорій. Використовуючи випадковий і байєсівський пошук, ви вказуєте MaxNumberOfTrainingJobs параметр як спосіб контролювати вартість роботи налаштування шляхом визначення верхньої межі для обчислення. За допомогою пошуку в сітці значення MaxNumberOfTrainingJobs (тепер необов’язковий) автоматично встановлюється як кількість кандидатів для пошуку сітки в Опишіть завдання налаштування гіперпараметрів форму. Це дозволяє вам вичерпно вивчити бажану сітку гіперпараметрів. Крім того, визначення завдань пошуку в сітці приймає лише дискретні категоричні діапазони та не потребує визначення неперервних чи цілих діапазонів, оскільки кожне значення в сітці вважається дискретним.

Експеримент Grid Search

У цьому експерименті, враховуючи завдання регресії, ми шукаємо оптимальні гіперпараметри в просторі пошуку з 200 гіперпараметрів, 20 eta і 10 alpha в діапазоні від 0.1 до 1. Ми використовуємо набір даних прямого маркетингу для налаштування регресійної моделі.

• eta: зменшення розміру кроку, що використовується в оновленнях, щоб запобігти перепідгонці. Після кожного кроку підвищення ви можете безпосередньо отримати ваги нових функцій. The eta Параметр фактично зменшує ваги функцій, щоб зробити процес посилення більш консервативним.
• альфа: L1 член регуляризації ваг. Збільшення цього значення робить моделі більш консервативними.

Графік ліворуч показує аналіз eta гіперпараметр по відношенню до цільової метрики та демонструє, як пошук сітки вичерпав увесь простір пошуку (сітку) по осях X перед тим, як повернути найкращу модель. Так само на діаграмі праворуч аналізуються два гіперпараметри в одному декартовому просторі, щоб продемонструвати, що всі точки в сітці були вибрані під час налаштування.

Наведений вище експеримент демонструє, що вичерпний характер пошуку в сітці гарантує оптимальний вибір гіперпараметрів у визначеному просторі пошуку. Це також демонструє, що ви можете відтворити свій результат пошуку через ітерації налаштування, за інших рівних умов.

Робочі процеси автоматичного налаштування моделі Amazon SageMaker (AMT)

Завдяки автоматичному налаштуванню моделі Amazon SageMaker ви можете знайти найкращу версію своєї моделі, виконавши навчальні завдання на своєму наборі даних із кількома стратегіями пошуку, такими як байєсівський пошук, випадковий пошук, пошук у сітці та гіпердіапазон. Автоматичне налаштування моделі дозволяє скоротити час на налаштування моделі шляхом автоматичного пошуку найкращої конфігурації гіперпараметрів у межах діапазонів гіперпараметрів, які ви вказуєте.

Тепер, коли ми розглянули переваги використання Grid-пошуку в Amazon SageMaker AMT, давайте поглянемо на робочі процеси AMT і зрозуміємо, як це все поєднується в SageMaker.

Висновок

У цій публікації ми обговорили, як тепер можна використовувати стратегію пошуку Grid для пошуку найкращої моделі та її здатність детерміновано відтворювати результати в різних завданнях налаштування. Ми обговорили компроміс при використанні сіткового пошуку порівняно з іншими стратегіями, а також те, як це дозволяє вам досліджувати, які області просторів гіперпараметрів є найбільш перспективними, і детерміновано відтворювати результати.

Щоб дізнатися більше про автоматичне налаштування моделі, відвідайте Сторінка продукту та технічна документація.

Про автора

Дуг Мбайя є старшим архітектором партнерських рішень, який спеціалізується на даних і аналітиці. Даг тісно співпрацює з партнерами AWS, допомагаючи їм інтегрувати дані та аналітичні рішення в хмарі.