Встроенный Создатель мудреца Амазонки Алгоритм XGBoost предоставляет управляемый контейнер для запуска популярного XGBoost платформа машинного обучения (ML) с дополнительным удобством поддержки функций расширенного обучения или логического вывода, таких как распределенное обучение, сегментирование наборов данных для крупномасштабных наборов данных, Тестирование A/B-моделиили мультимодельный вывод конечные точки. Вы также можете расширить этот мощный алгоритм, чтобы удовлетворить различные требования.
Упаковка кода и зависимостей в один контейнер — это удобный и надежный подход для долгосрочного обслуживания кода, воспроизводимости и аудита. Изменение контейнера точно соответствует базовому контейнеру и позволяет избежать дублирования существующих функций, уже поддерживаемых базовым контейнером. В этом посте мы рассмотрим внутреннюю работу контейнера алгоритма SageMaker XGBoost и предоставим практичные сценарии для непосредственной настройки контейнера.
Структура контейнера SageMaker XGBoost
Встроенный в SageMaker алгоритм XGBoost упакован в виде отдельного контейнера, доступно на GitHub, и может быть расширен в соответствии с удобной для разработчиков лицензией Apache 2.0 с открытым исходным кодом. Контейнер упаковывает алгоритм XGBoost с открытым исходным кодом и вспомогательные инструменты для запуска алгоритма в среде SageMaker, интегрированной с другими облачными сервисами AWS. Это позволяет обучать модели XGBoost на различных источники данных, делать пакетные прогнозы на автономных данных или разместить конечная точка вывода в режиме реального времени трубопровод.
Контейнер поддерживает операции обучения и логического вывода с различными точками входа. Для режима вывода запись можно найти в основной функции в Скрипт serve.py. Для обслуживания логических выводов в реальном времени контейнер запускает КолбаНа основе веб-сервер Что, когда вызывается, получает закодированный HTTP-запрос, содержащий данные, декодирует данные в XGBoost ДМатрикс формат, загружает модель, и возвращает HTTP-закодированный ответ обратно. Эти методы инкапсулированы под Служба подсчета очков class, который также в значительной степени может быть настроен через режим скрипта (см. Приложение ниже).
Точка входа в режим обучения (режим алгоритма) является основной функцией в обучение.ру. Основная функция настраивает среду обучения и вызывает функцию задания обучения. Он достаточно гибкий, чтобы обеспечить распределенное или одноузловое обучение, а также такие утилиты, как перекрестная проверка. Сердце тренировочного процесса можно найти в поезд_работа функции.
Файлы Docker, упаковывающие контейнер, можно найти в Репо GitHub. Обратите внимание, что контейнер создается в два этапа: Использование темпера с изогнутым основанием Сначала создается контейнер, а затем окончательный емкость сверху.
Обзор решения
Вы можете изменить и перестроить контейнер с помощью исходного кода. Однако это включает в себя сбор и пересборку всех зависимостей и пакетов с нуля. В этом посте мы обсудим более простой подход, который напрямую изменяет контейнер поверх уже созданного и общедоступного образа контейнера алгоритма SageMaker XGBoost.
В этом подходе мы тянуть копию общедоступного образа SageMaker XGBoost, измените сценарии или добавьте пакеты и перестройте контейнер поверх него. Измененный контейнер можно хранить в приватном репозитории. Таким образом, мы избегаем перестроения промежуточных зависимостей и вместо этого строим непосредственно поверх уже собранных библиотек, упакованных в официальный контейнер.
На следующем рисунке показан обзор сценария, используемого для извлечения общедоступного базового образа, изменения и перестроения образа, а также загрузки его в частный Реестр Amazon Elastic Container (Amazon ECR) репозиторий. Баш скрипт в сопроводительном коде этого сообщения выполняет все шаги рабочего процесса, показанные на схеме. Сопровождающий ноутбук показан пример, в котором URI определенной версии алгоритма SageMaker XGBoost сначала извлекается и передается в Баш скрипт, который заменяет два скрипта Python в образе, перестраивает его и отправляет измененный образ в частный репозиторий Amazon ECR. Вы можете изменить сопровождающий код в соответствии с вашими потребностями.
Предпосылки
Ассоциация Репозиторий GitHub содержит код, сопровождающий этот пост. Вы можете запустить образец тетради в своей учетной записи AWS или воспользуйтесь предоставленным AWS CloudFormation стек для развертывания записной книжки с помощью записной книжки SageMaker. Вам необходимы следующие предпосылки:
- Аккаунт AWS.
- Необходимые разрешения для запуска заданий пакетного преобразования и обучения SageMaker, а также привилегии Amazon ECR. Шаблон CloudFormation создает пример Управление идентификацией и доступом AWS (ИАМ) роли.
Разверните решение
Чтобы создать ресурсы решения с помощью AWS CloudFormation, выберите Стек запуска:
Стек развертывает записную книжку SageMaker, предварительно настроенную для клонирования репозитория GitHub. Прохождение ноутбук включает действия по извлечению общедоступного образа SageMaker XGBoost для данной версии, его изменению и отправке пользовательского контейнера в частный репозиторий Amazon ECR. Ноутбук использует общедоступный Набор данных Abalone в качестве примера, обучает модель с помощью встроенного режима обучения SageMaker XGBoost и повторно использует эту модель в пользовательском образе для выполнения заданий пакетного преобразования, которые создают логические выводы вместе со значениями SHAP.
Заключение
Встроенные алгоритмы SageMaker предоставляют множество функций и функций и могут быть расширены в соответствии с лицензией Apache 2.0 с открытым исходным кодом. В этом посте мы рассмотрели, как расширить встроенный производственный контейнер для алгоритма SageMaker XGBoost, чтобы он соответствовал производственным требованиям, таким как обратный код и совместимость с API.
Образец тетради и помощник скрипты предоставить удобную отправную точку для настройки образа контейнера SageMaker XGBoost в соответствии с вашими пожеланиями. Попробуйте!
Приложение: Режим сценария
Режим сценария предоставляет способ изменить многие встроенные алгоритмы SageMaker, предоставляя интерфейс для замены функций, отвечающих за преобразование входных данных и загрузку модели. Режим сценария не так гибок, как прямое изменение контейнера, но он предоставляет полностью основанный на Python маршрут для настройки встроенного алгоритма без необходимости работать напрямую с Docker.
В режиме скрипта user-module
предоставляется для настройки декодирования данных, загрузки модели и прогнозирования. Пользовательский модуль может определить transformer_fn
который обрабатывает все аспекты от обработки запроса до подготовки ответа. Или вместо определения transformer_fn
, вы можете предоставить пользовательские методы model_fn
, input_fn
, predict_fn
и output_fn
индивидуально, чтобы настроить загрузку модели, декодирование и подготовку входных данных для прогнозирования. Более подробный обзор режима сценария см. Создайте свою собственную модель в режиме сценария SageMaker.
Об авторах
Пейман Разаги является специалистом по данным в AWS. Он имеет докторскую степень в области теории информации, полученную в Университете Торонто, и был постдокторантом-исследователем в Университете Южной Калифорнии (USC) в Лос-Анджелесе. До прихода в AWS Пейман работал штатным системным инженером в Qualcomm и участвовал в разработке ряда известных международных телекоммуникационных стандартов. Он является автором нескольких рецензируемых научно-исследовательских статей в области статистики и системной инженерии, а также занимается воспитанием детей и ездой на велосипеде вне работы.
- Коинсмарт. Лучшая в Европе биржа биткойнов и криптовалют.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. БЕСПЛАТНЫЙ ДОСТУП.
- КриптоХок. Альткоин Радар. Бесплатная пробная версия.
- Источник: https://aws.amazon.com/blogs/machine-learning/customize-the-amazon-sagemaker-xgboost-algorithm-container/
- "
- 100
- доступ
- вмещать
- Учетная запись
- продвинутый
- алгоритм
- алгоритмы
- Все
- уже
- Amazon
- API
- подхода
- ПЛОЩАДЬ
- статьи
- AWS
- строить
- встроенный
- Калифорния
- Выберите
- класс
- облако
- облачные сервисы
- код
- Сбор
- полностью
- Container
- содержит
- удобство
- Удобно
- создает
- изготовленный на заказ
- данным
- ученый данных
- развертывание
- развертывает
- различный
- непосредственно
- обсуждать
- распределенный
- Docker
- инженер
- Окружающая среда
- пример
- продлить
- Особенности
- фигура
- Во-первых,
- гибкого
- после
- формат
- найденный
- Рамки
- функция
- далее
- GitHub
- большой
- имеет
- Как
- How To
- HTTPS
- Личность
- изображение
- информация
- вход
- интегрированный
- Интерфейс
- Мультиязычность
- IT
- работа
- Джобс
- изучение
- Лицензия
- долгосрочный
- Лос-Анджелес
- машина
- обучение с помощью машины
- ДЕЛАЕТ
- Создание
- управляемого
- ML
- модель
- Модели
- БОЛЕЕ
- ноутбук
- номер
- Официальный представитель в Грузии
- оффлайн
- Операционный отдел
- Другое
- собственный
- Точка
- Популярное
- мощный
- прогноз
- Predictions
- частная
- процесс
- производит
- Производство
- обеспечивать
- приводит
- обеспечение
- что такое варган?
- целей
- реального времени
- хранилище
- запросить
- Требования
- исследованиям
- Полезные ресурсы
- ответ
- ответственный
- Возвращает
- обзоре
- дорога
- Run
- Ученый
- Услуги
- выступающей
- Sharding
- Software
- Решение
- исходный код
- южный
- стек
- стандартов
- статистике
- Поддержанный
- поддержки
- Поддержка
- системы
- Источник
- Через
- вместе
- инструменты
- топ
- Торонто
- Обучение
- поезда
- Transform
- превращение
- Университет
- использование
- разнообразие
- Википедия.
- Работа
- бы