Это гостевой пост в блоге, написанный в соавторстве с Виком Пантом и Кайлом Бассеттом из PwC.
Поскольку организации все больше инвестируют в машинное обучение (ML), внедрение ML стало неотъемлемой частью стратегий трансформации бизнеса. Недавний генеральный директор PwC , обнародовано, что 84% канадских руководителей согласны с тем, что искусственный интеллект (ИИ) существенно изменит их бизнес в течение следующих 5 лет, что сделает эту технологию более важной, чем когда-либо. Однако внедрение машинного обучения в производство связано с различными соображениями, в частности, с возможностью безопасного, стратегического и ответственного ориентирования в мире ИИ. Одним из первых шагов и особенно сложной задачей на пути к использованию ИИ является эффективная разработка конвейеров машинного обучения, которые можно устойчиво масштабировать в облаке. Думая об машинном обучении с точки зрения конвейеров, которые генерируют и поддерживают модели, а не модели сами по себе, помогает создавать универсальные и устойчивые системы прогнозирования, которые лучше способны противостоять значимым изменениям в соответствующих данных с течением времени.
Многие организации начинают свое путешествие в мир машинного обучения с точки зрения, ориентированной на модели. На ранних этапах создания практики машинного обучения основное внимание уделяется обучению контролируемых моделей машинного обучения, которые представляют собой математические представления взаимосвязей между входными данными (независимыми переменными) и выходными данными (зависимыми переменными), которые извлекаются из данных (обычно исторических). Модели — это математические артефакты, которые принимают входные данные, выполняют над ними расчеты и расчеты, а также генерируют прогнозы или выводы.
Хотя этот подход является разумной и относительно простой отправной точкой, он по своей сути не является масштабируемым или устойчивым по своей природе из-за ручного и специального характера действий по обучению, настройке, тестированию и испытанию модели. Организации с большей зрелостью в области машинного обучения используют парадигму операций машинного обучения (MLOPs), которая включает в себя непрерывную интеграцию, непрерывную доставку, непрерывное развертывание и непрерывное обучение. Центральным элементом этой парадигмы является ориентированная на конвейер точка зрения на разработку и эксплуатацию систем машинного обучения промышленного уровня.
В этом посте мы начнем с обзора MLOps и его преимуществ, опишем решение для упрощения его реализации и предоставим подробную информацию об архитектуре. Мы заканчиваем рассмотрением примера из практики, в котором освещаются преимущества, реализованные крупным клиентом AWS и PwC, внедрившим это решение.
проверка данных
Конвейер MLOps — это набор взаимосвязанных последовательностей шагов, которые используются для создания, развертывания, эксплуатации и управления одной или несколькими моделями машинного обучения в производственной среде. Такой конвейер охватывает этапы, связанные с созданием, тестированием, настройкой и развертыванием моделей машинного обучения, включая, помимо прочего, подготовку данных, разработку функций, обучение модели, оценку, развертывание и мониторинг. Таким образом, модель ML является продуктом конвейера MLOps, а конвейер — это рабочий процесс для создания одной или нескольких моделей ML. Такие конвейеры поддерживают структурированные и систематические процессы построения, калибровки, оценки и реализации моделей машинного обучения, а сами модели генерируют прогнозы и выводы. Автоматизируя разработку и ввод в действие этапов конвейеров, организации могут сократить время доставки моделей, повысить стабильность моделей в производстве и улучшить сотрудничество между группами специалистов по данным, инженеров-программистов и ИТ-администраторов.
Обзор решения
AWS предлагает комплексный портфель облачных сервисов для разработки и запуска конвейеров MLOps масштабируемым и устойчивым образом. Создатель мудреца Амазонки включает в себя комплексный набор возможностей в качестве полностью управляемой службы MLOps, позволяющей разработчикам создавать, обучать, развертывать, эксплуатировать и управлять моделями машинного обучения в облаке. SageMaker охватывает весь рабочий процесс MLOps, от сбора до подготовки и обучения данных, с помощью встроенных высокопроизводительных алгоритмов и сложных автоматизированных экспериментов ML (AutoML), чтобы компании могли выбирать конкретные модели, соответствующие их бизнес-приоритетам и предпочтениям. SageMaker позволяет организациям совместно автоматизировать большую часть жизненного цикла MLOps, чтобы они могли сосредоточиться на бизнес-результатах, не рискуя задержками проекта или ростом затрат. Таким образом, SageMaker позволяет компаниям сосредоточиться на результатах, не беспокоясь об инфраструктуре, разработке и обслуживании, связанных с предоставлением услуг прогнозирования промышленного уровня.
SageMaker включает Amazon SageMaker JumpStart, который предлагает готовые шаблоны решений для организаций, стремящихся ускорить переход к MLOps. Организации могут начать с предварительно обученных моделей и моделей с открытым исходным кодом, которые можно точно настроить для удовлетворения своих конкретных потребностей путем переобучения и передачи знаний. Кроме того, JumpStart предоставляет шаблоны решений, предназначенные для решения распространенных задач, а также примеры блокнотов Jupyter с предварительно написанным начальным кодом. Доступ к этим ресурсам можно получить, просто посетив целевую страницу JumpStart в Студия Amazon SageMaker.
PwC разработала готовый ускоритель MLOps, который еще больше сокращает время окупаемости и повышает окупаемость инвестиций для организаций, использующих SageMaker. Этот ускоритель MLOps расширяет собственные возможности JumpStart за счет интеграции дополнительных сервисов AWS. Благодаря полному набору технических артефактов, включая сценарии инфраструктуры как кода (IaC), рабочие процессы обработки данных, код интеграции услуг и шаблоны конфигурации конвейера, ускоритель PwC MLOps упрощает процесс разработки и эксплуатации систем прогнозирования производственного класса.
Обзор архитектуры
Включение облачных бессерверных сервисов от AWS является приоритетом в архитектуре акселератора PwC MLOps. Точкой входа в этот ускоритель является любой инструмент для совместной работы, такой как Slack, который специалист по данным или инженер данных может использовать для запроса среды AWS для MLOps. Такой запрос анализируется, а затем полностью или полуавтоматически утверждается с использованием функций рабочего процесса в этом инструменте для совместной работы. После утверждения запроса его детали используются для параметризации шаблонов IaC. Исходный код для этих шаблонов IaC управляется в AWS CodeCommit. Эти параметризованные шаблоны IaC отправляются AWS CloudFormation для моделирования, подготовки и управления стеками AWS и сторонних ресурсов.
Следующая диаграмма иллюстрирует рабочий процесс.
После того как AWS CloudFormation подготовит среду для MLOps на AWS, среда будет готова для использования специалистами по данным, инженерами данных и их сотрудниками. Акселератор PWC включает предопределенные роли на Управление идентификацией и доступом AWS (IAM), которые связаны с действиями и задачами MLOps. Эти роли определяют службы и ресурсы в среде MLOps, к которым могут получить доступ различные пользователи в зависимости от их должностных профилей. После доступа к среде MLOps пользователи могут получить доступ к любым модальностям SageMaker для выполнения своих обязанностей. К ним относятся экземпляры ноутбуков SageMaker, Amazon SageMaker Автопилот эксперименты и студия. Вы можете воспользоваться всеми возможностями и функциями SageMaker, включая обучение моделей, настройку, оценку, развертывание и мониторинг.
Акселератор также включает соединения с Зона данных Amazon для совместного использования, поиска и обнаружения данных в масштабе за пределами организации для создания и обогащения моделей. Точно так же данные для обучения, тестирования, проверки и обнаружения дрейфа модели могут быть источником различных услуг, в том числе Амазонка Redshift, Сервис реляционной базы данных Amazon (Амазон РДС), Эластичная файловая система Amazon (Amazon EFS) и Простой сервис хранения Amazon (Амазон С3). Системы прогнозирования можно развертывать разными способами, в том числе напрямую в качестве конечных точек SageMaker, конечных точек SageMaker, завернутых в AWS Lambda функции и конечные точки SageMaker, вызываемые с помощью пользовательского кода на Амазон Эластик Кубернетес Сервис (Amazon EKS) или Эластичное вычислительное облако Amazon (Амазон ЕС2). Amazon CloudWatch используется для всестороннего мониторинга среды для MLOps на AWS для наблюдения за сигналами тревоги, журналами и данными о событиях по всему стеку (приложениям, инфраструктуре, сети и сервисам).
Следующая диаграмма иллюстрирует эту архитектуру.
Пример
В этом разделе мы поделимся наглядным примером из крупной страховой компании в Канаде. Основное внимание уделяется преобразующему воздействию внедрения ускорителя PwC Canada MLOps и шаблонов JumpStart.
Этот клиент сотрудничал с PwC Canada и AWS для решения проблем, связанных с неэффективной разработкой моделей и неэффективными процессами развертывания, отсутствием согласованности и совместной работы, а также трудностями масштабирования моделей машинного обучения. Реализация этого ускорителя MLOps совместно с шаблонами JumpStart позволила добиться следующего:
- Сквозная автоматизация – Автоматизация почти вдвое сократила время на предварительную обработку данных, обучение модели, настройку гиперпараметров, а также развертывание и мониторинг модели.
- Сотрудничество и стандартизация – Стандартизированные инструменты и структуры для обеспечения единообразия во всей организации почти удвоили скорость обновления моделей.
- Модель управления и соответствия – Они внедрили модельную структуру управления, чтобы гарантировать, что все модели машинного обучения соответствуют нормативным требованиям и придерживаются этических принципов компании, что снизило затраты на управление рисками на 40%.
- Масштабируемая облачная инфраструктура – Они вложили средства в масштабируемую инфраструктуру для эффективного управления огромными объемами данных и одновременного развертывания нескольких моделей машинного обучения, что позволило снизить затраты на инфраструктуру и платформу на 50 %.
- Быстрое развертывание – Готовое решение сократило время производства на 70 %.
Предоставляя лучшие практики MLOps с помощью пакетов быстрого развертывания, наш клиент смог снизить риски при реализации MLOps и раскрыть весь потенциал ML для ряда бизнес-функций, таких как прогнозирование рисков и оценка активов. В целом синергия между акселератором PwC MLOps и JumpStart позволила нашему клиенту упростить, масштабировать, защитить и поддерживать свою деятельность в области обработки и обработки данных.
Следует отметить, что решение PwC и AWS не относится к какой-либо отрасли и применимо ко всем отраслям и секторам.
Заключение
SageMaker и его ускорители позволяют организациям повысить производительность своих программ машинного обучения. Есть много преимуществ, включая, но не ограничиваясь следующим:
- Совместно создавайте варианты использования IaC, MLOps и AutoML, чтобы реализовать бизнес-преимущества от стандартизации.
- Обеспечьте эффективное экспериментальное прототипирование с кодом и без него, чтобы ускорить ИИ от разработки до развертывания с помощью IaC, MLOps и AutoML.
- Автоматизируйте утомительные и трудоемкие задачи, такие как разработка функций и настройка гиперпараметров, с помощью AutoML.
- Используйте парадигму непрерывного мониторинга модели, чтобы привести риск использования модели ML в соответствие с готовностью предприятия к риску.
Пожалуйста, свяжитесь с авторами этого поста, Консультации AWS в Канадеили PwC Канада чтобы узнать больше о Jumpstart и ускорителе MLOps от PwC.
Об авторах
Vik является партнером практики облачных вычислений и данных в PwC Canada. Он получил докторскую степень в области информационных наук в Университете Торонто. Он убежден, что существует телепатическая связь между его биологической нейронной сетью и искусственными нейронными сетями, которые он тренирует на SageMaker. Свяжись с ним в LinkedIn.
рукав моря является партнером отдела облачных вычислений и данных в PwC Canada, вместе со своей первоклассной командой технических алхимиков они создают очаровательные решения MLOP, которые гипнотизируют клиентов ускоренной ценностью для бизнеса. Вооружившись силой искусственного интеллекта и капелькой волшебства, Кайл превращает сложные задачи в цифровые сказки, делая невозможное возможным. Свяжись с ним в LinkedIn.
Франсуа является главным консультантом-консультантом AWS Professional Services Canada и руководит канадской практикой консультирования по данным и инновациям. Он помогает клиентам установить и внедрить их общее облачное путешествие и их программы данных, уделяя особое внимание видению, стратегии, бизнес-факторам, управлению, целевым операционным моделям и дорожным картам. Свяжись с ним в LinkedIn.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- ПлатонАйСтрим. Анализ данных Web3. Расширение знаний. Доступ здесь.
- Чеканка будущего с Эдриенн Эшли. Доступ здесь.
- Покупайте и продавайте акции компаний PREIPO® с помощью PREIPO®. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/accelerate-machine-learning-time-to-value-with-amazon-sagemaker-jumpstart-and-pwcs-mlops-accelerator/
- :имеет
- :является
- :нет
- $UP
- 100
- 7
- a
- в состоянии
- О нас
- ускорять
- ускоренный
- ускоритель
- ускорители
- доступ
- Доступ
- доступа
- достигнутый
- через
- активно
- Ad
- Дополнительно
- адрес
- администраторы
- принять
- Принятие
- консультативный
- После
- AI
- алгоритмы
- выравнивать
- Все
- позволять
- позволяет
- вдоль
- причислены
- Amazon
- Amazon EC2
- Амазон РДС
- Создатель мудреца Амазонки
- Amazon SageMaker JumpStart
- Amazon Web Services
- количество
- an
- и
- любой
- Приложения
- подхода
- утвержденный
- архитектура
- МЫ
- вооруженный
- искусственный
- искусственный интеллект
- Искусственный интеллект (AI)
- AS
- Оценка
- активы
- связанный
- At
- Авторы
- автоматизировать
- Автоматизированный
- Автоматизация
- автоматизация
- AutoML
- AWS
- AWS CloudFormation
- Профессиональные услуги AWS
- основанный
- BE
- становиться
- становление
- не являетесь
- польза
- Преимущества
- ЛУЧШЕЕ
- лучшие практики
- Лучшая
- между
- Блог
- Границы
- строить
- Строительство
- построенный
- встроенный
- бизнес
- хозяйственная деятельность
- Трансформация бизнеса
- бизнес
- но
- by
- расчеты
- CAN
- Канада
- канадские
- возможности
- случаев
- тематическое исследование
- случаев
- центральный
- Генеральный директор
- руководители
- вызов
- проблемы
- изменение
- изменения
- Выберите
- клиент
- клиентов
- облако
- облачная инфраструктура
- код
- сотрудничество
- Сбор
- COM
- выходит
- Общий
- Компании
- Компания
- Компании
- дополнительный
- полный
- комплекс
- комплексный
- состоит из
- расчеты
- Вычисление
- концерт
- Конфигурация
- Свяжитесь
- связи
- Коммутация
- соображения
- консультант
- обращайтесь
- (CIJ)
- Расходы
- Обложки
- трещина
- Создайте
- Создающий
- критической
- изготовленный на заказ
- клиент
- Клиенты
- данным
- Подготовка данных
- обработка данных
- наука о данных
- ученый данных
- База данных
- задержки
- доставки
- поставка
- зависимый
- развертывание
- развернуть
- развертывание
- развертывание
- описывать
- предназначенный
- подробнее
- застройщиков
- развивающийся
- Развитие
- Трудность
- Интернет
- непосредственно
- обнаружение
- домен
- удвоенны
- драйверы
- два
- Рано
- заработанный
- фактически
- эффективный
- включить
- включен
- позволяет
- охватывает
- инженер
- Проект и
- Инженеры
- повышать
- Усиливает
- обогащать
- обеспечивать
- Предприятие
- Весь
- запись
- Окружающая среда
- установить
- этический
- оценка
- События
- НИКОГДА
- пример
- Эксперименты
- Особенность
- Особенности
- Файл
- окончание
- Во-первых,
- первые шаги
- соответствовать
- Фокус
- фокусируется
- фокусировка
- после
- Что касается
- Рамки
- каркасы
- от
- полный
- полностью
- Функции
- далее
- порождать
- управление
- большой
- большой
- GUEST
- методические рекомендации
- Гиды
- вдвое
- he
- помогает
- высокая производительность
- выделив
- его
- его
- исторический
- Однако
- HTML
- HTTP
- HTTPS
- Настройка гиперпараметра
- Личность
- иллюстрирует
- Влияние
- осуществлять
- реализация
- в XNUMX году
- Осуществляющий
- что она
- улучшать
- in
- включают
- включает в себя
- В том числе
- включение
- Увеличение
- Увеличивает
- все больше и больше
- независимые
- промышленности
- промышленность
- неэффективное
- info
- информация
- Инфраструктура
- Инновации
- вход
- затраты
- страхование
- рефлексологии
- Интегрируя
- интеграции.
- Интеллекта
- в
- в действительности
- инвестиций
- инвестирование
- инвестиций
- вызывается
- вовлеченный
- IT
- ЕГО
- работа
- путешествие
- JPG
- Отсутствие
- посадка
- большой
- вести
- УЧИТЬСЯ
- узнали
- изучение
- Жизненный цикл
- Ограниченный
- машина
- обучение с помощью машины
- поддерживать
- техническое обслуживание
- Большинство
- Создание
- управлять
- управляемого
- управление
- управления
- способ
- руководство
- многих
- массивный
- математический
- зрелость
- значимым
- Встречайте
- ML
- млн операций в секунду
- модель
- Модели
- монитор
- Мониторинг
- БОЛЕЕ
- с разными
- родной
- природа
- Откройте
- почти
- потребности
- сеть
- сетей
- нейронной сети
- нейронные сети
- следующий
- особенно
- ноутбук
- отметил,
- наблюдать
- of
- Предложения
- on
- ONE
- с открытым исходным кодом
- работать
- операционный
- Операционный отдел
- or
- организация
- организационной
- организации
- наши
- за
- общий
- обзор
- пакеты
- страница
- парадигма
- часть
- партнер
- партнерство
- паттеранами
- Выполнять
- трубопровод
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Точка
- «портфель»
- возможное
- После
- потенциал
- мощностью
- Питание
- Включение питания
- практика
- практиками
- прогноз
- Predictions
- предпочтения
- подготовка
- цены
- Основной
- приоритеты
- процесс
- Процессы
- обработка
- Продукт
- Производство
- производительность
- профессиональный
- Профили
- FitPartner™
- Программы
- Проект
- продвижении
- макетирования
- обеспечивать
- приводит
- PWC
- ассортимент
- быстро
- Обменный курс
- скорее
- готовый
- реализовать
- разумный
- последний
- уменьшить
- Цена снижена
- снижение
- регуляторы
- Связанный
- Отношения
- относительно
- соответствующие
- запросить
- Требования
- упругий
- Полезные ресурсы
- Итоги
- возвращают
- Снижение
- управление рисками
- рисковать
- Дорожные карты
- роли
- Бег
- безопасно
- sagemaker
- масштабируемые
- Шкала
- масштабирование
- Наука
- Ученый
- Ученые
- скрипты
- поиск
- Раздел
- Сектора юридического права
- безопасный
- поиск
- Serverless
- обслуживание
- Услуги
- набор
- Поделиться
- разделение
- должен
- существенно
- Аналогичным образом
- просто
- упростить
- просто
- одновременно
- слабина
- So
- Software
- Решение
- Решения
- сложный
- Источник
- исходный код
- конкретный
- скорость
- Стабильность
- стек
- Стеки
- этапы
- Начало
- Начало
- Шаги
- диск
- Стратегически
- стратегий
- Стратегия
- упорядочить
- структурированный
- студия
- Кабинет
- представленный
- такие
- suite
- поддержка
- комфортного
- взаимодействие
- системы
- снасти
- взять
- цель
- задачи
- команда
- команды
- технологии
- Технический
- Технологии
- шаблоны
- terms
- Тестирование
- чем
- который
- Ассоциация
- Источник
- мир
- их
- Их
- сами
- тогда
- Там.
- Эти
- они
- мышление
- сторонние
- этой
- Через
- время
- кропотливый
- в
- инструментом
- инструменты
- Торонто
- Train
- Обучение
- поезда
- перевод
- трансформация
- преобразующей
- Получается
- типично
- Университет
- отпереть
- представила
- Применение
- использование
- используемый
- пользователей
- через
- ценностное
- разнообразие
- различный
- разносторонний
- видение
- тома
- законопроект
- Путь..
- способы
- we
- Ткать
- Web
- веб-сервисы
- ЧТО Ж
- который
- КТО
- будете
- в
- без
- Рабочие процессы
- Мир
- Завернутый
- лет
- Ты
- зефирнет