Этот пост был написан в сотрудничестве с Анкуром Гоялом и Картикеяном Чокаппой из подразделения облачных и цифровых технологий PwC в Австралии.
Искусственный интеллект (ИИ) и машинное обучение (МО) становятся неотъемлемой частью систем и процессов, позволяя принимать решения в режиме реального времени, тем самым обеспечивая улучшение как основных, так и конечных результатов в организациях. Однако внедрение модели машинного обучения в производство в большом масштабе является сложной задачей и требует набора лучших практик. Во многих компаниях уже есть специалисты по данным и инженеры по машинному обучению, которые могут создавать современные модели, но внедрение моделей в производство и поддержание моделей в масштабе остается проблемой. Ручные рабочие процессы ограничивают операции жизненного цикла машинного обучения, замедляя процесс разработки, увеличивая затраты и ставя под угрозу качество конечного продукта.
Операции машинного обучения (MLOps) применяют принципы DevOps к системам ML. Подобно тому, как DevOps сочетает в себе разработку и эксплуатацию программного обеспечения, MLOps сочетает в себе разработку машинного обучения и ИТ-операции. В условиях быстрого роста систем машинного обучения и в контексте проектирования машинного обучения MLOps предоставляет возможности, необходимые для решения уникальных сложностей практического применения систем машинного обучения. В целом, варианты использования ML требуют легкодоступного интегрированного решения для индустриализации и оптимизации процесса, который переводит модель ML от разработки к промышленному развертыванию в масштабе с использованием MLOps.
Чтобы решить эти проблемы клиентов, PwC Australia разработала Machine Learning Ops Accelerator как набор стандартизированных процессов и технологических возможностей для улучшения внедрения моделей искусственного интеллекта и машинного обучения, которые обеспечивают межфункциональное сотрудничество между командами на протяжении всего жизненного цикла операций машинного обучения. PwC Machine Learning Ops Accelerator, созданный на базе собственных сервисов AWS, представляет собой оптимальное решение, которое легко интегрируется в сценарии использования машинного обучения для клиентов во всех отраслях. В этом посте мы сосредоточимся на создании и развертывании варианта использования ML, который объединяет различные компоненты жизненного цикла модели ML, обеспечивая непрерывную интеграцию (CI), непрерывную доставку (CD), непрерывное обучение (CT) и непрерывный мониторинг (CM).
Обзор решения
В MLOps успешный путь от данных к моделям машинного обучения, рекомендациям и прогнозам в бизнес-системах и процессах включает несколько важных шагов. Он предполагает использование результатов эксперимента или прототипа и превращение их в производственную систему со стандартными элементами управления, качества и обратной связью. Это гораздо больше, чем просто автоматизация. Речь идет об совершенствовании организационных практик и достижении результатов, которые можно повторять и воспроизводить в масштабе.
Лишь небольшая часть реального варианта использования машинного обучения включает в себя саму модель. Различные компоненты, необходимые для создания интегрированных расширенных возможностей машинного обучения и непрерывной их эксплуатации в масштабе, показаны на рисунке 1. Как показано на следующей диаграмме, PwC MLOps Accelerator включает семь ключевых интегрированных возможностей и итерационные шаги, которые обеспечивают CI, CD, CT и CM варианта использования ML. Решение использует преимущества собственных функций AWS от Создатель мудреца Амазонки, создавая вокруг этого гибкую и расширяемую структуру.
В реальном корпоративном сценарии могут существовать дополнительные шаги и этапы тестирования для обеспечения тщательной проверки и развертывания моделей в различных средах.
- Управление данными и моделями предоставить централизованную возможность, которая управляет артефактами ML на протяжении всего их жизненного цикла. Это обеспечивает возможность аудита, отслеживания и соблюдения требований. Это также способствует возможности совместного использования, повторного использования и обнаружения ресурсов ML.
- Разработка модели машинного обучения позволяет различным специалистам разработать надежный и воспроизводимый конвейер обучения модели, который включает последовательность шагов: от проверки и преобразования данных до обучения и оценки модели.
- Непрерывная интеграция/доставка облегчает автоматизированное создание, тестирование и упаковку конвейера обучения модели и его развертывание в целевой среде выполнения. Интеграция с рабочими процессами CI/CD и управлением версиями данных способствует использованию лучших практик MLOps, таких как управление и мониторинг итеративной разработки и управления версиями данных.
- Непрерывное обучение модели ML возможность выполняет конвейер обучения на основе триггеров переобучения; то есть по мере того, как становятся доступными новые данные или производительность модели падает ниже заданного порога. Он регистрирует обученную модель, если она квалифицируется как успешная модель-кандидат, и сохраняет артефакты обучения и связанные метаданные.
- Развертывание модели обеспечивает доступ к зарегистрированной обученной модели для проверки и утверждения для выпуска в производство, а также позволяет упаковывать, тестировать и развертывать модель в среде службы прогнозирования для обслуживания в рабочей среде.
- Служба прогнозов возможность запускает развернутую модель для обеспечения прогнозирования с помощью онлайн-, пакетных или потоковых шаблонов. Среда выполнения также записывает журналы обслуживания моделей для постоянного мониторинга и улучшений.
- Непрерывный мониторинг контролирует модель на предмет прогнозируемой эффективности для обнаружения упадка модели и эффективности обслуживания (задержка, продолжительность конвейера и ошибки выполнения)
Архитектура акселератора операций машинного обучения PwC
Решение построено на базе собственных сервисов AWS с использованием Amazon SageMaker и бессерверной технологии, что обеспечивает высокую производительность и масштабируемость, а также низкие эксплуатационные расходы.
- PwC Machine Learning Ops Accelerator предоставляет индивидуальное право доступа для разработки, использования и операций, которое позволяет инженерам ML и специалистам по обработке данных автоматизировать развертывание конвейеров (обучение и обслуживание) и быстро реагировать на изменения качества модели. Диспетчер ролей Amazon SageMaker используется для реализации ролевой деятельности ML и Amazon S3 используется для хранения входных данных и артефактов.
- Решение использует имеющиеся у клиента ресурсы для создания моделей и создает вокруг них гибкую и расширяемую структуру с использованием собственных сервисов AWS. Между Amazon S3, Git и AWS CodeCommit реализована интеграция, которая позволяет управлять версиями наборов данных с минимальным управлением в будущем.
- Шаблон AWS CloudFormation создается с использованием Комплект для разработки облака AWS (AWS CDK). AWS CDK предоставляет возможность управлять изменениями всего решения. Автоматизированный конвейер включает в себя этапы готового хранения модели и отслеживания показателей.
- PwC MLOps Accelerator имеет модульную структуру и поставляется в формате «инфраструктура как код» (IaC), что позволяет осуществлять автоматическое развертывание. В процессе развертывания используется AWS CodeCommit, Сборка кода AWS, Кодовый конвейер AWSи шаблон AWS CloudFormation. Полное комплексное решение для реализации модели машинного обучения доступно в виде развертываемого кода.
- С помощью серии шаблонов IaC развертываются три отдельных компонента: построение модели, развертывание модели и обслуживание модели для мониторинга и прогнозирования с использованием Конвейеры Amazon SageMaker
- Конвейер построения модели автоматизирует процесс обучения и оценки модели, а также позволяет утверждать и регистрировать обученную модель.
- Конвейер развертывания модели предоставляет необходимую инфраструктуру для развертывания модели машинного обучения для пакетного вывода и вывода в реальном времени.
- Конвейер обслуживания моделей мониторинга и прогнозирования развертывает инфраструктуру, необходимую для обслуживания прогнозов и мониторинга производительности модели.
- PwC MLOps Accelerator не зависит от моделей машинного обучения, платформ машинного обучения и сред выполнения. Решение позволяет использовать знакомые языки программирования, такие как Python и R, инструменты разработки, такие как Jupyter Notebook, и платформы машинного обучения через файл конфигурации. Такая гибкость позволяет ученым, работающим с данными, постоянно совершенствовать модели и развертывать их, используя предпочитаемый ими язык и среду.
- Решение имеет встроенную интеграцию для использования готовых или пользовательских инструментов для назначения задач по маркировке с помощью Amazon SageMaker - основа правды для наборов обучающих данных для обеспечения непрерывного обучения и мониторинга.
- Сквозной конвейер машинного обучения спроектирован с использованием собственных функций SageMaker (Студия Amazon SageMaker , Конвейеры построения моделей Amazon SageMaker, Эксперименты с Amazon SageMakerи Конечные точки Amazon SageMaker).
- В решении используются встроенные возможности Amazon SageMaker для управления версиями моделей, отслеживания происхождения моделей, совместного использования моделей и бессерверного вывода с помощью Реестр моделей Amazon SageMaker.
- После того как модель запущена в производство, решение непрерывно контролирует качество моделей машинного обучения в режиме реального времени. Монитор моделей Amazon SageMaker используется для непрерывного мониторинга моделей в производстве. Amazon CloudWatch Logs используется для сбора файлов журналов, отслеживающих состояние модели, а уведомления отправляются с помощью Amazon SNS, когда качество модели достигает определенных пороговых значений. Собственные регистраторы, такие как (бото3) используются для регистрации статуса выполнения, чтобы ускорить устранение неполадок.
Пошаговое руководство по решению
В следующем пошаговом руководстве рассматриваются стандартные шаги по созданию процесса MLOps для модели с использованием PwC MLOps Accelerator. В этом пошаговом руководстве описан случай использования инженером MLOps, который хочет развернуть конвейер для недавно разработанной модели машинного обучения, используя простой интуитивно понятный файл определения/конфигурации.
- Для начала зарегистрируйтесь Акселератор PwC MLOps чтобы получить доступ к артефактам решения. Все решение основано на одном файле конфигурации YAML (
config.yaml
) для каждой модели. Все сведения, необходимые для запуска решения, содержатся в этом файле конфигурации и хранятся вместе с моделью в репозитории Git. Файл конфигурации будет служить входными данными для автоматизации этапов рабочего процесса путем вывода важных параметров и настроек за пределы кода. - Инженер ML должен заполнить
config.yaml
файл и запустить конвейер MLOps. Клиенты могут настроить учетную запись AWS, репозиторий, модель, используемые данные, имя конвейера, среду обучения, количество экземпляров, используемых для обучения, структуру вывода, а также любые шаги предварительной и последующей обработки и некоторые другие. конфигурации для проверки качества модели, предвзятости и объяснимости.
- Простой файл YAML используется для настройки требований к обучению, развертыванию, мониторингу и времени выполнения каждой модели. Однажды
config.yaml
настроен соответствующим образом и сохранен вместе с моделью в собственном репозитории Git, вызывается оркестратор построения модели. Он также может считывать данные из модели «Принеси свою собственную модель», которую можно настроить через YAML для запуска развертывания конвейера сборки модели. - Все, что происходит после этого момента, автоматизировано решением и не требует участия ни инженера ML, ни специалиста по данным. Конвейер, отвечающий за построение модели машинного обучения, включает предварительную обработку данных, обучение модели, оценку модели и ost-обработку. Если модель проходит автоматические тесты качества и производительности, она сохраняется в реестре, а артефакты записываются в хранилище Amazon S3 в соответствии с определениями в файлах YAML. Это запускает создание конвейера развертывания модели для этой модели ML.
- Затем шаблон автоматического развертывания подготавливает модель в промежуточной среде с работающей конечной точкой. После утверждения модель автоматически развертывается в производственной среде.
- В решении развертываются два связанных конвейера. Обслуживание прогнозов развертывает доступную действующую конечную точку, через которую можно обслуживать прогнозы. Мониторинг модели создает инструмент непрерывного мониторинга, который рассчитывает ключевые показатели производительности и качества модели, запуская переобучение модели, если обнаружено значительное изменение качества модели.
- Теперь, когда вы завершили создание и первоначальное развертывание, инженер MLOps может настроить оповещения о сбоях, чтобы получать оповещения о проблемах, например, когда конвейер не может выполнить запланированную работу.
- MLOps больше не касается упаковки, тестирования и развертывания компонентов облачных сервисов, аналогично традиционному развертыванию CI/CD; это система, которая должна автоматически развертывать другой сервис. Например, конвейер обучения модели автоматически развертывает конвейер развертывания модели для включения службы прогнозирования, что, в свою очередь, активирует службу мониторинга модели.
Заключение
Подводя итог, MLOps имеет решающее значение для любой организации, которая стремится развернуть модели машинного обучения в производственных системах в большом масштабе. PwC разработала акселератор для автоматизации создания, развертывания и поддержки моделей машинного обучения посредством интеграции инструментов DevOps в процесс разработки моделей.
В этом посте мы рассмотрели, как решение PwC основано на собственных сервисах машинного обучения AWS и помогает внедрить практики MLOps, чтобы компании могли ускорить внедрение искусственного интеллекта и получить больше пользы от своих моделей машинного обучения. Мы рассмотрели шаги, которые должен предпринять пользователь, чтобы получить доступ к акселератору операций машинного обучения PwC, запустить конвейеры и развернуть вариант использования ML, который объединяет различные компоненты жизненного цикла модели ML.
Чтобы начать работу с MLOps в облаке AWS в любом масштабе и запускать рабочие нагрузки машинного обучения, зарегистрируйтесь в PwC: Операции по машинному обучению.
Об авторах
Киран Кумар Баллари является главным архитектором решений в Amazon Web Services (AWS). Он евангелист, который любит помогать клиентам использовать новые технологии и создавать повторяемые отраслевые решения для решения их проблем. Он особенно увлечен разработкой программного обеспечения, генеративным искусственным интеллектом и помогает компаниям в разработке продуктов AI/ML.
Анкур Гоял — директор практики облачных и цифровых технологий PwC в Австралии, специализирующейся на данных, аналитике и искусственном интеллекте. Анкур имеет обширный опыт поддержки организаций государственного и частного секторов в реализации технологических преобразований и разработке инновационных решений путем использования активов данных и технологий.
Картикеян Чокаппа (KC) — менеджер практики облачных и цифровых технологий PwC Australia, специализирующейся на данных, аналитике и искусственном интеллекте. KC увлечен проектированием, разработкой и внедрением комплексных аналитических решений, которые преобразуют данные в ценные активы для принятия решений, повышая производительность и использование, а также снижая общую стоимость владения подключенными и интеллектуальными вещами.
Рама-Ланкалапалли — старший архитектор партнерских решений в AWS, работающий с PwC над ускорением миграции и модернизации своих клиентов на AWS. Он работает в различных отраслях, чтобы ускорить внедрение облака AWS. Его опыт заключается в разработке эффективных и масштабируемых облачных решений, внедрении инноваций и модернизации клиентских приложений за счет использования сервисов AWS и создании устойчивых облачных основ.
Джиджи Унвалла — старший архитектор решений в AWS, которому нравится помогать клиентам решать проблемы и стратегически мыслить. Он увлечен технологиями и данными, а также внедрением инноваций.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/driving-advanced-analytics-outcomes-at-scale-using-amazon-sagemaker-powered-pwcs-machine-learning-ops-accelerator/
- :имеет
- :является
- :нет
- $UP
- 1
- 100
- 1951
- 2024
- 32
- 33
- 7
- a
- способность
- О нас
- ускорять
- ускоритель
- доступ
- доступной
- Учетная запись
- через
- деятельность
- дополнительный
- адрес
- принять
- Принятие
- продвинутый
- плюс
- После
- AI
- AI / ML
- Цель
- Оповещения
- Все
- позволять
- позволяет
- вдоль
- рядом
- уже
- причислены
- Amazon
- Создатель мудреца Амазонки
- Amazon Web Services
- Веб-службы Amazon (AWS)
- an
- аналитика
- и
- Другой
- любой
- Применение
- Приложения
- применяется
- надлежащим образом
- утверждение
- утвердить
- архитектура
- МЫ
- около
- AS
- Активы
- связанный
- At
- проверяемость
- Австралия
- автоматизировать
- Автоматизированный
- автоматы
- Автоматический
- автоматически
- автоматизация
- доступен
- AWS
- AWS CloudFormation
- основанный
- BE
- становится
- становление
- было
- ниже
- ЛУЧШЕЕ
- лучшие практики
- между
- смещение
- строить
- строить из
- Строительство
- строит
- построенный
- встроенный
- бизнес
- бизнес
- но
- by
- исчисляет
- CAN
- кандидат
- возможности
- возможности
- захватить
- перехватывает
- случаев
- случаев
- CD
- центральный
- определенный
- вызов
- проблемы
- сложные
- изменение
- изменения
- проверка
- облако
- код
- сотрудничество
- собирать
- комбинаты
- Компании
- полный
- сложности
- Соответствие закону
- компоненты
- состоит из
- скомпрометированы
- Конфигурация
- настроить
- подключенный
- содержащегося
- контекст
- (CIJ)
- непрерывно
- контрольная
- Цена
- Расходы
- Создайте
- создает
- создание
- критической
- решающее значение
- изготовленный на заказ
- клиент
- Клиенты
- данным
- ученый данных
- Наборы данных
- решение
- решения
- Определения
- поставляется
- доставки
- обеспечивает
- поставка
- развертывание
- развернуть
- развертывание
- развертывание
- развертывания
- развертывает
- предназначенный
- проектирование
- подробнее
- обнаруживать
- обнаруженный
- развивать
- развитый
- развивающийся
- Развитие
- Инструменты разработки
- различный
- Интернет
- директор
- отчетливый
- Разное
- do
- приносит
- вниз
- управляемый
- вождение
- каждый
- простота
- легко
- эффективность
- эффективный
- или
- включить
- позволяет
- позволяет
- впритык
- Конечная точка
- инженер
- Проект и
- Инженеры
- обеспечивать
- Предприятие
- Весь
- право
- Окружающая среда
- средах
- ошибки
- особенно
- налаживание
- оценка
- Евангелист
- пример
- Выполняет
- выполнение
- существовать
- существующий
- ускорять
- опыт
- эксперимент
- опыта
- Разведанный
- обширный
- Богатый опыт
- не удается
- Ошибка
- знакомый
- Особенности
- Обратная связь
- фигура
- Файл
- Файлы
- окончательный
- Трансформируемость
- гибкого
- Фокус
- внимание
- после
- Что касается
- Устои
- доля
- Рамки
- каркасы
- от
- будущее
- Gain
- генерируется
- генеративный
- Генеративный ИИ
- получить
- идти
- ушел
- управление
- Управляет
- земля
- Рост
- обрабатывать
- Есть
- he
- помощь
- помощь
- помогает
- High
- его
- Хиты
- Как
- Однако
- HTML
- HTTPS
- if
- осуществлять
- важную
- улучшать
- улучшение
- улучшение
- in
- включает в себя
- Увеличение
- промышленности
- промышленность
- Инфраструктура
- начальный
- Инновации
- инновационный
- вход
- рефлексологии
- интегрированный
- Интегрируется
- Интегрируя
- интеграции.
- интеграций
- Интеллекта
- Умный
- предназначенных
- в
- интуитивный
- вызывается
- участие
- вопросы
- IT
- ЕГО
- саму трезвость
- работа
- путешествие
- JPG
- всего
- Сохранить
- Основные
- Кумар
- маркировка
- язык
- Языки
- Задержка
- изучение
- Кредитное плечо
- Используя
- лежит
- Жизненный цикл
- такое как
- ОГРАНИЧЕНИЯ
- происхождение
- связанный
- жить
- журнал
- дольше
- любит
- Низкий
- машина
- обучение с помощью машины
- Сохранение
- ДЕЛАЕТ
- управлять
- управление
- менеджер
- руководство
- многих
- Май..
- Метаданные
- метрический
- Метрика
- минимальный
- ML
- млн операций в секунду
- модель
- Модели
- модульный
- монитор
- Мониторинг
- Мониторы
- БОЛЕЕ
- много
- имя
- родной
- необходимо
- Необходимость
- необходимый
- Новые
- Новые технологии
- нет
- ноутбук
- Уведомления
- номер
- of
- on
- консолидировать
- ONE
- онлайн
- работать
- Операционный отдел
- or
- организация
- организации
- Другое
- Результаты
- внешнюю
- общий
- собственный
- собственность
- коробок
- параметры
- часть
- партнер
- проходит
- страстный
- паттеранами
- для
- производительность
- трубопровод
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Точка
- После
- Питание
- практическое
- практика
- практиками
- прогноз
- Predictions
- привилегированный
- Основной
- Принципы
- частная
- частный сектор
- проблемам
- процесс
- Процессы
- Продукт
- разработка продукта
- Производство
- Программирование
- языки программирования
- продвижении
- способствует
- прототип
- обеспечивать
- приводит
- что такое варган?
- Полагая
- PWC
- Питон
- R
- быстро
- быстро
- Читать
- легко
- реальные
- реальный мир
- реального времени
- недавно
- рекомендаций
- уменьшить
- совершенствовать
- зарегистрированный
- регистры
- Регистрация
- реестра
- освободить
- остатки
- повторяемый
- хранилище
- требовать
- обязательный
- Требования
- требуется
- упругий
- Реагируйте
- ответственный
- результат
- обзоре
- тщательный
- надежный
- Роли
- Run
- Бег
- время выполнения
- sagemaker
- сохраняются
- Масштабируемость
- масштабируемые
- Шкала
- сценарий
- Ученый
- Ученые
- сектор
- старший
- послать
- Последовательность
- Серии
- служить
- служил
- Serverless
- обслуживание
- Услуги
- выступающей
- набор
- настройки
- семь
- несколько
- разделение
- должен
- показанный
- значительный
- аналогичный
- просто
- медленной
- небольшой
- So
- Software
- разработка программного обеспечения
- Решение
- Решения
- РЕШАТЬ
- Решение
- скорость
- этапы
- инсценировка
- стандарт
- и политические лидеры
- начинается
- современное состояние
- Статус:
- Шаги
- диск
- магазин
- хранить
- магазины
- простой
- Стратегически
- потоковый
- упорядочить
- успешный
- такие
- РЕЗЮМЕ
- поддержки
- система
- системы
- взять
- принимает
- с
- цель
- задачи
- команды
- технологии
- технологии
- Технологии
- шаблон
- шаблоны
- Тестирование
- тестов
- чем
- который
- Ассоциация
- их
- Их
- тем самым
- Эти
- вещи
- мышление
- этой
- три
- порог
- Через
- по всему
- время
- в
- инструментом
- инструменты
- топ
- Всего
- Прослеживаемость
- Отслеживание
- традиционный
- специалистов
- Обучение
- Transform
- трансформация
- преобразований
- вызвать
- срабатывание
- ОЧЕРЕДЬ
- Поворот
- два
- созданного
- на
- Применение
- использование
- прецедент
- используемый
- Информация о пользователе
- использования
- через
- Проверка
- ценный
- ценностное
- различный
- с помощью
- ходил
- прохождение
- хочет
- законопроект
- we
- Web
- веб-сервисы
- когда
- , которые
- КТО
- будете
- в
- рабочий
- Рабочие процессы
- работает
- работает
- бы
- письменный
- YAML
- ВАШЕ
- зефирнет