Обеспечьте мониторинг корпоративного уровня для своих моделей Amazon SageMaker с помощью Fiddler.

Это гостевая запись в блоге Дэнни Брока, Раджива Говиндана и Кришнарама Кентапади из Fiddler AI.

ВАШЕ Создатель мудреца Амазонки модели живые. Они ежедневно обрабатывают миллионы выводов и улучшают бизнес-результаты вашей компании. Они работают точно так же, как и в день запуска.

Э, подожди. Они? Может быть. Возможно, нет.

Без корпоративного класса мониторинг модели, ваши модели могут разлагаться в тишине. Ваши команды по машинному обучению (ML) могут никогда не узнать, что эти модели на самом деле превратились из чудес получения дохода в обязательство принимать неправильные решения, которые стоят вашей компании времени и денег.

Не волнуйтесь. Решение ближе, чем вы думаете.

Скрипач, решение для управления производительностью моделей корпоративного класса, доступное на веб-сайте Торговая площадка AWS, предлагает мониторинг моделей и объяснимый ИИ, чтобы помочь командам машинного обучения проверять и решать широкий спектр проблем с моделями. Благодаря мониторингу моделей, объяснимости моделей, аналитике и обнаружению смещения Fiddler предоставляет вашей компании простую в использовании единую панель управления, чтобы убедиться, что ваши модели ведут себя должным образом. А если это не так, Fiddler также предоставляет функции, которые позволяют вам проверять свои модели, чтобы найти основные причины снижения производительности.

Этот пост показывает, как ваш млн операций в секунду Team может повысить производительность специалистов по обработке и анализу данных и сократить время обнаружения проблем с моделями, развернутыми в SageMaker, за счет интеграции с платформой управления производительностью моделей Fiddler за несколько простых шагов.

Обзор решения

Следующая эталонная архитектура выделяет основные точки интеграции. Fiddler существует как дополнение к существующему рабочему процессу SageMaker ML.

В оставшейся части этого поста вы узнаете, как интегрировать модель SageMaker с Fiddler. Платформа управления производительностью модели:

1. Убедитесь, что в вашей модели включен сбор данных.
2. Создайте пробную среду Fiddler.
3. Зарегистрируйте информацию о своей модели в среде Fiddler.
4. Создать AWS Lambda для публикации выводов SageMaker в Fiddler.
5. Изучите возможности мониторинга Fiddler в пробной среде Fiddler.

Предпосылки

В этом посте предполагается, что вы настроили SageMaker и развернули конечную точку модели. Чтобы узнать, как настроить SageMaker для обслуживания моделей, см. Развертывание моделей для логического вывода. Некоторые примеры также доступны на Репо GitHub.

Убедитесь, что в вашей модели включен сбор данных

В консоли SageMaker перейдите к конечной точке обслуживания вашей модели и убедитесь, что вы включили Сбор данных в Простой сервис хранения Amazon (Amazon S3) ведро. Здесь хранятся выводы (запросы и ответы), которые ваша модель делает каждый день, как Файлы строк JSON (.jsonl) в Amazon S3.

Создание пробной среды Fiddler

Из издания скрипач.ай сайт, вы можете запросить бесплатную пробную версию. После заполнения быстрой формы Fiddler свяжется с вами, чтобы понять особенности управления производительностью вашей модели, и через несколько часов подготовит для вас пробную среду. Вы можете рассчитывать на выделенную среду, например https://yourcompany.try.fiddler.ai.

Зарегистрируйте информацию о своей модели в среде Fiddler.

Прежде чем вы сможете начать публикацию событий из модели, размещенной в SageMaker, в Fiddler, вам необходимо создать проект в пробной среде Fiddler и предоставить Fiddler сведения о вашей модели с помощью шага, называемого регистрация модели. Если вы хотите использовать предварительно настроенный блокнот изнутри Студия Amazon SageMaker вместо того, чтобы копировать и вставлять следующие фрагменты кода, вы можете обратиться к записной книжке с кратким руководством по Fiddler на GitHub. Studio предоставляет единый визуальный веб-интерфейс, в котором можно выполнять все этапы разработки машинного обучения.

Во-первых, вы должны установить Клиент Fiddler для Python в блокноте SageMaker и создайте экземпляр клиента Fiddler. Вы можете получить AUTH_TOKEN из Настройки в пробной среде Fiddler.

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

Затем создайте проект в пробной среде Fiddler:

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

Теперь загрузите свой тренировочный набор данных. Блокнот также предоставляет образец набора данных для запуска Fiddler. объяснимость алгоритмы и в качестве основы для мониторинга метрик. Набор данных также используется для создания схемы этой модели в Fiddler.

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

Наконец, прежде чем вы сможете публиковать выводы в Fiddler для мониторинга, анализа первопричин и объяснений, вам необходимо зарегистрировать свою модель. Давайте сначала создадим model_info объект, содержащий метаданные о вашей модели:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

Затем вы можете зарегистрировать модель, используя свой новый model_info объект:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

Большой! Теперь вы можете публиковать некоторые события в Fiddler, чтобы наблюдать за производительностью модели.

Создайте функцию Lambda для публикации выводов SageMaker в Fiddler.

Благодаря простой в развертывании бессерверной архитектуре Lambda вы можете быстро создать механизм, необходимый для переноса ваших выводов из корзины S3, которую вы настроили ранее, в недавно подготовленную пробную среду Fiddler. Эта функция Lambda отвечает за открытие любых новых файлов журнала событий JSONL в корзине S3 вашей модели, анализ и форматирование содержимого JSONL в фрейм данных, а затем публикацию этого фрейма данных событий в вашей пробной среде Fiddler. На следующем снимке экрана показаны детали кода нашей функции.

Функцию Lambda необходимо настроить для запуска вновь созданных файлов в корзине S3. Следующее учебник проведет вас через создание Amazon EventBridge триггер, который вызывает функцию Lambda всякий раз, когда файл загружается в Amazon S3. На следующем снимке экрана показана конфигурация триггера нашей функции. Это позволяет легко гарантировать, что каждый раз, когда ваша модель делает новые выводы, эти события, хранящиеся в Amazon S3, загружаются в Fiddler для обеспечения наблюдаемости модели, необходимой вашей компании.

Для дальнейшего упрощения код этой лямбда-функции находится в открытом доступе на сайте Сайт документации Fiddler. Этот пример кода в настоящее время работает для моделей двоичной классификации со структурированными входными данными. Если у вас есть типы моделей с другими функциями или задачами, обратитесь в Fiddler за помощью с небольшими изменениями в коде.

Функция Lambda должна ссылаться на клиент Fiddler Python. Fiddler создал общедоступный слой Lambda, на который вы можете ссылаться, чтобы убедиться, что import fiddler as fdl шаг работает без проблем. Вы можете сослаться на этот слой через ARN в регионе us-west-2: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1, как показано на следующем скриншоте.

Вам также необходимо указать переменные среды Lambda, чтобы функция Lambda знала, как подключиться к вашей пробной среде Fiddler и какие входные и выходные данные находятся в файлах .jsonl, захватываемых вашей моделью. На следующем снимке экрана показан список необходимых переменных среды, которые также находятся на Сайт документации Fiddler. Обновите значения переменных среды, чтобы они соответствовали вашей модели и набору данных.

Изучите возможности мониторинга Fiddler в пробной среде Fiddler.

Вы сделали это! Теперь, когда ваши базовые данные, модель и трафик подключены, вы можете объяснить дрейф данныхвыбросы, предвзятость модели, проблемы с данными и скачки производительности, а также делиться информационными панелями с другими. Завершите свое путешествие по просмотр демо о возможностях управления эффективностью модели, которые вы внедрили в свою компанию.

Приведенные ниже примеры снимков экрана дают представление о такой аналитической информации о модели, как дрейф, обнаружение выбросов, объяснения локальных точек и аналитика модели, которые можно найти в пробной среде Fiddler.

Заключение

В этом посте подчеркивается необходимость корпоративного класса мониторинг модели и показал, как вы можете интегрировать свои модели, развернутые в SageMaker, с Платформа управления производительностью модели Fiddler всего за несколько шагов. Fiddler предлагает функции для мониторинга моделей, объяснимого искусственного интеллекта, обнаружения предвзятости и анализа первопричин. Торговая площадка AWS. Предоставляя свой млн операций в секунду Team с простой в использовании единой панелью управления, чтобы убедиться, что ваши модели ведут себя должным образом, и определить основные причины снижения производительности, Fiddler может помочь повысить производительность специалистов по обработке и анализу данных и сократить время на обнаружение и устранение проблем.

Если вы хотите узнать больше о Fiddler, посетите скрипач.ай или если вы предпочитаете настроить персонализированную демонстрацию и техническое обсуждение по электронной почте sales@fiddler.ai.

Об авторах

Дэнни Брок является старшим инженером по решениям в Fiddler AI. Дэнни долгое время работал в сфере аналитики и машинного обучения, руководя предпродажными и послепродажными командами для таких стартапов, как Endeca и Incorta. В 2012 году он основал собственную консалтинговую компанию по анализу больших данных Branchbird.

Раджив Говиндан является старшим инженером по решениям в Fiddler AI. Раджив имеет обширный опыт в сфере продаж и разработки программного обеспечения в нескольких корпоративных компаниях, включая AppDynamics.

Кришнарам Кентапади является главным научным сотрудником Fiddler AI. Ранее он был главным научным сотрудником Amazon AWS AI, где руководил инициативами по обеспечению справедливости, объяснимости, конфиденциальности и понимания моделей на платформе Amazon AI, а до этого занимал должности в LinkedIn AI и Microsoft Research. Кришнарам получил степень доктора компьютерных наук в Стэнфордском университете в 2006 году.