Досягніть корпоративного рівня моніторингу своїх моделей Amazon SageMaker за допомогою Fiddler

Це гостьовий допис у блозі Денні Брока, Раджива Говіндана та Крішнарама Кентападі з Fiddler AI.

вашу Amazon SageMaker моделі живі. Вони обробляють мільйони висновків щодня та покращують бізнес-результати для вашої компанії. Вони працюють так само добре, як і в день їх запуску.

Е, почекай. Чи вони? Може бути. Можливо ні.

Без підприємства-класу моніторинг моделі, ваші моделі можуть мовчки розпадатися. Ваші команди машинного навчання (ML) можуть ніколи не дізнатись, що ці моделі фактично перетворилися з чудес генерування доходу на зобов’язання, які приймають неправильні рішення, які коштують часу та грошей вашій компанії.

Не хвилюйтеся. Рішення ближче, ніж ви думаєте.

скрипаль, рішення корпоративного класу Model Performance Management, доступне на Торговий майданчик AWS, пропонує моніторинг моделі та пояснюваний штучний інтелект, щоб допомогти командам ML перевіряти та вирішувати широкий спектр проблем моделі. Завдяки моніторингу моделей, пояснюваності моделі, аналітиці та виявленню зміщень Fiddler надає вашій компанії простий у користуванні єдиний скло, який гарантує, що ваші моделі поводяться належним чином. А якщо ні, Fiddler також надає функції, які дозволяють вам перевіряти свої моделі, щоб знайти основні причини зниження продуктивності.

Ця публікація показує, як ваш MLOps Команда може підвищити продуктивність спеціалістів із обробки даних і скоротити час на виявлення проблем для ваших моделей, розгорнутих у SageMaker, інтегрувавши з платформою управління продуктивністю моделі Fiddler за кілька простих кроків.

Огляд рішення

Наступна еталонна архітектура висвітлює основні моменти інтеграції. Fiddler існує як «коляска» до вашого існуючого робочого процесу SageMaker ML.

Залишок цієї публікації проведе вас через кроки для інтеграції вашої моделі SageMaker із Fiddler Платформа управління продуктивністю моделі:

1. Переконайтеся, що для вашої моделі ввімкнено збір даних.
2. Створіть пробне середовище Fiddler.
3. Зареєструйте інформацію про свою модель у середовищі Fiddler.
4. створити AWS Lambda функція для публікації висновків SageMaker у Fiddler.
5. Ознайомтеся з можливостями моніторингу Fiddler у пробному середовищі Fiddler.

Передумови

У цій публікації передбачається, що ви налаштували SageMaker і розгорнули кінцеву точку моделі. Щоб дізнатися, як налаштувати SageMaker для обслуговування моделі, див Розгортання моделей для висновку. Деякі приклади також доступні на GitHub репо.

Переконайтеся, що для вашої моделі ввімкнено збір даних

На консолі SageMaker перейдіть до кінцевої точки обслуговування вашої моделі та переконайтеся, що ви ввімкнули захоплення даних в Служба простого зберігання Amazon (Amazon S3) відро. Тут зберігаються висновки (запити та відповіді), які ваша модель робить щодня Файли ліній JSON (.jsonl) в Amazon S3.

Створіть пробне середовище Fiddler

Від fiddler.ai ви можете надіслати запит на безкоштовну пробну версію. Після заповнення швидкої форми Fiddler зв’яжеться з вами, щоб зрозуміти особливості потреб керування продуктивністю вашої моделі, і за кілька годин підготує для вас пробне середовище. Ви можете очікувати спеціального середовища, як https://yourcompany.try.fiddler.ai.

Зареєструйте інформацію про свою модель у середовищі Fiddler

Перш ніж ви зможете почати публікувати події з вашої моделі, розміщеної в SageMaker, у Fiddler, вам потрібно створити проект у вашому пробному середовищі Fiddler і надати Fiddler деталі про вашу модель за допомогою кроку під назвою реєстрація моделі. Якщо ви хочете використовувати попередньо налаштований блокнот зсередини Студія Amazon SageMaker замість того, щоб копіювати та вставляти наведені нижче фрагменти коду, ви можете посилатися на блокнот швидкого запуску Fiddler на GitHub. Studio надає єдиний візуальний веб-інтерфейс, де ви можете виконувати всі етапи розробки ML.

По-перше, ви повинні встановити Клієнт Fiddler Python у вашому блокноті SageMaker і створіть екземпляр клієнта Fiddler. Ви можете отримати AUTH_TOKEN від Налаштування у пробному середовищі Fiddler.

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

Далі створіть проект у пробному середовищі Fiddler:

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

Тепер завантажте набір навчальних даних. Блокнот також містить зразок набору даних для запуску Fiddler пояснюваність алгоритмів і як основу для моніторингу показників. Набір даних також використовується для створення схеми для цієї моделі у Fiddler.

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

Нарешті, перш ніж ви зможете публікувати висновки у Fiddler для моніторингу, аналізу першопричин і пояснень, вам потрібно зареєструвати свою модель. Давайте спочатку створимо a model_info об’єкт, який містить метадані про вашу модель:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

Потім ви можете зареєструвати модель за допомогою нового model_info об’єкт:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

Чудово! Тепер ви можете публікувати деякі події у Fiddler, щоб спостерігати за продуктивністю моделі.

Створіть функцію Lambda для публікації висновків SageMaker у Fiddler

Завдяки простій у розгортанні безсерверній архітектурі Lambda ви можете швидко створити механізм, необхідний для переміщення ваших висновків із сегмента S3, який ви налаштували раніше, у ваше нещодавно створене пробне середовище Fiddler. Ця функція Lambda відповідає за відкриття будь-яких нових файлів журналу подій JSONL у сегменті S3 вашої моделі, розбір і форматування вмісту JSONL у фрейм даних, а потім публікацію цього фрейму даних подій у пробному середовищі Fiddler. На наступному знімку екрана показано деталі коду нашої функції.

Функцію Lambda потрібно налаштувати для запуску новостворених файлів у вашому сегменті S3. Наступне підручник допоможе вам створити Amazon EventBridge тригер, який викликає функцію Lambda кожного разу, коли файл завантажується в Amazon S3. На наступному знімку екрана показано конфігурацію тригера нашої функції. Це спрощує гарантію того, що щоразу, коли ваша модель робить нові висновки, події, що зберігаються в Amazon S3, завантажуються у Fiddler для забезпечення спостережуваності моделі, необхідної вашій компанії.

Щоб ще більше спростити це, код цієї лямбда-функції є загальнодоступним Сайт документації Fiddler. Цей приклад коду зараз працює для моделей бінарної класифікації зі структурованими вхідними даними. Якщо у вас є типи моделей з різними функціями або завданнями, зверніться до Fiddler, щоб отримати допомогу щодо незначних змін у коді.

Функція Lambda має посилатися на клієнта Fiddler Python. Fiddler створив загальнодоступний лямбда-рівень, на який можна посилатися, щоб переконатися, що import fiddler as fdl крок працює без проблем. Ви можете посилатися на цей шар через ARN у регіоні us-west-2: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1, як показано на наступному знімку екрана.

Вам також потрібно вказати змінні середовища Lambda, щоб функція Lambda знала, як підключитися до пробного середовища Fiddler, а також які вхідні та вихідні дані містяться у файлах .jsonl, які фіксує ваша модель. На наступному знімку екрана показано список необхідних змінних середовища, які також включені Сайт документації Fiddler. Оновіть значення для змінних середовища відповідно до вашої моделі та набору даних.

Ознайомтеся з можливостями моніторингу Fiddler у пробному середовищі Fiddler

Ви зробили це! З вашими базовими даними, моделлю та трафіком, тепер ви можете пояснити дрейф даних, викиди, упередженість моделі, проблеми з даними та перепади продуктивності, а також ділитися інформаційними панелями з іншими. Завершіть свою подорож до перегляд демонстрації про моделі можливостей управління продуктивністю, які ви представили своїй компанії.

Наведені нижче приклади скріншотів надають уявлення про модель, як-от дрейф, виявлення викидів, пояснення локальних точок і аналітичні дані моделі, які можна знайти у вашому пробному середовищі Fiddler.

Висновок

Ця публікація підкреслила потребу в корпоративному класі моніторинг моделі і показали, як можна інтегрувати свої моделі, розгорнуті в SageMaker, із Платформа керування продуктивністю моделі Fiddler всього за кілька кроків. Fiddler пропонує функції для моніторингу моделі, пояснюваного штучного інтелекту, виявлення зміщення та аналізу першопричини, і доступний на Торговий майданчик AWS. Надаючи свій MLOps Команда з простим у використанні єдиним склом, щоб переконатися, що ваші моделі поводяться належним чином, і виявити основні причини зниження продуктивності, Fiddler може допомогти підвищити продуктивність дослідників даних і скоротити час для виявлення та вирішення проблем.

Якщо ви хочете дізнатися більше про Fiddler, відвідайте fiddler.ai або якщо ви бажаєте налаштувати персоналізовану демонстрацію та технічні обговорення електронною поштою sales@fiddler.ai.

Про авторів

Денні Брок є старшим інженером із рішень у Fiddler AI. Денні тривалий час працює у сфері аналітики та машинного навчання, керуючи командами передпродажного та післяпродажного обслуговування таких стартапів, як Endeca та Incorta. У 2012 році він заснував власну консалтингову компанію з аналітики великих даних Branchbird.

Раджив Говіндан є старшим інженером із рішень у Fiddler AI. Раджив має значний досвід інженерії продажів і розробки програмного забезпечення в кількох корпоративних компаніях, включаючи AppDynamics.

Крішнарам Кентападі є головним науковим співробітником Fiddler AI. Раніше він був головним науковим співробітником Amazon AWS AI, де керував ініціативами щодо справедливості, пояснюваності, конфіденційності та розуміння моделі на платформі Amazon AI, а до цього він обіймав посади в LinkedIn AI та Microsoft Research. Крішнарам отримав ступінь доктора філософії з комп’ютерних наук у Стенфордському університеті в 2006 році.