حقق مراقبة على مستوى المؤسسات لنماذج Amazon SageMaker الخاصة بك باستخدام Fiddler

هذه مدونة ضيف كتبها داني بروك وراجيف جوفيندان وكريشنارام كينثابادي في Fiddler AI.

حل متجر العقارات الشامل الخاص بك في جورجيا الأمازون SageMaker نماذج حية. إنهم يتعاملون مع ملايين الاستدلالات كل يوم ويحققون نتائج أعمال أفضل لشركتك. إنهم يؤدون بنفس جودة يوم إطلاقهم.

إيه ، انتظر. هل هم؟ يمكن. ربما لا.

بدون فئة المؤسسات مراقبة النموذج، قد تتحلل نماذجك في صمت. قد لا تعرف فرق التعلم الآلي (ML) أبدًا أن هذه النماذج قد تحولت بالفعل من معجزات لتوليد الإيرادات إلى التزامات تتخذ قرارات غير صحيحة تكلف شركتك وقتًا ومالًا.

لا تأكل. الحل أقرب مما تعتقد.

العابث، وهو حل إدارة أداء نموذج على مستوى المؤسسات متاح على سوق AWS، يوفر مراقبة النموذج والذكاء الاصطناعي القابل للتفسير لمساعدة فرق تعلم الآلة على فحص ومعالجة مجموعة شاملة من مشكلات النماذج. من خلال مراقبة النموذج ، وإمكانية شرح النموذج ، والتحليلات ، واكتشاف التحيز ، يوفر Fiddler لشركتك لوحًا واحدًا سهل الاستخدام من الزجاج لضمان أن النماذج الخاصة بك تتصرف كما ينبغي. وإذا لم يكن الأمر كذلك ، فإن Fiddler يوفر أيضًا ميزات تسمح لك بفحص نماذجك للعثور على الأسباب الجذرية الكامنة وراء تدهور الأداء.

يوضح هذا المنشور كيف الخاص بك MLOps يمكن للفريق تحسين إنتاجية عالم البيانات وتقليل الوقت لاكتشاف المشكلات الخاصة بنماذجك المنشورة في SageMaker من خلال التكامل مع Fiddler Model Performance Management Platform في بضع خطوات بسيطة.

حل نظرة عامة

تسلط البنية المرجعية التالية الضوء على نقاط التكامل الأساسية. يوجد Fiddler كـ "جانب جانبي" لسير عمل SageMaker ML الحالي الخاص بك.

يرشدك الجزء المتبقي من هذا المنشور عبر خطوات دمج نموذج SageMaker الخاص بك مع نموذج Fiddler منصة إدارة أداء النموذج:

1. تأكد من تمكين التقاط البيانات في نموذجك.
2. قم بإنشاء بيئة تجريبية لـ Fiddler.
3. قم بتسجيل معلومات حول النموذج الخاص بك في بيئة Fiddler الخاصة بك.
4. خلق AWS لامدا وظيفة لنشر استنتاجات SageMaker إلى Fiddler.
5. استكشف قدرات مراقبة Fiddler في بيئة تجربة Fiddler الخاصة بك.

المتطلبات الأساسية المسبقة

يفترض هذا المنشور أنك قمت بإعداد SageMaker ونشرت نقطة نهاية نموذج. لمعرفة كيفية تكوين SageMaker لخدمة النموذج ، ارجع إلى نشر النماذج للاستدلال. بعض الأمثلة متاحة أيضًا على جيثب ريبو.

تأكد من تمكين التقاط البيانات في نموذجك

في وحدة تحكم SageMaker ، انتقل إلى نقطة نهاية خدمة النموذج وتأكد من تمكينك التقاط البيانات إلى خدمة تخزين أمازون البسيطة (Amazon S3) دلو. هذا يخزن الاستدلالات (الطلبات والردود) التي يقوم بها نموذجك كل يوم على أنها ملفات خطوط JSON (.jsonl) في Amazon S3.

قم بإنشاء بيئة تجريبية لـ Fiddler

XNUMX. من قائمة عازف موقع الويب ، يمكنك طلب نسخة تجريبية مجانية. بعد ملء نموذج سريع ، سيتصل بك Fiddler لفهم تفاصيل احتياجات إدارة أداء النموذج وستكون لديك بيئة تجريبية جاهزة لك في غضون ساعات قليلة. يمكنك أن تتوقع بيئة مخصصة مثل https://yourcompany.try.fiddler.ai.

قم بتسجيل معلومات حول النموذج الخاص بك في بيئة Fiddler الخاصة بك

قبل أن تتمكن من البدء في نشر الأحداث من نموذج SageMaker المستضاف إلى Fiddler ، تحتاج إلى إنشاء مشروع ضمن بيئة تجربة Fiddler الخاصة بك وتقديم تفاصيل Fiddler حول نموذجك من خلال خطوة تسمى تسجيل النموذج. إذا كنت تريد استخدام دفتر ملاحظات مكون مسبقًا من الداخل أمازون ساجميكر ستوديو بدلاً من نسخ ولصق مقتطفات التعليمات البرمجية التالية ، يمكنك الرجوع إلى دفتر الملاحظات السريع Fiddler على GitHub جيثب:. يوفر Studio واجهة مرئية واحدة قائمة على الويب حيث يمكنك تنفيذ جميع خطوات تطوير ML.

أولاً ، يجب عليك تثبيت برنامج عميل Fiddler Python في دفتر SageMaker الخاص بك وقم بإنشاء مثيل لعميل Fiddler. يمكنك الحصول على AUTH_TOKEN من الإعدادات صفحة في بيئة تجربة Fiddler الخاصة بك.

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

بعد ذلك ، قم بإنشاء مشروع داخل بيئة تجربة Fiddler الخاصة بك:

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

الآن قم بتحميل مجموعة بيانات التدريب الخاصة بك. يوفر الكمبيوتر المحمول أيضًا عينة مجموعة بيانات لتشغيل Fiddler's شرح الخوارزميات وكخط أساس لرصد المقاييس. تُستخدم مجموعة البيانات أيضًا لإنشاء مخطط لهذا النموذج في Fiddler.

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

أخيرًا ، قبل أن تتمكن من البدء في نشر الاستنتاجات إلى Fiddler للمراقبة وتحليل السبب الجذري والتفسيرات ، تحتاج إلى تسجيل النموذج الخاص بك. لنقم أولاً بإنشاء ملف model_info كائن يحتوي على البيانات الوصفية حول نموذجك:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

ثم يمكنك تسجيل النموذج باستخدام ملف model_info موضوع:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

رائعة! يمكنك الآن نشر بعض الأحداث على Fiddler لمراقبة أداء النموذج.

قم بإنشاء دالة Lambda لنشر استنتاجات SageMaker إلى Fiddler

باستخدام بنية Lambda سهلة النشر بدون خادم ، يمكنك إنشاء الآلية المطلوبة بسرعة لنقل استنتاجاتك من حاوية S3 التي أعددتها مسبقًا إلى بيئة تجربة Fiddler التي تم توفيرها مؤخرًا. وظيفة Lambda هذه مسؤولة عن فتح أي ملفات سجل أحداث JSONL جديدة في حاوية S3 الخاصة بطرازك ، وتحليل محتوى JSONL وتنسيقه في إطار بيانات ، ثم نشر إطار بيانات الأحداث هذا في بيئة تجربة Fiddler. توضح لقطة الشاشة التالية تفاصيل التعليمات البرمجية لوظيفتنا.

تحتاج وظيفة Lambda إلى التهيئة لتشغيل الملفات التي تم إنشاؤها حديثًا في حاوية S3. ما يلي البرنامج التعليمي يرشدك خلال إنشاء ملف أمازون إيفينت بريدج المشغل الذي يستدعي وظيفة Lambda كلما تم تحميل ملف إلى Amazon S3. تُظهر لقطة الشاشة التالية تكوين المشغل الخاص بوظيفتنا. هذا يجعل من السهل التأكد من أنه في أي وقت يقدم فيه نموذجك استنتاجات جديدة ، يتم تحميل تلك الأحداث المخزنة في Amazon S3 في Fiddler لدفع إمكانية ملاحظة النموذج التي تحتاجها شركتك.

لتبسيط هذا الأمر بشكل أكبر ، يتوفر رمز وظيفة Lambda هذه للجمهور من موقع توثيق Fiddler. يعمل مثال الكود هذا حاليًا مع نماذج التصنيف الثنائية ذات المدخلات المنظمة. إذا كانت لديك أنواع نماذج ذات ميزات أو مهام مختلفة ، فيرجى الاتصال بـ Fiddler للحصول على المساعدة في إجراء تغييرات طفيفة على الكود.

تحتاج وظيفة Lambda إلى الإشارة إلى عميل Fiddler Python. أنشأ Fiddler طبقة Lambda متاحة للجمهور يمكنك الرجوع إليها للتأكد من أن ملف import fiddler as fdl خطوة تعمل بسلاسة. يمكنك الرجوع إلى هذه الطبقة عبر ARN في منطقة us-west-2: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1، كما هو موضح في الصورة التالية.

تحتاج أيضًا إلى تحديد متغيرات بيئة Lambda حتى تعرف وظيفة Lambda كيفية الاتصال ببيئة Fiddler التجريبية الخاصة بك ، وما هي المدخلات والمخرجات الموجودة في ملفات .jsonl التي يتم التقاطها بواسطة نموذجك. تُظهر لقطة الشاشة التالية قائمة بمتغيرات البيئة المطلوبة ، والتي يتم تشغيلها أيضًا موقع توثيق Fiddler. قم بتحديث قيم متغيرات البيئة لمطابقة النموذج ومجموعة البيانات.

استكشف قدرات مراقبة Fiddler في بيئة تجربة Fiddler الخاصة بك

لقد فعلتها! مع بيانات خط الأساس ، والنموذج ، وحركة المرور المتصلة ، يمكنك الآن شرح ذلك انجراف البيانات، القيم المتطرفة ، نموذج التحيزومشكلات البيانات ومضات الأداء ومشاركة لوحات المعلومات مع الآخرين. أكمل رحلتك بحلول مشاهدة العرض التوضيحي حول قدرات إدارة أداء النموذج التي قدمتها لشركتك.

توفر لقطات الشاشة الموضحة أدناه لمحة عن رؤى النموذج مثل الانجراف ، والاكتشاف الخارجي ، وتفسيرات النقاط المحلية ، وتحليلات النموذج التي سيتم العثور عليها في بيئة تجربة Fiddler الخاصة بك.

وفي الختام

أبرز هذا المنشور الحاجة إلى فئة المؤسسات مراقبة النموذج وأظهر كيف يمكنك دمج نماذجك المنشورة في SageMaker مع ملف منصة إدارة أداء نموذج Fiddler في بضع خطوات فقط. يوفر Fiddler وظائف لمراقبة النموذج ، والذكاء الاصطناعي القابل للتفسير ، واكتشاف التحيز ، وتحليل السبب الجذري ، وهو متاح في سوق AWS. من خلال توفير MLOps فريق مع جزء واحد سهل الاستخدام من الزجاج لضمان أن النماذج الخاصة بك تتصرف كما هو متوقع ولتحديد الأسباب الجذرية الكامنة وراء تدهور الأداء ، يمكن أن يساعد Fiddler في تحسين إنتاجية عالم البيانات وتقليل الوقت لاكتشاف المشكلات وحلها.

إذا كنت ترغب في معرفة المزيد عن Fiddler ، يرجى زيارة عازف أو إذا كنت تفضل إعداد عرض توضيحي شخصي وبريد إلكتروني للمناقشة الفنية sales@fiddler.ai.

حول المؤلف

داني بروك هو مهندس حلول Sr في Fiddler AI. عمل داني لفترة طويلة في مجال التحليلات و ML ، حيث كان يدير فرق ما قبل البيع وما بعد البيع للشركات الناشئة مثل Endeca و Incorta. أسس شركته الاستشارية الخاصة بتحليل البيانات الضخمة ، Branchbird ، في عام 2012.

راجيف جوفيندان هو مهندس حلول Sr في Fiddler AI. يتمتع Rajeev بخبرة واسعة في هندسة المبيعات وتطوير البرامج في العديد من شركات المؤسسات ، بما في ذلك AppDynamics.

كريشنارام كينثابادي هو كبير العلماء في Fiddler AI. في السابق ، كان عالمًا رئيسيًا في Amazon AWS AI ، حيث قاد مبادرات الإنصاف والشرح والخصوصية وفهم النموذج في منصة Amazon AI ، وقبل ذلك ، شغل مناصب في LinkedIn AI و Microsoft Research. حصل كريشنارام على درجة الدكتوراه في علوم الكمبيوتر من جامعة ستانفورد عام 2006.