השג ניטור ברמה ארגונית עבור דגמי Amazon SageMaker שלך באמצעות Fiddler

זהו פוסט אורח בבלוג מאת דני ברוק, ראג'יב גובינדן וקרישנהרם קנתפאדי ב- Fiddler AI.

אמזון SageMaker הדוגמניות בשידור חי. הם מטפלים במיליוני מסקנות בכל יום ומניבים תוצאות עסקיות טובות יותר עבור החברה שלך. הם מתפקדים בדיוק כמו ביום שבו הושקו.

אה, רגע. האם הם? אולי. אולי לא.

ללא ארגון ברמה ארגונית ניטור מודלים, ייתכן שהדוגמניות שלך מתפוררות בשתיקה. ייתכן שצוותי למידת המכונה שלך (ML) לעולם לא יידעו שהמודלים הללו הפכו למעשה מניסים של יצירת הכנסות להתחייבויות שקיבלו החלטות שגויות שעולות לחברה שלך זמן וכסף.

אל תדאג. הפתרון קרוב יותר ממה שאתה חושב.

כַּנָר, פתרון ניהול ביצועי מודל ברמה ארגונית הזמין ב- AWS שוק, מציע ניטור מודלים ובינה מלאכותית ניתנת להסבר כדי לעזור לצוותי ML לבדוק ולטפל במגוון מקיף של בעיות מודל. באמצעות ניטור מודל, יכולת הסבר מודל, ניתוח וזיהוי הטיה, Fiddler מספקת לחברה שלך חלונית זכוכית אחת קלה לשימוש כדי להבטיח שהדגמים שלך מתנהגים כפי שהם צריכים. ואם הם לא, Fiddler מספקת גם תכונות המאפשרות לך לבדוק את הדגמים שלך כדי למצוא את הסיבות הבסיסיות לירידה בביצועים.

פוסט זה מראה כיצד שלך MLOps הצוות יכול לשפר את הפרודוקטיביות של מדעני הנתונים ולצמצם את הזמן לאיתור בעיות עבור המודלים שלך הפרוסים ב- SageMaker על ידי שילוב עם פלטפורמת ניהול הביצועים של מודל Fiddler בכמה שלבים פשוטים.

סקירת פתרונות

ארכיטקטורת ההתייחסות הבאה מדגישה את הנקודות העיקריות של האינטגרציה. Fiddler קיים כ"צד" לזרימת העבודה הקיימת של SageMaker ML.

המשך הפוסט הזה מנחה אותך בשלבים לשילוב דגם SageMaker שלך עם Fiddler's מודל פלטפורמת ניהול ביצועים:

1. ודא שהמודל שלך מופעל לכידת נתונים.
2. צור סביבת ניסיון של Fiddler.
3. רשום מידע על הדגם שלך בסביבת Fiddler שלך.
4. צור AWS למבדה פונקציה לפרסום מסקנות SageMaker לכנר.
5. חקור את יכולות הניטור של Fiddler בסביבת הניסיון שלך Fiddler.

תנאים מוקדמים

פוסט זה מניח שהגדרת את SageMaker ופרסת נקודת קצה מודל. כדי ללמוד כיצד להגדיר את SageMaker להגשת דגמים, עיין ב פרוס מודלים להסקת מסקנות. כמה דוגמאות זמינות גם ב- GitHub ריפו.

ודא שהמודל שלך מופעל לכידת נתונים

במסוף SageMaker, נווט אל נקודת הקצה של הדגם שלך וודא שהפעלת לכידת נתונים לתוך שירות אחסון פשוט של אמזון דלי (Amazon S3). זה מאחסן את המסקנות (הבקשות והתגובות) שהמודל שלך עושה בכל יום קבצי קווי JSON (.jsonl) באמזון S3.

צור סביבת ניסיון של Fiddler

מ fiddler.ai באתר, תוכל לבקש ניסיון חינם. לאחר מילוי טופס מהיר, Fiddler ייצור איתך קשר כדי להבין את הפרטים של צרכי ניהול הביצועים של המודל שלך ותהיה מוכנה עבורך סביבת ניסיון תוך מספר שעות. אתה יכול לצפות לסביבה ייעודית כמו https://yourcompany.try.fiddler.ai.

רשום מידע על הדגם שלך בסביבת Fiddler שלך

לפני שתוכל להתחיל לפרסם אירועים מדגם SageMaker שלך המתארח לתוך Fiddler, עליך ליצור פרויקט בתוך סביבת הניסיון של Fiddler ולספק פרטים של Fiddler על הדגם שלך באמצעות שלב שנקרא רישום דגם. אם ברצונך להשתמש במחברת מוגדרת מראש מבפנים סטודיו SageMaker של אמזון במקום להעתיק ולהדביק את קטעי הקוד הבאים, תוכל להתייחס למחברת ההתחלה המהירה של Fiddler GitHub. Studio מספק ממשק חזותי אחד מבוסס אינטרנט שבו אתה יכול לבצע את כל שלבי הפיתוח של ML.

ראשית, עליך להתקין את לקוח Fiddler Python במחברת SageMaker שלך והצג את לקוח Fiddler. אתה יכול לקבל את AUTH_TOKEN מ הגדרות עמוד בסביבת הניסיון של Fiddler שלך.

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

לאחר מכן, צור פרויקט בסביבת הניסיון של Fiddler שלך:

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

כעת העלה את מערך ההדרכה שלך. המחברת מספקת גם מערך נתונים לדוגמה להפעלת Fiddler's הסבר אלגוריתמים וכקו בסיס לניטור מדדים. מערך הנתונים משמש גם ליצירת הסכימה עבור מודל זה ב- Fiddler.

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

לבסוף, לפני שתוכל להתחיל לפרסם מסקנות ל-Fiddler לצורך ניטור, ניתוח שורש והסברים, עליך לרשום את המודל שלך. קודם כל ניצור א model_info אובייקט שמכיל את המטא נתונים על המודל שלך:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

לאחר מכן תוכל לרשום את הדגם באמצעות החדש שלך model_info אובייקט:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

גדול! כעת תוכל לפרסם כמה אירועים לכנר על מנת לצפות בביצועים של הדוגמנית.

צור פונקציית Lambda לפרסום מסקנות SageMaker לכנר

עם הארכיטקטורה הפשוטה לפריסה נטולת שרתים של Lambda, אתה יכול לבנות במהירות את המנגנון הנדרש כדי להעביר את המסקנות שלך מדלי S3 שהגדרת קודם לסביבת הניסיון החדשה שלך Fiddler. פונקציית Lambda זו אחראית לפתיחת כל קובץ יומן אירועי JSONL חדש בדלי S3 של הדגם שלך, ניתוח ועיצוב תוכן ה-JSONL לתוך מסגרת נתונים, ולאחר מכן פרסום מסגרת נתונים זו של אירועים לסביבת הניסיון של Fiddler שלך. צילום המסך הבא מציג את פרטי הקוד של הפונקציה שלנו.

יש להגדיר את פונקציית Lambda כך שתפעיל את הקבצים החדשים שנוצרו בדלי ה-S3 שלך. הבאים הדרכה מנחה אותך ביצירת א אמזון EventBridge טריגר שמפעיל את פונקציית Lambda בכל פעם שקובץ מועלה לאמזון S3. צילום המסך הבא מציג את תצורת ההדק של הפונקציה שלנו. זה מקל להבטיח שבכל פעם שהמודל שלך מסיק מסקנות חדשות, האירועים המאוחסנים ב-Amazon S3 נטענים לתוך Fiddler כדי להניע את יכולת הצפייה של המודל שהחברה שלך צריכה.

כדי לפשט זאת עוד יותר, הקוד עבור פונקציית Lambda זו זמין לציבור מאת אתר התיעוד של כנר. דוגמה זו של קוד עובדת כעת עבור מודלים של סיווג בינארי עם תשומות מובנות. אם יש לך סוגי דגמים עם תכונות או משימות שונות, אנא צור קשר עם Fiddler לקבלת סיוע בשינויים קלים בקוד.

הפונקציה Lambda צריכה להתייחס ללקוח Fiddler Python. Fiddler יצרה שכבת Lambda זמינה לציבור שאליה אתה יכול להתייחס כדי להבטיח שה import fiddler as fdl שלב עובד בצורה חלקה. אתה יכול להפנות לשכבה זו באמצעות ARN באזור us-west-2: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1, כפי שמוצג בצילום המסך הבא.

אתה גם צריך לציין משתני סביבת Lambda כדי שפונקציית Lambda תדע איך להתחבר לסביבת הניסיון של Fiddler, ומהן הכניסות והיציאות בתוך קבצי ה-jsonl שנלכדים על ידי הדגם שלך. צילום המסך הבא מציג רשימה של משתני הסביבה הנדרשים, שגם הם פועלים אתר התיעוד של כנר. עדכן את הערכים עבור משתני הסביבה כך שיתאימו למודל ולמערך הנתונים שלך.

חקור את יכולות הניטור של Fiddler בסביבת הניסיון שלך Fiddler

עשית את זה! כשנתוני הבסיס, המודל והתעבורה שלך מחוברים, כעת תוכל להסביר סחף נתונים, חריגים, הטיית מודל, בעיות בנתונים ובליפי ביצועים, ושתף לוחות מחוונים עם אחרים. השלם את המסע שלך על ידי צופה בהדגמה על יכולות ניהול הביצועים של המודל שהכנסת לחברה שלך.

צילומי המסך לדוגמה להלן מספקים הצצה לתובנות מודל כמו סחף, זיהוי חריגים, הסברים על נקודות מקומיות וניתוח מודלים שיימצאו בסביבת הניסיון של Fiddler שלך.

סיכום

פוסט זה הדגיש את הצורך במעמד ארגוני ניטור מודלים והראה כיצד אתה יכול לשלב את המודלים שלך הפרוסים ב- SageMaker עם פלטפורמת ניהול ביצועים של מודל כנר בכמה צעדים בלבד. Fiddler מציע פונקציונליות לניטור מודלים, בינה מלאכותית שניתן להסביר, זיהוי הטיה וניתוח שורש, והיא זמינה ב- AWS שוק. על ידי מתן שלך MLOps צוות עם חלונית זכוכית אחת קלה לשימוש כדי להבטיח שהדגמים שלך מתנהגים כמצופה וכדי לזהות את הגורמים הבסיסיים לירידה בביצועים, Fiddler יכול לעזור לשפר את הפרודוקטיביות של מדעני הנתונים ולצמצם את הזמן לאיתור ולפתור בעיות.

אם תרצה ללמוד עוד על כנר, אנא בקר fiddler.ai או אם תעדיף להגדיר דוא"ל דמו ודיונים טכני מותאם אישית sales@fiddler.ai.

על הכותבים

דני ברוק הוא מהנדס פתרונות Sr ב- Fiddler AI. דני עובד ארוכות בתחום האנליטיקה וה-ML, ומפעיל צוותי מכירות מראש ופוסט-מכירות עבור סטארט-אפים כמו Endeca ו-Incorta. הוא הקים חברת ייעוץ משלו לניתוח ביג דאטה, Branchbird, ב-2012.

ראג'יב גובינדן הוא מהנדס פתרונות Sr ב- Fiddler AI. לראג'יב ניסיון רב בהנדסת מכירות ופיתוח תוכנה במספר חברות ארגוניות, כולל AppDynamics.

קרישנארם קנתפאדי הוא המדען הראשי של Fiddler AI. בעבר הוא היה מדען ראשי ב-Amazon AWS AI, שם הוביל את יוזמות ההגינות, ההסבר, הפרטיות והבנת המודלים בפלטפורמת Amazon AI, ולפני כן מילא תפקידים ב-LinkedIn AI ו-Microsoft Research. קרישנראם קיבל את הדוקטורט שלו במדעי המחשב מאוניברסיטת סטנפורד ב-2006.