שפר את הממשל של מודלים של למידת מכונה שלך עם Amazon SageMaker

ככל שחברות מאמצות יותר ויותר למידת מכונה (ML) עבור היישומים הארגוניים המרכזיים שלהן, יותר מההחלטות העסקיות שלהן מושפעות ממודלים של ML. כתוצאה מכך, בקרת גישה מפושטת ושקיפות משופרת בכל דגמי ה-ML שלך מקלה על אימות שהמודלים שלך מתפקדים היטב ולנקוט פעולה כאשר הם לא.

בפוסט זה, אנו בודקים כיצד חברות יכולות לשפר את הנראות של הדגמים שלהן באמצעות לוחות מחוונים מרכזיים ותיעוד מפורט של הדגמים שלהן באמצעות שתי תכונות חדשות: כרטיסי דגם SageMaker ו-SageMaker Model Dashboard. שתי התכונות הללו זמינות ללא תשלום נוסף ללקוחות SageMaker.

סקירה כללית של ממשל מודל

ממשל מודלים הוא מסגרת המעניקה נראות שיטתית לפיתוח, אימות ושימוש במודל. ניהול המודל ישים בכל זרימת העבודה של ML מקצה לקצה, החל מזיהוי מקרה השימוש ב-ML ועד לניטור מתמשך של מודל פרוס באמצעות התראות, דוחות ודשבורדים. מסגרת ממשל מודל מיושמת היטב צריכה למזער את מספר הממשקים הנדרשים לצפייה, מעקב וניהול של משימות מחזור חיים כדי להקל על ניטור מחזור החיים של ML בקנה מידה.

כיום, ארגונים משקיעים מומחיות טכנית משמעותית בבניית כלים לאוטומציה של חלקים גדולים מתהליך העבודה של הממשל והביקורת שלהם. לדוגמה, בוני מודלים צריכים לרשום באופן יזום מפרטי מודל כגון שימוש מיועד למודל, דירוג סיכון וקריטריונים לביצועים שלפיהם יש למדוד את המודל. יתרה מזאת, הם צריכים גם לתעד תצפיות על התנהגות המודל, ולתעד את הסיבה שהם קיבלו החלטות מפתח מסוימות, כמו הפונקציה האובייקטיבית שלפיה הם ייעלו את המודל.

זה נפוץ שחברות משתמשות בכלים כמו Excel או דואר אלקטרוני כדי ללכוד ולשתף מידע מודל כזה לשימוש באישורים לשימוש בייצור. אבל ככל שהיקף הפיתוח של ML גדל, מידע יכול ללכת בקלות לאיבוד או לא במקומו, ומעקב אחר הפרטים הללו הופך לבלתי אפשרי במהירות. יתר על כן, לאחר פריסת המודלים הללו, תוכל לחבר נתונים ממקורות שונים כדי לקבל נראות מקצה לקצה לכל המודלים, נקודות הקצה, היסטוריית הניטור והשושלת שלך. ללא תצוגה כזו, אתה יכול בקלות לאבד את המעקב אחר הדגמים שלך, ואולי לא תהיה מודע מתי אתה צריך לנקוט בהם פעולה. הנושא הזה מתעצם בתעשיות בפיקוח גבוה מכיוון שאתה כפוף לתקנות המחייבות אותך לשמור על אמצעים כאלה.

ככל שנפח המודלים מתחיל להתרחב, ניהול כלי עבודה מותאמים אישית יכול להפוך לאתגר ונותן לארגונים פחות זמן להתמקד בצרכים העסקיים המרכזיים. בסעיפים הבאים, אנו חוקרים כיצד כרטיסי מודל של SageMaker ולוח המחוונים של מודל SageMaker יכולים לעזור לך להגדיל את מאמצי הממשל שלך.

כרטיסי דגם SageMaker

כרטיסי מודל מאפשרים לך לתקן את האופן שבו מודלים מתועדים, ובכך להשיג נראות לתוך מחזור החיים של מודל, מתכנון, בנייה, הדרכה והערכה. כרטיסי מודל נועדו להוות מקור אמת יחיד עבור מטא נתונים עסקיים וטכניים על המודל, שיכולים לשמש באופן מהימן למטרות ביקורת ותיעוד. הם מספקים גיליון מידע של המודל החשוב לממשל המודל.

כרטיסי דגם מאפשרים למשתמשים לכתוב ולאחסן החלטות כגון מדוע נבחרה פונקציה אובייקטיבית לצורך אופטימיזציה, ופרטים כגון שימוש מיועד ודירוג סיכונים. אתה יכול גם לצרף ולעיין בתוצאות הערכה, ולרשום תצפיות לעיון עתידי.

עבור מודלים שהוכשרו ב- SageMaker, כרטיסי מודל יכולים לגלות ולאכלס אוטומטית פרטים כגון עבודת אימון, מערכי נתונים, חפצי מודל וסביבת מסקנות, ובכך להאיץ את תהליך יצירת הכרטיסים. עם SageMaker Python SDK, אתה יכול לעדכן בצורה חלקה את כרטיס המודל עם מדדי הערכה.

כרטיסי מודל מספקים למנהלי סיכונים מודל, מדעני נתונים ומהנדסי ML את היכולת לבצע את המשימות הבאות:

• תיעוד דרישות מודל כגון דירוג סיכון, שימוש מיועד, מגבלות וביצועים צפויים
• אכלס אוטומטית כרטיסי דגם עבור דגמים שעברו הכשרה של SageMaker
• הביאו מידע משלכם (BYOI) עבור דגמים שאינם של SageMaker
• העלה ושתף תוצאות הערכת מודלים ונתונים
• הגדר ולכד מידע מותאם אישית
• לכידת סטטוס כרטיס דגם (טיוטה, בהמתנה לבדיקה או אושרה לייצור)
• גש לרכזת כרטיס הדגם מה- קונסולת הניהול של AWS
• צור, ערוך, הצג, ייצא, שיכפל ומחק כרטיסי דגם
• הפעל זרימות עבודה באמצעות אמזון EventBridge אינטגרציה לאירועי שינוי סטטוס כרטיס דגם

צור כרטיסי דגם של SageMaker באמצעות הקונסולה

אתה יכול ליצור בקלות כרטיסי דגם באמצעות קונסולת SageMaker. כאן תוכלו לראות את כל כרטיסי הדגם הקיימים וליצור חדשים לפי הצורך.

בעת יצירת כרטיס מודל, אתה יכול לתעד מידע קריטי על המודל כגון מי בנה את המודל, מדוע הוא פותח, כיצד הוא מתפקד לצורך הערכות עצמאיות וכל תצפית שיש לקחת בחשבון לפני השימוש במודל עבור יישום עסקי.

כדי ליצור כרטיס דגם בקונסולה, בצע את השלבים הבאים:

1. הזן את פרטי סקירת הדגם.
2. הזן פרטי אימון (מאוכלס אוטומטית אם הדגם הוכשר ב- SageMaker).
3. העלה תוצאות הערכה.
4. הוסף פרטים נוספים כגון המלצות ושיקולים אתיים.

לאחר שתיצור את כרטיס הדגם, תוכל לבחור גרסה כדי להציג אותו.

צילום המסך הבא מציג את הפרטים של כרטיס הדגם שלנו.

אתה יכול גם לייצא את כרטיס הדגם לשיתוף כקובץ PDF.

צור וחקור כרטיסי דגם של SageMaker באמצעות ה-SDK של SageMaker Python

אינטראקציה עם כרטיסי דגם אינה מוגבלת לקונסולה. אתה יכול גם להשתמש ב-SageMaker Python SDK כדי ליצור ולחקור כרטיסי דגם. SageMaker Python SDK מאפשר למדעני נתונים ומהנדסי ML ליצור אינטראקציה בקלות עם רכיבי SageMaker. קטעי הקוד הבאים מציגים את התהליך ליצירת כרטיס דגם באמצעות הפונקציונליות החדשה של SageMaker Python SDK.

ודא שהגרסה העדכנית ביותר של SageMaker Python SDK מותקנת:

$ pip install --upgrade "sagemaker>=2"

לאחר שאימנת ופרסת מודל באמצעות SageMaker, תוכל להשתמש במידע ממודל SageMaker ומעבודת ההדרכה כדי לאכלס אוטומטית מידע בכרטיס המודל.

באמצעות SageMaker Python SDK והעברת שם הדגם SageMaker, נוכל לאסוף באופן אוטומטי מידע בסיסי על הדגם. מידע כגון מודל SageMaker ARN, סביבת אימון ותפוקת מודל שירות אחסון פשוט של אמזון (Amazon S3) המיקום כולו מאוכלס באופן אוטומטי. אנו יכולים להוסיף עובדות מודל אחרות, כגון תיאור, סוג בעיה, סוג אלגוריתם, יוצר מודל ובעלים. ראה את הקוד הבא:

model_overview = ModelOverview.from_name(
    model_name=model_name,
    sagemaker_session=sagemaker_session,
    model_description="This is a simple binary classification model used for Model Card demo",
    problem_type="Binary Classification",
    algorithm_type="Logistic Regression",
    model_creator="DEMO-ModelCard",
    model_owner="DEMO-ModelCard",
)
print(model_overview.model_id) # Provides us with the SageMaker Model ARN
print(model_overview.inference_environment.container_image) # Provides us with the SageMaker inference container URI
print(model_overview.model_artifact) # Provides us with the S3 location of the model artifacts

אנו יכולים גם לאסוף באופן אוטומטי מידע הכשרה בסיסי כמו ARN משרת אימון, סביבת הדרכה ומדדי הכשרה. ניתן להוסיף פרטי אימון נוספים, כמו תפקוד מטרות האימון ותצפיות. ראה את הקוד הבא:

objective_function = ObjectiveFunction(
    function=Function(
        function=ObjectiveFunctionEnum.MINIMIZE,
        facet=FacetEnum.LOSS,
    ),
    notes="This is a example objective function.",
)
training_details = TrainingDetails.from_model_overview(
    model_overview=model_overview,
    sagemaker_session=sagemaker_session,
    objective_function=objective_function,
    training_observations="Additional training observations could be put here."
)

print(training_details.training_job_details.training_arn) # Provides us with the SageMaker Model ARN
print(training_details.training_job_details.training_environment.container_image) # Provides us with the SageMaker training container URI
print([{"name": i.name, "value": i.value} for i in training_details.training_job_details.training_metrics]) # Provides us with the SageMaker Training Job metrics

אם יש לנו מדדי הערכה זמינים, נוכל להוסיף אותם גם לכרטיס המודל:

my_metric_group = MetricGroup(
    name="binary classification metrics",
    metric_data=[Metric(name="accuracy", type=MetricTypeEnum.NUMBER, value=0.5)]
)
evaluation_details = [
    EvaluationJob(
        name="Example evaluation job",
        evaluation_observation="Evaluation observations.",
        datasets=["s3://path/to/evaluation/data"],
        metric_groups=[my_metric_group],
    )
]

אנו יכולים גם להוסיף מידע נוסף על המודל שיכול לסייע בניהול המודל:

intended_uses = IntendedUses(
    purpose_of_model="Test Model Card.",
    intended_uses="Not used except this test.",
    factors_affecting_model_efficiency="No.",
    risk_rating=RiskRatingEnum.LOW,
    explanations_for_risk_rating="Just an example.",
)
additional_information = AdditionalInformation(
    ethical_considerations="You model ethical consideration.",
    caveats_and_recommendations="Your model's caveats and recommendations.",
    custom_details={"custom details1": "details value"},
)

לאחר שסיפקנו את כל הפרטים הדרושים לנו, נוכל ליצור את כרטיס הדגם באמצעות התצורה הקודמת:

model_card_name = "sample-notebook-model-card"
my_card = ModelCard(
    name=model_card_name,
    status=ModelCardStatusEnum.DRAFT,
    model_overview=model_overview,
    training_details=training_details,
    intended_uses=intended_uses,
    evaluation_details=evaluation_details,
    additional_information=additional_information,
    sagemaker_session=sagemaker_session,
)
my_card.create()

ה-SDK של SageMaker מספק גם את היכולת לעדכן, לטעון, לרשום, לייצא ולמחוק כרטיס דגם.

למידע נוסף על כרטיסי דגם, עיין ב- מדריך למפתחים ועיקבו אחרי זֶה מחברת לדוגמה כדי להתחיל.

לוח מחוונים דגם SageMaker

לוח המחוונים של המודל הוא מאגר מרכזי של כל הדגמים שנוצרו בחשבון. הדגמים נוצרים בדרך כלל על ידי אימון ב- SageMaker, או שאתה יכול להביא את הדגמים שלך שעברו הכשרה למקום אחר כדי לארח ב- SageMaker.

לוח המחוונים של המודל מספק ממשק יחיד למנהלי IT, מנהלי סיכונים מודלים או מנהיגים עסקיים כדי להציג את כל המודלים הפרוסים ואת הביצועים שלהם. אתה יכול להציג את נקודות הקצה שלך, עבודות טרנספורמציה אצווה ועבודות ניטור כדי לקבל תובנות לגבי ביצועי המודל. ארגונים יכולים לצלול לעומק כדי לזהות לאילו מודלים יש צגים חסרים או לא פעילים ולהוסיף אותם באמצעות ממשקי API של SageMaker כדי להבטיח שכל המודלים נבדקים עבור סחיפה של נתונים, סחיפה של מודל, סחיפה הטיה וסחיפה של ייחוס תכונות.

צילום המסך הבא מציג דוגמה של לוח המחוונים של הדגם.

לוח המחוונים של הדגמים מספק סקירה כללית של כל הדגמים שלך, מהו דירוג הסיכון שלהם וכיצד הדגמים הללו מתפקדים בייצור. זה עושה זאת על ידי שליפת מידע מכל רחבי SageMaker. מידע ניטור הביצועים נקלט דרך אמזון SageMaker דגם צג, ותוכלו גם לראות מידע על מודלים שהופעלו לחיזוי אצווה דרך עבודות שינוי אצווה של SageMaker. מידע על שושלת, כגון האופן שבו המודל הוכשר, נעשה שימוש בנתונים ועוד, נקלט, ומידע מכרטיסי דגם נשלף גם כן.

Model Monitor עוקב אחר האיכות של דגמי SageMaker המשמשים בייצור להסקת אצווה או נקודות קצה בזמן אמת. אתה יכול להגדיר ניטור רציף או צגים מתוזמנים באמצעות ממשקי API של SageMaker, ולערוך את הגדרות ההתראה דרך לוח המחוונים של המודל. אתה יכול להגדיר התראות שיודיעו לך כאשר יש סטיות באיכות הדגם. זיהוי מוקדם ויזום של חריגות אלה מאפשר לך לנקוט בפעולות מתקנות, כגון הדרכה מחדש של מודלים, ביקורת מערכות במעלה הזרם, או תיקון בעיות איכות מבלי צורך לנטר מודלים באופן ידני או לבנות כלי עבודה נוספים. לוח המחוונים של המודל נותן לך תובנה מהירה לגבי אילו דגמים מנוטרים וכיצד הם מתפקדים. למידע נוסף על Model Monitor, בקר מעקב אחר מודלים לאיכות נתונים ואיכות מודל, הטיה ויכולת הסבר.

כאשר אתה בוחר דגם בלוח המחוונים של המודל, אתה יכול לקבל תובנות מעמיקות יותר לגבי המודל, כגון כרטיס המודל (אם קיים), שושלת המודל, פרטים על נקודת הקצה שאליה המודל נפרס, ולוח הזמנים של הניטור עבור דֶגֶם.

תצוגה זו מאפשרת לך ליצור כרטיס דגם במידת הצורך. ניתן להפעיל, לבטל או לערוך את לוח הזמנים של הניטור גם דרך לוח המחוונים של הדגם.

עבור מודלים שאין להם לוח זמנים לניטור, אתה יכול להגדיר זאת על ידי הפעלת Model Monitor עבור נקודת הקצה שאליה המודל נפרס. באמצעות פרטי ההתראה והסטטוס, תקבל הודעה על מודלים שמציגים סחיפה של נתונים, סחיפה של מודל, סחיפה של הטיה או סחיפה של תכונה, תלוי באילו צגים אתה מגדיר.

בואו נסתכל על זרימת עבודה לדוגמה של איך להגדיר ניטור מודל. השלבים המרכזיים בתהליך זה הם:

1. לכידת נתונים שנשלחו לנקודת הקצה (או עבודת טרנספורמציה אצווה).
2. קבע קו בסיס (לכל אחד מסוגי הניטור).
3. צור לוח זמנים של Model Monitor כדי להשוות את התחזיות החיות מול קו הבסיס כדי לדווח על הפרות ולהפעיל התראות.

בהתבסס על ההתראות, אתה יכול לבצע פעולות כמו החזרת נקודת הקצה לגרסה קודמת או אימון מחדש של המודל עם נתונים חדשים. תוך כדי פעולה זו, ייתכן שיהיה צורך לעקוב אחר האופן שבו המודל הוכשר, דבר שניתן לעשות על ידי הדמיית שושלת המודל.

לוח המחוונים של המודל מציע אוסף עשיר של מידע לגבי המערכת האקולוגית הכוללת של המודל בחשבון, בנוסף ליכולת להתעמק בפרטים הספציפיים של מודל. למידע נוסף על לוח המחוונים של הדגם, עיין ב מדריך למפתחים.

סיכום

ממשל מודלים מורכב ולעתים קרובות כרוך בהרבה צרכים מותאמים אישית ספציפיים לארגון או לתעשייה. זה יכול להתבסס על הדרישות הרגולטוריות שהארגון שלך צריך לעמוד בהן, סוגי הפרסונות הקיימים בארגון וסוגי המודלים שבהם נעשה שימוש. אין גישה מתאימה לכולם לממשל, וחשוב שיהיו הכלים הנכונים זמינים כדי שניתן יהיה ליישם תהליך ממשל חזק.

עם כלי הממשל של ML המובנים הייעודיים ב- SageMaker, ארגונים יכולים ליישם את המנגנונים הנכונים לשיפור השליטה והנראות על פרויקטי ML עבור מקרי השימוש הספציפיים שלהם. נסה את כרטיסי הדגם ואת לוח המחוונים של המודל, והשאיר את הערותיך עם שאלות ומשוב. למידע נוסף על כרטיסי דגם ולוח המחוונים של הדגם, עיין ב מדריך למפתחים.

על המחברים

קירית תדאקה הוא אדריכל ML Solutions העובד בצוות SageMaker Service SA. לפני שהצטרפה ל-AWS, קירית עבדה בסטארט-אפים של בינה מלאכותית בשלבים מוקדמים ואחריה כמה זמן ייעוץ בתפקידים שונים במחקר AI, MLOps ומנהיגות טכנית.

מארק קארפ הוא אדריכל ML עם צוות שירות SageMaker. הוא מתמקד בסיוע ללקוחות לתכנן, לפרוס ולנהל עומסי עבודה של ML בקנה מידה. בזמנו הפנוי הוא נהנה לטייל ולחקור מקומות חדשים.

ראגו רמשה הוא אדריכל פתרונות ML עם צוות שירות Amazon SageMaker. הוא מתמקד בסיוע ללקוחות לבנות, לפרוס ולהעביר עומסי עבודה של ייצור ML ל-SageMaker בקנה מידה. הוא מתמחה בתחומי למידת מכונה, בינה מלאכותית וראייה ממוחשבת, ובעל תואר שני במדעי המחשב מאוניברסיטת דאלאס. בזמנו הפנוי הוא אוהב לטייל ולצלם.

רם ויטל הוא אדריכל פתרונות ML מומחה ב-AWS. יש לו למעלה מ-20 שנות ניסיון באדריכלות ובניית יישומים מבוזרים, היברידיים וענן. הוא נלהב לבנות פתרונות AI/ML ו-Big Data מאובטחים וניתנים להרחבה כדי לעזור ללקוחות ארגוניים באימוץ הענן ובמסע האופטימיזציה שלהם כדי לשפר את התוצאות העסקיות שלהם. בזמנו הפנוי הוא אוהב טניס, צילום וסרטי פעולה.

סאהיל סאיני הוא ארכיטקט פתרונות ISV בשירותי האינטרנט של אמזון. הוא עובד עם צוותי מוצר והנדסה של לקוחות אסטרטגיים של AWS כדי לעזור להם עם פתרונות טכנולוגיים באמצעות שירותי AWS עבור AI/ML, Containers, HPC ו-IoT. הוא עזר להקים פלטפורמות AI/ML עבור לקוחות ארגוניים.