צמצם למינימום את השפעת הייצור של עדכוני מודל ML עם בדיקות הצללים של Amazon SageMaker

אמזון SageMaker כעת מאפשר לך להשוות את הביצועים של גרסה חדשה של ערימת הגשה של מודל עם הגרסה הנפרסת כעת לפני השקת ייצור מלאה באמצעות נוהל בטיחות בפריסה המכונה בדיקת צללים. בדיקות צל יכולות לעזור לך לזהות שגיאות תצורה אפשריות ובעיות ביצועים לפני שהן משפיעות על משתמשי הקצה. עם SageMaker, אינך צריך להשקיע בבניית תשתית בדיקת הצללים שלך, מה שמאפשר לך להתמקד בפיתוח מודלים. SageMaker דואגת לפרוס את הגרסה החדשה לצד הגרסה הנוכחית המשרתת בקשות ייצור, ניתוב חלק מהבקשות לגרסת הצל. לאחר מכן תוכל להשוות את הביצועים של שתי הגרסאות באמצעות מדדים כגון זמן אחזור ושיעור שגיאות. זה נותן לך ביטחון רב יותר שהשקת ייצור לנקודות קצה של מסקנות של SageMaker לא תגרום לרגרסיות בביצועים, ועוזר לך להימנע מהפסקות עקב הגדרות שגויות בשוגג.

בפוסט זה, אנו מדגימים את היכולת החדשה הזו של SageMaker. המחברת לדוגמה המתאימה זמינה ב- GitHub זה מאגר.

סקירה כללית של הפיתרון

תשתית ההגשה של המודל שלך מורכבת ממודל למידת מכונה (ML), מיכל ההגשה או מופע המחשוב. הבה נשקול את התרחישים הבאים:

• אתה שוקל לקדם מודל חדש שעבר אימות לא מקוון לייצור, אבל רוצה להעריך מדדי ביצועים תפעוליים, כגון זמן אחזור, שיעור שגיאות וכן הלאה, לפני קבלת החלטה זו.
• אתה שוקל שינויים במיכל תשתית ההגשה שלך, כגון תיקון נקודות תורפה או שדרוג לגרסאות חדשות יותר, וברצונך להעריך את ההשפעה של שינויים אלה לפני הקידום לייצור.
• אתה שוקל לשנות את מופע ה-ML שלך ורוצה להעריך את ביצועי המופע החדש עם בקשות להסקת מסקנות חיות.

התרשים הבא ממחיש את ארכיטקטורת הפתרונות שלנו.

עבור כל אחד מהתרחישים הללו, בחר וריאנט ייצור שברצונך לבדוק מולו ו- SageMaker פורס אוטומטית את הגרסה החדשה במצב צל ומנתב עותק של בקשות ההסקה אליו בזמן אמת בתוך אותה נקודת קצה. רק התגובות של גרסת הייצור מוחזרות לאפליקציה המתקשרת. אתה יכול לבחור למחוק או לתעד את התגובות של גרסת הצללה לצורך השוואה לא מקוונת. לחלופין, אתה יכול לעקוב אחר הגרסאות באמצעות לוח מחוונים מובנה עם השוואה זו לצד זו של מדדי הביצועים. אתה יכול להשתמש ביכולת זו דרך SageMaker inference update-endpoint APIs או דרך מסוף SageMaker.

גרסאות צל מבוססות על יכולת גרסת הייצור בנקודות הקצה של SageMaker. כדי להדגיש, א וריאנט ייצור מורכב ממודל ML, מיכל הגשה ומופע ML. מכיוון שכל וריאציה אינה תלויה באחרות, תוכל לקבל דגמים, מיכלים או סוגי מופעים שונים על פני וריאציות שונות. SageMaker מאפשר לך לציין מדיניות קנה מידה אוטומטי על בסיס משתנה, כך שהם יכולים לשנות את קנה המידה באופן עצמאי בהתבסס על עומס נכנס. SageMaker תומך בעד 10 גרסאות ייצור לכל נקודת קצה. אתה יכול להגדיר וריאנט לקבל חלק מהתנועה הנכנסת על ידי הגדרת משקלי וריאציות, או לציין את וריאנט היעד בבקשה הנכנסת. התגובה מגרסה הייצור מועברת בחזרה לגורם המזמין.

A וריאנט צל (חדש) יש את אותם רכיבים כמו וריאנט ייצור. חלק מהבקשות שצוין על ידי המשתמש, המכונה אחוז דגימת תנועה, מועבר לגרסה הצללית. אתה יכול לבחור לרשום את התגובה של גרסת הצל שירות אחסון פשוט של אמזון (Amazon S3) או להשליך אותו.

שים לב ש- SageMaker תומך לכל היותר בוריאנט צל אחד לכל נקודת קצה. עבור נקודת קצה עם וריאנט צל, יכול להיות לכל היותר וריאנט ייצור אחד.

לאחר שתגדיר את גרסאות הייצור והצל, תוכל לנטר את מדדי פנייה הן עבור גרסאות ייצור והן עבור צללים ב אמזון CloudWatch תחת AWS/SageMaker מרחב שמות. כל העדכונים לנקודת הקצה של SageMaker מתוזמרים באמצעות פריסות כחול/ירוק ולהתרחש ללא כל אובדן בזמינות. נקודות הקצה שלך ימשיכו להגיב לבקשות ייצור תוך כדי הוספה, שינוי או הסרה של גרסאות צל.

אתה יכול להשתמש ביכולת זו באחת משתי דרכים:

• ניהול בדיקות צללים באמצעות קונסולת SageMaker - אתה יכול למנף את הקונסולה לחוויה מודרכת לניהול המסע מקצה לקצה של בדיקות צללים. זה מאפשר לך להגדיר מבחני צל למשך זמן מוגדר מראש, לעקוב אחר ההתקדמות באמצעות לוח מחוונים חי, לנקות עם השלמתם ולפעול לפי התוצאות.
• בדיקות צל בשירות עצמי באמצעות ממשקי ה-API של SageMaker Inference - אם זרימת העבודה של הפריסה שלך כבר משתמשת בממשקי API של יצירה/עדכון/מחיקה של נקודות קצה, תוכל להמשיך להשתמש בהם לניהול וריאנטים של Shadow.

בסעיפים הבאים, נעבור על כל אחד מהתרחישים הללו.

תרחיש 1 - בדיקות צללים מנוהלות באמצעות מסוף SageMaker

אם ברצונך לבחור ב-SageMaker לנהל את זרימת העבודה מקצה לקצה של יצירה, ניהול ופעולה על פי תוצאות מבחני הצללים, שקול להשתמש ביכולת של מבחני הצללים בסעיף ההסקה של מסוף SageMaker. כפי שצוין קודם לכן, זה מאפשר לך להגדיר מבחני צל למשך זמן מוגדר מראש, לעקוב אחר ההתקדמות באמצעות לוח מחוונים חי, להציג אפשרויות ניקוי עם השלמתם ולפעול לפי התוצאות. למידע נוסף, בקר במבחני הצללים סעיף מהתיעוד שלנו להסבר שלב אחר שלב על יכולת זו.

מקדים

את הדגמים לייצור וצל צריך ליצור ב- SageMaker. אנא עיין ב CreateModel API כאן.

שלב 1 - צור מבחן צל

נווט אל הסקה בחלונית הניווט השמאלית של מסוף SageMaker ולאחר מכן בחר בדיקות Shadow. זה יעביר אותך ללוח מחוונים עם כל מבחני הצל המתוזמנים, המופעלים והשלמו. לחץ על 'צור מבחן צל'. הזן שם למבחן ובחר הבא.

זה יעביר אותך לדף הגדרות בדיקת הצללים. אתה יכול לבחור תפקיד IAM קיים או ליצור אחד שיש לו את AmazonSageMakerFullAccess מדיניות IAM מצורפת. לאחר מכן, בחר 'צור נקודת קצה חדשה' והזן שם (xgb-prod-shadow-1). אתה יכול להוסיף ייצור אחד ווריאנט צל אחד המשויכים לנקודת קצה זו על ידי לחיצה על 'לְהוֹסִיף' בסעיף גרסאות. אתה יכול לבחור את הדגמים שיצרת ב'הוסף דגם' תיבת דיאלוג. זה יוצר ייצור או וריאנט. לחלופין, תוכל לשנות את סוג המופע והספירה המשויכים לכל וריאציה.

כל התעבורה עוברת לגרסת הייצור והיא מגיבה לבקשות הזמנה. אתה יכול לשלוט בחלק מהבקשות המנותבות לגרסת הצל על ידי שינוי ה- Traffic Sampling Percentage.

אתה יכול לשלוט על משך הבדיקה משעה עד 30 יום. אם לא מצוין, ברירת המחדל היא 7 ימים. לאחר תקופה זו, המבחן מסומן כסיים. אם אתה מפעיל בדיקה על נקודת קצה קיימת, היא תחזור למצב שלפני התחלת הבדיקה בסיום.

אתה יכול ללכוד את הבקשות והתגובות של וריאנט הצללים באמצעות ה- לכידת נתונים אפשרויות. אם לא מצוין, התגובות של וריאנט הצל נמחקות.

שלב 2 - מעקב אחר בדיקת צל

אתה יכול להציג את רשימת מבחני הצל על ידי ניווט אל Shadow Tests סעיף תחת הסקה. לחץ על מבחן הצל שנוצר בשלב הקודם כדי להציג את הפרטים של מבחן הצללים ולנטר אותה תוך כדי ביצועה או לאחר סיומו.

הסעיף מדדים מספק השוואה של מדדי המפתח ומספק גרפים מכוסים בין גרסאות הייצור והצל, יחד עם סטטיסטיקה תיאורית. אתה יכול להשוות מדדי הזמנה כגון ModelLatency ו Invocation4xxErrors כמו גם מדדי מופע כגון CPUUtilization ו DiskUtilization.

שלב 3 – קדם את גרסת הצל לגרסת הייצור החדשה

לאחר ההשוואה, אתה יכול לבחור לקדם את גרסת הצללים להיות גרסת הייצור החדשה או להסיר את גרסת הצל. עבור שתי האפשרויות הללו, בחר 'סמן הושלם' בראש העמוד. זה מציג לך אפשרות לקדם או להסיר את וריאנט הצללים.

אם תבחר לקדם, תועבר לדף פריסה, שבו תוכל לאשר את הגדרות הגרסה לפני הפריסה. לפני הפריסה, אנו ממליצים לשנות את גודל גרסאות הצל שלך כדי להיות מסוגלים להתמודד עם 100% מתעבורת הפניות. אם אינך משתמש בבדיקת צל כדי להעריך סוגים או גדלים חלופיים של מופעים, תוכל להשתמש בלחצן 'לשמור על הגדרות גרסת הייצור. אחרת, אתה יכול לבחור 'לשמור על הגדרות גרסת צל. אם תבחר באפשרות זו, אנא ודא שדגימת התנועה שלך מוגדרת ל-100%. לחלופין, תוכל לציין את סוג המופע והספירה אם ברצונך לעקוף את ההגדרות הללו.

לאחר שתאשר את הפריסה, SageMaker ייזום עדכון לנקודת הקצה שלך כדי לקדם את גרסת הצל לגרסת הייצור החדשה. כמו בכל העדכונים של SageMaker, נקודת הקצה שלך עדיין תהיה פעילה במהלך העדכון.

תרחיש 2: בדיקת צל באמצעות ממשקי API להסקת SageMaker

סעיף זה מכסה כיצד להשתמש בממשקי ה-API הקיימים של SageMaker ליצירה/עדכון/מחיקה של נקודות קצה כדי לפרוס גרסאות צל.

לדוגמא זו, יש לנו שני דגמי XGBoost המייצגים שתי גרסאות שונות של הדגמים שהוכשרו מראש. model.tar.gz הוא הדגם שנפרס כעת בייצור. model2 הוא הדגם החדש יותר, ואנו רוצים לבדוק את הביצועים שלו במונחים של מדדים תפעוליים כמו חביון לפני שנחליט להשתמש בו בייצור. אנחנו פורסים model2 כגרסה צל של model.tar.gz. שני הדגמים שהוכשרו מראש מאוחסנים בדלי S3 הציבורי s3://sagemaker-sample-files. קודם כל מורידים את הדגם של מופע המחשוב המקומי שלנו ואז מעלים ל-S3.

המודלים בדוגמה זו משמשים כדי לחזות את ההסתברות שלקוח סלולרי יעזוב את המפעיל הסלולרי הנוכחי שלו. מערך הנתונים בו אנו משתמשים זמין לציבור והוזכר בספר גילוי ידע בנתונים מאת דניאל טי לארוז. מודלים אלה הוכשרו באמצעות מחברת חיזוי צ'ורן XGB ב- SageMaker. אתה יכול גם להשתמש בדגמים שהוכשרו מראש שלך, ובמקרה זה תוכל לדלג על ההורדה s3://sagemaker-sample-files והעתק את הדגמים שלך ישירות לדגם/תיקייה.

!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model.tar.gz model/
!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model2.tar.gz model/

שלב 1 - יצירת מודלים

אנו מעלים את קבצי הדגם לדלי S3 משלנו ויוצרים שני דגמי SageMaker. ראה את הקוד הבא:

model_url = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
)
model_url2 = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model2.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
from sagemaker import image_uris
image_uri = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-1")
image_uri2 = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-2")

model_name = f"DEMO-xgb-churn-pred-{datetime.now():%Y-%m-%d-%H-%M-%S}"
model_name2 = f"DEMO-xgb-churn-pred2-{datetime.now():%Y-%m-%d-%H-%M-%S}"

resp = sm.create_model(
    ModelName=model_name,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri, "ModelDataUrl": model_url}],
)

resp = sm.create_model(
    ModelName=model_name2,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri2, "ModelDataUrl": model_url2}],
)

שלב 2 - פרוס את שני הדגמים כגרסאות ייצור וצל לנקודת קצה בזמן אמת

אנו יוצרים תצורת נקודת קצה עם גרסאות הייצור והצל. ה ProductionVariants ו ShadowProductionVariants מעניינים במיוחד. לשתי הגרסאות הללו יש מופעים ml.m5.xlarge עם 4 vCPUs ו-16 GiB של זיכרון, וספירת המופעים הראשונית מוגדרת ל-1. ראה את הקוד הבא:

ep_config_name = f"Shadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"
production_variant_name = "production"
shadow_variant_name = "shadow"
create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=ep_config_name,
    ProductionVariants=[
    # Type: Array of ProductionVariant (https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html) objects
      { 
         "VariantName": shadow_variant_name,
        {
            "VariantName": production_variant_name,
            "ModelName": model_name,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1,
        }
    ],
     # Type: Array of ShadowProductionVariants 
    ShadowProductionVariants = [
         "ModelName": model_name2,
         "InitialInstanceCount": 1,
         "InitialVariantWeight": 0.5,
         "InstanceType": "ml.m5.xlarge" 
      }
   ]
)

לבסוף, אנו יוצרים את גרסת הייצור והצל:

endpoint_name = f"xgb-prod-shadow-{datetime.now():%Y-%m-%d-%H-%M-%S}"
create_endpoint_api_response = sm.create_endpoint(
                                    EndpointName=endpoint_name,
                                    EndpointConfigName=ep_config_name,
                                )

שלב 3 - הזינו את נקודת הקצה לבדיקה

לאחר שנקודת הקצה נוצרה בהצלחה, תוכל להתחיל להפעיל אותה. אנו שולחים כ-3,000 בקשות באופן רציף:

def invoke_endpoint(endpoint_name, wait_interval_sec=0.01, should_raise_exp=False):
    with open("test_data/test-dataset-input-cols.csv", "r") as f:
        for row in f:
            payload = row.rstrip("n")
            try:
                for i in range(10): #send the same payload 10 times for testing purpose
                    response = sm_runtime.invoke_endpoint(
                        EndpointName=endpoint_name, ContentType="text/csv", Body=payload
                    )
            except Exception as e:
                print("E", end="", flush=True)
                if should_raise_exp:
                    raise e

invoke_endpoint(endpoint_name)

שלב 4 - השוואת מדדים

כעת, לאחר שפרסנו גם את מודל הייצור וגם את מודל הצללים, הבה נשווה את מדדי ההתקשרות. לרשימה של מדדי הזמנה הזמינים להשוואה, עיין ב עקוב אחר אמזון SageMaker עם אמזון CloudWatch. נתחיל בהשוואת קריאות בין גרסאות הייצור והצל.

השמיים InvocationsPerInstance מדד מתייחס למספר הפניות שנשלחו לגרסת הייצור. חלק מקריצות אלה, המצוינות במשקל הווריאציה, נשלחות לוריאנט הצל. הפניה לכל מופע מחושבת על ידי חלוקת המספר הכולל של הפניות במספר המופעים בגרסה. כפי שמוצג בתרשימים הבאים, אנו יכולים לאשר שגם גרסת הייצור וגם גרסת הצל מקבלים בקשות הזמנה לפי המשקלים שצוינו בתצורת נקודת הקצה.

לאחר מכן, הבה נשווה את זמן האחזור של המודל (ModelLatency metric) בין גרסאות הייצור והצל. זמן השהיית המודל הוא הזמן שלוקח למודל להגיב כפי שנראה מ- SageMaker. אנו יכולים לראות כיצד זמן האחזור של המודל של גרסת הצל משתווה לגרסה הייצור מבלי לחשוף את משתמשי הקצה לגרסת הצל.

אנו מצפים לאחזור התקורה (OverheadLatency מדד) כדי שיהיה ניתן להשוואה בין גרסאות ייצור וצל. חביון תקורה הוא המרווח הנמדד מרגע קבלת הבקשה של SageMaker ועד להחזרת תגובה ללקוח, בניכוי השהייה של המודל.

שלב 5- קדם את גרסת הצל שלך

כדי לקדם את מודל הצל לייצור, צור תצורת נקודת קצה חדשה עם הנוכחי ShadowProductionVariant כמו החדש ProductionVariant ולהסיר את ShadowProductionVariant. פעולה זו תסיר את הזרם ProductionVariant ולקדם את גרסת הצל כדי להפוך לגרסת הייצור החדשה. כמו תמיד, כל העדכונים של SageMaker מתוכננים כפריסות כחול/ירוק מתחת למכסה המנוע, ואין אובדן זמינות בזמן ביצוע העדכון.

לחלופין, אתה יכול למנף פריסה מעקות בטיחות אם אתה רוצה להשתמש בהסטת תנועה בבת אחת ובחזרה אוטומטית במהלך העדכון שלך.

promote_ep_config_name = f"PromoteShadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"

create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=promote_ep_config_name,
    ProductionVariants=[
        {
            "VariantName": shadow_variant_name,
            "ModelName": model_name2,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1.0,
        }
    ],
)
print(f"Created EndpointConfig: {create_endpoint_config_response['EndpointConfigArn']}")

update_endpoint_api_response = sm.update_endpoint(
    EndpointName=endpoint_name,
    EndpointConfigName=promote_ep_config_name,
)

wait_for_endpoint_in_service(endpoint_name)

sm.describe_endpoint(EndpointName=endpoint_name)

שלב 6 - ניקוי

אם אינך מתכוון להשתמש בנקודת קצה זו עוד יותר, עליך למחוק את נקודת הקצה כדי להימנע מחיובים נוספים ולנקות משאבים אחרים שנוצרו בבלוג זה.

dsm.delete_endpoint(EndpointName=endpoint_name)
sm.delete_endpoint_config(EndpointConfigName=ep_config_name)
sm.delete_endpoint_config(EndpointConfigName=promote_ep_config_name)
sm.delete_model(ModelName=model_name)
sm.delete_model(ModelName=model_name2)

סיכום

בפוסט זה, הצגנו יכולת חדשה של מסקנות של SageMaker להשוות את הביצועים של גרסה חדשה של מחסנית הגשה של מודל עם הגרסה הנפרסת כעת לפני השקת ייצור מלאה תוך שימוש בשיטות בטיחות בפריסה המכונה בדיקות צל. הדרכנו אותך על היתרונות של שימוש בגרסאות צל ושיטות להגדרת הווריאציות עם דוגמה מקצה לקצה. למידע נוסף על גרסאות צל, עיין במבחני צל תיעוד.

על הכותבים

ראגו רמשה הוא אדריכל פתרונות למידת מכונה בצוות שירות Amazon SageMaker. הוא מתמקד בסיוע ללקוחות לבנות, לפרוס ולהעביר עומסי עבודה של ייצור ML ל-SageMaker בקנה מידה. הוא מתמחה בתחומי למידת מכונה, בינה מלאכותית וראייה ממוחשבת, ובעל תואר שני במדעי המחשב מאוניברסיטת דאלאס. בזמנו הפנוי הוא אוהב לטייל ולצלם.

צ'ינגווי לי הוא מומחה למידת מכונה בשירותי האינטרנט של אמזון. הוא קיבל את הדוקטורט. במחקר מבצעים לאחר ששבר את חשבון מענקי המחקר של יועצו ולא הצליח להעניק את פרס נובל שהבטיח. נכון לעכשיו הוא מסייע ללקוחות בענף השירותים הפיננסיים וביטוח לבנות פתרונות למידת מכונה ב- AWS. בזמנו הפנוי הוא אוהב לקרוא ולהוריד.

צ'יון ג'או הוא מהנדס פיתוח תוכנה בכיר בצוות Amazon SageMaker Inference Platform. הוא המפתח הראשי של Deployment Guardrails ו-Shadow Deployments, והוא מתמקד בסיוע ללקוחות לנהל עומסי עבודה ופריסות ML בקנה מידה עם זמינות גבוהה. הוא גם עובד על התפתחות ארכיטקטורת פלטפורמה לפריסה מהירה ומאובטחת של משרות ML והפעלת ניסויי ML מקוונים בנוחות. בזמנו הפנוי הוא נהנה לקרוא, לשחק ולטייל.

טארון סירם הוא מנהל מוצר בכיר עבור Amazon SageMaker Inference. הוא מעוניין ללמוד על המגמות האחרונות בלמידת מכונה ולעזור ללקוחות למנף אותן. בזמנו הפנוי הוא אוהב לרכוב על אופניים, לעשות סקי ולשחק טניס.