דפוסי אירוח דגמים ב- SageMaker: שיטות עבודה מומלצות בבדיקה ועדכון מודלים ב- SageMaker

אמזון SageMaker הוא שירות מנוהל במלואו המספק למפתחים ולמדעני נתונים את היכולת לבנות, לאמן ולפרוס במהירות מודלים של למידת מכונה (ML). עם SageMaker, אתה יכול לפרוס את דגמי ה-ML שלך בנקודות קצה מתארחות ולקבל תוצאות מסקנות בזמן אמת. אתה יכול להציג בקלות את מדדי הביצועים עבור נקודות הקצה שלך ב אמזון CloudWatch, קנה מידה אוטומטי של נקודות קצה מבוסס על תעבורה, ועדכן את הדגמים שלך בייצור מבלי לאבד שום זמינות. SageMaker מציעה מגוון רחב של אפשרויות לפריסת דגמי ML להסקת מסקנות בכל אחת מהדרכים הבאות, בהתאם למקרה השימוש שלך:

• עבור תחזיות סינכרוניות שצריכות להיות מוצגות בסדר גודל של אלפיות שניות, השתמש ב- SageMaker מסקנות בזמן אמת
• לעומסי עבודה שיש להם תקופות סרק בין פרצי תנועה ויכולים לסבול התחלות קרות, השתמש מסקנות ללא שרת
• עבור בקשות עם גדלי מטען גדולים של עד 1 GB, זמני עיבוד ארוכים (עד 15 דקות) ודרישות אחזור כמעט בזמן אמת (שניות עד דקות), השתמש ב- SageMaker הסקה אסינכרונית
• כדי לקבל תחזיות עבור מערך נתונים שלם, השתמש ב- SageMaker הפיכת אצווה

הסקת מסקנות בזמן אמת היא אידיאלית עבור עומסי עבודה מסקנות שבהן יש לך דרישות זמן אמת, אינטראקטיביות וזמן אחזור נמוך. אתה פורס את המודל שלך לשירותי אירוח של SageMaker ומקבל נקודת קצה שניתן להשתמש בה להסקת מסקנות. נקודות קצה אלו מגובות על ידי תשתית ותמיכה מנוהלת במלואה קנה מידה אוטומטי. אתה יכול לשפר את היעילות והעלות על ידי שילוב דגמים מרובים לנקודת קצה אחת באמצעות נקודות קצה מרובות-מודלים or נקודות קצה מרובות מכולות.

ישנם מקרי שימוש מסוימים שבהם אתה רוצה לפרוס גרסאות מרובות של אותו דגם לייצור כדי לאמוד את הביצועים שלהם, למדוד שיפורים או להפעיל מבחני A/B. במקרים כאלה, נקודות קצה מרובות של SageMaker שימושיות מכיוון שהן מאפשרות לך לפרוס גרסאות ייצור מרובות של דגם לאותה נקודת קצה של SageMaker.

בפוסט זה, אנו דנים בנקודות קצה מרובות גרסאות של SageMaker ובשיטות עבודה מומלצות לאופטימיזציה.

השוואת אפשרויות הסקת מסקנות בזמן אמת של SageMaker

התרשים הבא נותן סקירה מהירה של אפשרויות ההסקה בזמן אמת עם SageMaker.

נקודת קצה של דגם יחיד מאפשרת לך לפרוס מודל אחד על קונטיינר המתארח במופעים ייעודיים או ללא שרת עבור זמן השהייה נמוך ותפוקה גבוהה. אתה יכול ליצור מודל ו להחזיר a תמונת SageMaker נתמכת עבור מסגרות פופולריות כגון TensorFlow, PyTorch, Scikit-learn ועוד. אם אתה עובד עם מסגרת מותאמת אישית עבור הדגם שלך, אתה יכול גם להביא מיכל משלך שמתקין את התלות שלך.

SageMaker תומך גם באפשרויות מתקדמות יותר כגון נקודות קצה מרובות דגמים (MME) ונקודות קצה מרובות מכולות (MCE). MMEs שימושיים כאשר אתה מתמודד עם מאות עד עשרות אלפי דגמים ושאין צורך לפרוס כל דגם כנקודת קצה בודדת. MMEs מאפשרים לך לארח דגמים מרובים בצורה חסכונית וניתנת להרחבה באותה נקודת קצה על ידי שימוש במיכל הגשה משותף המתארח במופע. התשתית הבסיסית (מיכל ומופע) נשארת זהה, אך הדגמים נטענים ונפרקים באופן דינמי ממיקום S3 משותף, בהתאם לשימוש וכמות הזיכרון הזמינה בנקודת הקצה. היישום שלך פשוט צריך לכלול קריאת API עם מודל היעד לנקודת קצה זו כדי להשיג הסקת השהייה נמוכה ותפוקה גבוהה. במקום לשלם עבור נקודת קצה נפרדת עבור כל דגם בודד, אתה יכול לארח דגמים רבים במחיר של נקודת קצה בודדת.

MCEs מאפשרים לך להפעיל עד 15 מיכלי ML שונים בנקודת קצה אחת ולהפעיל אותם באופן עצמאי. אתה יכול לבנות את מיכלי ה-ML הללו על ערימות הגשה שונות (כגון מסגרת ML, שרת מודל ואלגוריתם), שיופעלו על אותה נקודת קצה כדי לחסוך בעלויות. אתה יכול לתפור את המיכלים יחד ב-a צינור מסקנות סדרתי או להפעיל את המכולה באופן עצמאי. זה יכול להיות אידיאלי כאשר יש לך כמה מודלים שונים של ML שיש להם דפוסי תעבורה שונים וצרכי ​​משאבים דומים. דוגמאות למועד השימוש ב-MCE כוללות, בין היתר, את הדברים הבאים:

• אירוח מודלים על פני מסגרות שונות (כגון TensorFlow, PyTorch ו-Scikit-learn) שאין להם מספיק תעבורה כדי להרוות את מלוא הקיבולת של מופע
• אירוח מודלים מאותה מסגרת עם אלגוריתמים שונים של ML (כגון המלצות, חיזוי או סיווג) ופונקציות מטפל
• השוואות של ארכיטקטורות דומות הפועלות על גרסאות מסגרת שונות (כגון TensorFlow 1.x לעומת TensorFlow 2.x) עבור תרחישים כמו בדיקות A/B

נקודות קצה מרובות של SageMaker (MVEs) מאפשרות לך לבדוק מספר דגמים או גרסאות מודל מאחורי אותה נקודת קצה באמצעות גרסאות ייצור. כל וריאנט ייצור מזהה מודל ML ואת המשאבים שנפרסו לאירוח המודל, כגון מיכל ההגשה והמופע.

סקירה כללית של נקודות קצה ריבוי גרסאות של SageMaker

בתהליכי עבודה של ML בייצור, מדעני נתונים ומהנדסי ML משכללים מודלים באמצעות מגוון שיטות, כגון אימון מחדש על בסיס סחיפה של נתונים/מודל/קונספטים, כוונון היפרפרמטרים, בחירת תכונה, בחירת מסגרת ועוד. ביצוע בדיקות A/B בין דגם חדש לדגם ישן עם תעבורת ייצור יכול להיות שלב אחרון יעיל בתהליך האימות לדגם חדש. בבדיקת A/B, אתה בודק גרסאות שונות של הדגמים שלך ומשווה את הביצועים של כל וריאציה זו ביחס לזו. לאחר מכן תבחר את הדגם בעל הביצועים הטובים ביותר כדי להחליף את הדגם הקודם בגרסה חדשה שמספקת ביצועים טובים יותר מהגרסה הקודמת. על ידי שימוש בגרסאות ייצור, אתה יכול לבדוק את דגמי ה-ML הללו וגרסאות דגמים שונות מאחורי אותה נקודת קצה. אתה יכול לאמן מודלים אלה של ML באמצעות מערכי נתונים שונים, אלגוריתמים שונים ומסגרות ML; לפרוס אותם לסוגי מופעים שונים; או כל שילוב של אפשרויות אלו. מאזן העומס המחובר לנקודת הקצה של SageMaker מספק את היכולת להפיץ את בקשות ההתקשרות על פני גרסאות ייצור מרובות. לדוגמה, אתה יכול להפיץ תנועה בין גרסאות ייצור על ידי ציון התפלגות התעבורה עבור כל וריאציה, או שאתה יכול להפעיל וריאציה ספציפית ישירות עבור כל בקשה.

אתה יכול גם להגדיר את מדיניות קנה המידה האוטומטי כדי להגדיל או להרחיק את הווריאציות שלך באופן אוטומטי בהתבסס על מדדים כגון בקשות לשנייה.

התרשים הבא ממחיש כיצד MVE פועל ביתר פירוט.

פריסת MVE היא גם פשוטה מאוד. כל מה שאתה צריך לעשות הוא להגדיר אובייקטי מודל עם התמונה ונתוני המודל באמצעות create_model לבנות מתוך SageMaker Python SDK, ולהגדיר את תצורות נקודות הקצה באמצעות production_variant בונה ליצירת גרסאות ייצור, כל אחת עם דרישות מודל ומשאבים משלה (סוג מופע וספירות). זה מאפשר לך גם לבדוק מודלים על סוגי מופעים שונים. כדי לפרוס, השתמש ב- endpoint_from_production_variant לבנות כדי ליצור את נקודת הקצה.

במהלך יצירת נקודת הקצה, SageMaker מספקת את מופע האירוח שצוין בהגדרות נקודת הקצה ומוריד את הדגם ומיכל ההסקה שצוין על ידי וריאנט הייצור למופע האירוח. אם תגובה מוצלחת מוחזרת לאחר הפעלת הקונטיינר וביצוע בדיקת תקינות עם פינג, נשלחת למשתמש הודעה המציינת כי יצירת נקודת הקצה הושלמה. ראה את הקוד הבא:

sm_session.create_model(
	name=model_name,
	role=role,
	container_defs={'Image':  image_uri, 'ModelDataUrl': model_url}
	)

sm_session.create_model(
	name=model_name2,
	role=role,
	container_defs={'Image':  image_uri, 'ModelDataUrl': model_url2 }
	)

variant1 = production_variant(
	model_name=model_name,
	instance_type="ml.c5.4xlarge",
	initial_instance_count=1,
	variant_name="Variant1",
	initial_weight=1
	)

variant2 = production_variant(
	model_name=model_name2,
	instance_type="ml.m5.4xlarge",
	initial_instance_count=1,
	variant_name="Variant2",
	initial_weight=1
	)

sm_session.endpoint_from_production_variants(
	name=endpoint_name,
	production_variants=[variant1,  variant2]
	)

בדוגמה הקודמת, יצרנו שתי גרסאות, שלכל אחת מהן מודל שונה משלה (אלה יכולים להיות גם סוגים וספירות שונות של מופעים). קבענו א initial_weight של 1 עבור שתי הגרסאות: המשמעות היא ש-50% מהבקשות שלנו מגיעות אל Variant1, ו-50% הנותרים ל Variant2. סכום המשקלים בשתי הגרסאות הוא 2 ולכל וריאציה יש הקצאת משקל של 1. זה מרמז שכל וריאציה מקבלת 50% מסך התעבורה.

הפעלת נקודת הקצה דומה למבנה הנפוץ של SageMaker invoke_endpoint; אתה יכול להתקשר ישירות לנקודת הקצה עם הנתונים כמטען:

sm_runtime.invoke_endpoint(
	EndpointName=endpoint_name,
	ContentType="text/csv",
	Body=payload
	)

SageMaker פולט מדדים כגון Latency ו Invocations עבור כל גרסה ב-CloudWatch. לרשימה מלאה של מדדים ש-SageMaker פולט, ראה עקוב אחר אמזון SageMaker עם אמזון CloudWatch. אתה יכול לשאול את CloudWatch כדי לקבל את מספר הפניות לכל גרסה, כדי לראות כיצד הפניות מחולקות על פני גרסאות כברירת מחדל.

כדי להפעיל גרסה ספציפית של המודל, ציין גרסה בתור TargetVariant בשיחה ל invoke_endpoint:

sm_runtime.invoke_endpoint(
	EndpointName=endpoint_name,
	ContentType="text/csv",
	Body=payload,
	TargetVariant="Variant1"
	)

אתה יכול להעריך את הביצועים של כל וריאנט ייצור על ידי סקירת מדדים כגון דיוק, דיוק, ריקול, ציון F1 ומאפיין הפעלה של המקלט/אזור מתחת לעקומה עבור כל וריאציה באמצעות אמזון SageMaker דגם צג. לאחר מכן תוכל להחליט להגדיל את התעבורה לדגם הטוב ביותר על ידי עדכון המשקלים שהוקצו לכל גרסה על ידי קריאה עדכןEndpointWeightsAndCapacity. זה משנה את התפלגות התעבורה לגרסאות הייצור שלך מבלי לדרוש עדכונים לנקודת הקצה שלך. אז במקום 50% מהתנועה מההגדרה הראשונית, אנחנו מעבירים 75% מהתנועה אל Variant2 על ידי הקצאת משקלים חדשים לכל גרסה באמצעות UpdateEndpointWeightsAndCapacities. ראה את הקוד הבא:

sm.update_endpoint_weights_and_capacities(
	EndpointName=endpoint_name,
	DesiredWeightsAndCapacities=[
	{
		"DesiredWeight": 25,
		"VariantName": variant1["VariantName"]
	},
	{
		"DesiredWeight": 75,
		"VariantName": variant2["VariantName"]
	}
] )

כאשר אתה מרוצה מהביצועים של וריאנט, אתה יכול לנתב 100% מהתנועה לאותה וריאציה. לדוגמה, אתה יכול להגדיר את המשקל עבור Variant1 ל-0 והמשקל עבור Variant2 ל-1. SageMaker שולחת 100% מכל הבקשות להסקת מסקנות Variant2. לאחר מכן תוכל לעדכן בבטחה את נקודת הקצה שלך ולמחוק Variant1 מנקודת הקצה שלך. אתה יכול גם להמשיך ולבחון דגמים חדשים בייצור על ידי הוספת גרסאות חדשות לנקודת הקצה שלך. אתה יכול גם להגדיר את נקודות הקצה הללו כך שיתאימו באופן אוטומטי על סמך התעבורה שנקודות הקצה מקבלות.

יתרונות של נקודות קצה מרובות וריאציות

SageMaker MVEs מאפשרים לך לעשות את הפעולות הבאות:

• פרוס ובדוק גרסאות מרובות של מודל באמצעות אותה נקודת קצה של SageMaker. זה שימושי לבדיקת וריאציות של מודל בייצור. לדוגמה, נניח שפרסת מודל לייצור. אתה יכול לבדוק וריאציה של המודל על ידי הפניית כמות קטנה של תנועה, למשל 5%, למודל החדש.
• הערכת ביצועי המודל בייצור מבלי להפריע לתעבורה על ידי ניטור מדדי תפעול עבור כל וריאציה ב-CloudWatch.
• עדכן דגמים בייצור מבלי לאבד שום זמינות. אתה יכול לשנות נקודת קצה מבלי להוציא מודלים שכבר נפרסו לייצור מחוץ לשירות. לדוגמה, אתה יכול להוסיף גרסאות מודל חדשות, לעדכן את תצורות מופעי המחשוב של ML של גרסאות מודל קיימות, או לשנות את התפלגות התעבורה בין גרסאות המודל. למידע נוסף, ראה עדכן נקודת קצה ו עדכןEndpointWeightsAndCapacity.

אתגרים בעת שימוש בנקודות קצה מרובות וריאציות

SageMaker MVEs מגיעים עם האתגרים הבאים:

• מאמץ בדיקת עומס - אתה צריך להשקיע כמות נכבדת של מאמץ ומשאבים עבור בדיקות והשוואות מטריצות מודלים עבור כל גרסה. כדי שמבחן A/B ייחשב מוצלח, עליך לבצע ניתוח סטטיסטי של המדדים שנאספו מהמבחן כדי לקבוע אם יש תוצאה מובהקת סטטיסטית. זה יכול להיות מאתגר למזער את הבדיקה של גרסאות עם ביצועים גרועים. אתה יכול להשתמש השודד רב הזרועות טכניקת אופטימיזציה כדי להימנע משליחת תנועה לניסויים שאינם עובדים ולמטב את הביצועים בזמן הבדיקה. לבדיקת עומס, אתה יכול גם לחקור אמזון SageMaker Inference Recommend לבצע אמות מידה נרחבות המבוססות על דרישות ייצור לאחביות ותפוקה, דפוסי תנועה מותאמים אישית ומופעים (עד 10) שתבחר.
• צימוד הדוק בין גרסת הדגם לנקודת הקצה - זה יכול להיות מסובך בהתאם לתדירות הפריסה של המודל, מכיוון שנקודת הקצה עלולה להגיע updating סטטוס עבור כל וריאנט ייצור המתעדכן. SageMaker גם תומך פריסה של מעקות בטיחות, שבו תוכלו להשתמש כדי לעבור בקלות מהדגם הנוכחי בייצור לחדש בצורה מבוקרת. אפשרות זו מציגה כנרית ו קווים מצבי העברת תנועה כך שתוכל לקבל שליטה מפורטת על העברת התנועה מהדגם הנוכחי שלך לחדש במהלך העדכון. עם אמצעי הגנה מובנים כגון החזרה אוטומטית, אתה יכול לתפוס בעיות מוקדם ולנקוט בפעולה מתקנת אוטומטית לפני שהן יגרמו להשפעה משמעותית על הייצור.

שיטות עבודה מומלצות עבור נקודות קצה מרובות וריאציות

כאשר מארחים דגמים המשתמשים ב-MVE של SageMaker, שקול את הדברים הבאים:

• SageMaker מעולה לבדיקת דגמים חדשים מכיוון שאתה יכול בקלות לפרוס אותם בסביבת בדיקות A/B ואתה משלם רק על מה שאתה משתמש בו. אתה מחויב לכל מופע-שעה שנצרך עבור כל מופע בזמן שנקודת הקצה פועלת. כשתסיים עם הבדיקות שלך ולא משתמש יותר בנקודת הקצה או בווריאציות, עליך למחוק אותה כדי לחסוך בעלויות. אתה תמיד יכול ליצור אותו מחדש כשתצטרך אותו שוב כי הדגם מאוחסן ב שירות אחסון פשוט של אמזון (אמזון S3).
• עליך להשתמש בסוג ובגודל המופע האופטימליים ביותר כדי לפרוס מודלים. SageMaker מציעה כרגע מקרים לחישוב ML על משפחות דוגמא שונות. מופע של נקודת קצה פועל כל הזמן (בזמן שהמופע בשירות). לכן, לבחירת סוג המופע הנכון יכולה להיות השפעה משמעותית על העלות הכוללת והביצועים של מודלים של ML. בדיקת עומס היא השיטה הטובה ביותר לקבוע את סוג המופע המתאים ואת גודל הצי, עם או בלי שינוי קנה מידה אוטומטי עבור נקודת הקצה החיה שלך כדי למנוע הקצאת יתר ותשלום נוסף עבור קיבולת שאינך צריך.
• אתה יכול לעקוב אחר ביצועי המודל וניצול המשאבים ב-CloudWatch. אתה יכול להגדיר את א ProductionVariant כדי להשתמש קנה מידה אוטומטי של יישום. כדי לציין את המדדים וערכי היעד עבור מדיניות קנה מידה, אתה מגדיר מדיניות קנה מידה מעקב יעד. אתה יכול להשתמש במדד מוגדר מראש או במדד מותאם אישית. למידע נוסף על תחביר תצורת מדיניות, ראה TargetTrackingScalingPolicyConfiguration. למידע על הגדרת קנה מידה אוטומטי, ראה קנה מידה מידה של דגמי SageMaker של אמזון. כדי להגדיר במהירות מדיניות קנה מידה של מעקב יעד עבור גרסה, אתה יכול לבחור מדד CloudWatch ספציפי ולהגדיר ערכי סף. לדוגמה, השתמש במדד SageMakerVariantInvocationsPerInstance כדי לפקח על מספר הפעמים הממוצע בדקה שכל מופע עבור וריאנט מופעל, או להשתמש במדד CPUUtilization כדי לפקח על סכום העבודה המטופל על ידי מעבד. הדוגמה הבאה משתמשת ב- SageMakerVariantInvocationsPerInstance מדד מוגדר מראש כדי להתאים את מספר מופעי הגרסה כך שלכל מופע יש InvocationsPerInstance מדד של 70:

{
	"TargetValue": 70.0,
	"PredefinedMetricSpecification":
	{
		"PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
	}
}

• שינוי או מחיקה של חפצי מודל או שינוי קוד מסקנות לאחר פריסת מודל מייצרים תוצאות בלתי צפויות. לפני פריסת מודלים לייצור, מומלץ לבדוק אם אירוח המודל במצב מקומי מצליח לאחר ניפוי באגים מספיק של קטעי קוד ההסקה (כמו model_fn, input_fn, predict_fn, ו output_fn) בסביבת הפיתוח המקומית כמו מופע מחברת SageMaker או שרת מקומי. אם עליך לשנות או למחוק חפצי מודל או לשנות קוד מסקנות, שנה את נקודת הקצה על ידי אספקת תצורת נקודת קצה חדשה. לאחר שתספק את תצורת נקודת הקצה החדשה, תוכל לשנות או למחוק את חפצי הדגם התואמים לתצורת נקודת הקצה הישנה.
• אתה יכול להשתמש ב- SageMaker הפיכת אצווה לבדיקת גרסאות ייצור. טרנספורמציה אצווה היא אידיאלית כדי לקבל מסקנות ממערכי נתונים גדולים. אתה יכול ליצור עבודת טרנספורמציה נפרדת עבור כל וריאנט מודל חדש ולהשתמש במערך נתונים אימות כדי לבדוק. עבור כל עבודת טרנספורמציה, ציין שם דגם ומיקום ייחודיים באמזון S3 עבור קובץ הפלט. כדי לנתח את התוצאות, השתמש יומנים ומדדים של צינור מסקנות.

סיכום

SageMaker מאפשר לך לבדוק בקלות דגמי ML בייצור A/B על ידי הפעלת גרסאות ייצור מרובות בנקודת קצה. אתה יכול להשתמש ביכולות של SageMaker כדי לבדוק מודלים שעברו הכשרה באמצעות מערכי אימון שונים, היפרפרמטרים, אלגוריתמים או מסגרות ML; כיצד הם מתפקדים בסוגי מופעים שונים; או שילוב של כל האמור לעיל. אתה יכול לספק את התפלגות התעבורה בין הגרסאות בנקודת קצה, ו- SageMaker מפצל את תעבורת ההסקת לגרסאות על סמך ההתפלגות שצוינה. לחלופין, אם ברצונך לבדוק מודלים לפלחי לקוחות ספציפיים, תוכל לציין את הגרסה שאמורה לעבד בקשת הסקה על ידי מתן TargetVariant header, ו- SageMaker ינתב את הבקשה לגרסה שציינת. למידע נוסף על בדיקות A/B, ראה עדכון בטוח של דגמים בייצור.

הפניות

על המחברים

דיפאלי רג'אלה הוא מנהל חשבון טכני מומחה AI/ML בשירותי האינטרנט של אמזון. היא עובדת עם לקוחות ארגוניים ומספקת הדרכה טכנית על הטמעת פתרונות למידת מכונה עם שיטות עבודה מומלצות. בזמנה הפנוי היא נהנית מטיולים, סרטים ובילוי עם משפחה וחברים.

דוואל פאטל הוא אדריכל ראשי למידת מכונה ב-AWS. הוא עבד עם ארגונים החל מארגונים גדולים ועד סטארט-אפים בינוניים על בעיות הקשורות למחשוב מבוזר ובינה מלאכותית. הוא מתמקד בלמידה עמוקה כולל תחומי NLP ו-Computer Vision. הוא עוזר ללקוחות להשיג מסקנות מודל עם ביצועים גבוהים על SageMaker.

סאוראב טריקאנדה הוא מנהל מוצר בכיר עבור Amazon SageMaker Inference. הוא נלהב לעבוד עם לקוחות ומוטיבציה היא המטרה של דמוקרטיזציה של למידת מכונה. הוא מתמקד באתגרי ליבה הקשורים לפריסת יישומי ML מורכבים, מודלים של ML מרובי דיירים, אופטימיזציות עלויות והפיכת פריסת מודלים של למידה עמוקה לנגישה יותר. בזמנו הפנוי, סאוראב נהנה לטייל, ללמוד על טכנולוגיות חדשניות, לעקוב אחר TechCrunch ולבלות עם משפחתו.