שיפור היציבות והגמישות של צינורות ML באמזון Packaging Innovation עם Amazon SageMaker Pipelines

כדי לשמח לקוחות ולמזער בזבוז אריזות, אמזון חייבת לבחור את סוג האריזה האופטימלי עבור מיליארדי חבילות הנשלחות מדי שנה. אם נעשה שימוש בהגנה קטנה מדי לפריט שביר כמו ספל קפה, הפריט יגיע פגום ואמזון מסתכנת באמון הלקוח. שימוש רב מדי בהגנה יביא לעלויות מוגברות ולפחי מיחזור מלאים מדי. עם מאות מיליוני מוצרים זמינים, יש צורך במנגנון החלטה ניתן להרחבה כדי ללמוד באופן רציף מבדיקות מוצרים ומשוב מלקוחות.

כדי לפתור את הבעיות הללו, צוות Amazon Packaging Innovation פיתח מודלים של למידת מכונה (ML) המסווגים האם מוצרים מתאימים לסוגי אריזות של אמזון כגון דואר, שקיות או קופסאות, או אפילו יכולים להישלח ללא אריזה נוספת. בעבר, הצוות פיתח צינור מותאם אישית המבוסס על פונקציות שלב AWS לבצע הכשרה שבועית ועבודות מסקנות יומיות או חודשיות. עם זאת, לאורך זמן הצינור לא סיפק גמישות מספקת כדי להשיק דגמים עם ארכיטקטורות חדשות. פיתוח עבור הצינורות החדשים הציג תקורה ודרש תיאום בין מדעני נתונים ומפתחים. כדי להתגבר על קשיים אלה ולשפר את מהירות הפריסה של מודלים וארכיטקטורות חדשות, הצוות בחר לתזמר אימון והסקת מודלים עם צינורות SageMaker של אמזון.

בפוסט זה, אנו דנים בארכיטקטורת התזמור הקודמת המבוססת על Step Functions, מתארים ארכיטקטורות הדרכה והסקת מסקנות באמצעות Pipelines, ומדגישים את הגמישות שצוות Amazon Packaging Innovation השיג.

אתגרים של צינור ML לשעבר ב- Amazon Packaging Innovation

כדי לשלב משוב רציף על ביצועי החבילות, מודל חדש מאומן מדי שבוע באמצעות מספר הולך וגדל של תוויות. ההסקה עבור כל מלאי המוצרים מתבצעת מדי חודש, ומסקה יומית מתבצעת כדי לספק תחזיות בדיוק בזמן עבור המלאי החדש שנוסף.

כדי להפוך את תהליך האימון של מספר מודלים לאוטומטי ולספק תחזיות, הצוות פיתח צינור מותאם אישית המבוסס על Step Functions כדי לתזמן את השלבים הבאים:

• הכנת נתונים למשרות הדרכה והסקת מסקנות וטעינת תחזיות למסד הנתונים (האדום של אמזון) עם דבק AWS.
• אימון מודל והסקת מסקנות עם אמזון SageMaker.
• חישוב מדדי ביצועי מודל על ערכת האימות עם אצווה AWS.
• שימוש אמזון דינמו לאחסן תצורות מודל (כגון יחס פיצול נתונים עבור אימון ואימות, מיקום חפצי מודל, סוג דגם ומספר מופעים לאימון והסקת מסקנות), מדדי ביצועי מודל וגרסת המודל האחרונה שעבר הכשרה מוצלחת.
• חישוב ההבדלים בציוני הביצועים של הדגם, שינויים בהתפלגות תוויות האימון והשוואת גודל נתוני הקלט בין הגרסה הקודמת לגרסה החדשה עם AWS למבדה פונקציות.
• בהתחשב במספר הצעדים הרב, הצינור דרש גם מערכת אזעקה אמינה בכל שלב כדי להתריע בפני בעלי העניין על כל בעיה. זה הושג באמצעות שילוב של שירות תורים פשוט של אמזון (אמזון SQS) ו שירות התראה פשוט של אמזון (Amazon SNS). האזעקות נוצרו כדי להודיע ​​לבעלי העניין העסקיים, מדעני הנתונים והמפתחים על כל צעדים נכשלים וסטיות גדולות במודל ובמדדי הנתונים.

לאחר שימוש בפתרון זה במשך כמעט שנתיים, הצוות הבין שהטמעה הזו עבדה היטב רק עבור זרימת עבודה טיפוסית של ML שבה מודל יחיד הוכשר וקיבל ציון על מערך אימות. עם זאת, הפתרון לא היה גמיש מספיק עבור דגמים מורכבים ולא היה עמיד בפני כשלים. לדוגמה, הארכיטקטורה לא התאימה בקלות לאימון מודלים רציפים. היה קשה להוסיף או להסיר שלב מבלי לשכפל את כל הצינור ולשנות את התשתית. אפילו שינויים פשוטים בשלבי עיבוד הנתונים כגון התאמת יחס פיצול הנתונים או בחירת סט אחר של תכונות דרשו תיאום הן ממדען נתונים והן ממפתח. כאשר הצינור נכשל בכל שלב, היה צריך להפעיל אותו מחדש מההתחלה, מה שהביא להרצה חוזרת ועלות מוגברת. כדי למנוע ריצות חוזרות והצורך להפעיל מחדש מהשלב הכושל, הצוות היה יוצר עותק חדש של מכונת מצב מקוצר. פתרון בעיות זה הוביל להתרבות של מכונות המדינה, כל אחת מהן החל מהשלבים הנכשלים בדרך כלל. לבסוף, אם עבודת הכשרה נתקלה בסטייה בהתפלגות התוויות, ציון המודל או מספר התוויות, מדען נתונים היה צריך לסקור את המודל ואת המדדים שלו באופן ידני. לאחר מכן מדען נתונים היה ניגש לטבלת DynamoDB עם גרסאות המודל ומעדכן את הטבלה כדי להבטיח שהמודל הנכון שימש לעבודת ההסקה הבאה.

התחזוקה של ארכיטקטורה זו דרשה לפחות משאב ייעודי אחד ומשאב נוסף במשרה מלאה לפיתוח. לאור הקשיים בהרחבת הצינור כדי להתאים למקרי שימוש חדשים, מדעני הנתונים החלו לפתח זרימות עבודה משלהם, אשר בתורו הובילו לבסיס קוד הולך וגדל, למספר טבלאות נתונים עם סכימות נתונים דומות ולניטור מודלים מבוזר. הצטברות של בעיות אלה הביאה לתפוקה נמוכה יותר של הצוות ולהגדלת התקורה.

כדי להתמודד עם אתגרים אלה, צוות Amazon Packaging Innovation העריך פתרונות קיימים אחרים עבור MLOps, כולל SageMaker Pipelines (הודעת שחרור בדצמבר 2020). Pipelines היא יכולת של SageMaker לבנייה, ניהול, אוטומציה והרחבה של זרימות עבודה ML מקצה לקצה. Pipelines מאפשר לך לצמצם את מספר השלבים בכל זרימת העבודה של ML והוא גמיש מספיק כדי לאפשר למדעני נתונים להגדיר זרימת עבודה מותאמת אישית של ML. הוא דואג לניטור ורישום השלבים. זה מגיע גם עם רישום דגמים שמגדיר אוטומטית דגמים חדשים. למאגר המודלים יש זרימות עבודה מובנות לאישור לבחירת דגמים להסקת מסקנות בייצור. Pipelines מאפשר גם שמירה של שלבים במטמון שנקראו עם אותם ארגומנטים. אם נמצאה ריצה קודמת, נוצר מטמון המאפשר הפעלה קלה מחדש במקום חישוב מחדש של השלבים שהושלמו בהצלחה.

בתהליך ההערכה, Pipelines בלטה מהפתרונות האחרים בזכות הגמישות והזמינות של תכונות לתמיכה והרחבה של זרימות עבודה נוכחיות ועתידיות. המעבר ל-Pipelines פינה את זמנם של המפתחים מתחזוקת הפלטפורמה ופתרון בעיות והפנה את תשומת הלב להוספת התכונות החדשות. בפוסט זה, אנו מציגים את העיצוב עבור זרימות עבודה של הדרכה והסקת מסקנות בצוות Amazon Packaging Innovation באמצעות Pipelines. אנו דנים גם ביתרונות ובצמצום העלויות שהשיג הצוות במעבר ל-Pipelines.

צינור הדרכה

צוות Amazon Packaging Innovation מכשיר דגמים לכל סוג חבילה תוך שימוש במספר הולך וגדל של תוויות. התרשים הבא מתאר את התהליך כולו.

זרימת העבודה מתחילה בחילוץ תוויות ותכונות ממסד נתונים של Amazon Redshift ופריקת הנתונים אל שירות אחסון פשוט של אמזון (Amazon S3) באמצעות עבודת חילוץ, טרנספורמציה וטעינה (ETL) מתוזמנת. יחד עם נתוני הקלט, אובייקט קובץ עם סוג הדגם והפרמטרים ממוקם בדלי S3. קובץ זה משמש כטריגר הצינור באמצעות פונקציית Lambda.

השלבים הבאים ניתנים להתאמה אישית לחלוטין ומוגדרים לחלוטין על ידי מדען נתונים המשתמש ב- SageMaker Python SDK for Pipelines. בתרחיש שאנו מציגים בפוסט זה, נתוני הקלט מפוצלים לקבוצות הדרכה ואימות ונשמרים בחזרה בדלי S3 על ידי השקת עבודת SageMaker Processing.

כאשר הנתונים מוכנים באמזון S3, מתחילה עבודת הדרכה של SageMaker. לאחר הכשרה ויצירת המודל בהצלחה, שלב הערכת המודל מבוצע על נתוני האימות באמצעות עבודת טרנספורמציה אצווה של SageMaker. מדדי המודל מושווים לאחר מכן למדדי המודל של השבוע הקודם באמצעות עבודת SageMaker Processing. הצוות הגדיר מספר קריטריונים מותאמים אישית להערכת סטיות בביצועי המודל. המודל נדחה או מאושר על סמך קריטריונים אלה. אם המודל נדחה, המודל הקודם שאושר ישמש לעבודות ההסקה הבאות. אם הדגם מאושר, הגרסה שלו נרשמה והדגם הזה משמש לעבודות הסקת מסקנות. בעלי העניין מקבלים הודעה על התוצאה באמצעות אמזון CloudWatch אַזעָקָה.

צילום המסך הבא מ סטודיו SageMaker של אמזון מציג את השלבים של צינור ההדרכה.

צינורות עוקבים אחר כל ריצת צינור, שאותה אתה יכול לעקוב בסטודיו. לחלופין, אתה יכול לשאול את התקדמות הריצה באמצעות Boto3 או ממשק שורת הפקודה של AWS (AWS CLI). אתה יכול לדמיין את מדדי המודל בסטודיו ולהשוות גרסאות מודל שונות.

צינור מסקנות

צוות Amazon Packaging Innovation מרענן תחזיות עבור כל מלאי המוצרים מדי חודש. תחזיות יומיות נוצרות כדי לספק המלצות אריזה בדיוק בזמן למלאי חדש שנוסף תוך שימוש במודל המאומן העדכני ביותר. זה מחייב את צינור ההסקה לפעול מדי יום עם נפחים שונים של נתונים. התרשים הבא ממחיש זרימת עבודה זו.

בדומה לצינור ההדרכה, ההסקה מתחילה בפריקת הנתונים מאמזון Redshift לדלי S3. אובייקט קובץ המוצב ב-Amazon S3 מפעיל את פונקציית Lambda שיוזמת את צינור ההסקה. התכונות מוכנות להסקת מסקנות והנתונים מפוצלים לקבצים בגודל מתאים באמצעות עבודת SageMaker Processing. לאחר מכן, הצינור מזהה את הדגם האחרון שאושר כדי להפעיל את התחזיות ולטעון אותן לדלי S3. לבסוף, התחזיות נטענות בחזרה לאמזון Redshift באמצעות ממשק ה-API של boto3-data במסגרת עבודת SageMaker Processing.

צילום המסך הבא מסטודיו מציג את פרטי צינור ההסקה.

היתרונות של הבחירה בתכנון זרימות עבודה של ML עם SageMaker Pipelines

בחלק זה, אנו דנים ברווחים שצוות Amazon Packaging Innovation השיג על ידי המעבר ל-Pipelines להדרכה והסקת מודלים.

תכונות MLOps ברמת ייצור מחוץ לקופסה

תוך השוואה בין פתרונות פנימיים וחיצוניים שונים עבור פתרון הצינור הבא של ML, מדען נתונים יחיד הצליח ליצור אבטיפוס ולפתח גרסה מלאה של זרימת עבודה של ML עם Pipelines בסביבת Studio Jupyter תוך פחות משלושה שבועות. עוד בשלב יצירת האב-טיפוס, התברר ש-Pipelines סיפקו את כל רכיבי התשתית הדרושים לתהליך עבודה ברמת הייצור: ניהול גרסאות של מודלים, שמירה במטמון ואזעקות. זמינות מיידית של תכונות אלה פירושה שלא יושקע זמן נוסף בפיתוח והתאמה אישית שלהם. זו הייתה הוכחה ברורה של ערך, ששכנעה את צוות אמזון אריזות חדשנות ש-Pipelines הוא הפתרון הנכון.

גמישות בפיתוח מודלים של ML

הרווח הגדול ביותר של מדעני הנתונים בצוות היה היכולת להתנסות בקלות ולחזור על מודלים שונים. ללא קשר לאיזו מסגרת הם העדיפו לעבודת ה-ML שלהם ולמספר השלבים והתכונות הכרוכות בכך, Pipelines ענה על הצרכים שלהם. מדעני הנתונים הוסמכו להתנסות מבלי להמתין כדי לעלות על ספרינט פיתוח התוכנה כדי להוסיף תכונה או שלב נוסף.

עלויות מופחתות

יכולת ה-Pipelines של SageMaker היא חופשי: אתה משלם רק עבור משאבי המחשוב והאחסון הקשורים לאימון והסקת מסקנות. עם זאת, כאשר חושבים על העלות, אתה צריך לקחת בחשבון לא רק את עלות השירותים שבהם נעשה שימוש, אלא גם את שעות המפתחים הדרושות כדי לשמור על זרימת העבודה, לנפות באגים ולתקן אותה. תזמור עם Pipelines הוא פשוט יותר מכיוון שהוא מורכב מפחות יצירות ותשתית מוכרת. בעבר, הוספת תכונה חדשה דרשה לפחות שני אנשים (מדען נתונים ומהנדס תוכנה) בצוות Amazon Packaging Innovation כדי ליישם אותה. עם הצינור המחודש, מאמצי ההנדסה מופנים כעת לתשתית מותאמת אישית נוספת סביב הצינור, כגון יצירת מאגר יחיד למעקב אחר קוד למידת המכונה, פישוט פריסת המודל בין חשבונות AWS, פיתוח משרות ה-ETL המשולבות ועבודות נפוצות. פונקציות לשימוש חוזר.

היכולת לשמור את השלבים במטמון עם קלט דומה תרמה גם היא להפחתת העלות, מכיוון שלצוותים היה פחות סיכוי להפעיל מחדש את כל הצינור. במקום זאת, הם יכלו להתחיל אותו בקלות מנקודת הכישלון.

סיכום

צוות Amazon Packaging Innovation מאמן דגמי ML על בסיס חודשי ומעדכן באופן קבוע תחזיות עבור סוגי אריזות המוצרים המומלצים. המלצות אלו עזרו להם להשיג יעדים מרובים של הצוות והחברה על ידי הפחתת בזבוז ושמחה ללקוחות בכל הזמנה. צינורות ההכשרה וההסקה חייבים לפעול באופן אמין על בסיס קבוע ועם זאת לאפשר שיפור מתמיד של המודלים.

המעבר ל-Pipelines אפשר לצוות לפרוס ארבע ארכיטקטורות מודל רב-מודאליות חדשות לייצור מתחת לחודשיים. פריסת מודל חדש באמצעות הארכיטקטורה הקודמת הייתה דורשת 2 ימים (עם אותה ארכיטקטורת מודל) עד ​​חודש אחד (עם ארכיטקטורת מודל חדשה). פריסת אותו מודל באמצעות Pipelines אפשרה לצוות להפחית את זמן הפיתוח ל-5 שעות עם אותה ארכיטקטורת מודל ול-1 ימים עם ארכיטקטורת מודל חדשה. זה מוערך לחיסכון של כמעט 4% משעות העבודה.

משאבים נוספים

למידע נוסף, עיין במשאבים הבאים:

---

על הכותבים

אנקור שוקלה הוא מדען נתונים ראשי ב-AWS-ProServe שבסיסו בפאלו אלטו. לאנקור יש יותר מ-15 שנות ניסיון בייעוץ בעבודה ישירה מול הלקוח ולעזור לו לפתור בעיות עסקיות באמצעות טכנולוגיה. הוא מוביל מספר יוזמות של מדע יישומי ו-ML-Ops גלובליים בתוך AWS. בזמנו הפנוי הוא נהנה לקרוא ולבלות עם המשפחה.

אקאש סינגלה הוא מהנדס מערכות Sr. בצוות Amazon Packaging Innovation. יש לו יותר מ-17 שנות ניסיון בפתרון בעיות עסקיות קריטיות באמצעות טכנולוגיה עבור מספר ענפים עסקיים. כיום הוא מתמקד בשדרוג תשתית NAWS עבור מגוון יישומים ממוקדי אריזה כדי להרחיב אותם טוב יותר.

ויטלינה קומאשקו הוא מדען נתונים עם שירותים מקצועיים של AWS. היא בעלת תואר דוקטור בפרמקולוגיה וטוקסיקולוגיה, אך עברה למדעי הנתונים מעבודה ניסויית כי היא רצתה "להחזיק ביצירת נתונים ואת הפרשנות של התוצאות". מוקדם יותר בקריירה שלה עבדה עם חברות ביוטכנולוגיה ופארמה. ב-AWS היא נהנית לפתור בעיות עבור לקוחות ממגוון תעשיות וללמוד על האתגרים הייחודיים שלהם.

פראסנת' מייאפאן הוא Sr. Applied Scientist עם חדשנות אריזות של אמזון במשך 4+ שנים. יש לו 6+ שנות ניסיון בתעשייה בלמידת מכונה ושלח מוצרים כדי לשפר את חווית הלקוח בחיפוש ולשפר את חווית האריזה של הלקוח. Prasanth נלהב מקיימות ויש לו דוקטורט במודלים סטטיסטיים של שינויי אקלים.

מתיו ביילס הוא מדען מחקר ראשי הפועל למיטוב בחירת סוג החבילה באמצעות משוב מלקוחות ולמידת מכונה. לפני אמזון, מאט עבד כפוסט דוקטורט בביצוע הדמיות של פיזיקת חלקיקים בגרמניה ובחיים קודמים, מנהל ייצור של מכשירי שתלים רפואיים רדיואקטיביים בסטארט-אפ. הוא בעל תואר Ph.D. בפיזיקה מאוניברסיטת מישיגן.