כיצד Axfood מאפשרת למידת מכונה מואצת בכל הארגון באמצעות Amazon SageMaker | שירותי האינטרנט של אמזון

זהו פוסט אורח שנכתב על ידי Axfood AB. 

בפוסט זה, אנו משתפים כיצד Axfood, קמעונאית מזון שוודית גדולה, שיפרה את התפעול ואת יכולת ההרחבה של פעולות הבינה המלאכותית (AI) ולמידת המכונה (ML) הקיימות שלה על ידי יצירת אב טיפוס בשיתוף פעולה הדוק עם מומחי AWS ושימוש אמזון SageMaker.

אקספוד היא קמעונאית המזון השנייה בגודלה בשוודיה, עם למעלה מ-13,000 עובדים ויותר מ-300 חנויות. לאקספוד יש מבנה עם צוותי מידע מבוזרים מרובים עם תחומי אחריות שונים. יחד עם צוות פלטפורמת נתונים מרכזי, צוותי מדעי הנתונים מביאים חדשנות וטרנספורמציה דיגיטלית באמצעות פתרונות AI ו-ML לארגון. Axfood משתמשת באמזון SageMaker כדי לטפח את הנתונים שלהם באמצעות ML והיו לה דגמים בייצור במשך שנים רבות. לאחרונה, רמת התחכום והמספר העצום של דגמים בייצור גדלים באופן אקספוננציאלי. עם זאת, למרות שקצב החדשנות גבוה, הצוותים השונים פיתחו דרכי עבודה משלהם וחיפשו שיטות עבודה מומלצות חדשות ל-MLOps.

האתגר שלנו

כדי להישאר תחרותיים מבחינת שירותי ענן ו-AI/ML, Axfood בחרה לשתף פעולה עם AWS ומשתפת איתם פעולה כבר שנים רבות.

במהלך אחד ממפגשי סיעור המוחות החוזרים שלנו עם AWS, דנו כיצד לשתף פעולה בצורה הטובה ביותר בין צוותים כדי להגביר את קצב החדשנות והיעילות של מתרגלי מדעי הנתונים ו-ML. החלטנו לעשות מאמץ משותף לבנות אב טיפוס על שיטות עבודה מומלצות עבור MLOps. מטרת האב-טיפוס הייתה לבנות תבנית מודל עבור כל צוותי מדעי הנתונים כדי לבנות מודלים מדרגיים ויעילים של ML - הבסיס לדור חדש של פלטפורמות AI ו-ML עבור Axfood. התבנית צריכה לגשר ולשלב שיטות עבודה מומלצות של מומחי AWS ML ומודלים של שיטות עבודה מומלצות ספציפיות לחברה - הטוב משני העולמות.

החלטנו לבנות אב טיפוס מאחד מדגמי ה-ML המפותחים ביותר כיום בתוך Axfood: חיזוי מכירות בחנויות. ליתר דיוק, תחזית הפירות והירקות של הקמפיינים הקרובים לחנויות מזון. תחזית יומית מדויקת תומכת בתהליך ההזמנה של החנויות, מגבירה את הקיימות על ידי מזעור בזבוז מזון כתוצאה מאופטימיזציה של המכירות על ידי חיזוי מדויק של רמות המלאי הדרושות בחנות. זה היה המקום המושלם להתחיל בו עבור אב הטיפוס שלנו - לא רק ש-Axfood תזכה בפלטפורמת AI/ML חדשה, אלא שנוכל גם לקבל הזדמנות למדוד את יכולות ה-ML שלנו וללמוד ממומחים מובילים של AWS.

הפתרון שלנו: תבנית ML חדשה באמזון SageMaker Studio

בניית צינור ML מלא שמיועד למקרה עסקי בפועל יכול להיות מאתגר. במקרה זה, אנו מפתחים מודל חיזוי, ולכן יש לבצע שני שלבים עיקריים:

1. אמן את המודל לביצוע תחזיות באמצעות נתונים היסטוריים.
2. החל את המודל המאומן כדי ליצור תחזיות של אירועים עתידיים.

במקרה של אקספוד, צינור מתפקד היטב למטרה זו כבר הוקם באמצעות מחברות SageMaker ותוזמר על ידי פלטפורמת ניהול זרימת העבודה של צד שלישי Airflow. עם זאת, ישנם יתרונות ברורים רבים של מודרניזציה של פלטפורמת ה-ML שלנו והמעבר אל סטודיו SageMaker של אמזון ו צינורות SageMaker של אמזון. המעבר ל-SageMaker Studio מספק תכונות רבות שהוגדרו מראש מחוץ לקופסה:

• ניטור מודל ואיכות נתונים וכן יכולת הסבר מודל
• כלים מובנים של סביבת פיתוח משולבת (IDE) כגון איתור באגים
• ניטור עלות/ביצועים
• מסגרת קבלה של מודל
• רישום דגמים

עם זאת, התמריץ החשוב ביותר עבור Axfood הוא היכולת ליצור תבניות פרויקט מותאמות אישית באמצעות Amazon SageMaker Projects לשמש כשרטוט עבור כל צוותי מדעי הנתונים ומתרגלי ML. לצוות Axfood כבר הייתה רמה חזקה ובוגרת של מודלים ML, כך שההתמקדות העיקרית הייתה בבניית הארכיטקטורה החדשה.

סקירת פתרונות

מסגרת ה-ML החדשה המוצעת של אקספוד בנויה סביב שני צינורות עיקריים: צנרת בניית המודל וצנרת ההסקת האצווה:

• צינורות אלה מנוסחים בתוך שני מאגרי Git נפרדים: מאגר בנייה אחד ומאגר פריסה (הסקת מסקנות) אחד. יחד, הם יוצרים צינור חזק לחיזוי פירות וירקות.
• הצינורות נארזים לתוך תבנית פרויקט מותאמת אישית באמצעות SageMaker Projects בשילוב עם מאגר Git של צד שלישי (Bitbucket) ו-Bitbucket צינורות עבור אינטגרציה רציפה ופריסה רציפה (CI/CD).
• תבנית הפרויקט של SageMaker כוללת קוד ראשי המתאים לכל שלב של הבנייה והפריסה של צינורות (אנחנו דנים בשלבים אלה ביתר פירוט בהמשך הפוסט הזה) וכן את הגדרת הצינור - המתכון לאופן שבו יש להפעיל את השלבים.
• אוטומציה של בניית פרויקטים חדשים המבוססים על התבנית מתבצעת בצורה יעילה קטלוג השירות של AWS, שבו נוצר תיק עבודות, המשמש כהפשטה למספר מוצרים.
• כל מוצר מתורגם ל- AWS CloudFormation תבנית, שנפרסת כאשר מדען נתונים יוצר פרויקט SageMaker חדש עם תוכנית ה-MLOps שלנו כבסיס. זה מפעיל את א AWS למבדה פונקציה שיוצרת פרויקט Bitbucket עם שני מאגרים - בניית מודל ופריסה של מודל - המכילים את קוד ה-Seed.

התרשים הבא ממחיש את ארכיטקטורת הפתרון. זרימת עבודה א' מתארת ​​את הזרימה הסבוכה בין שני צינורות המודל - בנייה והסקת מסקנות. זרימת עבודה B מציגה את הזרימה ליצירת פרויקט ML חדש.

צינור בניית מודל

צינור בניית המודל מתזמר את מחזור החיים של המודל, החל מעיבוד מקדים, מעבר להכשרה, ושיאו ברישום במרשם המודלים:

• עיבוד מוקדם – הנה, ה- SageMaker ScriptProcessor מחלקה מועסקת להנדסת תכונות, וכתוצאה מכך מערך הנתונים שעליו יוכשר המודל.
• הדרכה והמרת אצווה - מיכלי אימון והסקת מסקנות מותאמים אישית מבית SageMaker רתומים לאימון המודל על נתונים היסטוריים ויצירת תחזיות על נתוני ההערכה באמצעות SageMaker Estimator ו-Transformer עבור המשימות המתאימות.
• הערכה - המודל המאומן עובר הערכה על ידי השוואת התחזיות שנוצרו על נתוני ההערכה לאמת הבסיסית באמצעות ScriptProcessor.
• משרות בסיס – הצינור יוצר קווי בסיס על סמך נתונים סטטיסטיים בנתוני הקלט. אלה חיוניים לניטור נתונים ואיכות מודל, כמו גם ייחוס תכונות.
• רישום דגמים – הדגם המיומן רשום לשימוש עתידי. המודל יאושר על ידי מדעני נתונים ייעודיים לפרוס את המודל לשימוש בייצור.

עבור סביבות ייצור, מנגנוני הטלת נתונים ומנגנוני ההדק מנוהלים באמצעות תזמור ראשי של זרימת אוויר. בינתיים, במהלך הפיתוח, הצינור מופעל בכל פעם שמוצגת מחויבות חדשה למאגר Bitbucket של בניית המודל. האיור הבא מדגים את צינור בניית המודל.

צינור מסקנות אצווה

צינור ההסקת האצווה מטפל בשלב ההסקה, המורכב מהשלבים הבאים:

• עיבוד מוקדם - הנתונים מעובדים מראש באמצעות ScriptProcessor.
• הפיכת אצווה - המודל משתמש במיכל ההסקה המותאם אישית עם SageMaker Transformer ומייצר תחזיות בהתחשב בנתונים המעובדים מראש. הדגם המשמש הוא הדגם המאומן האחרון שאושר ברישום הדגמים.
• לאחר עיבוד – התחזיות עוברות סדרה של שלבי עיבוד לאחר שימוש ScriptProcessor.
• ניטור - מעקב רציף משלים בדיקות לאיתור סחיפות הקשורות לאיכות הנתונים, איכות המודל ושיוך התכונות.

אם מתעוררים אי התאמות, היגיון עסקי בתוך התסריט שלאחר העיבוד מעריך אם יש צורך בהכשרה מחדש של המודל. הצינור אמור לפעול במרווחי זמן קבועים.

התרשים הבא ממחיש את צינור ההסקת האצווה. זרימת עבודה א' תואמת לבדיקות עיבוד מקדים, איכות נתונים ובדיקות סחיפה של ייחוס תכונות, מסקנות ועיבוד שלאחר. זרימת עבודה B תואמת לבדיקות סחיפה של איכות המודל. צינורות אלו מחולקים מכיוון שבדיקת הסחיפה של איכות המודל תפעל רק אם זמינים נתוני אמת קרקע חדשים.

צג דגם SageMaker

עם אמזון SageMaker דגם צג משולבים, הצינורות נהנים מניטור בזמן אמת בנושאים הבאים:

• איכות מידע - מנטר כל סחיפה או חוסר עקביות בנתונים
• איכות הדגם - עוקב אחר כל תנודות בביצועי הדגם
• ייחוס תכונה - בודק סחיפה בייחוס תכונות

ניטור איכות המודל דורש גישה לנתוני אמת קרקעיים. למרות שהשגת אמת קרקע יכולה להיות מאתגרת לפעמים, השימוש בניטור סחיפה של נתונים או ייחוס תכונות משמש כאמצעי פרוקסי מוכשר לאיכות המודל.

באופן ספציפי, במקרה של סחיפה של איכות נתונים, המערכת נזהרת מהדברים הבאים:

• סחף קונספט - זה נוגע לשינויים בקורלציה בין קלט ופלט, המחייבים אמת קרקעית
• משמרת כפויה – כאן הדגש הוא על שינויים בהתפלגות של משתני קלט בלתי תלויים

פונקציונליות הסחף הנתונים של SageMaker Model Monitor לוכדת ובוחנת בקפידה את נתוני הקלט, פריסת כללים ובדיקות סטטיסטיות. התראות מועלות בכל פעם שמתגלות חריגות.

במקביל לשימוש בבדיקות סחיפה של איכות נתונים כפרוקסי לניטור ירידה במודל, המערכת גם עוקבת אחר סחיפה של ייחוס תכונה באמצעות ציון רווח מצטבר מנורמל (NDCG). ציון זה רגיש הן לשינויים בסדר דירוג הייחוס של תכונות והן לציוני הייחוס הגולמיים של תכונות. על ידי מעקב אחר סחף בייחוס לתכונות בודדות וחשיבותן היחסית, קל לזהות ירידה באיכות הדגם.

הסבר למודל

הסבר מודל הוא חלק מרכזי בפריסות ML, מכיוון שהוא מבטיח שקיפות בתחזיות. להבנה מפורטת, אנו משתמשים אמזון סייג מייקר להבהיר.

הוא מציע הסברים גלובליים ומקומיים כאחד באמצעות טכניקת ייחוס תכונה אגנוסטית של מודל המבוססת על תפיסת הערך של Shapley. זה משמש לפענוח מדוע נעשתה חיזוי מסוים במהלך ההסקה. הסברים כאלה, שהם מנוגדים מטבעם, יכולים להשתנות על סמך קווי בסיס שונים. SageMaker Clarify מסייע בקביעת קו בסיס זה באמצעות K-means או K-אב-טיפוס במערך הקלט, אשר מתווסף לאחר מכן לצינור בניית המודל. פונקציונליות זו מאפשרת לנו לבנות בעתיד יישומי בינה מלאכותית להגברת ההבנה של אופן הפעולה של המודל.

תיעוש: מאב טיפוס לייצור

פרויקט MLOps כולל רמה גבוהה של אוטומציה ויכול לשמש תוכנית למקרי שימוש דומים:

• ניתן לעשות שימוש חוזר במלואו בתשתית, בעוד שניתן להתאים את קוד ה-Seed לכל משימה, כאשר רוב השינויים מוגבלים להגדרת הצינור והלוגיקה העסקית לעיבוד מקדים, הדרכה, הסקה ועיבוד לאחר.
• תסריטי ההדרכה וההסקת מסקנות מתארחים באמצעות מיכלים מותאמים אישית של SageMaker, כך שניתן להתאים מגוון דגמים ללא שינויים בנתונים ובניטור המודל או שלבי ההסבר של המודל, כל עוד הנתונים בפורמט טבלה.

לאחר סיום העבודה על אב הטיפוס, פנינו כיצד עלינו להשתמש בו בייצור. לשם כך, הרגשנו צורך לבצע כמה התאמות נוספות לתבנית MLOps:

• קוד ה-Seed המקורי ששימש באב הטיפוס של התבנית כלל שלבי עיבוד מקדים ושלבי עיבוד שבוצעו לפני ואחרי שלבי ML הליבה (אימון והסקת מסקנות). עם זאת, בעת גדילה לשימוש בתבנית עבור מקרי שימוש מרובים בייצור, שלבי העיבוד המקדים והפוסט-עיבוד המובנים עשויים להוביל לירידה בכלליות ולשכפול של קוד.
• כדי לשפר את הכלליות ולמזער קוד שחוזר על עצמו, בחרנו לצמצם את הצינורות עוד יותר. במקום להפעיל את שלבי העיבוד המקדים והפוסט-עיבוד כחלק מצינור ה-ML, אנו מפעילים אותם כחלק מתזמורת זרימת האוויר הראשית לפני ואחרי הפעלת צינור ה-ML.
• בדרך זו, משימות עיבוד ספציפיות לשימוש מופשטות מהתבנית, ומה שנותר הוא צינור ML ליבה המבצע משימות כלליות על פני מקרי שימוש מרובים עם חזרה מינימלית של קוד. פרמטרים שונים בין מקרי שימוש מסופקים כקלט לצינור ML מתזמור זרימת האוויר הראשי.

התוצאה: גישה מהירה ויעילה לבניית מודלים ופריסה

אב הטיפוס בשיתוף עם AWS הביא לתבנית MLOps בעקבות שיטות עבודה מומלצות עדכניות, הזמינה כעת לשימוש לכל צוותי מדעי הנתונים של Axfood. על ידי יצירת פרויקט SageMaker חדש בתוך SageMaker Studio, מדעני נתונים יכולים להתחיל בפרויקטים חדשים של ML, לעבור במהירות ובצורה חלקה לייצור, מה שמאפשר ניהול זמן יעיל יותר. זה מתאפשר על ידי אוטומציה של משימות MLOps מייגעות שחוזרות על עצמן כחלק מהתבנית.

יתר על כן, מספר פונקציות חדשות נוספו בצורה אוטומטית להגדרת ה-ML שלנו. רווחים אלה כוללים:

• ניטור מודל - אנו יכולים לבצע בדיקות סחיפה לאיכות המודל והנתונים, כמו גם הסבר המודל
• שושלת מודל ונתונים – כעת ניתן לאתר בדיוק באילו נתונים נעשה שימוש עבור איזה מודל
• רישום דגמים - זה עוזר לנו לקטלג דגמים לייצור ולנהל גרסאות דגמים

סיכום

בפוסט זה, דנו כיצד Axfood שיפרה את התפעול ואת המדרגיות של פעולות ה-AI וה-ML הקיימות שלנו בשיתוף עם מומחי AWS ועל ידי שימוש ב- SageMaker והמוצרים הנלווים שלה.

שיפורים אלו יסייעו לצוותי מדעי הנתונים של Axfood לבנות זרימות עבודה של ML בצורה סטנדרטית יותר ויפשטו מאוד את הניתוח והניטור של מודלים בייצור - ויבטיחו את האיכות של מודלים ML שנבנו ומתוחזקים על ידי הצוותים שלנו.

אנא השאר כל משוב או שאלות בקטע ההערות.

---

על הכותבים

ד"ר ביוראן בלומקוויסט הוא ראש אסטרטגיית AI ב-Axfood AB. לפני שהצטרף ל-Axfood AB הוא הוביל צוות של מדעני נתונים ב-Dagab, חלק מ-Axfood, בונה פתרונות למידת מכונה חדשניים עם המשימה לספק מזון טוב ובר קיימא לאנשים בכל רחבי שוודיה. נולד וגדל בצפון שוודיה, בזמנו הפנוי יוצא Björn להרים מושלגים ולים פתוח.

אוסקר קלנג הוא מדען נתונים בכיר במחלקה לניתוח ב-Dagab, שם הוא נהנה לעבוד עם כל דבר בתחום הניתוח ולמידת מכונה, למשל אופטימיזציה של פעולות שרשרת האספקה, בניית מודלים לחיזוי ולאחרונה, יישומי GenAI. הוא מחויב לבנות צינורות למידת מכונה יעילים יותר, לשפר את היעילות והמדרגיות.

פאבל מסלוב הוא מהנדס DevOps ו-ML בכיר בצוות הפלטפורמות האנליטיות. לפאבל ניסיון רב בפיתוח מסגרות, תשתיות וכלים בתחומי DevOps ו-ML/AI בפלטפורמת AWS. פאבל היה אחד השחקנים המרכזיים בבניית היכולת הבסיסית בתוך ML ב-Axfood.

יואקים ברג היא פלטפורמות אנליטיות של מוביל צוות ובעלי מוצר, שבסיסה בשטוקהולם שבדיה. הוא מוביל צוות של מהנדסי DevOps/MLOps בקצה פלטפורמת Data המספקים פלטפורמות Data ו-ML עבור צוותי Data Science. לג'ואקים ניסיון רב שנים בהובלת צוותי פיתוח ואדריכלות בכירים מתעשיות שונות.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/how-axfood-enables-accelerated-machine-learning-throughout-the-organization-using-amazon-sagemaker/