כיצד Getir הפחיתה את משך האימון של המודל ב-90% עם Amazon SageMaker ו-AWS Batch | שירותי האינטרנט של אמזון

זהו פוסט אורח שנכתב במשותף על ידי נאפי אהמט טורגוט, חסן בורק יל ודמלה סנטורק מגטייר.

הוקם בשנת 2015, הביא מיצבה את עצמה כפורצת דרך בתחום משלוחי מכולת מהירים במיוחד. חברת טכנולוגיה חדשנית זו חוללה מהפכה בתחום המשלוחים של המייל האחרון עם ההיצע המשכנע שלה של "מצרכים תוך דקות". עם נוכחות ברחבי טורקיה, בריטניה, הולנד, גרמניה וארצות הברית, Getir הפכה לכוח רב לאומי שצריך להתחשב בו. כיום, המותג Getir מייצג קונגלומרט מגוון הכולל תשעה אנכיים שונים, כולם עובדים בצורה סינרגטית תחת מטריה יחידה.

בפוסט זה, אנו מסבירים כיצד בנינו צינור חיזוי קטגוריית מוצרים מקצה לקצה כדי לעזור לצוותים מסחריים באמצעות אמזון SageMaker ו אצווה AWS, צמצום משך אימון המודל ב-90%.

הבנת מבחר המוצרים הקיים שלנו בצורה מפורטת היא אתגר מכריע שאנו, יחד עם עסקים רבים, מתמודדים איתו בשוק המהיר והתחרותי של היום. פתרון יעיל לבעיה זו הוא חיזוי של קטגוריות מוצרים. מודל שמייצר עץ קטגוריות מקיף מאפשר לצוותים המסחריים שלנו להשוות את סל המוצרים הקיים שלנו מול זה של המתחרים שלנו, ומציע יתרון אסטרטגי. לכן, האתגר המרכזי שלנו הוא יצירה והטמעה של מודל חיזוי מדויק של קטגוריית מוצרים.

ניצלנו את הכלים החזקים שמספקת AWS כדי להתמודד עם האתגר הזה ולנווט ביעילות בתחום המורכב של למידת מכונה (ML) וניתוח חזוי. המאמצים שלנו הובילו ליצירה מוצלחת של צינור חיזוי קטגוריית מוצרים מקצה לקצה, המשלב את החוזקות של SageMaker ו-AWS Batch.

יכולת זו של ניתוח חיזוי, במיוחד התחזית המדויקת של קטגוריות מוצרים, הוכחה כבעלת ערך רב. היא סיפקה לצוותים שלנו תובנות מונעות נתונים קריטיות שייצרו אופטימיזציה של ניהול המלאי, שיפרו את האינטראקציות עם הלקוחות וחיזקו את הנוכחות שלנו בשוק.

המתודולוגיה שאנו מסבירים בפוסט זה נעה בין השלב הראשוני של איסוף ערכות התכונות ועד ליישום הסופי של צינור החיזוי. היבט חשוב באסטרטגיה שלנו היה השימוש ב- SageMaker וב-AWS Batch כדי לחדד מודלים של BERT שהוכשרו מראש לשבע שפות שונות. בנוסף, האינטגרציה החלקה שלנו עם שירות אחסון האובייקטים של AWS שירות אחסון פשוט של אמזון (Amazon S3) היה המפתח לאחסון וגישה יעילה לדגמים המעודנים הללו.

SageMaker הוא שירות ML מנוהל במלואו. עם SageMaker, מדעני נתונים ומפתחים יכולים לבנות ולאמן מודלים של ML במהירות וללא מאמץ, ולאחר מכן לפרוס אותם ישירות בסביבה מתארחת מוכנה לייצור.

כשירות מנוהל במלואו, AWS Batch עוזר לך להפעיל עומסי עבודה מחשוב אצווה בכל קנה מידה. AWS Batch מספק אוטומטית משאבי מחשוב ומייעל את חלוקת עומס העבודה בהתבסס על הכמות וההיקף של עומסי העבודה. עם AWS Batch, אין צורך להתקין או לנהל תוכנת מחשוב אצווה, כך שתוכל למקד את זמנך בניתוח תוצאות ובפתרון בעיות. השתמשנו בעבודות GPU שעוזרות לנו להריץ עבודות שמשתמשות במעבדי GPU של מופע.

סקירה כללית של הפיתרון

חמישה אנשים מצוות מדעי הנתונים וצוות התשתית של Getir עבדו יחד על הפרויקט הזה. הפרויקט הושלם תוך חודש ונפרס לייצור לאחר שבוע של בדיקות.

התרשים הבא מציג את הארכיטקטורה של הפתרון.

צינור הדגם מתנהל בנפרד עבור כל מדינה. הארכיטקטורה כוללת שתי עבודות cron של AWS Batch GPU עבור כל מדינה, הפועלות בלוחות זמנים מוגדרים.

התגברנו על כמה אתגרים על ידי פריסה אסטרטגית של משאבי SageMaker ו-AWS Batch GPU. התהליך המשמש לטיפול בכל קושי מפורט בסעיפים הבאים.

כוונון עדין של דגמי BERT רב לשוניים עם עבודות AWS Batch GPU

חיפשנו פתרון לתמיכה במספר שפות עבור בסיס המשתמשים המגוון שלנו. מודלים של BERT היו בחירה ברורה בשל היכולת המבוססת שלהם להתמודד עם משימות שפה טבעית מורכבות ביעילות. על מנת להתאים את המודלים הללו לצרכים שלנו, רתמנו את הכוח של AWS על ידי שימוש בעבודות מופע GPU של צומת יחיד. זה איפשר לנו לכוונן דגמי BERT שהוכשרו מראש עבור כל אחת משבע השפות בהן נדרשנו לתמיכה. באמצעות שיטה זו, הבטחנו דיוק גבוה בחיזוי קטגוריות מוצרים, תוך התגברות על מחסומי שפה פוטנציאליים.

אחסון דגם יעיל באמצעות Amazon S3

הצעד הבא שלנו היה לטפל באחסון וניהול מודלים. לשם כך, בחרנו ב-Amazon S3, הידוע במידת המדרגיות והאבטחה שלו. אחסון דגמי BERT המכוונים שלנו ב-Amazon S3 אפשרה לנו לספק גישה נוחה לצוותים שונים בתוך הארגון שלנו, ובכך לייעל משמעותית את תהליך הפריסה שלנו. זה היה היבט מכריע בהשגת זריזות בפעילות שלנו ושילוב חלק של מאמצי ה-ML שלנו.

יצירת צינור חיזוי מקצה לקצה

נדרש צינור יעיל כדי לנצל בצורה הטובה ביותר את הדגמים שהוכשרו מראש שלנו. פרסנו לראשונה את המודלים הללו ב- SageMaker, פעולה שאפשרה תחזיות בזמן אמת עם חביון נמוך, ובכך שיפרה את חווית המשתמש שלנו. עבור תחזיות אצווה גדולות יותר, שהיו חיוניות באותה מידה לפעילות שלנו, השתמשנו בעבודות AWS Batch GPU. זה הבטיח את השימוש האופטימלי במשאבים שלנו, וסיפק לנו איזון מושלם בין ביצועים ויעילות.

בחינת אפשרויות עתידיות עם SageMaker MMEs

ככל שאנו ממשיכים להתפתח ולחפש יעילות בצנרת ה-ML שלנו, דרך אחת שאנו להוטים לחקור היא שימוש בנקודות קצה מרובי דגמים של SageMaker (MME) לפריסת המודלים המכוונים שלנו. עם MMEs, אנו יכולים לייעל את הפריסה של דגמים שונים מכוונים עדינים, להבטיח ניהול מודלים יעיל תוך כדי ליהנות מהיכולות המקוריות של SageMaker כמו גרסאות צללים, קנה מידה אוטומטי, ו אמזון CloudWatch שילוב. חקירה זו עולה בקנה אחד עם החתירה המתמשכת שלנו לשפר את יכולות הניתוח החזוי שלנו ולספק חוויות מעולות ללקוחותינו.

סיכום

השילוב המוצלח שלנו בין SageMaker ו-AWS Batch לא רק התמודד עם האתגרים הספציפיים שלנו אלא גם הגביר משמעותית את היעילות התפעולית שלנו. באמצעות יישום צינור חיזוי מתוחכם של קטגוריות מוצרים, אנו מסוגלים להעצים את הצוותים המסחריים שלנו עם תובנות מונעות נתונים, ובכך להקל על קבלת החלטות יעילה יותר.

התוצאות שלנו מדברות רבות על יעילות הגישה שלנו. השגנו דיוק חיזוי של 80% בכל ארבע רמות הפירוט של הקטגוריות, אשר ממלא תפקיד חשוב בעיצוב מבחר המוצרים עבור כל מדינה שאנו משרתים. רמת דיוק זו מרחיבה את טווח ההגעה שלנו אל מעבר למחסומי השפה ומבטיחה שאנו נותנים מענה לבסיס המשתמשים המגוון שלנו בדיוק מירבי.

יתרה מכך, על ידי שימוש אסטרטגי בעבודות AWS Batch GPU מתוזמנות, הצלחנו להפחית את משך ההכשרה של המודל שלנו ב-90%. יעילות זו ייעלה עוד יותר את התהליכים שלנו וחיזקה את הזריזות התפעולית שלנו. אחסון מודלים יעיל באמצעות Amazon S3 מילא תפקיד קריטי בהישג זה, ואיזון הן בזמן אמת והן בתחזיות אצווה.

למידע נוסף על איך להתחיל לבנות צינורות ML משלך עם SageMaker, ראה משאבי אמזון SageMaker. AWS Batch היא אפשרות מצוינת אם אתם מחפשים פתרון בעלות נמוכה וניתנת להרחבה להפעלת עבודות אצווה עם תקורה תפעולית נמוכה. כדי להתחיל, ראה תחילת העבודה עם AWS Batch.

---

על הכותבים

נאפי אחמט טורגוט סיים את התואר השני בהנדסת חשמל ואלקטרוניקה ועבד כמדען מחקר בוגר. ההתמקדות שלו הייתה בניית אלגוריתמים של למידת מכונה כדי לדמות חריגות ברשת העצבים. הוא הצטרף ל-Getir ב-2019 וכיום הוא עובד כמנהל בכיר ב-Data Science & Analytics. הצוות שלו אחראי על תכנון, הטמעה ותחזוקה של אלגוריתמי למידת מכונה מקצה לקצה ופתרונות מונעי נתונים עבור Getir.

חסן בורק יל קיבל את התואר הראשון שלו בהנדסת חשמל ואלקטרוניקה באוניברסיטת Boğaziçi. הוא עבד ב-Turkcell, בעיקר התמקד בחיזוי סדרות זמן, הדמיית נתונים ואוטומציה של רשתות. הוא הצטרף ל-Getir בשנת 2021 וכיום הוא עובד כמנהל Data Science & Analytics עם אחריות על תחומים חיפוש, המלצות וצמיחה.

דמלה סנטורק קיבלה תואר ראשון בהנדסת מחשבים באוניברסיטת גלאטסראיי. היא ממשיכה את התואר השני שלה בהנדסת מחשבים באוניברסיטת Boğaziçi. היא הצטרפה ל-Getir בשנת 2022, ועבדה כ-Data Scientist. היא עבדה על פרויקטים מסחריים, שרשרת אספקה ​​ופרויקטים הקשורים לגילוי.

אסרה קיאבאלי הוא ארכיטקט פתרונות בכיר ב-AWS, המתמחה בתחום הניתוח, כולל מחסני נתונים, אגמי נתונים, ניתוח ביג דאטה, הזרמת נתונים אצווה ובזמן אמת ושילוב נתונים. יש לה 12 שנות ניסיון בפיתוח תוכנה וארכיטקטורה. היא נלהבת מלימוד והוראת טכנולוגיות ענן.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/how-getir-reduced-model-training-durations-by-90-with-amazon-sagemaker-and-aws-batch/