זהו פוסט אורח שנכתב במשותף על ידי נאפי אהמט טורגוט, חסן בורק יל ודמלה סנטורק מגטייר.
הוקם בשנת 2015, הביא מיצבה את עצמה כפורצת דרך בתחום משלוחי מכולת מהירים במיוחד. חברת טכנולוגיה חדשנית זו חוללה מהפכה בתחום המשלוחים של המייל האחרון עם ההיצע המשכנע שלה של "מצרכים תוך דקות". עם נוכחות ברחבי טורקיה, בריטניה, הולנד, גרמניה וארצות הברית, Getir הפכה לכוח רב לאומי שצריך להתחשב בו. כיום, המותג Getir מייצג קונגלומרט מגוון הכולל תשעה אנכיים שונים, כולם עובדים בצורה סינרגטית תחת מטריה יחידה.
בפוסט זה, אנו מסבירים כיצד בנינו צינור חיזוי קטגוריית מוצרים מקצה לקצה כדי לעזור לצוותים מסחריים באמצעות אמזון SageMaker ו אצווה AWS, צמצום משך אימון המודל ב-90%.
הבנת מבחר המוצרים הקיים שלנו בצורה מפורטת היא אתגר מכריע שאנו, יחד עם עסקים רבים, מתמודדים איתו בשוק המהיר והתחרותי של היום. פתרון יעיל לבעיה זו הוא חיזוי של קטגוריות מוצרים. מודל שמייצר עץ קטגוריות מקיף מאפשר לצוותים המסחריים שלנו להשוות את סל המוצרים הקיים שלנו מול זה של המתחרים שלנו, ומציע יתרון אסטרטגי. לכן, האתגר המרכזי שלנו הוא יצירה והטמעה של מודל חיזוי מדויק של קטגוריית מוצרים.
ניצלנו את הכלים החזקים שמספקת AWS כדי להתמודד עם האתגר הזה ולנווט ביעילות בתחום המורכב של למידת מכונה (ML) וניתוח חזוי. המאמצים שלנו הובילו ליצירה מוצלחת של צינור חיזוי קטגוריית מוצרים מקצה לקצה, המשלב את החוזקות של SageMaker ו-AWS Batch.
יכולת זו של ניתוח חיזוי, במיוחד התחזית המדויקת של קטגוריות מוצרים, הוכחה כבעלת ערך רב. היא סיפקה לצוותים שלנו תובנות מונעות נתונים קריטיות שייצרו אופטימיזציה של ניהול המלאי, שיפרו את האינטראקציות עם הלקוחות וחיזקו את הנוכחות שלנו בשוק.
המתודולוגיה שאנו מסבירים בפוסט זה נעה בין השלב הראשוני של איסוף ערכות התכונות ועד ליישום הסופי של צינור החיזוי. היבט חשוב באסטרטגיה שלנו היה השימוש ב- SageMaker וב-AWS Batch כדי לחדד מודלים של BERT שהוכשרו מראש לשבע שפות שונות. בנוסף, האינטגרציה החלקה שלנו עם שירות אחסון האובייקטים של AWS שירות אחסון פשוט של אמזון (Amazon S3) היה המפתח לאחסון וגישה יעילה לדגמים המעודנים הללו.
SageMaker הוא שירות ML מנוהל במלואו. עם SageMaker, מדעני נתונים ומפתחים יכולים לבנות ולאמן מודלים של ML במהירות וללא מאמץ, ולאחר מכן לפרוס אותם ישירות בסביבה מתארחת מוכנה לייצור.
כשירות מנוהל במלואו, AWS Batch עוזר לך להפעיל עומסי עבודה מחשוב אצווה בכל קנה מידה. AWS Batch מספק אוטומטית משאבי מחשוב ומייעל את חלוקת עומס העבודה בהתבסס על הכמות וההיקף של עומסי העבודה. עם AWS Batch, אין צורך להתקין או לנהל תוכנת מחשוב אצווה, כך שתוכל למקד את זמנך בניתוח תוצאות ובפתרון בעיות. השתמשנו בעבודות GPU שעוזרות לנו להריץ עבודות שמשתמשות במעבדי GPU של מופע.
סקירה כללית של הפיתרון
חמישה אנשים מצוות מדעי הנתונים וצוות התשתית של Getir עבדו יחד על הפרויקט הזה. הפרויקט הושלם תוך חודש ונפרס לייצור לאחר שבוע של בדיקות.
התרשים הבא מציג את הארכיטקטורה של הפתרון.
צינור הדגם מתנהל בנפרד עבור כל מדינה. הארכיטקטורה כוללת שתי עבודות cron של AWS Batch GPU עבור כל מדינה, הפועלות בלוחות זמנים מוגדרים.
התגברנו על כמה אתגרים על ידי פריסה אסטרטגית של משאבי SageMaker ו-AWS Batch GPU. התהליך המשמש לטיפול בכל קושי מפורט בסעיפים הבאים.
כוונון עדין של דגמי BERT רב לשוניים עם עבודות AWS Batch GPU
חיפשנו פתרון לתמיכה במספר שפות עבור בסיס המשתמשים המגוון שלנו. מודלים של BERT היו בחירה ברורה בשל היכולת המבוססת שלהם להתמודד עם משימות שפה טבעית מורכבות ביעילות. על מנת להתאים את המודלים הללו לצרכים שלנו, רתמנו את הכוח של AWS על ידי שימוש בעבודות מופע GPU של צומת יחיד. זה איפשר לנו לכוונן דגמי BERT שהוכשרו מראש עבור כל אחת משבע השפות בהן נדרשנו לתמיכה. באמצעות שיטה זו, הבטחנו דיוק גבוה בחיזוי קטגוריות מוצרים, תוך התגברות על מחסומי שפה פוטנציאליים.
אחסון דגם יעיל באמצעות Amazon S3
הצעד הבא שלנו היה לטפל באחסון וניהול מודלים. לשם כך, בחרנו ב-Amazon S3, הידוע במידת המדרגיות והאבטחה שלו. אחסון דגמי BERT המכוונים שלנו ב-Amazon S3 אפשרה לנו לספק גישה נוחה לצוותים שונים בתוך הארגון שלנו, ובכך לייעל משמעותית את תהליך הפריסה שלנו. זה היה היבט מכריע בהשגת זריזות בפעילות שלנו ושילוב חלק של מאמצי ה-ML שלנו.
יצירת צינור חיזוי מקצה לקצה
נדרש צינור יעיל כדי לנצל בצורה הטובה ביותר את הדגמים שהוכשרו מראש שלנו. פרסנו לראשונה את המודלים הללו ב- SageMaker, פעולה שאפשרה תחזיות בזמן אמת עם חביון נמוך, ובכך שיפרה את חווית המשתמש שלנו. עבור תחזיות אצווה גדולות יותר, שהיו חיוניות באותה מידה לפעילות שלנו, השתמשנו בעבודות AWS Batch GPU. זה הבטיח את השימוש האופטימלי במשאבים שלנו, וסיפק לנו איזון מושלם בין ביצועים ויעילות.
בחינת אפשרויות עתידיות עם SageMaker MMEs
ככל שאנו ממשיכים להתפתח ולחפש יעילות בצנרת ה-ML שלנו, דרך אחת שאנו להוטים לחקור היא שימוש בנקודות קצה מרובי דגמים של SageMaker (MME) לפריסת המודלים המכוונים שלנו. עם MMEs, אנו יכולים לייעל את הפריסה של דגמים שונים מכוונים עדינים, להבטיח ניהול מודלים יעיל תוך כדי ליהנות מהיכולות המקוריות של SageMaker כמו גרסאות צללים, קנה מידה אוטומטי, ו אמזון CloudWatch שילוב. חקירה זו עולה בקנה אחד עם החתירה המתמשכת שלנו לשפר את יכולות הניתוח החזוי שלנו ולספק חוויות מעולות ללקוחותינו.
סיכום
השילוב המוצלח שלנו בין SageMaker ו-AWS Batch לא רק התמודד עם האתגרים הספציפיים שלנו אלא גם הגביר משמעותית את היעילות התפעולית שלנו. באמצעות יישום צינור חיזוי מתוחכם של קטגוריות מוצרים, אנו מסוגלים להעצים את הצוותים המסחריים שלנו עם תובנות מונעות נתונים, ובכך להקל על קבלת החלטות יעילה יותר.
התוצאות שלנו מדברות רבות על יעילות הגישה שלנו. השגנו דיוק חיזוי של 80% בכל ארבע רמות הפירוט של הקטגוריות, אשר ממלא תפקיד חשוב בעיצוב מבחר המוצרים עבור כל מדינה שאנו משרתים. רמת דיוק זו מרחיבה את טווח ההגעה שלנו אל מעבר למחסומי השפה ומבטיחה שאנו נותנים מענה לבסיס המשתמשים המגוון שלנו בדיוק מירבי.
יתרה מכך, על ידי שימוש אסטרטגי בעבודות AWS Batch GPU מתוזמנות, הצלחנו להפחית את משך ההכשרה של המודל שלנו ב-90%. יעילות זו ייעלה עוד יותר את התהליכים שלנו וחיזקה את הזריזות התפעולית שלנו. אחסון מודלים יעיל באמצעות Amazon S3 מילא תפקיד קריטי בהישג זה, ואיזון הן בזמן אמת והן בתחזיות אצווה.
למידע נוסף על איך להתחיל לבנות צינורות ML משלך עם SageMaker, ראה משאבי אמזון SageMaker. AWS Batch היא אפשרות מצוינת אם אתם מחפשים פתרון בעלות נמוכה וניתנת להרחבה להפעלת עבודות אצווה עם תקורה תפעולית נמוכה. כדי להתחיל, ראה תחילת העבודה עם AWS Batch.
על הכותבים
נאפי אחמט טורגוט סיים את התואר השני בהנדסת חשמל ואלקטרוניקה ועבד כמדען מחקר בוגר. ההתמקדות שלו הייתה בניית אלגוריתמים של למידת מכונה כדי לדמות חריגות ברשת העצבים. הוא הצטרף ל-Getir ב-2019 וכיום הוא עובד כמנהל בכיר ב-Data Science & Analytics. הצוות שלו אחראי על תכנון, הטמעה ותחזוקה של אלגוריתמי למידת מכונה מקצה לקצה ופתרונות מונעי נתונים עבור Getir.
חסן בורק יל קיבל את התואר הראשון שלו בהנדסת חשמל ואלקטרוניקה באוניברסיטת Boğaziçi. הוא עבד ב-Turkcell, בעיקר התמקד בחיזוי סדרות זמן, הדמיית נתונים ואוטומציה של רשתות. הוא הצטרף ל-Getir בשנת 2021 וכיום הוא עובד כמנהל Data Science & Analytics עם אחריות על תחומים חיפוש, המלצות וצמיחה.
דמלה סנטורק קיבלה תואר ראשון בהנדסת מחשבים באוניברסיטת גלאטסראיי. היא ממשיכה את התואר השני שלה בהנדסת מחשבים באוניברסיטת Boğaziçi. היא הצטרפה ל-Getir בשנת 2022, ועבדה כ-Data Scientist. היא עבדה על פרויקטים מסחריים, שרשרת אספקה ופרויקטים הקשורים לגילוי.
אסרה קיאבאלי הוא ארכיטקט פתרונות בכיר ב-AWS, המתמחה בתחום הניתוח, כולל מחסני נתונים, אגמי נתונים, ניתוח ביג דאטה, הזרמת נתונים אצווה ובזמן אמת ושילוב נתונים. יש לה 12 שנות ניסיון בפיתוח תוכנה וארכיטקטורה. היא נלהבת מלימוד והוראת טכנולוגיות ענן.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/how-getir-reduced-model-training-durations-by-90-with-amazon-sagemaker-and-aws-batch/
- :יש ל
- :הוא
- :לֹא
- 100
- 12
- 2015
- 2019
- 2021
- 2022
- 7
- a
- יכולת
- יכול
- אודות
- גישה
- גישה
- דיוק
- מדויק
- הושג
- הישג
- השגתי
- לרוחב
- פעולה
- בנוסף
- כתובת
- ממוען
- יתרון
- לאחר
- נגד
- אלגוריתמים
- מיישר
- תעשיות
- מותר
- מאפשר
- לאורך
- גם
- אמזון בעברית
- אמזון SageMaker
- אמזון שירותי אינטרנט
- an
- ניתוח
- ניתוח
- ו
- תשתיות
- חריגויות
- כל
- ארכיטקטורה
- ARE
- AS
- אספקט
- מבחר
- At
- המכונית
- באופן אוטומטי
- אוטומציה
- שדרה
- AWS
- איזון
- איזון
- מחסומים
- בסיס
- מבוסס
- BE
- להיות
- היה
- בנצ 'מרק
- מרוויח
- הטוב ביותר
- מעבר
- גָדוֹל
- נתונים גדולים
- שיפרה
- שניהם
- מותג
- לִבנוֹת
- בִּניָן
- נבנה
- עסקים
- אבל
- by
- CAN
- יכולות
- יכולת
- מהוון
- קטגוריות
- קטגוריה
- לספק
- מֶרכָּזִי
- שרשרת
- לאתגר
- האתגרים
- בחירה
- ענן
- משלב
- מסחרי
- חברה
- משכנע
- תחרותי
- מתחרים
- השלמת
- מורכב
- מַקִיף
- לחשב
- המחשב
- הנדסת מחשבים
- מחשוב
- קונגלומרט
- להמשיך
- ממשיך
- רציף
- מדינה
- יצירה
- קריטי
- מכריע
- כיום
- לקוח
- לקוחות
- נתונים
- ניתוח נתונים
- מדע נתונים
- מדען נתונים
- נתונים להדמיה
- נתונים מונחים
- קבלת החלטות
- מוגדר
- תואר
- מסירה
- לפרוס
- פרס
- פריסה
- פריסה
- תכנון
- מְפוֹרָט
- מפתחים
- צעצועי התפתחות
- אחר
- קושי
- ישירות
- הפצה
- שונה
- מְגוּוָן
- תחום
- תחומים
- ראוי
- משך
- כל אחד
- קל
- אפקטיבי
- יעילות
- יְעִילוּת
- יעילות
- יְעִילוּת
- יעיל
- יעילות
- ללא מאמץ
- מַאֲמָצִים
- מכשירי חשמל
- להסמיך
- מופעל
- מקיף
- מקצה לקצה
- הנדסה
- משופר
- שיפור
- הבטיח
- מבטיח
- הבטחתי
- סביבה
- באותה מידה
- נוסד
- להתפתח
- מצוין
- קיימים
- ניסיון
- חוויות
- להסביר
- חקירה
- לחקור
- משתרע
- פָּנִים
- הקלה
- מהיר
- מאפיין
- שדה
- סופי
- ראשון
- להתמקד
- מרוכז
- הבא
- בעד
- להכריח
- תַחֲזִית
- ארבע
- החל מ-
- לגמרי
- נוסף
- עתיד
- איסוף
- מייצר
- גרמניה
- לקבל
- GPU
- GPUs
- בוגר
- צמיחה
- אוֹרֵחַ
- פוסט אורח
- לטפל
- יש
- he
- לעזור
- עוזר
- לה
- גָבוֹהַ
- שֶׁלוֹ
- אירח
- איך
- איך
- HTML
- http
- HTTPS
- if
- הפעלה
- יישום
- חשוב
- היבט חשוב
- in
- כולל
- כולל
- מידע
- תשתית
- בתחילה
- חדשני
- תובנות
- להתקין
- למשל
- השתלבות
- יחסי גומלין
- אל תוך
- לֹא יְסוּלֵא בְּפָּז
- מלאי
- ניהול מלאי
- IT
- שֶׁלָה
- עצמו
- מקומות תעסוקה
- הצטרף
- jpg
- נִלהָב
- מפתח
- ידוע
- אגמים
- שפה
- שפות
- חֶבִיוֹן
- למידה
- הוביל
- רמה
- רמות
- כמו
- הסתכלות
- נמוך
- בעלות נמוכה
- מכונה
- למידת מכונה
- בעיקר
- שמירה
- לעשות
- לנהל
- הצליח
- ניהול
- מנהל
- דרך
- רב
- שוק
- מאסטר
- שיטה
- מֵתוֹדוֹלוֹגִיָה
- דקות
- ML
- מודל
- מודלים
- חוֹדֶשׁ
- יותר
- רב לאומי
- מספר
- יליד
- טבעי
- נווט
- צורך
- צרכי
- הולנד
- רשת
- הבא
- תֵשַׁע
- לא
- אובייקט
- ברור
- of
- הצעה
- on
- ONE
- רק
- מבצעי
- תפעול
- אופטימלי
- אופטימיזציה
- מייעל
- אפשרות
- or
- להזמין
- ארגון
- שלנו
- התגברות
- שֶׁלוֹ
- במיוחד
- לוהט
- אֲנָשִׁים
- ביצועים
- שלב
- צינור
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- שיחק
- משחק
- תיק עבודות
- מיקום
- אפשרויות
- הודעה
- פוטנציאל
- פוטנציאל
- כּוֹחַ
- חזק
- דיוק
- ניבוי
- נבואה
- התחזיות
- אנליטי חזוי
- נוכחות
- בעיה
- בעיות
- תהליך
- תהליכים
- המוצר
- הפקה
- פּרוֹיֶקט
- פרויקטים
- מוכח
- לספק
- ובלבד
- מתן
- מרדף
- כמות
- מהירות
- טווחים
- לְהַגִיעַ
- זמן אמת
- נתונים בזמן אמת
- קיבלו
- המלצה
- להפחית
- מופחת
- הפחתה
- לחדד
- מעודן
- מייצג
- נדרש
- מחקר
- משאבים
- אחריות
- אחראי
- תוצאות
- חוללה מהפכה
- תפקיד
- הפעלה
- ריצה
- בעל חכמים
- בקרת מערכות ותקשורת
- להרחבה
- סולם
- דרוג
- מתוכנן
- מדע
- מַדְעָן
- מדענים
- בצורה חלקה
- חיפוש
- סעיפים
- אבטחה
- לִרְאוֹת
- לחפש
- קטע
- נבחר
- לחצני מצוקה לפנסיונרים
- סדרה
- לשרת
- שרות
- שירותים
- סט
- שבע
- Shadow
- מעצבים
- היא
- הופעות
- באופן משמעותי
- פָּשׁוּט
- יחיד
- So
- תוכנה
- פיתוח תוכנה
- פִּתָרוֹן
- פתרונות
- פותר
- כמה
- מתוחכם
- ביקש
- לדבר
- מיוחד
- ספציפי
- החל
- הברית
- שלב
- אחסון
- אחסון
- אסטרטגי
- מבחינה אסטרטגית
- אִסטרָטֶגִיָה
- נהירה
- לייעל
- זִרמִי
- התייעלות
- התחזק
- חוזק
- מוצלח
- מעולה
- לספק
- שרשרת אספקה
- תמיכה
- לְהִתְמוֹדֵד
- חייט
- משימות
- הוראה
- נבחרת
- צוותי
- טק
- חברת טק
- טכנולוגיות
- בדיקות
- זֶה
- השמיים
- הולנד
- בריטניה
- שֶׁלָהֶם
- אותם
- אז
- בכך
- לכן
- אלה
- זֶה
- דרך
- זמן
- סדרת זמן
- ל
- היום
- של היום
- יַחַד
- כלים
- טריילר
- רכבת
- הדרכה
- עץ
- טורקיה
- שתיים
- Uk
- מטריה
- תחת
- מאוחד
- ארצות הברית
- אוניברסיטה
- us
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- חוויית משתמש
- באמצעות
- מנוצל
- מכל
- שונים
- אנכיות
- ראיה
- חיוני
- כרכים
- היה
- we
- אינטרנט
- שירותי אינטרנט
- שבוע
- היו
- אשר
- בזמן
- עם
- בתוך
- עבד
- עובד
- עובד
- שנים
- אתה
- זפירנט