שפר את ביצועי המחיר של אימון המודל שלך באמצעות אשכולות הטרוגניים של אמזון SageMaker PlatoBlockchain Data Intelligence. חיפוש אנכי. איי.

שפר את ביצועי המחיר של אימון המודל שלך באמצעות אשכולות הטרוגניים של Amazon SageMaker

הפוסט הזה נכתב בשיתוף עם חיים רנד מ-Mobilye.

עומסי עבודה מסוימים של למידת מכונה (ML), כגון אימון מודלים של ראייה ממוחשבת או למידת חיזוק, כוללים לרוב שילוב של המשימה עתירת ה-GPU או המאיץ של אימון מודלים של רשתות עצביות עם המשימה עתירת ה-CPU של עיבוד מקדים של נתונים, כמו הגדלת תמונה. כאשר שני סוגי המשימות פועלות על אותו סוג מופע, עיבוד הנתונים המקדים מקבל צוואר בקבוק במעבד, מה שמוביל לניצול נמוך יותר של GPU. בעיה זו מחמירה עם הזמן כאשר התפוקה של דורות חדשים יותר של GPUs גדלה בקצב תלול יותר מזה של CPUs.

כדי לטפל בבעיה זו, ביולי 2022, אנו הושק אשכולות הטרוגניים עבור אמזון SageMaker הדרכת מודל, המאפשרת לך להשיק עבודות הדרכה המשתמשות בסוגי מופע שונים בעבודה אחת. זה מאפשר הורדה של חלקים מצינור העיבוד המקדים של הנתונים מותאם למחשב סוגי מופעים, בעוד שמשימת הרשת העצבית העמוקה (DNN) ממשיכה לפעול GPU או מחשוב מואץ סוגי מופעים. המדדים שלנו מראים תועלת של עד 46% במחיר ביצועים לאחר הפעלת אשכולות הטרוגניים באימון מודל ראייה ממוחשבת הקשור למעבד TensorFlow.

עבור מקרה שימוש דומה, ריהוט, חברה לפיתוח טכנולוגיות רכב אוטונומי, היה צריך לחלוק את זה:

"על ידי העברת אימון מודל ראייה ממוחשבת ללמידה עמוקה הקשורה למעבד לריצה על מספר סוגי מופעים (מאיצי מעבד ו-GPU/ML), באמצעות tf.data.service פתרון מבוסס שבנינו, הצלחנו לצמצם את זמן האימון ב-40% תוך הפחתת עלות האימון ב-30%. אנו נרגשים מאשכולות הטרוגניים המאפשרים לנו להפעיל את הפתרון הזה באמזון SageMaker."

- הנדסת AI, Mobileye

בפוסט זה נדון בנושאים הבאים:

  • כיצד אשכולות הטרוגניים עוזרים להסיר צווארי בקבוק במעבד
  • מתי להשתמש באשכולות הטרוגניים, וחלופות אחרות
  • יישומי הפניה ב- PyTorch ו- TensorFlow
  • תוצאות בנצ'מרק ביצועים
  • אשכולות הטרוגניים ב-Mobilye

AWS מופע מחשוב מואץ המשפחה כוללת מאיצים משבבים מותאמים אישית של AWS (Afer Inferentia, AWS Trainium), NVIDIA (GPUs,) ו מאיצים של גאודי מ-Habana Labs (חברת אינטל). שימו לב שבפוסט זה אנו משתמשים במונחים GPU ומאיץ זה בזה.

כיצד אשכולות הטרוגניים מסירים צווארי בקבוק בעיבוד נתונים

מדעני נתונים המאמנים מודלים של למידה עמוקה שואפים למקסם את עלות יעילות ההדרכה ולמזער את זמן האימון. כדי להשיג זאת, מטרת אופטימיזציה בסיסית אחת היא ניצול GPU גבוה, המשאב היקר והדל ביותר בתוך ענן מחשוב אלסטי של אמזון (Amazon EC2). זה יכול להיות מאתגר יותר עם עומסי עבודה של ML המשלבים את ההפצה הקלאסי של מודל הרשת העצבית העצבית של GPU קדימה ואחורה עם משימות עתירות CPU, כגון עיבוד נתונים והגדלה בראייה ממוחשבת או הפעלת סימולציית סביבה בלימוד חיזוק. עומסי עבודה אלו עלולים להיות קשורים ל-CPU, כאשר כמות גדולה יותר של מעבד תגרום לתפוקה גבוהה יותר והדרכה מהירה וזולה יותר מכיוון שהמאיצים הקיימים אינם פעילים חלקית. במקרים מסוימים, ניתן לפתור צווארי בקבוק של CPU על ידי מעבר לסוג מופע אחר עם יחס CPU:GPU גבוה יותר. עם זאת, ישנם מצבים שבהם מעבר לסוג מופע אחר עשוי שלא להיות אפשרי עקב התלות בארכיטקטורה, האחסון או הרשת של משפחת המופעים.

במצבים כאלה, עליך להגדיל את כמות כוח המעבד על ידי ערבוב סוגי מופעים: מופעים עם GPUs יחד עם מעבד. לסיכום, זה מביא ליחס גבוה יותר של CPU:GPU באופן כללי. עד לאחרונה, משרות ההדרכה של SageMaker היו מוגבלות למופעים מסוג מופע בודד שנבחר. עם אשכולות הטרוגניים של SageMaker, מדעני נתונים יכולים להריץ בקלות עבודת הדרכה עם סוגי מופעים מרובים, מה שמאפשר להוריד חלק ממשימות ה-CPU הקיימות ממופעי ה-GPU למופעי מעבד ייעודיים מותאמים למחשב, וכתוצאה מכך ניצול GPU גבוה יותר ומחיר מהיר יותר ויותר- אימון יעיל. יתרה מכך, עם כוח המעבד הנוסף, אתה יכול לקבל משימות עיבוד מקדים שנעשו באופן מסורתי במצב לא מקוון כשלב מקדים לאימון להפוך לחלק מעבודת ההדרכה שלך. זה הופך אותו למהיר יותר לחזור ולהתנסות הן על עיבוד מקדים של נתונים והן על הנחות אימון DNN והיפרפרמטרים.

לדוגמה, שקול סוג מופע GPU חזק, ml.p4d.24xlarge (96 vCPU, 8 x NVIDIA A100 GPUs), עם יחס CPU:GPU של 12:1. הבה נניח שעבודת ההדרכה שלך צריכה 20 מעבדי vCPU כדי לעבד מספיק נתונים כדי לשמור על ניצול של 100% של GPU אחד. לכן, כדי לשמור על ניצול 8% של כל 100 ה-GPUs, אתה צריך סוג מופע של 160 vCPUs. עם זאת, ב-ml.p4d.24xlarge חסרים 64 vCPUs, או 40%, מה שמגביל את ניצול ה-GPU ל-60%, כפי שמתואר בצד שמאל של הדיאגרמה הבאה. האם הוספת מופע נוסף של ml.p4d.24xlarge יעזור? לא, מכיוון שיחס המעבד:GPU של העבודה יישאר זהה.

עם אשכולות הטרוגניים, נוכל להוסיף שני ml.c5.18xlarge (72 vCPU), כפי שמוצג בצד ימין של הדיאגרמה. סך ה-vCPU הכולל באשכול זה הוא 210 (96+2*72), מה שמוביל ליחס CPU:GPU של 30:1. כל אחד מהמופעים המותאמים למחשוב יוסר עם משימה עתירת מעבד מראש של עיבוד נתונים, ויאפשר ניצול יעיל של GPU. למרות העלות הנוספת של ml.c5.18xlarge, ניצול ה-GPU הגבוה יותר מאפשר עיבוד מהיר יותר, ולכן יתרונות ביצועים במחיר גבוה יותר.

מתי להשתמש באשכולות הטרוגניים, וחלופות אחרות

בסעיף זה, אנו מסבירים כיצד לזהות צוואר בקבוק של מעבד, ודנים בפתרונו באמצעות הגדלה של סוג מופע לעומת אשכולות הטרוגניים.

הדרך המהירה לזהות צוואר בקבוק של CPU היא לפקח על CPU ו-GPU מדדי ניצול עבור משרות הדרכה של SageMaker ב אמזון CloudWatch. אתה יכול לגשת לתצוגות אלה מה- קונסולת הניהול של AWS בתוך ההיפר-קישור של מדדי המופע של דף עבודת ההדרכה. בחר את המדדים הרלוונטיים ועבור מרזולוציה של 5 דקות לדקה אחת. שימו לב שהקנה מידה הוא 1% לכל vCPU או GPU, כך ששיעור הניצול עבור מופע עם 100 vCPUs/GPUs יכול להגיע עד 4%. האיור הבא הוא דוגמה אחת כזו ממדדי CloudWatch, כאשר המעבד מנוצל ב-400% בערך, מה שמצביע על צוואר בקבוק במעבד, בעוד שה-GPU אינו מנוצל.

שפר את ביצועי המחיר של אימון המודל שלך באמצעות אשכולות הטרוגניים של אמזון SageMaker PlatoBlockchain Data Intelligence. חיפוש אנכי. איי.

לאבחון מפורט, הפעל את עבודות ההדרכה עם באגים של SageMaker באמזון כדי ליצור פרופיל של סטטוס ניצול משאבים, סטטיסטיקות ופעולות מסגרת, על ידי הוספת תצורת פרופיל כאשר אתה בונה מעריך SageMaker באמצעות SageMaker Python SDK. לאחר הגשת עבודת ההדרכה, בדוק את התוצאה דוח פרופילי לצווארי בקבוק במעבד.

אם אתה מסיק שהעבודה שלך עשויה להפיק תועלת מיחס חישוב גבוה יותר של CPU:GPU, שקול תחילה להגדיל לסוג מופע אחר באותה משפחת מופעים, אם קיים כזה. לדוגמה, אם אתה מאמן את הדגם שלך על ml.g5.8xlarge (32 vCPUs, 1 GPU), שקול להגדיל את קנה המידה ל-ml.g5.16xlarge (64 vCPUs, 1 GPU). לחלופין, אם אתה מאמן את המודל שלך באמצעות מופע רב-GPU ml.g5.12xlarge (48 vCPUs, 4 GPUs), שקול להגדיל את קנה המידה ל-ml.g5.24xlarge (96 vCPUs, 4 GPUs). עיין ב G5 מפרט משפחה למשל לפרטים נוספים.

לפעמים, התרחבות היא לא אופציה, כי אין סוג מופע עם יחס vCPU:GPU גבוה יותר באותה משפחת מופעים. לדוגמה, אם אתה מאמן את הדגם על ml.trn1.32xlarge, ml.p4d.24xlarge, או ml.g5.48xlarge, כדאי לשקול אשכולות הטרוגניים לאימון מודל SageMaker.

מלבד הגדלה, ברצוננו לציין שיש חלופות נוספות לאשכול הטרוגני, כמו NVIDIA דאלי, אשר מוריד עיבוד מקדים של תמונה ל-GPU. למידע נוסף, עיין ב התגברות על צווארי בקבוק בעיבוד מוקדם של נתונים עם שירות הנתונים של TensorFlow, NVIDIA DALI ושיטות אחרות.

כדי לפשט את קבלת ההחלטות, עיין בתרשים הזרימה הבא.

שפר את ביצועי המחיר של אימון המודל שלך באמצעות אשכולות הטרוגניים של אמזון SageMaker PlatoBlockchain Data Intelligence. חיפוש אנכי. איי.

כיצד להשתמש באשכולות הטרוגניים של SageMaker

כדי להתחיל במהירות, אתה יכול לקפוץ ישירות לדוגמאות של TensorFlow או PyTorch שסופקו כחלק מהפוסט הזה.

בחלק זה, אנו מדריכים אותך כיצד להשתמש באשכול הטרוגני של SageMaker עם דוגמה פשוטה. אנו מניחים שאתה כבר יודע איך לאמן דגם עם SageMaker Python SDK ומחלקת Estimator. אם לא, עיין ב שימוש ב-SageMaker Python SDK לפני שממשיכים.

לפני תכונה זו, אתחולת את שיעור האומדן של עבודת ההדרכה עם ה- InstanceCount ופרמטרים InstanceType, אשר מניח באופן מרומז שיש לך רק סוג מופע בודד (אשכול הומוגני). עם שחרורו של אשכולות הטרוגניים, הצגנו את החדש sagemaker.instance_group.InstanceGroup מעמד. זה מייצג קבוצה של מופע אחד או יותר מסוג מופע מסוים, שנועד לשאת תפקיד לוגי (כמו עיבוד נתונים או אופטימיזציה של רשתות עצביות. אתה יכול לקבל שתי קבוצות או יותר, ולציין שם מותאם אישית עבור כל קבוצת מופע, המופע סוג ומספר המופעים עבור כל קבוצת מופעים. למידע נוסף, עיין ב שימוש ב-SageMaker Python SDK ו שימוש בממשקי ה-API של SageMaker ברמה נמוכה.

לאחר שהגדרת את קבוצות המופעים, עליך לשנות את סקריפט האימון שלך כדי לקרוא את SageMaker מידע על סביבת האימון זה כולל תצורת אשכול הטרוגנית. התצורה מכילה מידע כגון קבוצות המופעים הנוכחיים, המארחים הנוכחיים בכל קבוצה, ובאיזה קבוצה מתגורר המארח הנוכחי עם הדירוג שלהם. אתה יכול לבנות היגיון בסקריפט ההדרכה שלך כדי להקצות את קבוצות המופעים למשימות הדרכה ועיבוד נתונים מסוימות. בנוסף, סקריפט ההדרכה שלך צריך לדאוג לתקשורת קבוצתית בין מופעים או למנגנוני טעינת נתונים מבוזרים (לדוגמה, tf.data.service ב- TensorFlow או גנרי gRPC שרת לקוח) או כל מסגרת אחרת (לדוגמה, אפאצ 'י ספארק).

בוא נעבור על דוגמה פשוטה של ​​השקת עבודת הדרכה הטרוגנית וקריאת תצורת הסביבה בזמן ריצה.

  1. בעת הגדרה והשקה של עבודת ההדרכה, אנו מגדירים שתי קבוצות מופעים המשמשות כארגומנטים לאומדן SageMaker:
    from sagemaker.instance_group import InstanceGroup
    data_group = InstanceGroup("data_group", "ml.c5.18xlarge", 2)
    dnn_group = InstanceGroup("dnn_group", "ml.p4d.24xlarge", 1)
    
    from sagemaker.pytorch import PyTorch
    estimator = PyTorch(...,
        entry_point='launcher.py',
        instance_groups=[data_group, dnn_group]
    )
  2. על תסריט האימון של נקודת הכניסה (שמו launcher.py), אנו קוראים את תצורת האשכול ההטרוגני כדי לראות אם המופע יריץ את קוד העיבוד המקדים או ה-DNN:
    from sagemaker_training import environment
    env = environment.Environment()
    if env.current_instance_group == 'data_group': ...;

בעזרת זה, בואו נסכם את המשימות ש- SageMaker עושה בשמכם, ואת המשימות שאתם אחראים עליהן.

SageMaker מבצעת את המשימות הבאות:

  1. מתן סוגי מופעים שונים בהתאם להגדרת קבוצת מופעים.
  2. אספקת ערוצי קלט בכל קבוצות מופעים או ספציפיות.
  3. הפצת תסריטי אימון ותלות למופעים.
  4. הגדר אשכול MPI על קבוצת מופעים ספציפית, אם הוגדר.

אתה אחראי למשימות הבאות:

  1. שנה את סקריפט התחלת ההדרכה שלך כדי לציין קבוצות מופעים.
  2. הטמעת צינור נתונים מבוזר (לדוגמה, tf.data.service).
  3. שנה את סקריפט נקודת הכניסה שלך (ראה launcher.py במחברת לדוגמה) להיות נקודת כניסה אחת שתפעל בכל המופעים, תזהה באיזו קבוצת מופעים היא פועלת ותפעיל את ההתנהגות הרלוונטית (כגון עיבוד נתונים או אופטימיזציה של DNN).
  4. כאשר לולאת האימון מסתיימת, עליך לוודא שתהליך נקודת הכניסה שלך יוצא בכל המופעים בכל קבוצות המופעים. זה חשוב מכיוון ש- SageMaker מחכה עד שכל המופעים יסיימו את העיבוד לפני שהוא מסמן את העבודה כהשלמה ומפסיק את החיוב. ה launcher.py סקריפט במחברות הדוגמאות של TensorFlow ו-PyTorch מספק הטמעת עזר של מופעי קבוצת נתונים ליציאה כאשר מופעי קבוצת DNN מסיימים את עבודתם.

מחברות לדוגמה עבור אשכולות הטרוגניים של SageMaker

בחלק זה, אנו מספקים סיכום של מחברות לדוגמה הן למסגרות TensorFlow והן ל- PyTorch ML. במחברות, אתה יכול למצוא את פרטי היישום, הדרכה על איך הקוד עובד, קטעי קוד שבהם תוכל לעשות שימוש חוזר בתסריטי ההדרכה שלך, דיאגרמות זרימה וניתוח השוואת עלויות.

שים לב שבשתי הדוגמאות, אתה לא צריך לצפות שהמודל יתכנס בצורה משמעותית. הכוונה שלנו היא רק למדוד את צינור הנתונים ואת תפוקת האופטימיזציה של הרשת העצבית המתבטאת בזמן/צעד. עליך לבצע השוואת ביצועים עם מודל ומערך נתונים משלך כדי לייצר יתרונות ביצועי מחיר התואמים את עומס העבודה שלך.

אשכול הטרוגני באמצעות מטעין נתונים מבוזר מבוסס tf.data.service (TensorFlow)

זֶה מחברה מדגים כיצד ליישם אשכול הטרוגני לאימון SageMaker באמצעות TensorFlow's tf.data.service צינור נתונים מבוזר מבוסס. אנו מאמנים מודל ראייה ממוחשבת ללמידה עמוקה Resnet50 שדורש הגדלת נתונים עתיר מעבד. זה משתמש הורבוד עבור מקביליות נתונים מבוזרת מרובת GPU.

אנו מפעילים את עומס העבודה בשתי תצורות: ראשית כאשכול הומוגני, מופע יחיד ml.p4d.24xlarge, תוך שימוש בתקן סטנדרטי tf.data צינור המציג צווארי בקבוק במעבד המובילים לניצול נמוך יותר של GPU. בריצה השנייה, אנו עוברים מסוג מופע בודד לשתי קבוצות מופעים באמצעות אשכול הטרוגני של SageMaker. הפעלה זו מורידה חלק מעיבוד הנתונים למופעי CPU נוספים (באמצעות tf.data.service).

לאחר מכן אנו משווים את התצורות ההומוגניות וההטרוגניות ומוצאים יתרונות מרכזיים בביצועי המחיר. כפי שמוצג בטבלה הבאה, העבודה ההטרוגנית (86ms/צעד) מהירה פי 2.2 לאימון מהעבודה ההומוגנית (192ms/צעד), מה שהופך אותו לזול ב-46% להכשיר דגם.

דוגמה 1 (TF) ml.p4d.24xl ml.c5.18xl מחיר לשעה* זמן צעד ממוצע עלות לכל שלב שיפור ביצועי מחיר
הומוגני 1 0 $37.688 192 ms $0.201 .
הטרוגני 1 2 $45.032 86 ms $0.108 46%

* המחיר לשעה מבוסס על us-east-1 תמחור SageMaker לפי דרישה

האצה זו מתאפשרת על ידי שימוש ב-vCPU הנוסף, המסופק על ידי קבוצת הנתונים, ועיבוד מוקדם יותר מהיר יותר. ראה את מחברה לפרטים נוספים וגרפים.

אשכול הטרוגני באמצעות מטעין נתונים מבוזר מבוסס שרת gRPC (PyTorch)

זֶה מחברה מדגים עומס עבודה לדוגמה באמצעות אשכול הטרוגני עבור אימון SageMaker באמצעות טוען נתונים מבוזר מבוסס לקוח-שרת gRPC. דוגמה זו משתמשת ב-GPU יחיד. אנו משתמשים במודל PyTorch המבוסס על הדברים הבאים דוגמה רשמית של MNIST. קוד ההדרכה השתנה כדי להיות כבד בעיבוד מקדים של נתונים. אנו מאמנים מודל זה במצבי אשכול הומוגניים והטרוגניים, ומשווים ביצועי מחירים.

בדוגמה זו, הנחנו שעומס העבודה אינו יכול להפיק תועלת ממספר GPUs, ויש לו תלות בארכיטקטורת GPU ספציפית (NVIDIA V100). הרצנו עבודות הכשרה הומוגניות והטרוגניות, ומצאנו יתרונות מרכזיים בביצועי המחיר, כפי שמוצג בטבלה הבאה. העבודה ההטרוגנית (1.19 שניות/צעד) מהירה פי 6.5 לאימון מהעבודה ההומוגנית (0.18 שניות/צעד), מה שהופך אותו לזול יותר ב-77% להכשיר דוגמנית.

דוגמה 2 (PT) ml.p3.2xl ml.c5.9xl מחיר לשעה* זמן צעד ממוצע עלות לכל שלב שיפור ביצועי מחיר
הומוגני 1 0 $3.825 1193 ms $0.127 .
הטרוגני 1 1 $5.661 184 ms $0.029 77%

* המחיר לשעה מבוסס על us-east-1 תמחור SageMaker לפי דרישה

זה אפשרי מכיוון שעם ספירת CPU גבוהה יותר, נוכל להשתמש ב-32 עובדי מעמיס נתונים (לעומת 8 עם ml.p3.2xlarge) כדי לעבד מראש את הנתונים ולשמור על ניצול ה-GPU קרוב ל-100% במרווחים תכופים. ראה את מחברה לפרטים נוספים וגרפים.

אשכולות הטרוגניים ב-Mobilye

Mobileye, חברת אינטל, מפתחת מערכות סיוע לנהג מתקדמות (ADAS) וטכנולוגיות רכב אוטונומי במטרה לחולל מהפכה בתעשיית התחבורה, להפוך את הכבישים לבטוחים יותר ולהציל חיים. טכנולוגיות אלו מתאפשרות באמצעות מודלים מתוחכמים של ראייה ממוחשבת (CV) אשר מאומנים באמצעות SageMaker על כמויות גדולות של נתונים המאוחסנים ב שירות אחסון פשוט של אמזון (אמזון S3). מודלים אלה משתמשים בטכניקות רשת עצבית של למידה עמוקה מתקדמות.

שמנו לב שלאחד מדגמי ה-CV שלנו, צוואר הבקבוק של ה-CPU נגרם בעיקר על ידי עיבוד מוקדם של נתונים כבדים המובילים למעבדי GPU שלא מנוצלים. עבור עומס העבודה הספציפי הזה, התחלנו לבחון פתרונות חלופיים, הערכנו טכנולוגיות צינור נתונים מבוזרות עם אשכולות הטרוגניים המבוססים על מופעי EC2, והמצאנו יישומי ייחוס לשניהם TensorFlow ו PyTorch. שחרורו של האשכול ההטרוגני של SageMaker מאפשר לנו להפעיל עומסי עבודה זה ודומים להם על SageMaker כדי להשיג יתרונות משופרים בביצועי המחיר.

שיקולים

עם השקת תכונת האשכול ההטרוגני, SageMaker מציעה הרבה יותר גמישות בערבוב והתאמת סוגי מופעים במסגרת עבודת האימון שלך. עם זאת, שקול את הדברים הבאים בעת שימוש בתכונה זו:

  • תכונת האשכול ההטרוגני זמינה דרך SageMaker PyTorch ו TensorFlow שיעורי אומדני מסגרת. מסגרות נתמכות הן PyTorch v1.10 ואילך ו-TensorFlow v2.6 ואילך.
  • כל קבוצות המופעים חולקות את אותה תמונת Docker.
  • כל קבוצות המופע חולקות את אותו סקריפט הדרכה. לכן, יש לשנות את סקריפט האימון שלך כדי לזהות לאיזו קבוצת מופעים הוא שייך ולהתחיל לפעול בהתאם.
  • שמות המארחים של מופעי ההדרכה (לדוגמה, alog-1, algo-2 וכן הלאה) מוקצים באופן אקראי, ואינם מציינים לאיזו קבוצת מופעים הם שייכים. כדי לקבל את תפקיד המופע, אנו ממליצים לקבל חברות בקבוצת המופעים שלו במהלך זמן הריצה. זה רלוונטי גם בעת בדיקת כניסות CloudWatch, כי שם זרם היומן [training-job-name]/algo-[instance-number-in-cluster]-[epoch_timestamp] יש את שם המארח.
  • ניתן ליישם אסטרטגיית אימון מבוזרת (בדרך כלל אשכול MPI) רק על קבוצת מופעים אחת.
  • SageMaker מנוהל בריכות חמות ו- SageMaker מצב מקומי לא ניתן להשתמש כרגע עם אימון אשכולות הטרוגניים.

סיכום

בפוסט זה, דנו מתי וכיצד להשתמש בתכונת האשכול ההטרוגני של אימון SageMaker. הדגמנו שיפור של 46% במחיר ביצועי במקרה של שימוש בעולם האמיתי ועזרנו לך להתחיל במהירות עם טוען נתונים מבוזר (tf.data.service ו-gRPC שרת-לקוח). אתה יכול להשתמש ביישומים אלה עם שינויי קוד מינימליים בתסריטי ההדרכה הקיימים שלך.

כדי להתחיל, נסה את שלנו מחברות לדוגמה. למידע נוסף על תכונה זו, עיין ב אימון באמצעות אשכול הטרוגני.


על המחברים

שפר את ביצועי המחיר של אימון המודל שלך באמצעות אשכולות הטרוגניים של אמזון SageMaker PlatoBlockchain Data Intelligence. חיפוש אנכי. איי.גילי נחום הוא ארכיטקט פתרונות מומחה בינה מלאכותית/ML בכיר שעובד כחלק מצוות למידת מכונה של אמזון EMEA. גילי נלהב מהאתגרים של הכשרת מודלים של למידה עמוקה, וכיצד למידת מכונה משנה את העולם כפי שאנו מכירים אותו. בזמנו הפנוי גילי נהנה לשחק טניס שולחן.

שפר את ביצועי המחיר של אימון המודל שלך באמצעות אשכולות הטרוגניים של אמזון SageMaker PlatoBlockchain Data Intelligence. חיפוש אנכי. איי.הרושיקש גנגור הוא ארכיטקט פתרונות עיקרי עבור סטארט-אפים בינה מלאכותית/ML עם מומחיות הן בהדרכה ML והן ב-AWS Networking. הוא עוזר לסטארט-אפים בטכנולוגיות רכב אוטונומי, רובוטיקה, קורות חיים, NLP, MLOps, ML Platform ואוטומציה של רובוטיקה לנהל את העסק שלהם ביעילות וביעילות ב-AWS. לפני הצטרפותו ל-AWS, Hrushikesh רכשה 20+ שנות ניסיון בתעשייה בעיקר סביב פלטפורמות ענן ו-Data.

שפר את ביצועי המחיר של אימון המודל שלך באמצעות אשכולות הטרוגניים של אמזון SageMaker PlatoBlockchain Data Intelligence. חיפוש אנכי. איי.גל אושרי הוא מנהל מוצר בכיר בצוות אמזון SageMaker. יש לו ניסיון של 7 שנים בעבודה על כלים, מסגרות ושירותים של Machine Learning.

שפר את ביצועי המחיר של אימון המודל שלך באמצעות אשכולות הטרוגניים של אמזון SageMaker PlatoBlockchain Data Intelligence. חיפוש אנכי. איי.חיים רנד הוא מפתח אלגוריתמי למידת מכונה שעובד על טכנולוגיות למידה עמוקה וראייה ממוחשבת עבור פתרונות רכב אוטונומי בחברת Mobileye, חברת אינטל. תבדוק את שלו בלוגים.

בול זמן:

עוד מ למידת מכונות AWS