אמזון SageMaker מספק מבחר רחב של תשתית למידת מכונה (ML) ואפשרויות פריסת מודלים כדי לעזור לענות על צורכי ההסקת ML שלך. זהו שירות מנוהל במלואו ומשתלב עם כלי MLOps כך שתוכל לעבוד כדי להגדיל את פריסת המודל שלך, להפחית עלויות מסקנות, לנהל מודלים בצורה יעילה יותר בייצור ולהפחית את העומס התפעולי. SageMaker מספק מרובים אפשרויות מסקנות כך שתוכל לבחור את האפשרות המתאימה ביותר לעומס העבודה שלך.
דורות חדשים של מעבדים מציעים שיפור משמעותי בביצועים בהסקת ML הודות להוראות מובנות מיוחדות. בפוסט זה, אנו מתמקדים כיצד תוכל לנצל את AWS Graviton3מבוסס Amazon Elastic Compute Cloud (EC2) מופעי C7g כדי לסייע בהפחתת עלויות הסקת מסקנות בעד 50% ביחס למקרי EC2 דומים עבורם מסקנות בזמן אמת ב-Amazon SageMaker. אנו מראים כיצד אתה יכול להעריך את ביצועי ההסקה ולהחליף את עומסי העבודה שלך ב-ML למופעי AWS Graviton בכמה שלבים בלבד.
כדי לכסות את המגוון הפופולרי והרחב של יישומי לקוחות, בפוסט זה אנו דנים בביצועי ההסקה של PyTorch, TensorFlow, XGBoost ומסגרות sikit-learn. אנו מכסים ראייה ממוחשבת (CV), עיבוד שפה טבעית (NLP), סיווג ותרחישי דירוג עבור דגמים ומופעים של ml.c6g, ml.c7g, ml.c5 ו-ml.c6i SageMaker לצורך השוואת ביצועים.
תוצאות בנצ'מרקינג
AWS מדדה עד 50% חיסכון בעלויות עבור PyTorch, TensorFlow, XGBoost והסקת מודל sikit-learn עם מופעי EC3 C2g מבוססי AWS Graviton7 ביחס למופעי EC2 דומים באמזון SageMaker. במקביל, גם זמן ההסקה פוחת.
לשם השוואה, השתמשנו בארבעה סוגי מופעים שונים:
לכל ארבעת המופעים יש 16 vCPUs ו-32 GiB של זיכרון.
בגרף הבא, מדדנו את העלות למיליון מסקנות עבור ארבעת סוגי המופעים. נרמלנו עוד את העלות למיליון תוצאות מסקנות למופע של c5.4xlarge, הנמדד כ-1 בציר ה-Y של התרשים. אתה יכול לראות שעבור דגמי XGBoost, העלות למיליון הסקה עבור c7g.4xlarge (AWS Graviton3) היא כ-50% מה-c5.4xlarge ו-40% מ-c6i.4xlarge; עבור דגמי PyTorch NLP, החיסכון בעלויות הוא כ-30-50% בהשוואה למקרים של c5 ו-c6i.4xlarge. עבור דגמים ומסגרות אחרות, מדדנו לפחות 30% חיסכון בעלויות בהשוואה למופעי c5 ו-c6i.4xlarge.
בדומה לגרף השוואת עלויות מסקנות קודם, הגרף הבא מציג את זמן ההשהיה של דגם p90 עבור אותם ארבעת סוגי מופעים. נרמלנו עוד את תוצאות ההשהיה למופע c5.4xlarge, שנמדד כ-1 בציר ה-Y של התרשים. זמן ההסקה של מודל c7g.4xlarge (AWS Graviton3) טוב עד 50% מהשהיות הנמדדות ב-c5.4xlarge ו-c6i.4xlarge.
העבר למופעי AWS Graviton
כדי לפרוס את המודלים שלך למופעי AWS Graviton, אתה יכול להשתמש באחד מהשניים מיכלי למידה עמוקה של AWS (DLCs) או הביאו מכולות משלכם התואמים לארכיטקטורת ARMv8.2.
ההגירה (או הפריסה החדשה) של הדגמים שלך למופעי AWS Graviton היא פשוטה מכיוון שלא רק ש-AWS מספקת קונטיינרים לאירוח דגמים עם PyTorch, TensorFlow, skit-learn ו-XGBoost, אלא שהמודלים הם גם אגנוסטיים מבחינה ארכיטקטונית. אתה יכול גם להביא ספריות משלך, אך וודא שהמכולה שלך בנויה עם סביבה שתומכת בארכיטקטורת ARMv8.2. למידע נוסף, ראה בניית מיכל אלגוריתם משלך.
תצטרך להשלים שלושה שלבים כדי לפרוס את המודל שלך:
- צור מודל של SageMaker. זה יכיל, בין שאר הפרמטרים, את המידע על מיקום קובץ המודל, הקונטיינר שישמש לפריסה ומיקום סקריפט ההסקה. (אם יש לך מודל קיים שכבר פרוס במופע מסקנות מותאם למחשוב, תוכל לדלג על שלב זה.)
- צור תצורת נקודת קצה. זה יכיל מידע על סוג המופע הרצוי עבור נקודת הקצה (לדוגמה, ml.c7g.xlarge עבור AWS Graviton3), שם המודל שיצרת בשלב הקודם ומספר המופעים לכל נקודת קצה.
- הפעל את נקודת הקצה עם תצורת נקודת הקצה שנוצרה בשלב הקודם.
להנחיות מפורטות, עיין ב הפעל עומסי עבודה של מסקנות למידת מכונה במופעים מבוססי AWS Graviton עם Amazon SageMaker
מתודולוגיית בנצ'מרקינג
השתמשנו אמזון SageMaker Inference Recommend לאוטומציה של מידוד ביצועים במופעים שונים. שירות זה משווה את הביצועים של מודל ה-ML שלך במונחים של חביון ועלות במופעים שונים וממליץ על המופע והתצורה שנותנים את הביצועים הטובים ביותר בעלות הנמוכה ביותר. אספנו את נתוני הביצועים שהוזכרו לעיל באמצעות Inference Recommender. לפרטים נוספים, עיין ב GitHub ריפו.
אתה יכול להשתמש ב מחברת מדגם להפעיל את המדדים ולשחזר את התוצאות. השתמשנו במודלים הבאים לצורך השוואת ביצועים:
סיכום
AWS מדדה עד 50% חיסכון בעלויות עבור PyTorch, TensorFlow, XGBoost והסקת מודל sikit-learn עם מופעי EC3 C2g מבוססי AWS Graviton7 ביחס למופעי EC2 דומים באמזון SageMaker. אתה יכול להעביר את מקרי השימוש הקיימים שלך בהסקת מסקנות או לפרוס דגמי ML חדשים ב-AWS Graviton על ידי ביצוע השלבים המפורטים בפוסט זה. אתה יכול גם להתייחס ל המדריך הטכני של AWS Graviton, המספק את רשימת הספריות המוטבות ושיטות העבודה המומלצות שיעזרו לך להשיג יתרונות בעלויות עם מופעי AWS Graviton על פני עומסי עבודה שונים.
אם אתה מוצא מקרי שימוש שבהם לא נצפים הישגים דומים ב-AWS Graviton, אנא פנה אלינו. אנו נמשיך להוסיף עוד שיפורים בביצועים כדי להפוך את AWS Graviton למעבד החסכוני והיעיל ביותר לשימוש כללי להסקת ML.
על המחברים
סוניטה נדמפלי הוא מנהל פיתוח תוכנה ב-AWS. היא מובילה אופטימיזציות של ביצועי תוכנת Graviton עבור למידת מכונה, HPC ועומסי עבודה מולטימדיה. היא נלהבת מפיתוח קוד פתוח ומספקת פתרונות תוכנה חסכוניים עם Arm SoCs.
ג'ימין דסאי הוא מהנדס פיתוח תוכנה בצוות Amazon SageMaker Inference. הוא נלהב לקחת בינה מלאכותית להמונים ולשפר את השימושיות של נכסי AI מתקדמים על ידי ייצורם לתכונות ושירותים. בזמנו הפנוי הוא נהנה לחקור מוזיקה ולטייל.
מייק שניידר הוא מפתח מערכות, שבסיסו בפיניקס AZ. הוא חבר בקונטיינרים של Deep Learning, התומך בתמונות מיכל שונות של Framework, כולל Graviton Inference. הוא מסור ליעילות ויציבות התשתית.
מוהן גנדי הוא מהנדס תוכנה בכיר ב-AWS. הוא עובד ב-AWS במשך 10 השנים האחרונות ועבד על שירותי AWS שונים כמו EMR, EFA ו-RDS. נכון לעכשיו, הוא מתמקד בשיפור חוויית SageMaker Inference Experience. בזמנו הפנוי הוא נהנה מטיולים ומרתונים.
צ'ינגווי לי הוא מומחה למידת מכונות בשירותי האינטרנט של אמזון. הוא קיבל את הדוקטורט שלו. במחקר תפעול לאחר ששבר את חשבון מענק המחקר של היועץ שלו ולא הצליח להעניק את פרס נובל שהבטיח. נכון לעכשיו הוא עוזר ללקוחות בענף השירותים הפיננסיים והביטוח לבנות פתרונות למידת מכונות ב- AWS. בזמנו הפנוי הוא אוהב לקרוא וללמד.
וויין טו הוא אדריכל פתרונות מומחה עבור Graviton ב-AWS. הוא מתמקד בסיוע ללקוחות לאמץ ארכיטקטורת ARM עבור עומסי עבודה של מיכלים בקנה מידה גדול. לפני שהצטרף ל-AWS, וויין עבד עבור מספר ספקי תוכנה גדולים, כולל IBM ו-Red Hat.
לורן מולנקס היא ארכיטקט פתרונות שבסיסה בדנבר, קו. היא עובדת עם לקוחות כדי לעזור להם לתכנן פתרונות ב-AWS. בזמנה הפנוי, היא נהנית לטייל ולבשל מטבח הוואי.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoAiStream. Web3 Data Intelligence. הידע מוגבר. גישה כאן.
- הטבעת העתיד עם אדריאן אשלי. גישה כאן.
- קנה ומכירה של מניות בחברות PRE-IPO עם PREIPO®. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/reduce-amazon-sagemaker-inference-cost-with-aws-graviton/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 1
- 10
- 100
- 7
- 98
- a
- אודות
- חֶשְׁבּוֹן
- להשיג
- לרוחב
- להוסיף
- לְאַמֵץ
- יתרון
- לאחר
- AI
- אַלגוֹרִיתְם
- כְּבָר
- גם
- אמזון בעברית
- אמזון SageMaker
- אמזון שירותי אינטרנט
- בין
- an
- ו
- יישומים
- ארכיטקטורה
- ARE
- זרוע
- AS
- נכסים
- At
- אוטומטי
- AWS
- מבוסס
- BE
- כי
- היה
- בהשוואות
- מבחני ביצועים
- הטבות
- הטוב ביותר
- שיטות עבודה מומלצות
- מוטב
- להביא
- רחב
- חסר פרוטה
- לִבנוֹת
- נבנה
- מובנה
- ניטל
- אבל
- by
- CAN
- מקרים
- תרשים
- מיון
- ענן
- CO
- השוואה
- לעומת
- השוואה
- תואם
- להשלים
- לחשב
- המחשב
- ראייה ממוחשבת
- תְצוּרָה
- להכיל
- מכולה
- מכולות
- להמשיך
- עלות
- חיסכון עלויות
- עלות תועלת
- עלויות
- לכסות
- נוצר
- כיום
- לקוח
- לקוחות
- נתונים
- מוקדש
- עמוק
- למידה עמוקה
- למסור
- אספקה
- דנבר
- לפרוס
- פרס
- פריסה
- מְפוֹרָט
- פרטים
- מפתח
- צעצועי התפתחות
- אחר
- לדון
- עושה
- ראוי
- יעילות
- יְעִילוּת
- יעיל
- או
- נקודת קצה
- מהנדס
- סביבה
- להעריך
- דוגמה
- קיימים
- ניסיון
- היכרות
- נכשל
- תכונות
- מעטים
- שלח
- כספי
- שירות כלכלי
- להתמקד
- מרוכז
- מתמקד
- הבא
- בעד
- ארבע
- מסגרת
- מסגרות
- חופשי
- נוסף
- רווחים
- מטרה כללית
- דורות
- נותן
- להעניק
- גרף
- כובע
- יש
- he
- לעזור
- עזרה
- עוזר
- לה
- שֶׁלוֹ
- המארח
- איך
- hpc
- HTML
- HTTPS
- יבמ
- if
- תמונות
- השבחה
- שיפורים
- שיפור
- in
- לכלול
- כולל
- תעשייה
- מידע
- תשתית
- למשל
- הוראות
- ביטוח
- משלב
- אל תוך
- הצטרפות
- jpg
- רק
- שפה
- גָדוֹל
- אחרון
- חֶבִיוֹן
- מוביל
- למידה
- הכי פחות
- ספריות
- כמו
- אוהב
- רשימה
- מיקום
- הנמוך ביותר
- מכונה
- למידת מכונה
- לעשות
- לנהל
- מנהל
- המונים
- לִפְגוֹשׁ
- חבר
- זכרון
- נודד
- הֲגִירָה
- מִילִיוֹן
- ML
- MLOps
- מודל
- מודלים
- יותר
- רוב
- מולטימדיה
- מספר
- כלי נגינה
- שם
- טבעי
- עיבוד שפה טבעית
- צורך
- צרכי
- חדש
- NLP
- פרס נובל
- מספר
- of
- הַצָעָה
- on
- רק
- קוד פתוח
- מבצעי
- תפעול
- אופטימיזציה
- אפשרות
- אפשרויות
- or
- להזמין
- אחר
- הַחוּצָה
- שֶׁלוֹ
- פרמטרים
- לוהט
- ביצועים
- פניקס
- לבחור
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- אנא
- פופולרי
- הודעה
- פרקטיקות
- קודם
- קודם
- הפרס
- תהליך
- מעבד
- הפקה
- מוּבטָח
- לספק
- ובלבד
- מספק
- פיטורך
- רכס
- דירוג
- לְהַגִיעַ
- קריאה
- קיבלו
- ממליצה
- Red
- רד האט
- להפחית
- מופחת
- מחקר
- תוצאות
- הפעלה
- בעל חכמים
- SageMaker Inference
- אותו
- חיסכון
- סולם
- תרחישים
- סקיקיט-לימוד
- לִרְאוֹת
- מבחר
- לחצני מצוקה לפנסיונרים
- שרות
- שירותים
- כמה
- היא
- לְהַצִיג
- הופעות
- משמעותי
- דומה
- So
- תוכנה
- פיתוח תוכנה
- מהנדס תוכנה
- פתרונות
- מומחה
- מיוחד
- יציבות
- מדינה-of-the-art
- שלב
- צעדים
- פשוט
- מסייע
- תומך
- מתג
- מערכות
- לקחת
- נטילת
- הוראה
- נבחרת
- טכני
- tensorflow
- מונחים
- מֵאֲשֶׁר
- זֶה
- השמיים
- המידע
- אותם
- זֶה
- שְׁלוֹשָׁה
- זמן
- ל
- כלים
- נסיעה
- סוג
- סוגים
- us
- שמישות
- להשתמש
- מְשׁוּמָשׁ
- באמצעות
- שונים
- ספקים
- חזון
- רוצה
- we
- אינטרנט
- שירותי אינטרנט
- טוֹב
- אשר
- יצטרך
- עם
- תיק עבודות
- עבד
- עובד
- XGBoost
- שנים
- אתה
- זפירנט