הפעלת ניסויי למידת מכונה (ML) בענן יכולה להשתרע על פני שירותים ורכיבים רבים. היכולת לבנות, לבצע אוטומציה ולעקוב אחר ניסויי ML חיונית כדי לאפשר פיתוח מהיר של מודלים של ML. עם ההתקדמות העדכנית ביותר בתחום למידת מכונה אוטומטית (AutoML), כלומר תחום ה-ML המוקדש לאוטומציה של תהליכי ML, אתה יכול לבנות מודלים מדויקים של קבלת החלטות ללא צורך בידע מעמיק ב-ML. בפוסט זה, אנו מסתכלים על AutoGluon, מסגרת AutoML בקוד פתוח המאפשרת לך לבנות מודלים מדויקים של ML עם כמה שורות של Python.
AWS מציעה מגוון רחב של שירותים לניהול והפעלת זרימות עבודה של ML, המאפשרות לך לבחור פתרון על סמך הכישורים והיישום שלך. לדוגמה, אם אתה כבר משתמש פונקציות שלב AWS כדי לתזמר את הרכיבים של יישומים מבוזרים, אתה יכול להשתמש באותו שירות כדי לבנות ולהפוך את זרימות העבודה שלך ל-ML. כלי MLOps אחרים המוצעים על ידי AWS כוללים צינורות SageMaker של אמזון, המאפשר לך לבנות מודלים של ML סטודיו SageMaker של אמזון עם יכולות MLOps (כגון תאימות CI/CD, ניטור דגמים ואישורי דגמים). כלים בקוד פתוח, כגון זרימת אוויר של אפאצ'י-זמין ב-AWS דרך תהליכי עבודה מנוהלים של אמזון עבור זרימת האוויר של אפאצ'י- ו KubeFlow, כמו גם פתרונות היברידיים, נתמכים גם הם. לדוגמה, אתה יכול לנהל קליטת נתונים ועיבוד עם Step Functions תוך אימון ופריסה של מודלים ML שלך עם SageMaker Pipelines.
בפוסט זה, אנו מראים כיצד גם מפתחים ללא מומחיות ML יכולים לבנות ולתחזק בקלות מודלים ML מתקדמים באמצעות AutoGluon ב- אמזון SageMaker ו- Step Functions לתזמור רכיבי זרימת עבודה.
לאחר סקירה כללית של אלגוריתם AutoGluon, אנו מציגים את הגדרות זרימת העבודה יחד עם דוגמאות ו הדרכה בקוד שאתה יכול להחיל על הנתונים שלך.
AutoGluon
AutoGluon היא מסגרת AutoML בקוד פתוח שמאיצה את האימוץ של ML על ידי אימון מודלים מדויקים של ML עם כמה שורות של קוד Python. למרות שפוסט זה מתמקד בנתונים טבלאיים, AutoGluon מאפשר לך גם לאמן מודלים חדישים לסיווג תמונות, זיהוי אובייקטים וסיווג טקסט. AutoGluon tabular יוצר ומשלב דגמים שונים כדי למצוא את הפתרון האופטימלי.
צוות AutoGluon ב-AWS פרסם א מאמר המציג את העקרונות המבנים את הספרייה:
- פשטות - אתה יכול ליצור מודלים של סיווג ורגרסיה ישירות מנתונים גולמיים מבלי שתצטרך לנתח את הנתונים או לבצע הנדסת תכונות
- חוסן – תהליך האימון הכולל אמור להצליח גם אם חלק מהמודלים האישיים נכשלים
- תזמון צפוי - אתה יכול לקבל תוצאות אופטימליות בזמן שאתה רוצה להשקיע לאימון
- עמידות בפני תקלה - אתה יכול להפסיק את האימון ולחדש אותו בכל עת, מה שמייעל את העלויות אם התהליך פועל על תמונות נקודתיות בענן
לפרטים נוספים על האלגוריתם, עיין ב- מאמר שוחרר על ידי צוות AutoGluon ב-AWS.
לאחר התקנת חבילת AutoGluon והתלות שלו, אימון מודל קל כמו כתיבת שלוש שורות קוד:
צוות AutoGluon הוכיח את כוחה של המסגרת על ידי הגעה ל-10 המובילים בתחרויות Kaggle מרובות.
סקירת פתרונות
אנו משתמשים ב-Step Functions כדי ליישם זרימת עבודה של ML המכסה הדרכה, הערכה ופריסה. עיצוב הצינור מאפשר ניסויים מהירים וניתנים להגדרה על ידי שינוי פרמטרי הקלט שאתה מזין לצינור בזמן הריצה.
אתה יכול להגדיר את הצינור ליישם זרימות עבודה שונות, כגון:
- אימון מודל ML חדש ואחסן אותו ברישום המודלים של SageMaker, אם אין צורך בפריסה בשלב זה
- פרוס מודל ML מאומן מראש, או עבור מקוון (נקודת קצה של SageMaker) או לא מקוון (המרת אצווה של SageMaker) הסקה
- הפעל צינור שלם כדי לאמן, להעריך ולפרוס מודל ML מאפס
הפתרונות מורכבים מכללי מכונת מצבים (ראה את התרשים הבא) שמתזמר את קבוצת הפעולות שיש להפעיל בהתבסס על קבוצה של פרמטרי קלט.
השלבים של מכונת המדינה הם כדלקמן:
- הצעד הראשון
IsTraining
מחליט אם אנחנו משתמשים במודל שהוכשר מראש או לאמן מודל מאפס. אם משתמשים בדגם מיומן מראש, מכונת המצב מדלג לשלב 7. - כאשר נדרש דגם ML חדש,
TrainSteps
מפעיל מכונת מצב שניה שמבצעת את כל הפעולות הדרושות ומחזירה את התוצאה למכונת המצב הנוכחית. אנו נכנסים לפרטים נוספים על מכונת מצב האימון בסעיף הבא. - כאשר האימון מסתיים,
PassModelName
מאחסן את שם עבודת ההדרכה במיקום מוגדר של ההקשר של מכונת המצב לשימוש חוזר במצבים הבאים. - אם נבחר שלב הערכה,
IsEvaluation
מפנה את מכונת המדינה לכיוון ענף ההערכה. אחרת, הוא מדלג לשלב 7. - שלב ההערכה מיושם לאחר מכן באמצעות an AWS למבדה פונקציה שהופעלה על ידי ה
ModelValidation
שלב. פונקציית Lambda מאחזרת את ביצועי המודל בערכת בדיקה ומשווה אותו עם סף הניתן להגדרה על ידי המשתמש שצוין בפרמטרי הקלט. הקוד הבא הוא דוגמה לתוצאות הערכה: - אם הערכת המודל ב
EvaluationResults
מצליח, מכונת המצב ממשיכה בשלבי הפריסה בסופו של דבר. אם המודל פועל מתחת לקריטריונים המוגדרים על ידי המשתמש, מכונת המצב נעצרת והפריסה מדלגת. - אם נבחרה פריסה,
IsDeploy
מתחיל מכונת מצב שלישי דרךDeploySteps
, אותו אנו מתארים בהמשך פוסט זה. אם אין צורך בפריסה, מכונת המצב נעצרת כאן.
קבוצה של דוגמאות פרמטרי קלט זמינה ב- GitHub ריפו.
מכונת אימון מדינה
מכונת המצב לאימון מודל ML חדש באמצעות AutoGluon מורכבת משני שלבים, כפי שמוצג בתרשים הבא. השלב הראשון הוא עבודת הכשרה של SageMaker שיוצרת את המודל. השני שומר את הערכים ברישום המודלים של SageMaker.
אתה יכול להפעיל את השלבים האלה באופן אוטומטי כחלק ממכונת המצב הראשית, או כתהליך עצמאי.
מכונת מצב פריסה
כעת נסתכל על מכונת המצב המוקדשת לשלב הפריסה (ראה את התרשים הבא). כפי שהוזכר קודם לכן, הארכיטקטורה תומכת גם בפריסה מקוונת וגם לא מקוונת. הראשון מורכב מפריסת נקודת קצה של SageMaker, בעוד שהאחרון מריץ תהליך טרנספורמציה של SageMaker.
שלבי היישום הם כדלקמן:
ChoiceDeploymentMode
בוחן את פרמטרי הקלט כדי להגדיר איזה מצב פריסה נחוץ ומכוון את מכונת המצב לעבר הענף המתאים.- אם נבחרת נקודת קצה, ה-
EndpointConfig
שלב מגדיר את התצורה שלו, בעודCreateEndpoint
מתחיל את תהליך הקצאת משאבי המחשוב הנדרשים. הקצאה זו עשויה להימשך מספר דקות, כך שמכונת המצב משתהה בשעהWaitForEndpoint
ומשתמש בפונקציית Lambda כדי לסקור את מצב נקודת הקצה. - בזמן שנקודת הקצה מוגדרת,
ChoiceEndpointStatus
חוזר לWaitForEndpoint
מדינה, אחרת זה ממשיך גם כןDeploymentFailed
orDeploymentSucceeded
. - אם נבחרה פריסה לא מקוונת, מכונת המצב מריץ עבודת טרנספורמציה אצווה של SageMaker, שלאחריה מכונת המצב נעצרת.
סיכום
פוסט זה מציג צינור קל לשימוש לתזמורת זרימות עבודה של AutoML ולאפשר ניסויים מהירים בענן, המאפשרים פתרונות ML מדויקים ללא צורך בידע מתקדם ב-ML.
אנו מספקים צנרת כללית וכן שניים מודולריים המאפשרים לבצע הדרכה ופריסה בנפרד במידת הצורך. יתר על כן, הפתרון משולב במלואו עם SageMaker, ונהנה מהתכונות שלו ומשאבי החישוב שלו.
התחל עכשיו עם זה הדרכה בקוד לפרוס את המשאבים המוצגים בפוסט הזה בחשבון AWS שלך ולהפעיל את ניסויי ה-AutoML הראשונים שלך.
על הכותבים
פדריקו פיצ'יניני הוא אדריכל למידה עמוקה עבור מעבדת פתרונות למידת מכונה של אמזון. הוא נלהב ללמידת מכונה, AI ניתן להסבר ו-MLOps. הוא מתמקד בתכנון צינורות ML עבור לקוחות AWS. מחוץ לעבודה, הוא נהנה מספורט ופיצה.
פאולו איררה הוא מדען נתונים במעבדת פתרונות למידת מכונה של אמזון, שם הוא עוזר ללקוחות לטפל בבעיות עסקיות עם יכולות ML וענן. הוא בעל תואר דוקטור בראייה ממוחשבת מטלקום פריזטק, פריז.
- "
- 10
- 100
- 7
- a
- יכולת
- אודות
- חֶשְׁבּוֹן
- מדויק
- לרוחב
- פעולות
- כתובת
- אימוץ
- מתקדם
- התקדמות
- AI
- אַלגוֹרִיתְם
- תעשיות
- הַקצָאָה
- מאפשר
- מאפשר
- כְּבָר
- למרות
- אמזון בעברית
- לנתח
- בקשה
- יישומים
- החל
- ארכיטקטורה
- AREA
- אוטומטי
- אוטומטי
- באופן אוטומטי
- אוטומציה
- זמין
- AWS
- להיות
- להלן
- לִבנוֹת
- עסקים
- יכול לקבל
- יכולות
- נבחר
- מיון
- ענן
- קוד
- תאימות
- תחרויות
- להשלים
- רכיבים
- המחשב
- מחשוב
- תְצוּרָה
- ממשיך
- תוֹאֵם
- עלויות
- לִיצוֹר
- יוצר
- הקריטריונים
- נוֹכְחִי
- מצב נוכחי
- לקוחות
- נתונים
- מדען נתונים
- מוקדש
- עמוק
- לפרוס
- פריסה
- פריסה
- לתאר
- עיצוב
- תכנון
- פרט
- פרטים
- איתור
- מפתחים
- צעצועי התפתחות
- אחר
- ישירות
- מופץ
- בקלות
- קל לשימוש
- לאפשר
- מאפשר
- נקודת קצה
- חיוני
- להעריך
- הערכה
- דוגמה
- דוגמאות
- מומחיות
- מהר
- מאפיין
- תכונות
- ראשון
- מתמקד
- הבא
- כדלקמן
- מסגרת
- החל מ-
- פונקציה
- פונקציות
- כללי
- יש
- עוזר
- כאן
- מחזיק
- איך
- HTTPS
- היברידי
- תמונה
- תמונות
- ליישם
- הפעלה
- יושם
- לכלול
- בנפרד
- קלט
- להתקין
- משולב
- IT
- עבודה
- ידע
- מעבדה
- האחרון
- למידה
- סִפְרִיָה
- קווים
- מיקום
- נראה
- מכונה
- למידת מכונה
- לתחזק
- לנהל
- הצליח
- מוּזְכָּר
- ML
- מודל
- מודלים
- מודולרי
- ניטור
- יותר
- מספר
- כלומר
- הכרחי
- צורך
- הבא
- מוצע
- המיוחדות שלנו
- לא מחובר
- באינטרנט
- אחר
- אַחֶרֶת
- מקיף
- שֶׁלוֹ
- פריז
- חלק
- לוהט
- הופעות
- ביצוע
- שלב
- פיצה
- בו
- להציג
- מתנות
- בעיות
- תהליך
- תהליכים
- תהליך
- לספק
- רכס
- חי
- שוחרר
- נדרש
- משאבים
- תוצאות
- קורות חיים
- החזרות
- הפעלה
- אותו
- מַדְעָן
- נבחר
- שרות
- שירותים
- סט
- כמה
- לְהַצִיג
- מיומנויות
- So
- פִּתָרוֹן
- פתרונות
- כמה
- ספורט
- מסחרי
- עצמאי
- החל
- התחלות
- מדינה
- מדינה-of-the-art
- הברית
- מצב
- חנות
- חנויות
- כוח
- מוצלח
- נתמך
- תומך
- נבחרת
- טלקום
- מבחן
- אל האני
- שְׁלוֹשָׁה
- סף
- דרך
- זמן
- כלים
- חלק עליון
- לקראת
- לעקוב
- רכבת
- הדרכה
- לשנות
- להשתמש
- חזון
- אם
- בזמן
- בתוך
- לְלֹא
- תיק עבודות
- זרימות עבודה
- כתיבה