אמזון SageMaker יש ל הודיע התמיכה בשלושה קריטריוני השלמה חדשים עבור Amazon SageMaker כוונון מודלים אוטומטי, מספק לך סט נוסף של מנופים לשליטה בקריטריוני העצירה של עבודת הכוונון בעת מציאת תצורת ההיפרפרמטר הטובה ביותר עבור הדגם שלך.
בפוסט זה, אנו דנים בקריטריוני ההשלמה החדשים הללו, מתי להשתמש בהם, וכמה מהיתרונות שהם מביאים.
כוונון הדגם האוטומטי של SageMaker
כוונון דגם אוטומטי, נקרא גם כוונון hyperparameter, מוצא את הגרסה הטובה ביותר של מודל כפי שנמדד לפי המדד שבחרנו. הוא יוצר עבודות הדרכה רבות במערך הנתונים שסופק, תוך שימוש באלגוריתם שנבחר ובטווחי ההיפרפרמטרים שצוינו. ניתן להשלים כל עבודת הכשרה מוקדם כאשר המדד האובייקטיבי אינו משתפר משמעותית, מה שמכונה עצירה מוקדמת.
עד כה, היו דרכים מוגבלות לשלוט בעבודת הכוונון הכוללת, כגון ציון המספר המרבי של עבודות הכשרה. עם זאת, הבחירה בערך פרמטר זה היא היוריסטית במקרה הטוב. ערך גדול יותר מגדיל את עלויות הכוונון, וערך קטן יותר עלול לא להניב את הגרסה הטובה ביותר של הדגם בכל עת.
כוונון דגמים אוטומטי של SageMaker פותר את האתגרים הללו על ידי מתן קריטריוני השלמה מרובים עבור עבודת הכוונון. זה מיושם ברמת הכוונון ולא בכל רמת עבודת הכשרה אינדיבידואלית, מה שאומר שהוא פועל בשכבת הפשטה גבוהה יותר.
היתרונות של כוונון קריטריונים להשלמת עבודה
עם שליטה טובה יותר על מועד הפסקת עבודת הכוונון, אתה מקבל את היתרון של חיסכון בעלויות בכך שהעבודה לא תפעל לתקופות ממושכות ויקרה חישובית. זה גם אומר שאתה יכול להבטיח שהעבודה לא תיפסק מוקדם מדי ותקבל מודל איכותי מספיק העונה על המטרות שלך. אתה יכול לבחור להפסיק את עבודת הכוונון כאשר המודלים אינם משתפרים עוד לאחר קבוצה של איטרציות או כאשר השיפור השיורי המשוער אינו מצדיק את משאבי המחשוב וזמן.
בנוסף למספר המרבי הקיים של קריטריונים להשלמת עבודת הכשרה MaxNumberOfTrainingJobs, כוונון דגם אוטומטי מציג את האפשרות להפסיק את הכוונון בהתבסס על זמן כוונון מרבי, ניטור שיפור וזיהוי התכנסות.
הבה נחקור כל אחד מהקריטריונים הללו.
זמן כוונון מקסימלי
בעבר, הייתה לך אפשרות להגדיר מספר מרבי של משרות הדרכה כהגדרת מגבלת משאבים כדי לשלוט בתקציב הכוונון במונחים של משאבי מחשוב. עם זאת, זה יכול להוביל לזמני אימון ארוכים או קצרים מיותרים מהנדרש או הרצוי.
עם תוספת הקריטריונים של זמן הכוונון המקסימלי, כעת תוכל להקצות את תקציב האימון שלך במונחים של משך הזמן להפעלת עבודת הכוונון ולסיים את העבודה באופן אוטומטי לאחר פרק זמן מוגדר המוגדר בשניות.
כפי שניתן לראות לעיל, אנו משתמשים ב- MaxRuntimeInSeconds
כדי להגדיר את זמן הכוונון בשניות. הגדרת מגבלת זמן הכוונון עוזרת לך להגביל את משך עבודת הכוונון וגם את העלות החזויה של הניסוי.
ניתן להעריך את העלות הכוללת לפני כל הנחה חוזית באמצעות הנוסחה הבאה:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
ניתן להשתמש בזמן הריצה המקסימלי בשניות כדי לקשור עלות וזמן ריצה. במילים אחרות, זה קריטריון להשלמת בקרת תקציב.
תכונה זו היא חלק מקריטריונים לבקרת משאבים ואינה לוקחת בחשבון את ההתכנסות של המודלים. כפי שאנו רואים בהמשך פוסט זה, ניתן להשתמש בקריטריונים אלה בשילוב עם קריטריוני עצירה אחרים כדי להשיג בקרת עלויות מבלי להקריב את הדיוק.
מדד יעד רצוי
קריטריון נוסף שהוצג בעבר הוא להגדיר את היעד האובייקטיבי מראש. הקריטריונים עוקבים אחר הביצועים של המודל הטוב ביותר בהתבסס על מדד יעד ספציפי ומפסיק להתכוונן כאשר המודלים מגיעים לסף המוגדר ביחס למדד יעד מוגדר.
עם TargetObjectiveMetricValue
קריטריונים, נוכל להורות ל- SageMaker להפסיק לכוונן את המודל לאחר שהמדד האובייקטיבי של הדגם הטוב ביותר הגיע לערך שצוין:
בדוגמה זו, אנו מקבלים הוראה של SageMaker להפסיק לכוונן את המודל כאשר המדד האובייקטיבי של הדגם הטוב ביותר הגיע ל-0.95.
שיטה זו שימושית כאשר יש לך יעד ספציפי שאליו אתה רוצה שהמודל שלך יגיע, כגון רמה מסוימת של דיוק, דיוק, ריקול, ציון F1, AUC, אובדן יומן וכן הלאה.
מקרה שימוש טיפוסי עבור קריטריון זה יהיה עבור משתמש שכבר מכיר את ביצועי המודל בסף נתון. משתמש בשלב החקירה עשוי לכוון תחילה את המודל עם תת-קבוצה קטנה של מערך נתונים גדול יותר כדי לזהות סף מדדי הערכה משביע רצון למטרתו בעת אימון עם מערך הנתונים המלא.
ניטור שיפור
קריטריון זה עוקב אחר התכנסות המודלים לאחר כל איטרציה ומפסיק את הכוונון אם המודלים אינם משתפרים לאחר מספר מוגדר של עבודות אימון. ראה את התצורה הבאה:
במקרה זה אנו מגדירים את MaxNumberOfTrainingJobsNotImproving
עד 10, כלומר אם המדד האובייקטיבי יפסיק להשתפר לאחר 10 עבודות הכשרה, הכוונון יופסק וידווח על הדגם והמדד הטובים ביותר.
יש להשתמש בניטור שיפור כדי לכוון את הפער בין איכות המודל ומשך זרימת העבודה הכוללת באופן שסביר להעברה בין בעיות אופטימיזציה שונות.
זיהוי התכנסות
זיהוי התכנסות הוא קריטריון השלמה המאפשר לכוונון דגם אוטומטי להחליט מתי להפסיק את הכוונון. בדרך כלל, כוונון דגמים אוטומטי יפסיק את הכוונון כאשר הוא מעריך שלא ניתן להשיג שיפור משמעותי. ראה את התצורה הבאה:
הקריטריונים מתאימים ביותר כאשר אתה בהתחלה לא יודע באילו הגדרות עצירה לבחור.
זה שימושי גם אם אינך יודע איזה מדד יעד הגיוני לחיזוי טוב בהתחשב בבעיה ובמערך הנתונים שבידך, ומעדיף שעבודת הכוונון תושלם כשהיא כבר לא משתפרת.
ניסוי עם השוואת קריטריוני השלמה
בניסוי זה, בהינתן משימת רגרסיה, אנו מריצים 3 ניסויי כוונון כדי למצוא את המודל האופטימלי בתוך מרחב חיפוש של 2 היפרפרמטרים בעלי 200 תצורות היפרפרמטר בסך הכל באמצעות מערך נתונים של שיווק ישיר.
כאשר כל השאר שווה, הדגם הראשון היה מכוון עם BestObjectiveNotImproving
קריטריוני השלמה, הדגם השני היה מכוון עם CompleteOnConvergence
והמודל השלישי היה מכוון ללא קריטריוני השלמה מוגדרים.
כאשר אנו מתארים כל עבודה, אנו יכולים לראות את ההגדרה של BestObjectiveNotImproving
הקריטריונים הובילו למשאב ולזמן האופטימליים ביותר ביחס למדד האובייקטיבי עם הרבה פחות משרות ריצה.
השמיים CompleteOnConvergence
קריטריונים הצליחו גם להפסיק להתכוונן באמצע הניסוי וכתוצאה מכך פחות משרות הכשרה וזמן הכשרה קצר יותר בהשוואה לאי קביעת קריטריון.
אמנם אי הגדרת קריטריון השלמה הביא לניסוי יקר, אך הגדרת ה MaxRuntimeInSeconds
כחלק ממגבלת המשאבים תהיה דרך אחת למזער את העלות.
התוצאות לעיל מראות שכאשר מגדירים קריטריון השלמה, אמזון SageMaker מסוגלת לעצור באופן מושכל את תהליך הכוונון כאשר היא מזהה שהדגם פחות ישתפר מעבר לתוצאה הנוכחית.
שים לב שקריטריוני ההשלמה הנתמכים בכוונון הדגמים האוטומטי של SageMaker אינם סותרים זה את זה וניתן להשתמש בהם במקביל בעת כוונון דגם.
כאשר מוגדר יותר מקריטריוני השלמה אחד, עבודת הכוונון מסתיימת כאשר אחד מהקריטריונים מתקיים.
לדוגמה, שילוב של קריטריונים להגבלת משאבים כמו זמן כוונון מקסימלי עם קריטריון התכנסות, כגון ניטור שיפור או זיהוי התכנסות, עשוי לייצר בקרת עלויות אופטימלית ומדדים אובייקטיביים אופטימליים.
סיכום
בפוסט זה, דנו כיצד תוכל לעצור באופן מושכל את עבודת הכוונון שלך על ידי בחירת קבוצה של קריטריוני השלמה שהוצגו לאחרונה ב- SageMaker, כגון זמן כוונון מרבי, ניטור שיפור או זיהוי התכנסות.
הדגמנו בניסוי שעצירה חכמה המבוססת על תצפית שיפור לאורך איטרציה עשויה להוביל לתקציב וניהול זמן מיטובים משמעותית בהשוואה לאי הגדרת קריטריון השלמה.
הראינו גם שקריטריונים אלה אינם סותרים זה את זה וניתן להשתמש בהם במקביל בעת כוונון מודל, כדי לנצל את שניהם, בקרת תקציב והתכנסות אופטימלית.
לפרטים נוספים כיצד להגדיר ולהפעיל כוונון דגמים אוטומטי, עיין ב ציין את הגדרות משימת כוונון היפרפרמטרים.
על הכותבים
דאג מבאיה הוא ארכיטקט פתרונות שותפים בכיר עם התמקדות בנתונים וניתוחים. דאג עובד בשיתוף פעולה הדוק עם שותפי AWS, ועוזר להם לשלב פתרונות נתונים וניתוח בענן.
צ'איטרה מאתור הוא אדריכל פתרונות ראשי ב-AWS. היא מדריכה לקוחות ושותפים בבניית פתרונות מדרגיים, אמינים, מאובטחים וחסכוניים ביותר ב-AWS. היא נלהבת מ-Machine Learning ועוזרת ללקוחות לתרגם את צורכי ה-ML שלהם לפתרונות באמצעות שירותי AWS AI/ML. היא בעלת 5 הסמכות כולל הסמכה ML Specialty. בזמנה הפנוי היא נהנית לקרוא, יוגה ולבלות עם בנותיה.
אירוסלב שצ'רבטי הוא מהנדס למידת מכונה ב-AWS. הוא עובד בעיקר על שיפורים לפלטפורמת Amazon SageMaker ועוזר ללקוחות להשתמש בצורה הטובה ביותר בתכונות שלה. בזמנו הפנוי, הוא אוהב ללכת לחדר כושר, לעשות ספורט בחוץ כמו החלקה על הקרח או טיולי הליכה, ולהתעדכן במחקרים חדשים של בינה מלאכותית.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- יכול
- אודות
- מֵעַל
- חֶשְׁבּוֹן
- דיוק
- להשיג
- הושג
- לרוחב
- תוספת
- נוסף
- יתרון
- לאחר
- AI
- ai מחקר
- AI / ML
- אַלגוֹרִיתְם
- תעשיות
- כְּבָר
- אמזון בעברית
- אמזון SageMaker
- כמות
- ניתוח
- ו
- יישומית
- מכני עם סלילה אוטומטית
- באופן אוטומטי
- AWS
- מבוסס
- לפני
- להיות
- תועלת
- הטבות
- הטוב ביותר
- מוטב
- בֵּין
- מעבר
- כָּרוּך
- להביא
- תקציב
- בִּניָן
- נקרא
- מקרה
- היאבקות
- מסוים
- תעודה
- אישורים
- האתגרים
- בחרו
- נבחר
- מקרוב
- ענן
- שילוב
- לעומת
- השוואה
- להשלים
- השלמת
- הושלם
- השלמה
- לחשב
- תְצוּרָה
- לִשְׁלוֹט
- התכנסות
- עלות
- חיסכון עלויות
- עלות תועלת
- עלויות
- יכול
- הקריטריונים
- נוֹכְחִי
- לקוחות
- נתונים
- מוגדר
- הגדרה
- מופגן
- רצוי
- פרטים
- איתור
- אחר
- הנחה
- לדון
- נָדוֹן
- לא
- לא
- כל אחד
- מוקדם
- מופעל
- מהנדס
- לְהַבטִיחַ
- מוערך
- הערכות
- הערכה
- הכל
- דוגמה
- בלעדי
- קיימים
- יקר
- לְנַסוֹת
- חקירה
- לחקור
- מוכר
- מאפיין
- תכונות
- מציאת
- ממצאים
- ראשון
- להתמקד
- הבא
- נוסחה
- מלא
- בדרך כלל
- לקבל
- נתן
- נתינה
- Go
- מטרה
- טוב
- מדריך
- חדר כושר
- יש
- עזרה
- עוזר
- גבוה יותר
- מאוד
- מחזיק
- איך
- איך
- אולם
- HTML
- HTTPS
- אופטימיזציה של היפר-פרמטרים
- כוונון היפר-פרמטר
- קרח
- לזהות
- לשפר
- השבחה
- שיפורים
- שיפור
- in
- באחר
- כולל
- עליות
- בנפרד
- בהתחלה
- לשלב
- אינטליגנטי
- הציג
- מציג
- IT
- איטרציה
- איטרציות
- עבודה
- מקומות תעסוקה
- לדעת
- ידוע
- גדול יותר
- שכבה
- עוֹפֶרֶת
- למידה
- הוביל
- מאפשר לי
- רמה
- סביר
- להגביל
- מוגבל
- עוד
- מכונה
- למידת מכונה
- ניהול
- רב
- שיווק
- מקסימום
- לְהַגדִיל
- מקסימום
- אומר
- פוגשת
- שיטה
- מטרי
- מדדים
- מזעור
- ML
- מודל
- מודלים
- ניטור
- צגים
- יותר
- רוב
- מספר
- הֲדָדִית
- צרכי
- חדש
- מספר
- מטרה
- יעדים
- להתבונן
- ONE
- פועל
- אופטימלי
- אופטימיזציה
- אופטימיזציה
- אפשרות
- אחר
- מקיף
- פרמטר
- חלק
- שותף
- שותפים
- לוהט
- ביצועים
- תקופות
- שלב
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- הודעה
- דיוק
- נבואה
- קוֹדֶם
- מנהל
- בעיה
- בעיות
- תהליך
- לייצר
- מוקרן
- ובלבד
- מתן
- איכות
- לְהַגִיעַ
- הגיע
- קריאה
- סביר
- יחס
- אָמִין
- דווח
- מחקר
- משאב
- משאבים
- תוצאה
- וכתוצאה מכך
- תוצאות
- הפעלה
- מקריב
- בעל חכמים
- SageMaker כוונון דגם אוטומטי
- חיסכון
- להרחבה
- חיפוש
- שְׁנִיָה
- שניות
- לבטח
- בחירה
- מבחר
- לחצני מצוקה לפנסיונרים
- שירותים
- סט
- הצבה
- הגדרות
- צריך
- לְהַצִיג
- משמעותי
- באופן משמעותי
- קטן
- קטן יותר
- So
- פִּתָרוֹן
- פתרונות
- פותר
- כמה
- מֶרחָב
- התמחות
- ספציפי
- מפורט
- הוצאה
- ספינים
- ספורט
- עצור
- נעצר
- סְתִימָה
- עוצר
- כזה
- תמיכה
- נתמך
- תומך
- לקחת
- יעד
- המשימות
- מונחים
- השמיים
- שֶׁלָהֶם
- שְׁלִישִׁי
- שְׁלוֹשָׁה
- סף
- דרך
- זמן
- פִּי
- ל
- גַם
- סה"כ
- הדרכה
- לתרגם
- טיפוסי
- להשתמש
- במקרה להשתמש
- משתמש
- אימות
- ערך
- גרסה
- דרכים
- מה
- אשר
- מי
- יצטרך
- בתוך
- לְלֹא
- מילים
- עובד
- היה
- תְשׁוּאָה
- יוגה
- אתה
- זפירנט