Amazon SageMaker Automatic Model Tuning תומך כעת בחיפוש רשת

היום אמזון SageMaker הודיעה על התמיכה של Grid search עבור כוונון מודלים אוטומטי, מספק למשתמשים אסטרטגיה נוספת כדי למצוא את תצורת ההיפרפרמטר הטובה ביותר עבור המודל שלך.

כוונון מודל אוטומטי של אמזון SageMaker מוצא את הגרסה הטובה ביותר של מודל על ידי הפעלת עבודות הדרכה רבות במערך הנתונים שלך באמצעות רכס של היפרפרמטרים שאתה מציין. לאחר מכן הוא בוחר את ערכי ההיפרפרמטר שיביאו למודל שמבצע את הביצועים הטובים ביותר, כפי שנמדד ב-a מטרי על פי בחירתך.

כדי למצוא את ערכי ההיפרפרמטרים הטובים ביותר עבור הדגם שלך, כוונון מודל אוטומטי של Amazon SageMaker תומך במספר אסטרטגיות, כולל בייסיאנית (ברירת מחדל), אַקרַאִי חיפוש, ו היפרבנד.

חיפוש רשת

חיפוש רשת בוחן באופן ממצה את התצורות ברשת ההיפרפרמטרים שאתה מגדיר, מה שמאפשר לך לקבל תובנות על תצורות ההיפרפרמטרים המבטיחות ביותר ברשת שלך ולשחזר באופן דטרמיניסטי את התוצאות שלך על פני ריצות כוונון שונות. חיפוש רשת נותן לך יותר ביטחון בכך שכל מרחב החיפוש של הפרמטרים ההיפר נחקר. היתרון הזה מגיע עם פשרות מכיוון שהוא יקר יותר מבחינה חישובית מבאיסיאני וחיפוש אקראי אם המטרה העיקרית שלך היא למצוא את תצורת ההיפרפרמטר הטובה ביותר.

חיפוש רשת עם Amazon SageMaker

באמזון SageMaker, אתה משתמש בחיפוש Grid כאשר הבעיה שלך דורשת ממך את שילוב ההיפרפרמטרים האופטימלי שממקסם או ממזער את המדד האובייקטיבי שלך. מקרה שימוש נפוץ שבו לקוחות משתמשים ב-Grid Search הוא כאשר דיוק המודל ושחזור המודל חשובים יותר עבור העסק שלך מאשר עלות ההכשרה הנדרשת כדי להשיג אותו.

כדי לאפשר חיפוש רשת באמזון SageMaker, הגדר את Strategy שדה Grid כאשר אתה יוצר עבודת כוונון, באופן הבא:

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

בנוסף, חיפוש רשת מחייב אותך להגדיר את מרחב החיפוש שלך (רשת קרטזית) כטווח קטגורי של ערכים בדידים בהגדרת התפקיד שלך באמצעות CategoricalParameterRanges מפתח תחת ParameterRanges פרמטר, כדלקמן:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

שימו לב שאנחנו לא מציינים MaxNumberOfTrainingJobs עבור חיפוש רשת בהגדרת התפקיד כי זה נקבע עבורך ממספר שילובי הקטגוריות. בעת שימוש בחיפוש אקראי ובאיסיאני, אתה מציין את MaxNumberOfTrainingJobs פרמטר כדרך לשלוט בעלות עבודת הכוונון על ידי הגדרת גבול עליון למחשוב. עם חיפוש רשת, הערך של MaxNumberOfTrainingJobs (עכשיו אופציונלי) מוגדר אוטומטית כמספר המועמדים לחיפוש הרשת ב- תאר HyperParameterTuningJob צוּרָה. זה מאפשר לך לחקור את הרשת הרצויה של היפרפרמטרים בצורה ממצה. בנוסף, הגדרת עבודה בחיפוש רשת מקבלת רק טווחים קטגוריים נפרדים ואינה דורשת הגדרה של טווחים רציפים או שלמים מכיוון שכל ערך ברשת נחשב בדיד.

ניסוי חיפוש ברשת

בניסוי זה, בהינתן משימת רגרסיה, אנו מחפשים את ההיפרפרמטרים האופטימליים במרחב חיפוש של 200 היפרפרמטרים, 20 eta ו 10 alpha נע בין 0.1 ל-1. אנו משתמשים ב- מערך נתונים של שיווק ישיר לכוון מודל רגרסיה.

• ETA: הצטמקות בגודל המדרגה בשימוש בעדכונים כדי למנוע התאמה יתר. לאחר כל שלב חיזוק, אתה יכול לקבל ישירות את המשקולות של תכונות חדשות. ה eta פרמטר למעשה מכווץ את משקלי התכונה כדי להפוך את תהליך החיזוק לשמרני יותר.
• אלפא: מונח הסדרת L1 על משקולות. הגדלת ערך זה הופכת מודלים לשמרנים יותר.

התרשים משמאל מציג ניתוח של eta היפרפרמטר ביחס למדד האובייקטיבי ומדגים כיצד חיפוש הרשת מיצה את כל מרחב החיפוש (הרשת) בצירי ה-X לפני החזרת המודל הטוב ביותר. באותה מידה, התרשים מימין מנתח את שני ההיפרפרמטרים במרחב קרטזיאני אחד כדי להדגים שכל הנקודות ברשת נבחרו במהלך הכוונון.

הניסוי שלמעלה מדגים שהאופי הממצה של החיפוש ברשת מבטיח בחירת היפרפרמטרים אופטימלית בהינתן מרחב החיפוש המוגדר. זה גם מדגים שאתה יכול לשחזר את תוצאת החיפוש שלך על פני איטרציות כוונון, כל שאר הדברים שווים.

אמזון SageMaker זרימות עבודה אוטומטיות של כוונון דגמים (AMT)

עם כוונון מודלים אוטומטי של Amazon SageMaker, אתה יכול למצוא את הגרסה הטובה ביותר של המודל שלך על ידי הפעלת עבודות הדרכה במערך הנתונים שלך עם מספר אסטרטגיות חיפוש, כגון Bayesian, חיפוש אקראי, Grid Search ו-Hyperband. כוונון דגם אוטומטי מאפשר לך לצמצם את הזמן לכוונון דגם על ידי חיפוש אוטומטי אחר תצורת ההיפרפרמטר הטובה ביותר בטווחי ההיפרפרמטרים שאתה מציין.

כעת, לאחר שסקרנו את היתרון בשימוש ב-Grid Search באמזון SageMaker AMT, בואו נסתכל על זרימות העבודה של AMT ונבין איך הכל משתלב ב-SageMaker.

סיכום

בפוסט זה, דנו כיצד תוכל להשתמש כעת באסטרטגיית החיפוש של Grid כדי למצוא את המודל הטוב ביותר ואת היכולת שלו לשחזר באופן דטרמיניסטי תוצאות על פני עבודות כוונון שונות. דנו בפשרה בעת שימוש בחיפוש רשת בהשוואה לאסטרטגיות אחרות, וכיצד הוא מאפשר לך לחקור אילו אזורים במרחבי ההיפרפרמטרים המבטיחים ביותר ולשחזר את התוצאות שלך באופן דטרמיניסטי.

למידע נוסף על כוונון דגמים אוטומטי, בקר באתר דף מוצר ו תיעוד טכני.

על הסופר

דאג מבאיה הוא ארכיטקט פתרונות שותפים בכיר עם התמקדות בנתונים וניתוחים. דאג עובד בשיתוף פעולה הדוק עם שותפי AWS, ועוזר להם לשלב פתרונות נתונים וניתוח בענן.