שלושה עידנים של למידת מכונה וחיזוי עתיד הבינה המלאכותית

התקדמות מחשוב, נתונים ואלגוריתמים הם שלושת הגורמים הבסיסיים המנחים את ההתקדמות של למידת מכונה מודרנית (ML). חוקרים חקרו מגמות בגורם הכי קל לכימות - מחשוב.

הם מראים :
לפני 2010 מחשוב האימון גדל בהתאם לחוק מור, והוכפל בערך כל 20 חודשים.

למידה עמוקה החלה בתחילת שנות ה-2010 והקנה מידה של מחשוב האימון הואץ, והוכפל בערך כל 6 חודשים.

בסוף 2015, מגמה חדשה צצה כאשר חברות פיתחו מודלים של ML בקנה מידה גדול עם דרישות גדולות פי 10 עד פי 100 במחשוב אימון.

בהתבסס על תצפיות אלה הם פיצלו את ההיסטוריה של המחשוב ב-ML לשלושה עידנים: עידן הלמידה העמוק, עידן הלמידה העמוקה והעידן בקנה מידה גדול. בסך הכל, העבודה מדגישה את דרישות המחשוב הגדלות במהירות לאימון מערכות ML מתקדמות.

הם ערכו חקירה מפורטת של הביקוש המחשוב של מודלים ML אבני דרך לאורך זמן. הם תורמים את התרומות הבאות:
1. הם יוצרים מערך נתונים של 123 אבני דרך של מערכות למידת מכונה, עם הערות עם המחשוב שנדרש כדי לאמן אותן.
2. הם ממסגרים בהיסוס את המגמות בתחום המחשוב במונחים של שלושה תקופות נפרדות: עידן הלמידה העמוקה, עידן הלמידה העמוקה והעידן בקנה מידה גדול. הם מציעים הערכות לגבי זמני ההכפלה בכל אחת מהתקופות הללו.
3. הם בודקים בהרחבה את תוצאותיהם בסדרת נספחים, דנים בפרשנויות חלופיות של הנתונים ובהבדלים עם עבודות קודמות

הם חקרו מגמות בתחום המחשוב על ידי יצירת מערך נתונים של מחשוב אימון עם יותר מ-100 מערכות ML אבני דרך והשתמשו בנתונים אלה כדי לנתח כיצד המגמה גדלה לאורך זמן.
הממצאים נראים עקביים עם עבודה קודמת, אם כי הם מצביעים על קנה מידה מתון יותר של מחשוב האימון.
בפרט, הם מזהים זמן הכפלה של 18 חודשים בין 1952 ל-2010, זמן הכפלה של 6 חודשים בין 2010 ל-2022, ומגמה חדשה של דגמים בקנה מידה גדול בין סוף 2015 ל-2022, שהחלה בין 2 ל-3 סדרי גודל. על פני המגמה הקודמת ומציג זמן הכפלה של 10 חודשים.

היבט אחד שהם לא כיסו במאמר זה הוא משאב מרכזי נוסף שניתן לכימות המשמש לאימון מודלים של Machine Learning - נתונים. הם יבחנו מגמות בגודל מערך הנתונים והקשר שלהם למגמות בתחום המחשוב בעבודה עתידית.