سه دوره یادگیری ماشین و پیش بینی آینده هوش مصنوعی

پیشرفت‌های محاسباتی، داده‌ها و الگوریتمی سه عامل اساسی هستند که پیشرفت یادگیری ماشین مدرن (ML) را هدایت می‌کنند. محققان روندها را در آسان‌ترین فاکتور کمّی - محاسباتی بررسی کردند.

نشان می دهند :
قبل از سال 2010 محاسبات آموزشی مطابق با قانون مور رشد می کرد و تقریباً هر 20 ماه دو برابر می شد.

یادگیری عمیق در اوایل دهه 2010 شروع شد و مقیاس بندی محاسبات آموزشی شتاب گرفت و تقریباً هر 6 ماه دو برابر شد.

در اواخر سال 2015، روند جدیدی پدیدار شد زیرا شرکت‌ها مدل‌های ML در مقیاس بزرگ را با نیازهای 10 تا 100 برابر بیشتر در محاسبات آموزشی توسعه دادند.

بر اساس این مشاهدات، آنها تاریخچه محاسبات در ML را به سه دوره تقسیم کردند: دوره قبل از یادگیری عمیق، عصر یادگیری عمیق و عصر مقیاس بزرگ. به طور کلی، این کار نیازهای محاسباتی رو به رشد را برای آموزش سیستم های پیشرفته ML برجسته می کند.

آنها تحقیقات دقیقی در مورد تقاضای محاسباتی مدل های نقطه عطف ML در طول زمان دارند. آنها مشارکت های زیر را انجام می دهند:
1. آنها مجموعه داده ای از 123 سیستم یادگیری ماشینی مایل استون را تنظیم می کنند که با محاسباتی که برای آموزش آنها لازم است، حاشیه نویسی شده است.
2. آنها به طور آزمایشی روندهای محاسباتی را در قالب سه دوره مجزا تنظیم می کنند: دوره قبل از یادگیری عمیق، عصر یادگیری عمیق و عصر مقیاس بزرگ. آنها تخمین هایی از زمان های دو برابر شدن در هر یک از این دوره ها ارائه می دهند.
3. آنها به طور گسترده نتایج خود را در مجموعه ای از ضمیمه ها بررسی می کنند و در مورد تفسیرهای متناوب داده ها و تفاوت ها با کارهای قبلی بحث می کنند.

آنها روندها را در محاسبات با تنظیم مجموعه داده ای از محاسبات آموزشی با بیش از 100 سیستم ML مطالعه کردند و از این داده ها برای تجزیه و تحلیل چگونگی رشد روند در طول زمان استفاده کردند.
به نظر می‌رسد یافته‌ها با کار قبلی سازگار است، اگرچه نشان‌دهنده مقیاس‌گذاری متوسط‌تری در محاسبات آموزشی است.
به طور خاص، آنها زمان دوبرابر شدن 18 ماهه را بین سال‌های 1952 و 2010، زمان دوبرابر شدن 6 ماهه بین سال‌های 2010 تا 2022 و روند جدیدی از مدل‌های مقیاس بزرگ را بین اواخر سال‌های 2015 تا 2022 شناسایی کردند که بین 2 تا 3 مرتبه بزرگی شروع شد. بیش از روند قبلی است و زمان دو برابر شدن 10 ماهه را نشان می دهد.

یکی از جنبه‌هایی که در این مقاله به آن پرداخته نشده است، منبع کلیدی قابل سنجش دیگری است که برای آموزش مدل‌های یادگیری ماشین استفاده می‌شود - داده‌ها. آنها در کارهای آینده به روند اندازه داده ها و رابطه آنها با روندهای محاسباتی نگاه خواهند کرد.