Beräknings-, data- och algoritmframsteg är de tre grundläggande faktorerna som styr utvecklingen av modern maskininlärning (ML). Forskare studerade trender i den lättast kvantifierade faktorn – compute.
De visar :
före 2010 växte träningsberäkningen i linje med Moores lag, och fördubblades ungefär var 20:e månad.
Deep Learning startade i början av 2010-talet och skalningen av träningsberäkningar har accelererat och fördubblats ungefär var sjätte månad.
I slutet av 2015 dök en ny trend upp när företag utvecklade storskaliga ML-modeller med 10 till 100 gånger större krav på träningsberäkning.
Baserat på dessa observationer delade de upp historien om datoranvändning i ML i tre epoker: Pre Deep Learning Era, Deep Learning Era och Large-Scale Era. Sammantaget belyser arbetet de snabbt växande beräkningskraven för utbildning av avancerade ML-system.
De har en detaljerad undersökning av efterfrågan på beräkning av milstolpar ML-modeller över tid. De gör följande bidrag:
1. De sammanställer en datauppsättning av 123 milstolpar Machine Learning-system, kommenterade med den beräkning som det tog att träna dem.
2. De ramar preliminärt in trenderna inom databehandling i termer av tre distinkta epoker: Pre Deep Learning Era, Deep Learning Era och Large-Scale Era. De ger uppskattningar av fördubblingstiderna under var och en av dessa epoker.
3. De kontrollerar utförligt sina resultat i en serie bilagor, diskuterar alternativa tolkningar av data och skillnader med tidigare arbete
De studerade trender inom datoranvändning genom att sammanställa en datauppsättning av träningsberäkningar med mer än 100 milstolpar ML-system och använde dessa data för att analysera hur trenden har växt över tiden.
Fynden verkar överensstämma med tidigare arbete, även om de indikerar en mer måttlig skalning av träningsberäkningar.
I synnerhet identifierar de en 18-månaders fördubblingstid mellan 1952 och 2010, en 6-månaders fördubblingstid mellan 2010 och 2022, och en ny trend med storskaliga modeller mellan slutet av 2015 och 2022, som startade 2 till 3 storleksordningar över den tidigare trenden och visar en 10-månaders fördubblingstid.
En aspekt som de inte har täckt i den här artikeln är en annan viktig kvantifierbar resurs som används för att träna maskininlärningsmodeller – data. De kommer att titta på trender i datauppsättningsstorlek och deras förhållande till trender inom databehandling i framtida arbete.
Brian Wang är en futuristisk tankeledare och en populär vetenskapbloggare med 1 miljon läsare per månad. Hans blogg Nextbigfuture.com är rankad som nummer 1 Science News Blog. Den täcker många störande teknik och trender, inklusive rymd, robotik, artificiell intelligens, medicin, anti-aging bioteknik och nanoteknik.
Känd för att identifiera banbrytande teknik, han är för närvarande en av grundarna av en start och insamling för högpotentiella företag i ett tidigt skede. Han är forskningschef för tilldelningar för djupa teknikinvesteringar och en ängelinvesterare på Space Angels.
Han har ofta varit talare på företag och har varit TEDx -talare, talare vid Singularity University och gäst på många intervjuer för radio och podcaster. Han är öppen för offentliga tal och rådgivning.
