Beregnings-, data- og algoritmiske fremskridt er de tre grundlæggende faktorer, der styrer udviklingen af moderne Machine Learning (ML). Forskere undersøgte tendenser i den lettest kvantificerede faktor - compute.
De viser:
før 2010 voksede træningsberegninger i overensstemmelse med Moores lov og fordobledes omtrent hver 20. måned.
Deep Learning startede i begyndelsen af 2010'erne, og skaleringen af træningsberegninger er accelereret og fordobles cirka hver 6. måned.
I slutningen af 2015 dukkede en ny trend op, da virksomheder udviklede ML-modeller i stor skala med 10 til 100 gange større krav til træningsberegning.
Baseret på disse observationer opdelte de computerhistorien i ML i tre epoker: Pre Deep Learning Era, Deep Learning Era og Large-Scale Era. Samlet set fremhæver arbejdet de hurtigt voksende computerkrav til træning af avancerede ML-systemer.
De har en detaljeret undersøgelse af beregningsbehovet for milepæls-ML-modeller over tid. De giver følgende bidrag:
1. De sammensætter et datasæt med 123 milepæle Machine Learning-systemer, kommenteret med den beregning, det tog at træne dem.
2. De indrammer foreløbigt tendenserne inden for computere i form af tre forskellige epoker: Pre Deep Learning Era, Deep Learning Era og Large-Scale Era. De giver skøn over fordoblingstiderne i hver af disse epoker.
3. De kontrollerer i vid udstrækning deres resultater i en række bilag, diskuterer alternative fortolkninger af dataene og forskelle i forhold til tidligere arbejde
De undersøgte tendenser inden for compute ved at kurere et datasæt af træningscomputere med mere end 100 milepæls-ML-systemer og brugte disse data til at analysere, hvordan tendensen er vokset over tid.
Resultaterne synes at være i overensstemmelse med tidligere arbejde, selvom de indikerer en mere moderat skalering af træningsberegning.
De identificerer især en 18-måneders fordoblingstid mellem 1952 og 2010, en 6-måneders fordoblingstid mellem 2010 og 2022 og en ny trend med modeller i stor skala mellem slutningen af 2015 og 2022, som startede 2 til 3 størrelsesordener i forhold til den tidligere trend og viser en 10-måneders fordoblingstid.
Et aspekt, de ikke har dækket i denne artikel, er en anden vigtig kvantificerbar ressource, der bruges til at træne Machine Learning-modeller - data. De vil se på tendenser i datasætstørrelse og deres forhold til tendenser inden for databehandling i fremtidigt arbejde.
Brian Wang er en futuristisk tankeleder og en populær Science blogger med 1 million læsere om måneden. Hans blog Nextbigfuture.com er rangeret som #1 Science News Blog. Det dækker mange forstyrrende teknologi og tendenser, herunder rum, robotik, kunstig intelligens, medicin, anti-aging bioteknologi og nanoteknologi.
Han er kendt for at identificere banebrydende teknologier og er i øjeblikket medstifter af en opstart og fundraiser til virksomheder med et højt potentiale på et tidligt stadium. Han er forskningschef for tildelinger til dybe teknologiske investeringer og en engelinvestor hos Space Angels.
Han har været en hyppig foredragsholder i virksomheder og har været TEDx -højttaler, en Singularity University -højttaler og gæst ved adskillige interviews til radio og podcasts. Han er åben for offentlige taler og rådgivende engagementer.
