Beregnings-, data- og algoritmiske fremskritt er de tre grunnleggende faktorene som styrer fremgangen til moderne maskinlæring (ML). Forskere studerte trender i den lettest kvantifiserte faktoren - beregning.
De viser :
før 2010 vokste treningsberegning i tråd med Moores lov, og doblet seg omtrent hver 20. måned.
Deep Learning startet tidlig på 2010-tallet, og skaleringen av treningsberegning har akselerert, og dobles omtrent hver sjette måned.
På slutten av 2015 dukket det opp en ny trend da firmaer utviklet store ML-modeller med 10 til 100 ganger større krav til treningsdatabehandling.
Basert på disse observasjonene deler de historien til databehandling i ML i tre epoker: Pre Deep Learning Era, Deep Learning Era og Large-Scale Era. Samlet sett fremhever arbeidet de raskt voksende datakravene for opplæring av avanserte ML-systemer.
De har detaljert undersøkelse av beregningsbehovet til milepæls-ML-modeller over tid. De gir følgende bidrag:
1. De samler et datasett med 123 milepælsmaskiner for maskinlæring, kommentert med beregningen det tok å trene dem.
2. De innrammer tentativt trendene innen databehandling i form av tre distinkte epoker: Pre Deep Learning Era, Deep Learning Era og Large-Scale Era. De tilbyr estimater av doblingstidene i hver av disse epokene.
3. De sjekker resultatene sine grundig i en rekke vedlegg, og diskuterer alternative tolkninger av dataene og forskjeller med tidligere arbeid
De studerte trender innen databehandling ved å kurere et datasett med treningsdatamaskiner med mer enn 100 milepæls-ML-systemer og brukte disse dataene til å analysere hvordan trenden har vokst over tid.
Funnene virker i samsvar med tidligere arbeid, selv om de indikerer en mer moderat skalering av treningsberegning.
Spesielt identifiserer de en 18-måneders doblingstid mellom 1952 og 2010, en 6-måneders doblingstid mellom 2010 og 2022, og en ny trend med storskalamodeller mellom slutten av 2015 og 2022, som startet 2 til 3 størrelsesordener. over den forrige trenden og viser en 10-måneders doblingstid.
Et aspekt de ikke har dekket i denne artikkelen er en annen viktig kvantifiserbar ressurs som brukes til å trene maskinlæringsmodeller – data. De vil se på trender i datasettstørrelse og deres forhold til trender innen databehandling i fremtidig arbeid.
Brian Wang er en futuristisk tankeleder og en populær vitenskapsblogger med 1 million lesere per måned. Bloggen hans Nextbigfuture.com er rangert som #1 Science News Blog. Den dekker mange forstyrrende teknologi og trender, inkludert rom, robotikk, kunstig intelligens, medisin, anti-aging bioteknologi og nanoteknologi.
Han er kjent for å identifisere banebrytende teknologier, og er for tiden en av grunnleggerne av en oppstart og innsamling for høy potensielle selskaper i et tidlig stadium. Han er forskningssjef for allokasjoner for dype teknologiinvesteringer og en engelinvestor hos Space Angels.
Han er en hyppig foredragsholder i selskaper, og har vært TEDx -foredragsholder, høyttaler på Singularity University og gjest på mange intervjuer for radio og podcaster. Han er åpen for offentlige foredrag og rådgivning.
