Compute, data en algoritmische vooruitgang zijn de drie fundamentele factoren die de vooruitgang van moderne Machine Learning (ML) sturen. Onderzoekers bestudeerden trends in de meest gemakkelijk gekwantificeerde factor: rekenen.
Ze laten zien :
vóór 2010 groeide de rekenkracht van training in overeenstemming met de wet van Moore, ongeveer elke 20 maanden verdubbelend.
Deep Learning begon in de vroege jaren 2010 en de schaalvergroting van trainingscomputers is versneld, ongeveer elke zes maanden verdubbeld.
Eind 2015 deed zich een nieuwe trend voor toen bedrijven grootschalige ML-modellen ontwikkelden met 10 tot 100 keer grotere eisen aan trainingscomputers.
Op basis van deze observaties splitsten ze de geschiedenis van compute in ML op in drie tijdperken: het pre-deep learning-tijdperk, het deep learning-tijdperk en het grootschalige tijdperk. Over het algemeen benadrukt het werk de snelgroeiende rekenvereisten voor het trainen van geavanceerde ML-systemen.
Ze hebben gedetailleerd onderzoek gedaan naar de rekenvraag van mijlpaal-ML-modellen in de loop van de tijd. Zij leveren de volgende bijdragen:
1. Ze beheren een dataset van 123 mijlpaal Machine Learning-systemen, geannoteerd met de rekenkracht die nodig was om ze te trainen.
2. Ze kaderen de trends op het gebied van computergebruik voorzichtig in termen van drie verschillende tijdperken: het pre-deep learning-tijdperk, het deep learning-tijdperk en het grootschalige tijdperk. Ze bieden schattingen van de verdubbelingstijden tijdens elk van deze tijdperken.
3. Ze controleren hun resultaten uitgebreid in een reeks bijlagen, bespreken alternatieve interpretaties van de gegevens en verschillen met eerder werk
Ze bestudeerden trends in computergebruik door een dataset van trainingscomputers samen te stellen met meer dan 100 mijlpaal-ML-systemen en gebruikten deze gegevens om te analyseren hoe de trend in de loop van de tijd is gegroeid.
De bevindingen lijken consistent met eerder werk, hoewel ze wijzen op een meer gematigde schaal van trainingscomputers.
Ze identificeren met name een verdubbelingstijd van 18 maanden tussen 1952 en 2010, een verdubbelingstijd van 6 maanden tussen 2010 en 2022, en een nieuwe trend van grootschalige modellen tussen eind 2015 en 2022, die begon met 2 tot 3 ordes van grootte over de vorige trend en geeft een verdubbelingstijd van 10 maanden weer.
Een aspect dat ze in dit artikel niet hebben behandeld, is een andere belangrijke kwantificeerbare bron die wordt gebruikt om machine learning-modellen te trainen: gegevens. Ze zullen in toekomstig werk kijken naar trends in de grootte van datasets en hun relatie met trends in rekenkracht.
Brian Wang is een Futurist Thought Leader en een populaire wetenschapsblogger met 1 miljoen lezers per maand. Zijn blog Nextbigfuture.com is gerangschikt #1 Science News Blog. Het behandelt veel disruptieve technologie en trends, waaronder ruimtevaart, robotica, kunstmatige intelligentie, medicijnen, anti-verouderingsbiotechnologie en nanotechnologie.
Hij staat bekend om het identificeren van geavanceerde technologieën en is momenteel mede-oprichter van een startup en fondsenwerver voor bedrijven met een hoog potentieel in een vroeg stadium. Hij is het hoofd van Research for Allocations voor diepe technologie-investeringen en een Angel Investor bij Space Angels.
Hij is een veelgevraagd spreker bij bedrijven, hij is een TEDx-spreker, een Singularity University-spreker en gast bij talloze interviews voor radio en podcasts. Hij staat open voor spreek- en adviesopdrachten.
