Arvutamine, andmed ja algoritmilised edusammud on kolm peamist tegurit, mis juhivad kaasaegse masinõppe (ML) edenemist. Teadlased uurisid suundumusi kõige hõlpsamini kvantifitseeritavas teguris - arvutamises.
Need näitavad:
enne 2010. aastat kasvas koolituste arvutus kooskõlas Moore'i seadusega, kahekordistus ligikaudu iga 20 kuu järel.
Deep Learning sai alguse 2010. aastate alguses ja koolitusarvutuse skaleerimine on kiirenenud, kahekordistudes ligikaudu iga 6 kuu järel.
2015. aasta lõpus ilmnes uus suundumus, kuna ettevõtted töötasid välja suuremahulisi ML-mudeleid, mille nõuded koolitusarvutamisel olid 10–100 korda suuremad.
Nende tähelepanekute põhjal jagasid nad ML-i arvutamise ajaloo kolmeks ajastuks: süvaõppe ajastu, süvaõppe ajastu ja suuremahuline ajastu. Üldiselt tõstab töö esile kiiresti kasvavad arvutusnõuded täiustatud ML-süsteemide koolitamiseks.
Nad on üksikasjalikult uurinud verstaposti ML-mudelite arvutusnõudlust aja jooksul. Nad annavad järgmised panused:
1. Nad kureerivad 123 verstapostiga masinõppesüsteemide andmekogumit, millele on lisatud nende koolitamiseks kulunud arvutus.
2. Nad raamistavad arvestuse suundumusi esialgselt kolme erineva ajastu järgi: süvaõppe ajastu , süvaõppe ajastu ja suuremahuline ajastu . Nad pakuvad hinnanguid kahekordistumisaegade kohta igal neist ajastutest.
3. Nad kontrollivad põhjalikult oma tulemusi mitmes lisades, arutades andmete alternatiivseid tõlgendusi ja erinevusi varasema tööga
Nad uurisid arvutamise suundumusi, kureerides enam kui 100 verstapostiga ML-süsteemiga koolitusarvutuste andmekogumit ja kasutasid neid andmeid, et analüüsida, kuidas trend on aja jooksul kasvanud.
Leiud tunduvad olevat kooskõlas varasema tööga, kuigi need viitavad treeningarvutuse mõõdukamale skaleerimisele.
Eelkõige määravad nad kindlaks 18-kuulise kahekordistumisaja aastatel 1952–2010, 6-kuulise kahekordistamisaja aastatel 2010–2022 ja suuremahuliste mudelite uue suundumuse ajavahemikus 2015. aasta lõpust kuni 2022. aastani, mis algas 2–3 suurusjärku. võrreldes eelmise trendiga ja näitab 10-kuulist kahekordistusaega.
Üks aspekt, mida nad selles artiklis ei käsitlenud, on veel üks oluline kvantifitseeritav ressurss, mida kasutatakse masinõppe mudelite koolitamiseks – andmed. Nad vaatavad tulevases töös andmekogu suuruse suundumusi ja nende seost arvutamise suundumustega.
Brian Wang on futuristide mõttejuht ja populaarne teadusblogija, kellel on miljon lugejat kuus. Tema ajaveeb Nextbigfuture.com on teadusuudiste ajaveeb. See hõlmab paljusid häirivaid tehnoloogiaid ja suundumusi, sealhulgas kosmos, robootika, tehisintellekt, meditsiin, vananemisvastane biotehnoloogia ja nanotehnoloogia.
Tuntud tipptasemel tehnoloogiate tuvastamise poolest, on ta praegu suure potentsiaaliga varajases staadiumis ettevõtete käivitamise ja korjanduse kaasasutaja. Ta on süvatehnoloogiainvesteeringuteks eraldatavate teadusuuringute juht ja ingelinvestor Space Angels'is.
Korporatsioonides sagedane esineja, ta on olnud TEDx -esineja, Singularity University esineja ja külaline paljudel raadio- ja taskuhäälingusaadete intervjuudel. Ta on avatud avalikule esinemisele ja nõustamistegevustele.
