Računalniški, podatkovni in algoritemski napredek so trije temeljni dejavniki, ki vodijo napredek sodobnega strojnega učenja (ML). Raziskovalci so preučevali trende v faktorju, ki ga je najlažje kvantificirati – računanju.
Prikazujejo:
pred letom 2010 je izračun za usposabljanje rasel v skladu z Moorovim zakonom in se podvojil približno vsakih 20 mesecev.
Globoko učenje se je začelo v zgodnjih 2010-ih in skaliranje računalništva za usposabljanje se je pospešilo in podvojilo približno vsakih 6 mesecev.
Konec leta 2015 se je pojavil nov trend, ko so podjetja razvila obsežne modele ML z 10- do 100-krat večjimi zahtevami pri računanju za usposabljanje.
Na podlagi teh opazovanj so zgodovino računalništva v strojnem jeziku razdelili na tri obdobja: obdobje pred poglobljenim učenjem, obdobje poglobljenega učenja in obdobje velikega obsega. Na splošno delo poudarja hitro rastoče računalniške zahteve za usposabljanje naprednih sistemov ML.
Imajo podrobno preiskavo računalniškega povpraševanja po mejniških modelih ML skozi čas. Prispevajo naslednje:
1. Pripravijo nabor podatkov 123 mejnikov sistemov strojnega učenja, označenih z izračuni, potrebnimi za njihovo usposabljanje.
2. Pogojno oblikujejo trende v računalništvu glede na tri različna obdobja: obdobje pred poglobljenim učenjem, obdobje poglobljenega učenja in obdobje velikega obsega. Ponujajo ocene časov podvojitve v vsaki od teh obdobij.
3. Izčrpno preverijo svoje rezultate v vrsti dodatkov, razpravljajo o alternativnih interpretacijah podatkov in razlikah s prejšnjim delom
Preučevali so trende v računalništvu tako, da so pripravili nabor podatkov o računanju za usposabljanje z več kot 100 mejniškimi sistemi ML in uporabili te podatke za analizo, kako se je trend sčasoma povečal.
Ugotovitve se zdijo skladne s prejšnjim delom, čeprav kažejo na bolj zmerno skaliranje računanja pri usposabljanju.
Zlasti identificirajo 18-mesečni čas podvajanja med letoma 1952 in 2010, 6-mesečni čas podvajanja med letoma 2010 in 2022 ter nov trend velikih modelov med koncem leta 2015 in 2022, ki se je začel 2 do 3 reda velikosti. nad prejšnjim trendom in prikazuje 10-mesečni čas podvajanja.
En vidik, ki ga v tem članku niso zajeli, je še en ključni merljivi vir, ki se uporablja za usposabljanje modelov strojnega učenja – podatki. Pri prihodnjem delu si bodo ogledali trende v velikosti nabora podatkov in njihov odnos do trendov v računalništvu.
Brian Wang je vodja futurističnih misli in priljubljen znanstveni bloger z 1 milijonom bralcev na mesec. Njegov blog Nextbigfuture.com je na prvem mestu na spletnem mestu Science News Blog. Zajema številne moteče tehnologije in trende, vključno z vesoljem, robotiko, umetno inteligenco, medicino, biotehnologijo proti staranju in nanotehnologijo.
Znan po prepoznavanju najsodobnejših tehnologij, je trenutno soustanovitelj zagona in zbiranja sredstev za velika potencialna podjetja v zgodnji fazi. Je vodja raziskav za dodelitve za globoke tehnološke naložbe in investitor angelov pri Space Angels.
Pogost govornik v korporacijah, bil je govornik TEDx, govornik univerze Singularity in gost številnih intervjujev za radio in podcaste. Odprt je za javno nastopanje in svetovanje.
