Laskennan, datan ja algoritmien kehitys ovat kolme perustekijää, jotka ohjaavat nykyaikaisen koneoppimisen (ML) edistymistä. Tutkijat tutkivat trendejä helpoimmin kvantitatiivisessa tekijässä – laskennassa.
Ne näyttävät:
ennen vuotta 2010 koulutuslaskenta kasvoi Mooren lain mukaisesti ja kaksinkertaistui noin 20 kuukauden välein.
Deep Learning aloitettiin 2010-luvun alussa ja harjoituslaskennan skaalaus on kiihtynyt ja kaksinkertaistunut noin 6 kuukauden välein.
Vuoden 2015 lopulla ilmaantui uusi trendi, kun yritykset kehittivät suuria ML-malleja, joilla oli 10-100 kertaa suuremmat vaatimukset koulutuslaskennassa.
Näiden havaintojen perusteella he jakavat laskennan historian ML:ssä kolmeen aikakauteen: Pre Deep Learning Era, Deep Learning Era ja Large-Scale Era. Kaiken kaikkiaan työ korostaa nopeasti kasvavia laskentavaatimuksia edistyneiden ML-järjestelmien koulutuksessa.
He ovat tutkineet yksityiskohtaisesti virstanpylväs-ML-mallien laskentatarvetta ajan mittaan. He antavat seuraavat panokset:
1. He kuratoivat tietojoukon 123 virstanpylvään koneoppimisjärjestelmistä, joihin on merkitty heidän kouluttamiseensa tarvittava laskenta.
2. Ne kehystävät alustavasti laskennan trendit kolmen eri aikakauden suhteen: Pre Deep Learning Era , Deep Learning Era ja Large-Scale Era . Ne tarjoavat arvioita kaksinkertaistumisajoista kunkin aikakauden aikana.
3. He tarkastavat laajasti tuloksiaan liitteissä, joissa käsitellään tietojen vaihtoehtoisia tulkintoja ja eroja aikaisempaan työhön
He tutkivat laskennan trendejä kuratoimalla koulutuslaskennan tietojoukon yli 100 virstanpylvään ML-järjestelmällä ja käyttivät näitä tietoja analysoidakseen, kuinka trendi on kasvanut ajan myötä.
Löydökset näyttävät olevan yhdenmukaisia aiemman työn kanssa, vaikka ne osoittavatkin harjoituslaskennan maltillisempaa skaalausta.
Erityisesti ne tunnistavat 18 kuukauden kaksinkertaistumisajan vuosina 1952–2010, 6 kuukauden kaksinkertaistumisajan vuosina 2010–2022 ja suuren mittakaavan mallien uuden suuntauksen loppuvuodesta 2015–2022, jotka alkoivat 2–3 suuruusluokkaa edelliseen trendiin verrattuna ja näyttää 10 kuukauden kaksinkertaistumisajan.
Yksi näkökohta, jota he eivät käsitä tässä artikkelissa, on toinen keskeinen kvantifioitavissa oleva resurssi, jota käytetään koneoppimismallien kouluttamiseen – data. He tarkastelevat tietojoukon koon suuntauksia ja niiden suhdetta laskennan trendeihin tulevassa työssään.
Brian Wang on futuristisen ajattelun johtaja ja suosittu Science -bloggaaja, jolla on miljoona lukijaa kuukaudessa. Hänen bloginsa Nextbigfuture.com on sijalla 1 Science News Blog. Se kattaa monia häiritseviä tekniikoita ja suuntauksia, kuten avaruus, robotiikka, tekoäly, lääketiede, ikääntymistä estävä biotekniikka ja nanoteknologia.
Hän tunnetaan huipputeknologioiden tunnistamisesta, ja hän on tällä hetkellä perustaja ja varainkeräys korkean mahdollisen alkuvaiheen yrityksille. Hän on syvän teknologian investointien tutkimuksen johtaja ja Space Angelsin enkelisijoittaja.
Hän on usein puhunut yrityksissä, hän on ollut TEDx -puhuja, Singularity University -puhuja ja vieraana lukuisissa radio- ja podcast -haastatteluissa. Hän on avoin julkiselle puhumiselle ja neuvoille.
