Calculul, datele și progresele algoritmice sunt cei trei factori fundamentali care ghidează progresul învățării automate moderne (ML). Cercetătorii au studiat tendințele în factorul cel mai ușor cuantificat – calculul.
Ei arată :
înainte de 2010, calculul de antrenament a crescut în conformitate cu legea lui Moore, dublându-se aproximativ la fiecare 20 de luni.
Învățarea profundă a început la începutul anilor 2010, iar scalarea calculului de instruire s-a accelerat, dublându-se aproximativ la fiecare 6 luni.
La sfârșitul anului 2015, a apărut o nouă tendință, pe măsură ce firmele au dezvoltat modele ML la scară largă cu cerințe de 10 până la 100 de ori mai mari în ceea ce privește instruirea calculului.
Pe baza acestor observații, au împărțit istoria calculului în ML în trei epoci: era pre-deep learning, era deep learning și era la scară largă. În general, lucrarea evidențiază cerințele de calcul în creștere rapidă pentru formarea sistemelor avansate de ML.
Ei au investigat în detaliu cererea de calcul a modelelor ML de reper de-a lungul timpului. Aceștia aduc următoarele contribuții:
1. Ei organizează un set de date de 123 de sisteme de învățare automată, adnotate cu calculul necesar pentru a le instrui.
2. Acestea încadrează în mod tentativ tendințele în calcul în termeni de trei epoci distincte: Era Pre Deep Learning , Era Deep Learning și Era la scară largă . Ele oferă estimări ale timpilor de dublare în fiecare dintre aceste ere.
3. Ei își verifică pe larg rezultatele într-o serie de anexe, discutând interpretări alternative ale datelor și diferențele cu lucrările anterioare
Ei au studiat tendințele în calcul prin crearea unui set de date de antrenament de calcul cu mai mult de 100 de sisteme ML de reper și au folosit aceste date pentru a analiza modul în care tendința a crescut de-a lungul timpului.
Descoperirile par în concordanță cu lucrările anterioare, deși indică o scalare mai moderată a calculului antrenamentului.
În special, ei identifică un timp de dublare de 18 luni între 1952 și 2010, un timp de dublare de 6 luni între 2010 și 2022 și o nouă tendință de modele la scară largă între sfârșitul anului 2015 și 2022, care a început cu 2 până la 3 ordine de mărime. peste tendința anterioară și afișează un timp de dublare de 10 luni.
Un aspect pe care nu l-au acoperit în acest articol este o altă resursă cheie cuantificabilă utilizată pentru a antrena modele de învățare automată - datele. Ei vor analiza tendințele în dimensiunea setului de date și relația lor cu tendințele în calcul în lucrările viitoare.
Brian Wang este un lider gânditor futurist și un popular blogger științific, cu 1 milion de cititori pe lună. Blogul său Nextbigfuture.com este clasat pe locul 1 pe Știrile știrilor. Acoperă multe tehnologii și tendințe perturbatoare, inclusiv spațiu, robotică, inteligență artificială, medicină, biotehnologie anti-îmbătrânire și nanotehnologie.
Cunoscut pentru identificarea tehnologiilor de vârf, el este în prezent co-fondator al unui startup și strângere de fonduri pentru companii cu potențial ridicat în faza incipientă. El este șeful cercetării pentru alocări pentru investiții în tehnologie profundă și un investitor înger la Space Angels.
Vorbitor frecvent la corporații, a fost vorbitor TEDx, vorbitor al Singularity University și invitat la numeroase interviuri pentru radio și podcast-uri. El este deschis vorbirii publice și consilierii angajamentelor.
