Compute, dati e progressi algoritmici sono i tre fattori fondamentali che guidano il progresso del moderno Machine Learning (ML). I ricercatori hanno studiato le tendenze nel fattore più facilmente quantificabile: il calcolo.
Essi mostrano :
prima del 2010 il calcolo della formazione è cresciuto in linea con la legge di Moore, raddoppiando all'incirca ogni 20 mesi.
Il deep learning è iniziato all'inizio degli anni 2010 e il ridimensionamento del calcolo della formazione è accelerato, raddoppiando all'incirca ogni 6 mesi.
Alla fine del 2015, è emersa una nuova tendenza quando le aziende hanno sviluppato modelli ML su larga scala con requisiti da 10 a 100 volte più grandi nel calcolo della formazione.
Sulla base di queste osservazioni, hanno diviso la storia dell'elaborazione in ML in tre epoche: l'era del pre-deep learning, l'era del deep learning e l'era su larga scala. Nel complesso, il lavoro mette in evidenza i requisiti di calcolo in rapida crescita per la formazione di sistemi ML avanzati.
Hanno un'indagine dettagliata sulla domanda di calcolo dei modelli ML cardine nel tempo. Forniscono i seguenti contributi:
1. Curano un set di dati di 123 sistemi di Machine Learning fondamentali, annotati con il calcolo necessario per addestrarli.
2. Inquadrano provvisoriamente le tendenze nel calcolo in termini di tre epoche distinte: l'era del pre deep learning, l'era del deep learning e l'era su larga scala. Offrono stime dei tempi di raddoppio durante ciascuna di queste epoche.
3. Controllano ampiamente i loro risultati in una serie di appendici, discutendo interpretazioni alternative dei dati e differenze con il lavoro precedente
Hanno studiato le tendenze nel calcolo curando un set di dati di calcolo di addestramento con oltre 100 sistemi ML fondamentali e hanno utilizzato questi dati per analizzare come la tendenza è cresciuta nel tempo.
I risultati sembrano coerenti con il lavoro precedente, sebbene indichino un ridimensionamento più moderato del calcolo dell'allenamento.
In particolare, identificano un tempo di raddoppio di 18 mesi tra il 1952 e il 2010, un tempo di raddoppio di 6 mesi tra il 2010 e il 2022 e una nuova tendenza dei modelli su larga scala tra la fine del 2015 e il 2022, che ha iniziato da 2 a 3 ordini di grandezza rispetto al trend precedente e mostra un tempo di raddoppio di 10 mesi.
Un aspetto che non è stato trattato in questo articolo è un'altra risorsa quantificabile chiave utilizzata per addestrare i modelli di Machine Learning: i dati. In futuro esamineranno le tendenze nelle dimensioni del set di dati e la loro relazione con le tendenze nel calcolo.
Brian Wang è un leader del pensiero futurista e un popolare blogger scientifico con 1 milione di lettori al mese. Il suo blog Nextbigfuture.com è al primo posto tra i blog di notizie scientifiche. Copre molte tecnologie e tendenze dirompenti tra cui spazio, robotica, intelligenza artificiale, medicina, biotecnologia anti-invecchiamento e nanotecnologia.
Noto per l'identificazione di tecnologie all'avanguardia, è attualmente co-fondatore di una startup e raccolta fondi per aziende ad alto potenziale in fase iniziale. È Head of Research for Allocations for Deep Technology Investment e Angel Investor presso Space Angels.
Frequentatore di aziende, è stato speaker TEDx, speaker della Singularity University e ospite in numerose interviste per radio e podcast. È disponibile a parlare in pubblico e ad assumere incarichi di consulenza.
