Postępy w zakresie obliczeń, danych i algorytmów to trzy podstawowe czynniki, które kierują postępem nowoczesnego uczenia maszynowego (ML). Badacze badali trendy w najłatwiejszym do określenia ilościowego czynniku – obliczeniach.
Oni pokazują :
przed 2010 rokiem obliczenie szkoleniowe rosło zgodnie z prawem Moore'a, podwajając się mniej więcej co 20 miesięcy.
Głębokie uczenie rozpoczęło się na początku 2010 roku, a skalowanie obliczeń szkoleniowych przyspieszyło, podwajając się co około 6 miesięcy.
Pod koniec 2015 r. pojawił się nowy trend, gdy firmy opracowały wielkoskalowe modele uczenia maszynowego z 10 do 100 razy większymi wymaganiami w zakresie obliczeń szkoleniowych.
Na podstawie tych obserwacji podzielili historię obliczeń w ML na trzy epoki: erę poprzedzającą głębokie uczenie, erę głębokiego uczenia się i erę na dużą skalę . Podsumowując, prace zwracają uwagę na szybko rosnące wymagania obliczeniowe w zakresie szkolenia zaawansowanych systemów ML.
Mają szczegółowe badanie zapotrzebowania na obliczenia w przypadku modeli milowych ML w czasie. Dokonują następujących składek:
1. Opiekują się zbiorem danych składającym się ze 123 przełomowych systemów uczenia maszynowego, z adnotacjami dotyczącymi mocy obliczeniowej potrzebnej do ich przeszkolenia.
2. Wstępnie określają trendy w dziedzinie obliczeń w trzech odrębnych epokach: epoce poprzedzającej głębokie uczenie , erze głębokiego uczenia się i erze na dużą skalę . Oferują szacunkowe czasy podwojenia w każdej z tych epok.
3. Dokładnie sprawdzają swoje wyniki w serii załączników, omawiając alternatywne interpretacje danych i różnice w stosunku do poprzedniej pracy
Zbadali trendy w obliczeniach, opracowując zestaw danych obliczeniowych treningowych z ponad 100 przełomowymi systemami ML i wykorzystali te dane do przeanalizowania, jak trend narastał w czasie.
Wyniki wydają się spójne z poprzednimi pracami, chociaż wskazują na bardziej umiarkowane skalowanie obliczeń treningowych.
W szczególności identyfikują 18-miesięczny czas podwojenia między 1952 a 2010 r., 6-miesięczny czas podwojenia między 2010 a 2022 r. oraz nowy trend modeli wielkoskalowych między końcem 2015 r. a 2022 r., który rozpoczął się od 2 do 3 rzędów wielkości względem poprzedniego trendu i wyświetla 10-miesięczny czas podwojenia.
Jednym z aspektów, których nie omówiono w tym artykule, jest inny kluczowy wymierny zasób używany do uczenia modeli uczenia maszynowego — dane. W przyszłych pracach będą przyglądać się trendom w wielkości zbioru danych i ich relacjom z trendami w obliczeniach.
Brian Wang jest liderem myśli futurystycznej i popularnym blogerem naukowym z milionem czytelników miesięcznie. Jego blog Nextbigfuture.com zajmuje pierwsze miejsce w rankingu Science News Blog. Obejmuje wiele przełomowych technologii i trendów, w tym przestrzeń kosmiczną, robotykę, sztuczną inteligencję, medycynę, biotechnologię przeciwstarzeniową i nanotechnologię.
Znany z identyfikowania najnowocześniejszych technologii, obecnie jest współzałożycielem startupu i fundraiserem dla firm o wysokim potencjale we wczesnej fazie rozwoju. Pełni funkcję Szefa Działu Badań Alokacji dla inwestycji w głębokie technologie oraz Anioła Inwestora w Space Angels.
Częsty mówca w korporacjach, mówca TEDx, mówca Singularity University i gościnnie w licznych wywiadach dla radia i podcastów. Jest otwarty na wystąpienia publiczne i doradzanie.
