Kemajuan komputasi, data, dan algoritme adalah tiga faktor mendasar yang memandu kemajuan Machine Learning (ML) modern. Para peneliti mempelajari tren dalam faktor yang paling mudah diukur – menghitung.
Mereka menunjukkan :
sebelum pelatihan 2010, komputasi tumbuh sejalan dengan hukum Moore, dua kali lipat kira-kira setiap 20 bulan.
Deep Learning dimulai pada awal 2010-an dan penskalaan komputasi pelatihan telah dipercepat, kira-kira dua kali lipat setiap 6 bulan.
Pada akhir 2015, tren baru muncul saat perusahaan mengembangkan model ML skala besar dengan persyaratan 10 hingga 100 kali lipat lebih besar dalam komputasi pelatihan.
Berdasarkan pengamatan ini, mereka membagi sejarah komputasi di ML menjadi tiga era: Era Pre Deep Learning, Era Deep Learning, dan Era Skala Besar . Secara keseluruhan, pekerjaan ini menyoroti persyaratan komputasi yang berkembang pesat untuk melatih sistem ML tingkat lanjut.
Mereka memiliki penyelidikan mendetail tentang permintaan komputasi model ML tonggak dari waktu ke waktu. Mereka memberikan kontribusi berikut:
1. Mereka mengkurasi kumpulan data dari 123 sistem Machine Learning tonggak sejarah, yang dianotasi dengan komputasi yang diperlukan untuk melatihnya.
2. Mereka secara tentatif membingkai tren dalam komputasi dalam tiga era berbeda: Era Pra Pembelajaran Mendalam , Era Pembelajaran Mendalam, dan Era Skala Besar . Mereka menawarkan perkiraan waktu penggandaan selama masing-masing era ini.
3. Mereka secara ekstensif memeriksa hasil mereka dalam serangkaian lampiran, mendiskusikan interpretasi alternatif dari data, dan perbedaan dengan pekerjaan sebelumnya
Mereka mempelajari tren dalam komputasi dengan menyusun kumpulan data komputasi pelatihan dengan lebih dari 100 sistem ML tonggak sejarah dan menggunakan data ini untuk menganalisis bagaimana tren berkembang dari waktu ke waktu.
Temuan tampaknya konsisten dengan pekerjaan sebelumnya, meskipun mereka menunjukkan skala komputasi pelatihan yang lebih moderat.
Secara khusus, mereka mengidentifikasi waktu penggandaan 18 bulan antara tahun 1952 dan 2010, waktu penggandaan 6 bulan antara 2010 dan 2022, dan tren baru model skala besar antara akhir 2015 dan 2022, yang dimulai 2 hingga 3 kali lipat. atas tren sebelumnya dan menampilkan waktu penggandaan 10 bulan.
Satu aspek yang belum mereka bahas dalam artikel ini adalah sumber daya terukur utama lainnya yang digunakan untuk melatih model Machine Learning — data. Mereka akan melihat tren dalam ukuran kumpulan data dan hubungannya dengan tren dalam komputasi di pekerjaan mendatang.
Brian Wang adalah Pemimpin Pemikiran Futuris dan blogger Sains populer dengan 1 juta pembaca per bulan. Blognya Nextbigfuture.com berada di peringkat #1 Blog Berita Sains. Ini mencakup banyak teknologi dan tren yang mengganggu termasuk Luar Angkasa, Robotika, Kecerdasan Buatan, Kedokteran, Bioteknologi Anti-penuaan, dan Nanoteknologi.
Dikenal karena mengidentifikasi teknologi mutakhir, dia saat ini adalah salah satu pendiri startup dan penggalangan dana untuk perusahaan tahap awal yang berpotensi tinggi. Dia adalah Kepala Riset untuk Alokasi untuk investasi teknologi dalam dan Angel Investor di Space Angels.
Sering menjadi pembicara di perusahaan, dia telah menjadi pembicara TEDx, pembicara Universitas Singularitas dan tamu di berbagai wawancara untuk radio dan podcast. Dia terbuka untuk berbicara di depan umum dan memberikan nasihat.
