Üç Makine Öğrenimi Çağı ve Yapay Zekanın Geleceğini Tahmin Etmek

Bilgi işlem, veri ve algoritmik gelişmeler, modern Makine Öğreniminin (ML) ilerlemesine rehberlik eden üç temel faktördür. Araştırmacılar, en kolay ölçülebilen faktör olan hesaplamadaki eğilimleri inceledi.

Şunları gösterirler:
2010'dan önce eğitim hesaplaması Moore yasasına uygun olarak büyüdü ve her 20 ayda bir kabaca ikiye katlandı.

Derin Öğrenme 2010'ların başında başladı ve eğitim hesaplamasının ölçeklenmesi hızlandı ve yaklaşık her 6 ayda bir ikiye katlandı.

2015 yılının sonlarında, firmalar eğitim hesaplamasında 10 ila 100 kat daha büyük gereksinimlere sahip büyük ölçekli makine öğrenimi modelleri geliştirdikçe yeni bir eğilim ortaya çıktı.

Bu gözlemlere dayanarak, makine öğreniminde hesaplama tarihini üç döneme ayırdılar: Derin Öğrenme Öncesi Dönem, Derin Öğrenme Dönemi ve Büyük Ölçekli Dönem. Genel olarak, çalışma, gelişmiş ML sistemlerinin eğitimi için hızla büyüyen bilgi işlem gereksinimlerini vurgulamaktadır.

Zaman içinde kilometre taşı ML modellerinin hesaplama talebine ilişkin ayrıntılı araştırmalara sahiptirler. Aşağıdaki katkıları sağlarlar:
1. 123 dönüm noktası olan Makine Öğrenimi sisteminden oluşan ve onları eğitmek için gereken hesaplamayla açıklamalı bir veri kümesi oluştururlar.
2. Hesaplamadaki eğilimleri geçici olarak üç farklı dönem açısından çerçevelerler: Derin Öğrenme Öncesi Dönem, Derin Öğrenme Dönemi ve Büyük Ölçekli Dönem. Bu dönemlerin her biri sırasında iki katına çıkma sürelerinin tahminlerini sunarlar.
3. Bir dizi ekte, verilerin alternatif yorumlarını ve önceki çalışmalarla farklılıkları tartışarak sonuçlarını kapsamlı bir şekilde kontrol ederler.

100'den fazla dönüm noktası ML sistemiyle eğitim hesaplamasının bir veri kümesini küratörlüğünü yaparak bilgi işlem eğilimlerini incelediler ve bu verileri, eğilimin zaman içinde nasıl büyüdüğünü analiz etmek için kullandılar.
Bulgular, daha ılımlı bir eğitim hesaplaması ölçeklendirmesine işaret etseler de, önceki çalışmalarla tutarlı görünüyor.
Özellikle, 18 ile 1952 arasında 2010 aylık bir ikiye katlanma süresi, 6 ile 2010 arasında 2022 aylık bir ikiye katlanma süresi ve 2015 sonu ile 2022 arasında 2 ila 3 büyüklük sırası başlayan yeni bir büyük ölçekli model trendi belirlediler. önceki trendin üzerinde ve 10 aylık bir ikiye katlanma süresi gösteriyor.

Bu makalede ele almadıkları bir husus, Makine Öğrenimi modellerini eğitmek için kullanılan diğer bir ölçülebilir kaynak olan verilerdir. Gelecekteki çalışmalarda veri kümesi boyutundaki eğilimlere ve bunların hesaplamadaki eğilimlerle ilişkisine bakacaklardır.