Trois époques d'apprentissage automatique et prédiction de l'avenir de l'IA

Les avancées en matière de calcul, de données et d'algorithmes sont les trois facteurs fondamentaux qui guident les progrès de l'apprentissage automatique (ML) moderne. Les chercheurs ont étudié les tendances du facteur le plus facilement quantifiable – le calcul.

Ils montrent :
avant 2010, le calcul d'entraînement augmentait conformément à la loi de Moore, doublant environ tous les 20 mois.

Le Deep Learning a commencé au début des années 2010 et la mise à l'échelle du calcul d'entraînement s'est accélérée, doublant environ tous les 6 mois.

Fin 2015, une nouvelle tendance est apparue alors que les entreprises développaient des modèles ML à grande échelle avec des exigences 10 à 100 fois plus importantes en calcul de formation.

Sur la base de ces observations, ils ont divisé l'histoire du calcul en ML en trois époques : l'ère du pré-apprentissage en profondeur, l'ère de l'apprentissage en profondeur et l'ère à grande échelle. Dans l'ensemble, les travaux mettent en évidence les besoins de calcul en croissance rapide pour la formation de systèmes ML avancés.

Ils ont mené une enquête détaillée sur la demande de calcul des modèles ML jalons au fil du temps. Ils apportent les contributions suivantes :
1. Ils organisent un ensemble de données de 123 systèmes d'apprentissage automatique jalons, annotés avec le calcul qu'il a fallu pour les former.
2. Ils encadrent provisoirement les tendances du calcul en termes de trois ères distinctes : l'ère du pré-apprentissage en profondeur, l'ère de l'apprentissage en profondeur et l'ère à grande échelle. Ils offrent des estimations des temps de doublement au cours de chacune de ces ères.
3. Ils vérifient de manière approfondie leurs résultats dans une série d'annexes, discutant des interprétations alternatives des données et des différences avec les travaux antérieurs

Ils ont étudié les tendances en matière de calcul en conservant un ensemble de données de calcul d'entraînement avec plus de 100 systèmes ML jalons et ont utilisé ces données pour analyser l'évolution de la tendance au fil du temps.
Les résultats semblent cohérents avec les travaux antérieurs, bien qu'ils indiquent une mise à l'échelle plus modérée du calcul d'entraînement.
Ils identifient notamment un temps de doublement de 18 mois entre 1952 et 2010, un temps de doublement de 6 mois entre 2010 et 2022, et une nouvelle tendance des modèles à grande échelle entre fin 2015 et 2022, qui a démarré de 2 à 3 ordres de grandeur. par rapport à la tendance précédente et affiche un temps de doublement de 10 mois.

Un aspect qu'ils n'ont pas couvert dans cet article est une autre ressource clé quantifiable utilisée pour former des modèles d'apprentissage automatique : les données. Ils examineront les tendances de la taille des ensembles de données et leur relation avec les tendances en matière de calcul dans les travaux futurs.