Drei Epochen des maschinellen Lernens und Vorhersage der Zukunft der KI

Rechen-, Daten- und algorithmische Fortschritte sind die drei grundlegenden Faktoren, die den Fortschritt des modernen maschinellen Lernens (ML) bestimmen. Die Forscher untersuchten Trends beim am einfachsten quantifizierbaren Faktor – der Berechnung.

Sie zeigen :
Vor 2010 wuchs die Trainingsberechnung im Einklang mit dem Mooreschen Gesetz und verdoppelte sich ungefähr alle 20 Monate.

Deep Learning begann in den frühen 2010er Jahren und die Skalierung der Trainingscomputer hat sich beschleunigt und verdoppelt sich etwa alle 6 Monate.

Ende 2015 zeichnete sich ein neuer Trend ab, als Unternehmen groß angelegte ML-Modelle mit 10- bis 100-fach höheren Anforderungen an die Trainingsberechnung entwickelten.

Basierend auf diesen Beobachtungen teilten sie die Geschichte der Computerverarbeitung in ML in drei Epochen auf: die Ära vor dem Deep Learning, die Ära des Deep Learning und die Ära des großen Maßstabs. Insgesamt unterstreicht die Arbeit die schnell wachsenden Rechenanforderungen für das Training fortschrittlicher ML-Systeme.

Sie haben den Rechenbedarf von Meilenstein-ML-Modellen im Laufe der Zeit detailliert untersucht. Sie leisten folgende Beiträge:
1. Sie kuratieren einen Datensatz von 123 Meilenstein-Systemen für maschinelles Lernen, kommentiert mit der Rechenleistung, die zum Trainieren erforderlich war.
2. Sie rahmen die Trends in der Datenverarbeitung vorläufig in drei verschiedene Epochen ein: die Ära vor dem Deep Learning, die Ära des Deep Learning und die Ära des großen Maßstabs. Sie bieten Schätzungen der Verdopplungszeiten während jeder dieser Epochen.
3. Sie überprüfen ihre Ergebnisse ausführlich in einer Reihe von Anhängen und diskutieren alternative Interpretationen der Daten und Unterschiede zu früheren Arbeiten

Sie untersuchten Computertrends, indem sie einen Datensatz von Trainingscomputern mit mehr als 100 Meilenstein-ML-Systemen kuratierten und diese Daten verwendeten, um zu analysieren, wie sich der Trend im Laufe der Zeit entwickelt hat.
Die Ergebnisse scheinen mit früheren Arbeiten übereinzustimmen, obwohl sie auf eine moderatere Skalierung der Trainingsberechnung hindeuten.
Insbesondere identifizieren sie eine 18-monatige Verdopplungszeit zwischen 1952 und 2010, eine 6-monatige Verdopplungszeit zwischen 2010 und 2022 und einen neuen Trend von Großmodellen zwischen Ende 2015 und 2022, der bei 2 bis 3 Größenordnungen begann über dem vorherigen Trend und zeigt eine Verdopplungszeit von 10 Monaten an.

Ein Aspekt, den sie in diesem Artikel nicht behandelt haben, ist eine weitere wichtige quantifizierbare Ressource, die zum Trainieren von Modellen für maschinelles Lernen verwendet wird – Daten. Sie werden sich in zukünftigen Arbeiten mit Trends bei der Größe von Datensätzen und deren Beziehung zu Trends bei der Datenverarbeitung befassen.