機械学習の XNUMX つの時代と AI の未来の予測

コンピューティング、データ、アルゴリズムの進歩は、最新の機械学習 (ML) の進歩を導く XNUMX つの基本的な要素です。 研究者は、最も簡単に定量化できる要因であるコンピューティングの傾向を調査しました。

彼らは示しています：
2010 年以前は、トレーニング コンピューティングはムーアの法則に従って増加し、20 か月ごとに約 XNUMX 倍になりました。

ディープ ラーニングは 2010 年代初頭に始まり、トレーニング コンピューティングのスケーリングは加速し、6 か月ごとに約 XNUMX 倍になっています。

2015 年後半、企業がトレーニング コンピューティングで 10 倍から 100 倍の要件を持つ大規模な ML モデルを開発したため、新しい傾向が現れました。

これらの観察に基づいて、彼らは ML のコンピューティングの歴史を XNUMX つの時代に分けました。ディープ ラーニング以前の時代、ディープ ラーニングの時代、大規模な時代です。 全体として、この作業は、高度な ML システムをトレーニングするためのコンピューティング要件が急速に増大していることを浮き彫りにしています。

彼らは、マイルストーン ML モデルのコンピューティング需要について、時間の経過に伴う詳細な調査を行いました。 彼らは次の貢献をしています。
1. 彼らは、123 のマイルストーン機械学習システムのデータセットをキュレートし、それらをトレーニングするためにかかった計算で注釈を付けます。
2. 彼らは、コンピューティングのトレンドを XNUMX つの異なる時代 (深層学習以前の時代、深層学習の時代、大規模時代) の観点から暫定的にまとめています。 彼らは、これらの各時代の倍加時間の見積もりを提供しています。
3. 彼らは一連の付録で結果を広範囲にチェックし、データの別の解釈や以前の研究との違いについて議論している

彼らは、100 を超えるマイルストーン ML システムを使用してトレーニング コンピューティングのデータセットをキュレーションすることにより、コンピューティングの傾向を調査し、このデータを使用して傾向が時間の経過とともにどのように成長したかを分析しました。
調査結果は以前の研究と一致しているように見えますが、トレーニング コンピューティングのスケーリングがより緩やかであることを示しています。
特に、彼らは、18 年から 1952 年までの 2010 か月の倍加時間、6 年から 2010 年までの 2022 か月の倍加時間、および 2015 年後半から 2022 年までの大規模モデルの新しい傾向を特定し、2 ～ 3 桁の規模で開始しました。前のトレンドを上回り、10 か月の倍加時間を表示します。

この記事で取り上げていない側面の XNUMX つは、機械学習モデルのトレーニングに使用されるもう XNUMX つの重要な定量化可能なリソース、つまりデータです。 今後の作業では、データセット サイズの傾向とコンピューティングの傾向との関係を調べます。