机器学习的三个时代和预测人工智能的未来

计算、数据和算法的进步是引导现代机器学习 (ML) 进步的三个基本因素。 研究人员研究了最容易量化的因素——计算的趋势。

他们展示 ：
在 2010 年之前，训练计算按照摩尔定律增长，大约每 20 个月翻一番。

深度学习始于 2010 年代初，训练计算的扩展速度加快，大约每 6 个月翻一番。

2015 年末，随着公司开发大规模 ML 模型，对训练计算的要求提高了 10 到 100 倍，出现了一种新趋势。

基于这些观察，他们将 ML 计算的历史分为三个时代：深度学习前时代、深度学习时代和大规模时代。 总体而言，这项工作突出了训练高级 ML 系统的快速增长的计算需求。

随着时间的推移，他们对里程碑式 ML 模型的计算需求进行了详细调查。 他们做出以下贡献：
1. 他们策划了一个包含 123 个里程碑机器学习系统的数据集，并用训练它们所需的计算进行了注释。
2. 他们从三个不同的时代初步构建了计算的趋势：前深度学习时代、深度学习时代和大规模时代。 他们提供了在每个时代的倍增时间的估计。
3. 他们在一系列附录中广泛检查了他们的结果，讨论了数据的替代解释，以及与以前工作的差异

他们通过管理具有 100 多个里程碑式 ML 系统的训练计算数据集来研究计算趋势，并使用这些数据来分析趋势如何随着时间的推移而增长。
这些发现似乎与之前的工作一致，尽管它们表明训练计算的扩展更为适度。
特别是，他们确定了 18 年至 1952 年之间 2010 个月的倍增时间，6 年至 2010 年之间的 2022 个月倍增时间，以及 2015 年末至 2022 年之间大型模型的新趋势，开始 2 到 3 个数量级超过之前的趋势并显示 10 个月的倍增时间。

他们在本文中没有涉及的一个方面是用于训练机器学习模型的另一个关键可量化资源——数据。 他们将关注数据集大小的趋势以及它们与未来工作中计算趋势的关系。