Вычисления, данные и алгоритмические достижения — три фундаментальных фактора, определяющих развитие современного машинного обучения (МО). Исследователи изучили тенденции в наиболее легко поддающемся количественной оценке факторе — вычислении.
Они показывают :
до 2010 года вычислительные ресурсы для обучения росли в соответствии с законом Мура, удваиваясь примерно каждые 20 месяцев.
Глубокое обучение началось в начале 2010-х годов, и масштабирование обучающих вычислений ускорилось, удваиваясь примерно каждые 6 месяцев.
В конце 2015 года появилась новая тенденция, когда фирмы разрабатывали крупномасштабные модели машинного обучения с в 10–100 раз более высокими требованиями к вычислительным ресурсам для обучения.
Основываясь на этих наблюдениях, они разделили историю вычислений в машинном обучении на три эпохи: эру до глубокого обучения, эру глубокого обучения и эру крупномасштабных вычислений. В целом работа подчеркивает быстрорастущие требования к вычислительным ресурсам для обучения передовых систем машинного обучения.
Они подробно изучили требования к вычислительным ресурсам ключевых моделей машинного обучения с течением времени. Они вносят следующие вклады:
1. Они курируют набор данных из 123 важных систем машинного обучения, аннотированных с вычислениями, которые потребовались для их обучения.
2. Они ориентировочно определяют тенденции в вычислительной технике с точки зрения трех отдельных эпох: эпохи до глубокого обучения, эпохи глубокого обучения и эпохи крупномасштабных вычислений. Они предлагают оценки времени удвоения в каждую из этих эпох.
3. Они тщательно проверяют свои результаты в ряде приложений, обсуждая альтернативные интерпретации данных и различия с предыдущей работой.
Они изучили тенденции в области вычислений, собрав набор данных обучающих вычислений с более чем 100 вехами систем машинного обучения, и использовали эти данные для анализа того, как эта тенденция росла с течением времени.
Результаты кажутся согласующимися с предыдущей работой, хотя они указывают на более умеренное масштабирование тренировочных вычислений.
В частности, они определяют 18-месячное время удвоения между 1952 и 2010 годами, 6-месячное время удвоения между 2010 и 2022 годами и новую тенденцию крупномасштабных моделей между концом 2015 и 2022 годами, которая началась на 2-3 порядка величины. над предыдущей тенденцией и показывает 10-месячное время удвоения.
Один аспект, который они не рассмотрели в этой статье, — это другой ключевой количественный ресурс, используемый для обучения моделей машинного обучения — данные. В своей будущей работе они будут изучать тенденции изменения размера наборов данных и их взаимосвязь с тенденциями вычислительных ресурсов.
Брайан Ван - идейный лидер футуризма и популярный научный блоггер с 1 миллионом читателей в месяц. Его блог Nextbigfuture.com занимает первое место среди новостных научных блогов. Он охватывает многие прорывные технологии и тенденции, включая космос, робототехнику, искусственный интеллект, медицину, биотехнологию против старения и нанотехнологии.
Известный тем, что выявляет передовые технологии, он в настоящее время является соучредителем стартапа и сборщиком средств для компаний с высоким потенциалом на ранней стадии. Он является руководителем отдела исследований ассигнований на инвестиции в глубокие технологии и ангел-инвестором в Space Angels.
Часто выступая в корпорациях, он был спикером TEDx, спикером Университета сингулярности и гостем на многочисленных интервью для радио и подкастов. Он открыт для публичных выступлений и консультирования.
