Розвиток обчислень, даних і алгоритмів є трьома основними факторами, які керують прогресом сучасного машинного навчання (ML). Дослідники вивчали тенденції в найлегшому кількісно визначеному факторі – обчисленні.
Вони показують:
до 2010 року обсяг навчальних обчислень зростав відповідно до закону Мура, подвоюючи приблизно кожні 20 місяців.
Поглиблене навчання почалося на початку 2010-х років, і масштабування навчальних обчислень прискорилося, подвоюючи приблизно кожні 6 місяців.
Наприкінці 2015 року з’явилася нова тенденція, оскільки фірми розробили масштабні моделі ML із 10–100-кратно більшими вимогами до навчальних обчислень.
На основі цих спостережень вони розділили історію обчислень у машинному обчисленні на три епохи: епоху перед глибоким навчанням, епоху глибокого навчання та епоху великого масштабу. Загалом, робота підкреслює швидко зростаючі вимоги до обчислень для навчання передових систем машинного навчання.
Вони детально дослідили потреби в обчисленнях етапних моделей машинного навчання з часом. Вони роблять такі внески:
1. Вони курують набір даних із 123 ключових систем машинного навчання, доповнених обчисленнями, які знадобилися для їхнього навчання.
2. Вони орієнтовно об’єднують тенденції в обчислювальній техніці за трьома різними епохами: ера перед глибоким навчанням, ера глибокого навчання та ера великого масштабу. Вони пропонують оцінки часу подвоєння протягом кожної з цих ер.
3. Вони детально перевіряють свої результати в серії додатків, обговорюючи альтернативні інтерпретації даних і розбіжності з попередньою роботою
Вони досліджували тенденції в обчисленнях, куруючи набір даних тренувальних обчислень із понад 100 ключовими системами машинного навчання та використовували ці дані, щоб проаналізувати, як ця тенденція зростала з часом.
Висновки, здається, узгоджуються з попередньою роботою, хоча вони вказують на більш помірне масштабування навчальних обчислень.
Зокрема, вони ідентифікують 18-місячний час подвоєння між 1952 і 2010 роками, 6-місячний час подвоєння між 2010 і 2022 роками та нову тенденцію великомасштабних моделей між кінцем 2015 і 2022 роками, яка почалася на 2-3 порядках величини. над попереднім трендом і відображає час подвоєння за 10 місяців.
Одним з аспектів, який вони не розглянули в цій статті, є інший ключовий кількісно вимірний ресурс, який використовується для навчання моделей машинного навчання — дані. У майбутній роботі вони розглядатимуть тенденції у розмірі набору даних та їхній зв’язок із тенденціями в обчисленнях.
Брайан Ванг - лідер думок футуристів та популярний науковий блогер із 1 мільйоном читачів на місяць. Його блог Nextbigfuture.com посідає перше місце у блозі «Наукові новини». Він охоплює багато руйнівних технологій та тенденцій, включаючи космос, робототехніку, штучний інтелект, медицину, біотехнології проти старіння та нанотехнології.
Відомий тим, що визначає передові технології, в даний час він є співзасновником стартапу та збирання коштів для потенційних компаній на ранніх етапах. Він є керівником досліджень з питань розподілу інвестицій у глибокі технології та інвестором -ангелом у Space Angels.
Частий доповідач у корпораціях, він був спікером TEDx, спікером Університету Сингулярності та гостем у численних інтерв'ю для радіо та подкастів. Він відкритий для публічних виступів та консультування.
