A számítási, az adatok és az algoritmus fejlődése a három alapvető tényező, amely irányítja a modern gépi tanulás (ML) fejlődését. A kutatók a legkönnyebben számszerűsíthető tényező – a számítás – trendjeit tanulmányozták.
Megmutatják :
2010 előtt a képzési számítások száma a Moore-törvénynek megfelelően nőtt, és nagyjából 20 havonta megduplázódott.
A Deep Learning a 2010-es évek elején indult, és a képzési számítások skálázása felgyorsult, körülbelül 6 havonta megduplázódik.
2015 végén egy új trend jelent meg, amikor a cégek nagyszabású ML modelleket fejlesztettek ki, amelyek 10-100-szor nagyobb követelményeket támasztanak a képzési számítások terén.
Ezekre a megfigyelésekre alapozva három korszakra osztották fel az ML számítási történetét: a Pre Deep Learning Era, a Deep Learning Era és a Large-Scale Era. Összességében a munka rávilágít a fejlett ML-rendszerek képzésének gyorsan növekvő számítási követelményeire.
Részletesen megvizsgálták a mérföldkőnek számító ML-modellek számítási igényét az idő múlásával. A következő hozzájárulásokat adják:
1. Összeállítanak egy 123 mérföldkőnek számító gépi tanulási rendszerből álló adatkészletet, amelyhez a betanításukhoz szükséges számítási adatok vannak ellátva.
2. A számítási trendeket feltételesen három különálló korszakban határozzák meg: a mélytanulás előtti korszakban, a mélytanulási korszakban és a nagyléptékű korszakban. Becsléseket kínálnak az egyes korszakok megduplázódási idejére vonatkozóan.
3. Eredményeiket részletesen ellenőrzik egy sor függelékben, megvitatva az adatok alternatív értelmezéseit és a korábbi munkákkal való eltéréseket
Tanulmányozták a számítási trendeket úgy, hogy több mint 100 mérföldkőhöz kötött ML-rendszerrel összeállítottak egy képzési számítási adatkészletet, és ezen adatok segítségével elemezték, hogyan nőtt a trend az idők során.
Az eredmények összhangban állnak a korábbi munkákkal, bár a képzési számítás mérsékeltebb skálázására utalnak.
Konkrétan 18 és 1952 között 2010 hónapos duplázódási időt, 6 és 2010 között 2022 hónapos duplázódási időt, valamint 2015 vége és 2022 között a nagyméretű modellek új trendjét azonosítják, amely 2-3 nagyságrenddel indult. az előző trendhez képest, és 10 hónapos megduplázódási időt mutat.
Az egyik szempont, amellyel ebben a cikkben nem foglalkoztak, egy másik kulcsfontosságú számszerűsíthető erőforrás, amelyet a gépi tanulási modellek betanításához használnak – az adatok. A jövőbeni munkájuk során megvizsgálják az adatkészlet méretének trendjeit és azok kapcsolatát a számítási trendekkel.
Brian Wang futurista gondolatvezető és népszerű tudományos blogger, havi 1 millió olvasóval. Blogja a Nextbigfuture.com a Science News Blog első helyén van. Számos zavaró technológiát és trendet fed le, beleértve az űrt, a robotikát, a mesterséges intelligenciát, az orvostudományt, az öregedésgátló biotechnológiát és a nanotechnológiát.
A legmodernebb technológiák azonosításáról ismert, jelenleg társalapítója a nagy potenciállal rendelkező korai stádiumú cégek indításának és adománygyűjtésének. Ő a mélytechnológiai beruházások elosztásának kutatási vezetője és egy angyalbefektető a Space Angels -nél.
A vállalatok gyakori előadója, volt TEDx -előadó, a Szingularitás Egyetem előadója és számos rádió- és podcast -interjú vendége. Nyitott a nyilvános beszédre és tanácsadásra.
