Los avances informáticos, de datos y algorítmicos son los tres factores fundamentales que guían el progreso del aprendizaje automático (ML) moderno. Los investigadores estudiaron las tendencias en el factor más fácilmente cuantificable: la computación.
Ellos enseñan :
antes de 2010, el cómputo de entrenamiento creció de acuerdo con la ley de Moore, duplicándose aproximadamente cada 20 meses.
Deep Learning comenzó a principios de la década de 2010 y la escala de la informática de entrenamiento se ha acelerado, duplicándose aproximadamente cada 6 meses.
A fines de 2015, surgió una nueva tendencia a medida que las empresas desarrollaron modelos de ML a gran escala con requisitos de 10 a 100 veces mayores en el cómputo de entrenamiento.
Con base en estas observaciones, dividieron la historia de la computación en ML en tres eras: la era anterior al aprendizaje profundo, la era del aprendizaje profundo y la era a gran escala. En general, el trabajo destaca los requisitos de cómputo de rápido crecimiento para entrenar sistemas avanzados de ML.
Han investigado detalladamente la demanda de cómputo de los modelos de aprendizaje automático de hitos a lo largo del tiempo. Realizan las siguientes aportaciones:
1. Seleccionan un conjunto de datos de 123 sistemas de aprendizaje automático hitos, anotados con el cálculo que se necesitó para entrenarlos.
2. Enmarcan tentativamente las tendencias en computación en términos de tres eras distintas: la era anterior al aprendizaje profundo, la era del aprendizaje profundo y la era a gran escala. Ofrecen estimaciones de los tiempos de duplicación durante cada una de estas eras.
3. Verifican extensamente sus resultados en una serie de apéndices, discutiendo interpretaciones alternativas de los datos y diferencias con trabajos previos.
Estudiaron las tendencias en computación seleccionando un conjunto de datos de computación de entrenamiento con más de 100 sistemas de ML hitos y usaron estos datos para analizar cómo ha crecido la tendencia con el tiempo.
Los hallazgos parecen consistentes con trabajos previos, aunque indican una escala más moderada del cómputo de entrenamiento.
En particular, identifican un tiempo de duplicación de 18 meses entre 1952 y 2010, un tiempo de duplicación de 6 meses entre 2010 y 2022, y una nueva tendencia de modelos a gran escala entre finales de 2015 y 2022, que comenzó de 2 a 3 órdenes de magnitud. sobre la tendencia anterior y muestra un tiempo de duplicación de 10 meses.
Un aspecto que no han cubierto en este artículo es otro recurso cuantificable clave que se utiliza para entrenar modelos de aprendizaje automático: los datos. En el trabajo futuro, observarán las tendencias en el tamaño del conjunto de datos y su relación con las tendencias en la computación.
Brian Wang es un líder de pensamiento futurista y un popular bloguero de ciencia con 1 millón de lectores al mes. Su blog Nextbigfuture.com ocupa el puesto número 1 en blogs de noticias científicas. Cubre muchas tecnologías y tendencias disruptivas que incluyen espacio, robótica, inteligencia artificial, medicina, biotecnología antienvejecimiento y nanotecnología.
Conocido por identificar tecnologías de vanguardia, actualmente es cofundador de una startup y recaudadora de fondos para empresas de alto potencial en etapa inicial. Es el jefe de investigación de asignaciones para inversiones en tecnología profunda y un inversor ángel en Space Angels.
Orador frecuente en corporaciones, ha sido orador de TEDx, orador de Singularity University e invitado en numerosas entrevistas para radio y podcasts. Está abierto a participar en conferencias públicas y asesoramiento.
