Computação, dados e avanços algorítmicos são os três fatores fundamentais que orientam o progresso do Machine Learning (ML) moderno. Os pesquisadores estudaram tendências no fator mais prontamente quantificado – computação.
Eles mostram :
antes de 2010, a computação de treinamento cresceu de acordo com a lei de Moore, dobrando aproximadamente a cada 20 meses.
O Deep Learning começou no início de 2010 e o dimensionamento da computação de treinamento acelerou, dobrando aproximadamente a cada 6 meses.
No final de 2015, uma nova tendência surgiu à medida que as empresas desenvolveram modelos de ML em larga escala com requisitos 10 a 100 vezes maiores em computação de treinamento.
Com base nessas observações, eles dividiram a história da computação em ML em três eras: a Era Pré Deep Learning, a Era Deep Learning e a Era Large-Scale. No geral, o trabalho destaca os requisitos de computação em rápido crescimento para treinamento de sistemas avançados de ML.
Eles têm uma investigação detalhada sobre a demanda de computação de modelos de ML de marco ao longo do tempo. Eles fazem as seguintes contribuições:
1. Eles selecionam um conjunto de dados de 123 sistemas de aprendizado de máquina de marco, anotados com a computação necessária para treiná-los.
2. Eles provisoriamente enquadram as tendências da computação em termos de três eras distintas: a Era Pré Deep Learning, a Era Deep Learning e a Era Large-Scale. Eles oferecem estimativas dos tempos de duplicação durante cada uma dessas eras.
3. Eles verificam extensivamente seus resultados em uma série de apêndices, discutindo interpretações alternativas dos dados e diferenças com trabalhos anteriores
Eles estudaram tendências em computação selecionando um conjunto de dados de computação de treinamento com mais de 100 sistemas de ML de marco e usaram esses dados para analisar como a tendência cresceu ao longo do tempo.
As descobertas parecem consistentes com trabalhos anteriores, embora indiquem uma escala mais moderada da computação de treinamento.
Em particular, eles identificam um tempo de duplicação de 18 meses entre 1952 e 2010, um tempo de duplicação de 6 meses entre 2010 e 2022 e uma nova tendência de modelos em grande escala entre o final de 2015 e 2022, que começou em 2 a 3 ordens de magnitude sobre a tendência anterior e exibe um tempo de duplicação de 10 meses.
Um aspecto que eles não abordaram neste artigo é outro recurso quantificável chave usado para treinar modelos de Machine Learning — dados. Eles estarão analisando as tendências no tamanho do conjunto de dados e sua relação com as tendências de computação em trabalhos futuros.
Brian Wang é um líder de pensamento futurista e um blogueiro de ciência popular com 1 milhão de leitores por mês. Seu blog Nextbigfuture.com é classificado como # 1 Science News Blog. Abrange muitas tecnologias e tendências disruptivas, incluindo Espaço, Robótica, Inteligência Artificial, Medicina, Biotecnologia Anti-envelhecimento e Nanotecnologia.
Conhecido por identificar tecnologias de ponta, ele atualmente é cofundador de uma startup e arrecadação de fundos para empresas em estágio inicial de alto potencial. Ele é o chefe de pesquisa de alocações para investimentos em tecnologia profunda e um investidor anjo da Space Angels.
Um palestrante frequente em empresas, ele foi um palestrante TEDx, um palestrante da Singularity University e convidado em várias entrevistas para rádio e podcasts. Ele está aberto para falar em público e aconselhar compromissos.
