컴퓨팅, 데이터 및 알고리즘의 발전은 현대 머신러닝(ML)의 발전을 이끄는 세 가지 기본 요소입니다. 연구원들은 가장 쉽게 수량화할 수 있는 요소인 컴퓨팅의 경향을 연구했습니다.
그들은 보여줍니다 :
2010년 이전에는 훈련 컴퓨팅이 무어의 법칙에 따라 성장하여 대략 20개월마다 두 배로 증가했습니다.
딥 러닝은 2010년대 초에 시작되었으며 훈련 컴퓨팅의 확장이 가속화되어 약 6개월마다 두 배로 증가합니다.
2015년 말, 기업이 훈련 컴퓨팅에서 요구 사항이 10~100배 더 큰 대규모 ML 모델을 개발하면서 새로운 추세가 나타났습니다.
이러한 관찰을 기반으로 ML 컴퓨팅의 역사를 Pre Deep Learning 시대, Deep Learning 시대 및 대규모 시대의 세 가지 시대로 나눕니다. 전반적으로 이 작업은 고급 ML 시스템 교육을 위해 빠르게 증가하는 컴퓨팅 요구 사항을 강조합니다.
시간 경과에 따른 마일스톤 ML 모델의 컴퓨팅 수요에 대해 자세히 조사했습니다. 그들은 다음과 같은 기여를 합니다.
1. 그들은 123개의 이정표 머신 러닝 시스템의 데이터 세트를 선별하고 훈련에 소요된 계산으로 주석을 달았습니다.
2. 그들은 세 가지 별개의 시대, 즉 Pre Deep Learning 시대, Deep Learning 시대 및 대규모 시대의 관점에서 컴퓨팅 트렌드를 잠정적으로 구성합니다. 그들은 이러한 각 시대의 배가 시간에 대한 추정치를 제공합니다.
3. 일련의 부록에서 결과를 광범위하게 확인하고 데이터의 대체 해석 및 이전 작업과의 차이점에 대해 논의합니다.
그들은 100개 이상의 마일스톤 ML 시스템으로 훈련 컴퓨팅 데이터 세트를 선별하여 컴퓨팅 트렌드를 연구하고 이 데이터를 사용하여 시간이 지남에 따라 트렌드가 어떻게 성장했는지 분석했습니다.
결과는 이전 작업과 일치하는 것처럼 보이지만 훈련 컴퓨팅의 더 적당한 확장을 나타냅니다.
특히, 그들은 18년에서 1952년 사이의 2010개월의 배가 시간, 6년과 2010년 사이의 2022개월의 배가 시간, 2015년 후반과 2022년 사이에 2~3배의 규모로 시작된 대규모 모델의 새로운 추세를 식별합니다. 이전 추세를 넘어서 10개월의 두 배 시간을 표시합니다.
이 기사에서 다루지 않은 한 가지 측면은 기계 학습 모델을 훈련하는 데 사용되는 또 다른 주요 정량화 가능한 리소스인 데이터입니다. 그들은 데이터 세트 크기의 추세와 향후 작업에서 컴퓨팅 추세와의 관계를 살펴볼 것입니다.
Brian Wang은 미래파 사상가이자 월 1만 명의 독자를 보유한 인기 있는 과학 블로거입니다. 그의 블로그 Nextbigfuture.com은 #1 과학 뉴스 블로그로 선정되었습니다. 우주, 로봇 공학, 인공 지능, 의학, 노화 방지 생명 공학 및 나노 기술을 포함한 많은 파괴적인 기술과 트렌드를 다룹니다.
최첨단 기술을 식별하는 것으로 알려진 그는 현재 스타트업의 공동 창립자이자 잠재력이 높은 초기 단계 기업을 위한 기금 마련자입니다. 그는 심층 기술 투자를 위한 할당 연구 책임자이자 Space Angels의 Angel Investor입니다.
기업에서 자주 연사로 활동하는 그는 TEDx 연사, Singularity University 연사 및 라디오 및 팟캐스트의 수많은 인터뷰 게스트였습니다. 그는 공개 연설과 약혼 자문에 개방적입니다.
