Những tiến bộ về điện toán, dữ liệu và thuật toán là ba yếu tố cơ bản định hướng cho sự phát triển của Machine Learning (ML) hiện đại. Các nhà nghiên cứu đã nghiên cứu các xu hướng trong yếu tố dễ định lượng nhất – máy tính.
Họ cho thấy :
trước năm 2010, máy tính đào tạo đã tăng trưởng theo định luật Moore, tăng gấp đôi sau mỗi 20 tháng.
Deep Learning bắt đầu vào đầu những năm 2010 và quy mô của máy tính đào tạo đã tăng tốc, tăng khoảng gấp đôi sau mỗi 6 tháng.
Vào cuối năm 2015, một xu hướng mới đã xuất hiện khi các công ty phát triển các mô hình ML quy mô lớn với yêu cầu lớn hơn từ 10 đến 100 lần trong tính toán đào tạo.
Dựa trên những quan sát này, họ chia lịch sử điện toán trong ML thành ba kỷ nguyên: Kỷ nguyên Pre Deep Learning, Kỷ nguyên Học sâu và Kỷ nguyên Quy mô lớn . Nhìn chung, công việc nêu bật các yêu cầu tính toán đang tăng nhanh để đào tạo các hệ thống ML nâng cao.
Họ đã điều tra chi tiết về nhu cầu tính toán của các mô hình ML quan trọng theo thời gian. Họ có những đóng góp sau:
1. Họ sắp xếp một bộ dữ liệu gồm 123 hệ thống Machine Learning quan trọng, được chú thích bằng phép tính cần thiết để đào tạo chúng.
2. Họ dự kiến đóng khung các xu hướng điện toán theo ba thời đại riêng biệt: Kỷ nguyên Tiền học sâu , Kỷ nguyên Học sâu và Kỷ nguyên Quy mô lớn . Họ đưa ra ước tính về thời gian nhân đôi trong mỗi thời đại này.
3. Họ kiểm tra rộng rãi kết quả của mình trong một loạt các phụ lục, thảo luận về các cách giải thích khác nhau về dữ liệu và sự khác biệt với công việc trước đó
Họ đã nghiên cứu các xu hướng trong điện toán bằng cách quản lý một bộ dữ liệu về điện toán đào tạo với hơn 100 hệ thống ML quan trọng và sử dụng dữ liệu này để phân tích xu hướng đã phát triển như thế nào theo thời gian.
Các phát hiện có vẻ phù hợp với công việc trước đây, mặc dù chúng cho thấy quy mô tính toán đào tạo vừa phải hơn.
Cụ thể, họ xác định thời gian nhân đôi 18 tháng từ năm 1952 đến năm 2010, thời gian nhân đôi 6 tháng từ năm 2010 đến năm 2022 và xu hướng mới của các mô hình quy mô lớn từ cuối năm 2015 đến năm 2022, bắt đầu từ 2 đến 3 bậc độ lớn. so với xu hướng trước đó và hiển thị thời gian nhân đôi là 10 tháng.
Một khía cạnh mà họ chưa đề cập đến trong bài viết này là một nguồn tài nguyên quan trọng khác có thể định lượng được sử dụng để đào tạo các mô hình Học máy - dữ liệu. Họ sẽ xem xét các xu hướng về kích thước tập dữ liệu và mối quan hệ của chúng với các xu hướng tính toán trong công việc trong tương lai.
Brian Wang là một nhà lãnh đạo tư tưởng theo chủ nghĩa tương lai và là một blogger Khoa học nổi tiếng với 1 triệu độc giả mỗi tháng. Blog của anh ấy Nextbigfuture.com được xếp hạng # 1 Blog Tin tức Khoa học. Nó bao gồm nhiều công nghệ và xu hướng đột phá bao gồm Không gian, Người máy, Trí tuệ nhân tạo, Y học, Công nghệ sinh học chống lão hóa và Công nghệ nano.
Được biết đến với việc xác định các công nghệ tiên tiến, anh hiện là Đồng sáng lập của một công ty khởi nghiệp và gây quỹ cho các công ty giai đoạn đầu tiềm năng cao. Ông là Trưởng bộ phận Nghiên cứu Phân bổ cho các khoản đầu tư công nghệ sâu và là Nhà đầu tư Thiên thần tại Space Angels.
Là một diễn giả thường xuyên tại các tập đoàn, anh ấy đã từng là diễn giả của TEDx, diễn giả của Đại học Singularity và là khách mời trong nhiều cuộc phỏng vấn cho đài phát thanh và podcast. Anh ấy sẵn sàng nói trước công chúng và tư vấn cho các cam kết.
