nghiên cứu Điện toán lượng tử vẫn còn cách xa một thập kỷ nữa trong hơn một thập kỷ nay, nhưng theo các chuyên gia trong ngành, nó có thể nắm giữ bí mật để kiềm chế sự thèm ăn vô độ của AI.
Mỗi tháng trôi qua, các mô hình lớn hơn, dày đặc tham số hơn lại xuất hiện và quy mô triển khai AI cũng mở rộng theo. Riêng trong năm nay, những công ty siêu quy mô như Meta, có kế hoạch triển khai hàng trăm ngàn máy gia tốc. Ngay cả người sáng lập OpenAI Sam Altman vẫn là thuyết phục chúng ta sẽ cần tính toán nhiều hơn theo cấp số nhân nếu muốn tiếp tục phát triển AI.
Do đó, không có gì ngạc nhiên khi với lần tuyển dụng mới nhất của mình, OpenAI sẽ đang phòng ngừa rủi ro khi đặt cược vào điện toán lượng tử nếu có thể. Tuần trước, gã khổng lồ AI đã bổ sung Ben Bartlett, cựu kiến trúc sư hệ thống lượng tử tại PsiQuantum vào hàng ngũ của mình.
Chúng tôi đã liên hệ với Open AI để tìm hiểu thêm về những gì Bartlett sẽ làm tại công ty khởi xướng xu hướng AI và chưa nhận được phản hồi. Tuy nhiên của anh ấy sinh học đưa ra một số gợi ý vì phần lớn nghiên cứu của anh ấy tập trung vào sự giao thoa giữa vật lý lượng tử, học máy và quang tử nano, và “về cơ bản bao gồm việc tôi thiết kế các đường đua nhỏ cho các photon để đánh lừa chúng thực hiện các phép tính hữu ích”
Vậy chính xác thì OpenAI có thể muốn gì ở một nhà vật lý lượng tử? Chà, có một số khả năng, từ sử dụng tối ưu hóa lượng tử để hợp lý hóa các tập dữ liệu đào tạo hoặc sử dụng các đơn vị xử lý lượng tử (QPU) để giảm tải cơ sở dữ liệu đồ thị phức tạp, cho đến sử dụng quang học để mở rộng quy mô vượt quá giới hạn của bao bì bán dẫn hiện đại.
Mạng lưới thần kinh chỉ là một vấn đề tối ưu hóa khác
Điện toán lượng tử có khả năng cải thiện đáng kể hiệu quả của việc đào tạo các mô hình AI lớn, cho phép chúng đưa ra câu trả lời chính xác hơn từ các mô hình có ít tham số hơn, Murray Thom của D-Wave nói Đăng ký.
Với GPT-4 được đồn đại là vượt quá một nghìn tỷ thông số, không khó để hiểu tại sao điều này có thể hấp dẫn. Không cần dùng đến lượng tử hóa và các chiến lược nén khác, các mô hình AI cần khoảng 1GB bộ nhớ cho mỗi tỷ tham số khi chạy ở độ chính xác FP8 hoặc Int8 và ở độ chính xác cao hơn, thậm chí nhiều hơn thế.
Một nghìn tỷ mô hình tham số đang tiến gần đến giới hạn mà một máy chủ AI có thể đáp ứng một cách hiệu quả. Nhiều máy chủ có thể được kết hợp với nhau để hỗ trợ các mô hình lớn hơn, nhưng việc rời khỏi hộp sẽ gây ra hiệu suất kém.
Và đó là ngày hôm nay. Và nếu Altman đúng thì những mô hình này sẽ ngày càng lớn hơn và phổ biến hơn. Do đó, bất kỳ công nghệ nào có thể cho phép OpenAI tăng khả năng của các mô hình của nó mà không tăng số lượng tham số một cách có ý nghĩa đều có thể giúp nó phát triển.
Trevor Lanting, Phó chủ tịch phần mềm và thuật toán của D-Wave cho biết: “Khi bạn đang đào tạo một mô hình, số lượng tham số đưa vào mô hình thực sự quyết định chi phí và độ phức tạp của việc đào tạo mô hình”. Đăng ký.
Ông giải thích, để giải quyết vấn đề này, các nhà phát triển thường sẽ chọn phụ các tính năng mà họ cho rằng sẽ quan trọng nhất để đào tạo mô hình cụ thể đó, từ đó làm giảm số lượng tham số cần thiết.
Nhưng thay vì cố gắng thực hiện điều này bằng các hệ thống thông thường, D-Wave chứng minh rằng các thuật toán tối ưu hóa lượng tử có thể hiệu quả hơn trong việc xác định những tính năng nào nên bỏ vào hoặc bỏ đi.
Nếu bạn chưa quen, các vấn đề tối ưu hóa, như những vấn đề thường thấy trong tìm đường hoặc hậu cần đã được chứng minh là một trong những ứng dụng hứa hẹn nhất của điện toán lượng tử cho đến nay.
Thom nói: “Điều mà máy tính lượng tử của chúng tôi thực sự giỏi là tối ưu hóa những thứ đang diễn ra hoặc không xảy ra: chẳng hạn như ai đó được giao một lịch trình cụ thể hoặc được giao một chuyến giao hàng cụ thể”. “Nếu những quyết định đó là độc lập thì điều đó sẽ ổn và máy tính cổ điển có thể dễ dàng thực hiện, nhưng chúng thực sự ảnh hưởng đến các tài nguyên khác trong nhóm và có một loại hiệu ứng mạng.”
Nói cách khác, thế giới thực rất lộn xộn. Có thể có nhiều phương tiện trên đường, đường bị đóng, sự kiện thời tiết, v.v. So với máy tính cổ điển, các thuộc tính độc đáo vốn có của máy tính lượng tử cho phép chúng khám phá đồng thời các yếu tố này để xác định lộ trình tốt nhất.
Điều này “hoàn toàn tương tự như một mạng lưới thần kinh trong đó các tế bào thần kinh kích hoạt hoặc không kích hoạt, và chúng có các kết nối khớp thần kinh với các tế bào thần kinh khác, điều này kích thích hoặc ức chế các tế bào thần kinh khác kích hoạt,” Thom giải thích.
Và điều này có nghĩa là các thuật toán lượng tử có thể được sử dụng để tối ưu hóa bộ dữ liệu đào tạo AI cho các yêu cầu cụ thể, mà khi được đào tạo sẽ mang lại một mô hình gọn gàng hơn, chính xác hơn, Lanting tuyên bố.
Lấy mẫu lượng tử và giảm tải
Về lâu dài, D-Wave và những người khác đang tìm cách triển khai QPU sâu hơn vào quá trình đào tạo.
Một trong những trường hợp sử dụng này liên quan đến việc áp dụng tính toán lượng tử vào việc lấy mẫu. Lấy mẫu đề cập đến cách các mô hình AI, như LLM, xác định từ tiếp theo, hay cụ thể hơn là mã thông báo, sẽ dựa trên phân bố xác suất. Đây là lý do tại sao người ta thường nói đùa rằng LLM chỉ tự động hoàn thành trên steroid.
“Phần cứng có khả năng tạo mẫu rất tốt và bạn có thể điều chỉnh mức phân phối để có thể điều chỉnh trọng số của các mẫu đó. Và những gì chúng tôi đang khám phá là: đây có phải là một cách tốt để thực sự đưa điện toán lượng tử ủ cứng và trực tiếp hơn vào khối lượng công việc đào tạo,” Lanting giải thích.
Công ty khởi nghiệp điện toán lượng tử Pasqal của Pháp cũng đang thử nghiệm áp dụng điện toán lượng tử để giảm tải các tập dữ liệu có cấu trúc đồ thị thường thấy trong mạng lưới thần kinh.
“Trong học máy không có cách nào thực sự đơn giản để biểu diễn dữ liệu theo cách cổ điển, bởi vì biểu đồ là một đối tượng phức tạp,” Đồng Giám đốc điều hành Pasqal Loïc Henriet giải thích trong một cuộc phỏng vấn với Đăng ký. “Bạn có thể nhúng dữ liệu có cấu trúc biểu đồ vào động lực lượng tử một cách tương đối tự nhiên, điều này mang lại một số cách mới để xử lý những phần dữ liệu đó”.
Tuy nhiên, trước khi đạt được điều này, các hệ lượng tử sẽ phải lớn hơn và nhanh hơn rất nhiều, Henriet giải thích.
Ông nói: “Các bộ dữ liệu lớn hiện không thực tế. “Đó là lý do tại sao chúng tôi đang tăng số lượng qubit; tỷ lệ lặp lại. Bởi vì với nhiều qubit hơn, bạn có thể nhúng nhiều dữ liệu hơn.”
Thật khó để nói rằng chúng ta sẽ phải đợi bao lâu trước khi mạng lưới thần kinh đồ thị lượng tử trở nên khả thi. Pasqal đã có hệ thống 10,000 qubit trong các tác phẩm. Thật không may, nghiên cứu cho thấy rằng ngay cả một hệ thống có 10,000 qubit sửa lỗi hoặc khoảng một triệu qubit vật lý cũng có thể không đủ để cạnh tranh với GPU hiện đại.
Một trò chơi quang tử silicon?
Ngoài các trường hợp sử dụng AI lượng tử kỳ lạ, còn có những công nghệ khác mà OpenAI có thể đang theo đuổi mà Bartlett tình cờ là một chuyên gia.
Đáng chú ý nhất là PsiQuantum, chủ cũ của Bartlett, đã phát triển các hệ thống dựa trên quang tử silicon. Điều này cho thấy việc thuê anh ta có thể liên quan đến OpenAI báo cáo làm việc trên một bộ tăng tốc AI tùy chỉnh.
Một số công ty khởi nghiệp về quang tử silicon, bao gồm Ayar Labs, Lightmatter và Celestial AI đã thúc đẩy công nghệ này như một phương tiện để vượt qua giới hạn băng thông, vốn đã trở thành yếu tố hạn chế nâng cao hiệu suất học máy.
Ý tưởng ở đây là bạn có thể đẩy nhiều dữ liệu đi một khoảng cách xa hơn bằng ánh sáng so với bằng tín hiệu điện thuần túy. Trong nhiều thiết kế kiểu này, ánh sáng thực sự được truyền đi bởi các thanh dẫn sóng được khắc vào silicon, nghe có vẻ rất giống “thiết kế các đường đua nhỏ cho các photon”.
Ánh sáng tin công nghệ này sẽ cho phép nhiều bộ tăng tốc hoạt động như một mà không phải chịu phạt về băng thông đối với dữ liệu rời khỏi chip. Trong khi đó Celestial nhìn thấy một Cơ hội để tăng đáng kể dung lượng bộ nhớ băng thông cao có sẵn cho GPU bằng cách loại bỏ nhu cầu đóng gói chung các mô-đun liền kề với khuôn tăng tốc. Cả hai khả năng này đều sẽ hấp dẫn đối với một công ty làm việc với hệ thống AI ở quy mô lớn.
Liệu OpenAI cuối cùng sẽ theo đuổi AI lượng tử hay quang tử silicon hay không vẫn còn phải xem, nhưng đối với một công ty mà người sáng lập không lạ gì với việc đầu tư dài hạn, đó sẽ không phải là điều kỳ lạ nhất mà Altman đã ủng hộ. ®
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://go.theregister.com/feed/www.theregister.com/2024/03/13/quantum_openai_hire/
- : có
- :là
- :không phải
- :Ở đâu
- $ LÊN
- 000
- 10
- 7
- a
- Giới thiệu
- gia tốc
- máy gia tốc
- chứa
- Theo
- chính xác
- đạt được
- thực sự
- thêm
- liền kề
- ảnh hưởng đến
- AI
- Mô hình AI
- Hệ thống AI
- Đào tạo AI
- trường hợp sử dụng ai
- thuật toán
- cho phép
- Cho phép
- cô đơn
- Đã
- Ngoài ra
- số lượng
- an
- và
- Một
- câu trả lời
- bất kì
- xuất hiện
- cảm giác ngon miệng
- các ứng dụng
- Nộp đơn
- LÀ
- xung quanh
- AS
- qua một bên
- giao
- At
- hấp dẫn
- thuộc tính
- có sẵn
- xa
- trở lại
- được hậu thuẫn
- Băng thông
- dựa
- Về cơ bản
- BE
- bởi vì
- trở nên
- được
- trước
- được
- ben
- BEST
- Đặt cược
- giữa
- Ngoài
- lớn hơn
- Tỷ
- cả hai
- Hộp
- nhưng
- by
- CAN
- khả năng
- khả năng
- thực hiện
- trường hợp
- trường hợp
- cơ hội
- Chip
- tuyên bố
- CO
- Đồng Giám đốc điều hành
- Đến
- thông thường
- công ty
- so
- hoàn toàn
- phức tạp
- phức tạp
- tính toán
- Tính
- máy tính
- máy tính
- máy tính
- Kết nối
- bao gồm
- thông thường
- Phí Tổn
- có thể
- tính
- Couple
- kiềm chế
- khách hàng
- D-Sóng
- dữ liệu
- bộ dữ liệu
- cơ sở dữ liệu
- bộ dữ liệu
- thập kỷ
- quyết định
- sâu sắc hơn
- giao hàng
- triển khai
- lấy được
- thiết kế
- thiết kế
- Xác định
- xác định
- phát triển
- phát triển
- phát triển
- Die
- trực tiếp
- khoảng cách
- phân phối
- do
- làm
- quyết liệt
- ổ đĩa
- động lực
- mỗi
- dễ dàng
- hiệu lực
- Hiệu quả
- hiệu quả
- hiệu quả
- hay
- loại bỏ
- nhúng
- đủ
- Ngay cả
- sự kiện
- Mỗi
- chính xác
- dư thừa
- Mở rộng
- chuyên gia
- các chuyên gia
- Giải thích
- Giải thích
- khám phá
- Khám phá
- theo hàm mũ
- yếu tố
- các yếu tố
- quen
- xa
- nhanh hơn
- Tính năng
- ít hơn
- Tìm kiếm
- tìm kiếm
- cuối
- bắn
- tập trung
- Trong
- Cựu
- Ra
- tìm thấy
- người sáng lập
- từ
- chức năng
- xa hơn
- được
- Cho
- cho
- Go
- đi
- tốt
- GPU
- đồ thị
- Hướng dẫn
- Xảy ra
- xảy ra
- Cứng
- phần cứng
- Có
- trú ẩn
- he
- nghe
- bảo hiểm rủi ro
- tại đây
- cao hơn
- gợi ý
- Thuê
- của mình
- tổ chức
- Độ đáng tin của
- Tuy nhiên
- HTTPS
- Hàng trăm
- ý tưởng
- xác định
- if
- thực hiện
- quan trọng
- nâng cao
- in
- Bao gồm
- Tăng lên
- tăng
- độc lập
- ngành công nghiệp
- chuyên gia ngành
- vốn có
- ngã tư
- Phỏng vấn
- trong
- Đầu Tư
- liên quan đến
- IT
- ITS
- jpg
- chỉ
- nhãn
- Phòng thí nghiệm
- lớn
- lớn hơn
- Họ
- mới nhất
- học tập
- Rời bỏ
- để lại
- cho phép
- ánh sáng
- Lượt thích
- hạn chế
- giới hạn
- ít
- ll
- hậu cần
- dài
- còn
- tìm kiếm
- Rất nhiều
- máy
- học máy
- LÀM CHO
- Làm
- nhiều
- lớn
- Có thể..
- me
- có nghĩa
- Trong khi đó
- Bộ nhớ
- Siêu dữ liệu
- Might
- triệu
- kiểu mẫu
- mô hình
- hiện đại
- Modules
- thời điểm
- tháng
- chi tiết
- hầu hết
- nhiều
- nhiều
- Murray
- Quang âm nano
- gần
- Cần
- mạng
- mạng
- thần kinh
- mạng lưới thần kinh
- mạng thần kinh
- Neurons
- Mới
- tiếp theo
- Không
- đáng chú ý
- tại
- con số
- vật
- of
- off
- Cung cấp
- thường
- on
- ONE
- có thể
- mở
- OpenAI
- quang học
- tối ưu hóa
- Tối ưu hóa
- tối ưu hóa
- or
- Nền tảng khác
- Khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- ra
- kết thúc
- Vượt qua
- bao bì
- tham số
- thông số
- riêng
- pasqal
- Đi qua
- con đường
- hình phạt
- hiệu suất
- Photon
- vật lý
- nhà vật lý
- Vật lý
- miếng
- kế hoạch
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Play
- hồ bơi
- khả năng
- tiềm năng
- Thực tế
- Độ chính xác
- thịnh hành
- xác suất
- vấn đề
- quá trình
- xử lý
- sản xuất
- hứa hẹn
- đã được chứng minh
- hoàn toàn
- theo đuổi
- Đẩy
- đẩy
- Đẩy
- Quantum
- AI lượng tử
- thuật toán lượng tử
- máy tính lượng tử
- Tính toán lượng tử
- vật lý lượng tử
- hệ thống lượng tử
- qubit
- qubit
- Cuộc đua
- khác nhau,
- hàng ngũ
- Tỷ lệ
- hơn
- RE
- đạt
- thực
- thế giới thực
- có thật không
- làm giảm
- đề cập
- liên quan
- tương đối
- vẫn
- vẫn còn
- đại diện
- cần phải
- Yêu cầu
- nghiên cứu
- Nghiên cứu cho thấy
- Thông tin
- Kết quả
- Reuters
- ngay
- Tăng lên
- đường
- Route
- đồn đại
- chạy
- s
- Nói
- Sam
- Sam Altman
- nói
- Quy mô
- mở rộng quy mô
- lịch trình
- Bí mật
- xem
- đã xem
- nhìn
- bán dẫn
- máy chủ
- Các máy chủ
- bộ
- nên
- Tín hiệu
- Silicon
- Đơn giản
- đồng thời
- duy nhất
- So
- Phần mềm
- một số
- Một người nào đó
- âm thanh
- riêng
- đặc biệt
- khởi động
- Startups
- Vẫn còn
- người lạ
- chiến lược
- hợp lý hóa
- cấu trúc
- đáng kể
- như vậy
- Gợi ý
- hỗ trợ
- bất ngờ
- hệ thống
- hệ thống
- Tandem
- Công nghệ
- Công nghệ
- nói
- kỳ hạn
- hơn
- việc này
- Sản phẩm
- Đồ thị
- Them
- Đó
- Kia là
- họ
- điều
- điều
- nghĩ
- điều này
- năm nay
- những
- hàng ngàn
- Như vậy
- đến
- bây giờ
- bên nhau
- mã thông báo
- bài hát
- đào tạo
- Hội thảo
- điều trị
- xu hướng
- Trevor
- lừa
- Nghìn tỷ
- cố gắng
- điều chỉnh
- XOAY
- Cuối cùng
- không may
- độc đáo
- các đơn vị
- sử dụng
- đã sử dụng
- hữu ích
- sử dụng
- bao la
- Xe cộ
- rất
- khả thi
- vp
- chờ đợi
- muốn
- Sóng
- Đường..
- cách
- we
- Thời tiết
- tuần
- TỐT
- là
- Điều gì
- khi nào
- cái nào
- có
- tại sao
- sẽ
- với
- không có
- Từ
- từ
- Công việc
- đang làm việc
- thế giới
- sẽ
- sẽ
- năm
- Bạn
- zephyrnet