Mengapa OpenAI mungkin melakukan lindung nilai atas taruhannya pada AI kuantum

Mengapa OpenAI mungkin melakukan lindung nilai atas taruhannya pada AI kuantum

Stempel Waktu: 13 Maret 2024 8
Mengapa OpenAI mungkin melakukan lindung nilai atas taruhannya pada AI kuantum PlatoBlockchain Data Intelligence. Pencarian Vertikal. Ai.

Analisis Komputasi kuantum masih tersisa satu dekade lagi, namun menurut pakar industri, komputasi kuantum mungkin menyimpan rahasia untuk mengekang selera AI yang tak pernah terpuaskan.

Setiap bulannya, model-model yang lebih besar dan lebih padat parameter bermunculan dan skala penerapan AI pun semakin meningkat. Tahun ini saja hyperscaler seperti Meta berencana melakukannya menyebarkan ratusan ribu akselerator. Bahkan pendiri OpenAI, Sam Altman, masih demikian yakin kita memerlukan lebih banyak komputasi secara eksponensial jika kita ingin mengembangkan AI lebih jauh.

Oleh karena itu, tidak mengherankan jika dengan karyawan terbarunya, OpenAI akan akan melakukan lindung nilai atas taruhannya pada komputasi kuantum jika memungkinkan. Pekan lalu, raksasa AI menambahkan Ben Bartlett, mantan arsitek sistem kuantum di PsiQuantum ke dalam jajarannya.

Kami menghubungi Open AI untuk mengetahui lebih lanjut tentang apa yang akan dilakukan Bartlett di trendsetter AI, dan belum mendapat kabar apa pun. Bagaimanapun miliknya Bio menawarkan beberapa petunjuk karena sebagian besar penelitiannya berfokus pada persimpangan antara fisika kuantum, pembelajaran mesin, dan nanofotonik, dan “pada dasarnya terdiri dari saya merancang trek balap kecil untuk foton yang mengelabui mereka agar melakukan perhitungan yang berguna”

Jadi, apa sebenarnya yang diinginkan OpenAI dari fisikawan kuantum? Ada beberapa kemungkinan mulai dari menggunakan pengoptimalan kuantum untuk menyederhanakan kumpulan data pelatihan atau menggunakan unit pemrosesan kuantum (QPU) untuk memindahkan database grafik yang kompleks, hingga menggunakan optik untuk melampaui batas kemasan semikonduktor modern.

Jaringan saraf hanyalah masalah pengoptimalan lainnya

Komputasi kuantum memiliki potensi untuk secara drastis meningkatkan efisiensi pelatihan model AI besar, memungkinkan mereka memperoleh jawaban yang lebih akurat dari model dengan parameter yang lebih sedikit, kata Murray Thom dari D-Wave Pendaftaran.

Dengan GPT-4 yang dikabarkan memiliki lebih dari satu triliun parameter, tidak sulit untuk melihat mengapa hal ini mungkin menarik. Tanpa menggunakan kuantisasi dan strategi kompresi lainnya, model AI memerlukan sekitar 1 GB memori untuk setiap miliar parameter saat dijalankan pada presisi FP8 atau Int8 dan pada presisi yang lebih tinggi, yang jauh lebih besar dari itu.

Triliunan model parameter mendekati batas yang dapat diakomodasi secara efisien oleh satu server AI. Beberapa server dapat dirangkai untuk mendukung model yang lebih besar, tetapi membiarkannya akan memberikan penalti kinerja.

Dan itu hari ini. Dan jika Altman benar, model ini akan menjadi lebih besar dan lebih umum. Oleh karena itu, teknologi apa pun yang memungkinkan OpenAI meningkatkan kemampuan modelnya tanpa meningkatkan jumlah parameter secara berarti dapat memberikan peningkatan.

“Saat Anda melatih model, jumlah parameter yang dimasukkan ke dalam model benar-benar menentukan biaya dan kompleksitas pelatihan model,” kata Trevor Lanting, Wakil Presiden Perangkat Lunak dan Algoritma D-Wave. Pendaftaran.

Untuk menyiasati hal ini, jelasnya, pengembang sering kali melakukan sub-pilihan fitur yang menurut mereka paling penting untuk melatih model tertentu, yang pada gilirannya mengurangi jumlah parameter yang diperlukan.

Namun alih-alih mencoba melakukan ini menggunakan sistem konvensional, D-Wave berpendapat bahwa algoritme pengoptimalan kuantum mungkin lebih efektif dalam menentukan fitur mana yang akan dibiarkan atau tidak.

Jika Anda belum mengetahuinya, masalah optimasi, seperti yang biasa terlihat dalam pencarian jalur atau logistik, telah terbukti menjadi salah satu aplikasi komputasi kuantum yang paling menjanjikan sejauh ini.

“Keunggulan komputer kuantum kita adalah mengoptimalkan hal-hal ketika sesuatu sedang terjadi atau tidak terjadi: seperti seseorang yang diberi jadwal tertentu atau diberi tugas pengiriman tertentu,” kata Thom. “Jika keputusan-keputusan tersebut bersifat independen, maka hal tersebut akan baik-baik saja, dan hal ini akan mudah dilakukan oleh komputer klasik, namun keputusan-keputusan tersebut sebenarnya mempengaruhi sumber daya lain yang ada di dalam pool dan terdapat semacam efek jaringan.”

Dengan kata lain, dunia nyata itu berantakan. Mungkin ada banyak kendaraan di jalan, penutupan jalan, kejadian cuaca, dan sebagainya. Dibandingkan dengan komputer klasik, atribut unik yang melekat pada komputer kuantum memungkinkan mereka mengeksplorasi faktor-faktor ini secara bersamaan untuk mengidentifikasi rute terbaik.

Hal ini, “sepenuhnya analog dengan jaringan saraf di mana neuron-neuron tersebut aktif atau tidak, dan mereka serta neuron-neuron tersebut memiliki koneksi sinaptik ke neuron-neuron lain, yang merangsang atau menghambat neuron-neuron lain agar tidak aktif,” jelas Thom.

Dan ini berarti bahwa algoritma kuantum dapat digunakan untuk mengoptimalkan kumpulan data pelatihan AI untuk kebutuhan tertentu, yang ketika dilatih, akan menghasilkan model yang lebih ramping dan akurat, klaim Lanting.

Pengambilan sampel kuantum dan pembongkaran

Dalam jangka panjang, D-Wave dan lainnya mencari cara untuk menerapkan QPU lebih dalam ke dalam proses pelatihan.

Salah satu kasus penggunaan ini melibatkan penerapan komputasi kuantum pada pengambilan sampel. Pengambilan sampel mengacu pada bagaimana model AI, seperti LLM, menentukan kata berikutnya, atau lebih spesifiknya token, harus didasarkan pada distribusi probabilitas. Inilah sebabnya mengapa sering dijadikan lelucon bahwa LLM hanyalah pelengkapan otomatis pada steroid.

“Perangkat kerasnya sangat bagus dalam menghasilkan sampel, dan Anda dapat menyesuaikan distribusinya, sehingga Anda dapat menyesuaikan bobot sampel tersebut. Dan apa yang kami jelajahi adalah: apakah ini cara yang baik untuk benar-benar memasukkan komputasi kuantum anil secara langsung ke dalam beban kerja pelatihan,” jelas Lanting.

Startup komputasi kuantum Perancis, Pasqal, juga telah mencoba menerapkan komputasi kuantum untuk membongkar kumpulan data terstruktur grafik yang biasa ditemukan di jaringan saraf.

“Dalam pembelajaran mesin tidak ada cara sederhana untuk merepresentasikan data secara klasik, karena grafik adalah objek yang kompleks,” Co-CEO Pasqal Loïc Henriet menjelaskan dalam sebuah wawancara dengan Pendaftaran. “Anda dapat menyematkan data terstruktur grafik ke dalam dinamika kuantum secara relatif alami, sehingga memunculkan beberapa cara baru dalam menangani potongan data tersebut.”

Namun, sebelum hal ini dapat dicapai, sistem kuantum harus menjadi jauh lebih besar dan lebih cepat, jelas Henriet.

“Kumpulan data yang besar tidak praktis untuk saat ini,” katanya. “Itulah mengapa kami mendorong jumlah qubit; tingkat pengulangan. Karena dengan lebih banyak qubit Anda dapat menyematkan lebih banyak data.”

Sulit untuk menentukan berapa lama kita harus menunggu sebelum jaringan saraf grafik kuantum dapat berfungsi. Pasqal sudah memiliki sistem 10,000 qubit dalam karya. Sayangnya, penelitian menunjukkan bahwa sistem dengan 10,000 qubit pengoreksi kesalahan, atau sekitar satu juta qubit fisik, mungkin tidak cukup untuk bersaing dengan GPU modern.

Permainan fotonik silikon?

Selain kasus penggunaan AI kuantum yang eksotis, ada teknologi lain yang dapat dikembangkan oleh OpenAI dan Bartlett adalah ahlinya.

Yang paling menonjol, mantan perusahaan Bartlett, PsiQuantum, telah mengembangkan sistem berdasarkan fotonik silikon. Hal ini menunjukkan bahwa perekrutannya mungkin terkait dengan OpenAI melaporkan bekerja pada akselerator AI khusus.

Beberapa startup fotonik silikon, termasuk Ayar Labs, Lightmatter, dan Celestial AI telah mendorong teknologi ini sebagai sarana untuk mengatasi batas bandwidth, yang telah menjadi faktor pembatas dalam meningkatkan kinerja pembelajaran mesin.

Idenya di sini adalah Anda dapat mendorong lebih banyak data dalam jarak yang lebih jauh dengan cahaya dibandingkan dengan sinyal listrik murni. Dalam banyak desain ini, cahaya sebenarnya dibawa oleh pemandu gelombang yang diukir pada silikon, yang kedengarannya sangat mirip dengan “merancang trek balap kecil untuk foton”.

materi ringan percaya teknologi ini akan memungkinkan beberapa akselerator berfungsi sebagai satu akselerator tanpa menimbulkan penalti bandwidth untuk data yang keluar dari chip. Sementara itu Celestial melihat sebuah Kesempatan untuk meningkatkan jumlah memori bandwidth tinggi yang tersedia untuk GPU secara signifikan dengan menghilangkan kebutuhan untuk mengemas modul secara bersamaan yang berdekatan dengan cetakan akselerator. Kedua kemampuan ini akan menarik bagi perusahaan yang bekerja dengan sistem AI dalam skala besar.

Apakah OpenAI pada akhirnya akan mengejar AI kuantum atau fotonik silikon masih harus dilihat, namun bagi perusahaan yang pendirinya sudah tidak asing lagi dalam melakukan investasi jangka panjang, hal ini bukanlah hal teraneh yang didukung Altman. ®

Stempel Waktu:

Lebih dari Pendaftaran