Kecerdasan buatan sedang menangis. Mesin dapat berbicara, menulis, bermain game, dan menghasilkan gambar, video, dan musik asli. Tetapi seiring dengan berkembangnya kemampuan AI, begitu pula algoritmenya.
Satu dekade lalu, algoritma pembelajaran mesin mengandalkan puluhan juta koneksi internal, atau parameter. Algoritme saat ini secara teratur mencapai ratusan miliar dan bahkan triliunan parameter. Para peneliti mengatakan peningkatan masih menghasilkan peningkatan kinerja, dan model dengan puluhan triliun parameter mungkin tiba dalam waktu singkat.
Untuk melatih model sebesar itu, Anda membutuhkan komputer yang kuat. Sementara AI pada awal 2010-an berjalan pada beberapa unit pemrosesan grafis—chip komputer yang unggul dalam pemrosesan paralel yang penting bagi AI—kebutuhan komputasi telah tumbuh secara eksponensial, dan model teratas sekarang membutuhkan ratusan atau ribuan. AI terbuka, Microsoft, meta, dan lainnya sedang membangun superkomputer khusus untuk menangani tugas tersebut, dan mereka mengatakan mesin AI ini termasuk yang tercepat di planet ini.
Namun, meskipun GPU sangat penting untuk penskalaan AI—Nvidia A100, misalnya, masih menjadi salah satu chip tercepat dan paling umum digunakan dalam kluster AI—alternatif lebih aneh yang dirancang khusus untuk AI telah bermunculan dalam beberapa tahun terakhir.
Cerebras menawarkan salah satu alternatif tersebut.
Membuat Makanan AI
Ukuran piring makan — sekitar 8.5 inci ke satu sisi — Mesin Skala Wafer perusahaan adalah chip silikon terbesar di dunia, dengan 2.6 triliun transistor dan 850,000 inti terukir pada wafer silikon tunggal. Setiap Mesin Skala Wafer berfungsi sebagai jantung dari komputer CS-2 perusahaan.
Sendiri, CS-2 adalah binatang buas, tapi tahun lalu Cerebras meluncurkan sebuah rencana untuk menghubungkan CS-2 bersama dengan sistem memori eksternal yang disebut MemoryX dan sistem untuk menghubungkan CS-2 yang disebut SwarmX. Perusahaan mengatakan teknologi baru ini dapat menghubungkan hingga 192 chip dan melatih model dua kali lipat lebih besar dari AI terbesar dan tercanggih saat ini.
“Industri ini bergerak melewati model parameter 1 triliun, dan kami memperluas batas itu dengan dua kali lipat, memungkinkan jaringan saraf skala otak dengan 120 triliun parameter,” kata CEO dan salah satu pendiri Cerebras Andrew Feldman.
Pada saat itu, semua ini bersifat teoretis. Tapi minggu lalu, perusahaan diumumkan mereka menghubungkan 16 CS-2 menjadi superkomputer AI kelas dunia.
Temui Andromeda
Mesin baru, yang disebut Andromeda, memiliki 13.5 juta inti yang mampu melakukan kecepatan melebihi exaflop (satu triliun operasi per detik) dengan presisi setengah 16-bit. Karena chip unik pada intinya, Andromeda tidak mudah dibandingkan dengan superkomputer yang berjalan pada CPU dan GPU yang lebih tradisional, tetapi Feldman memberi tahu HPC Kawat Andromeda kira-kira setara dengan superkomputer Polaris Argonne National Laboratory, yang menempati peringkat tercepat ke-17 di dunia, menurut daftar Top500 terbaru.
Selain kinerja, waktu pembuatan, biaya, dan jejak Andromeda yang cepat juga patut diperhatikan. Argonne mulai menginstal Polaris pada musim panas 2021, dan superkomputer ditayangkan sekitar setahun kemudian. Dibutuhkan 40 rak, penutup seperti lemari arsip yang menampung komponen superkomputer. Sebagai perbandingan, Andromeda menelan biaya $35 juta—harga yang wajar untuk mesin sebesar itu—yang diambil hanya tiga hari untuk berkumpul, dan hanya menggunakan 16 rak.
Cerebras menguji sistem dengan melatih lima versi model bahasa besar OpenAI GPT-3 serta open source GPT-J dan GPT-NeoX Eleuther AI. Dan menurut Cerebras, mungkin temuan yang paling penting adalah bahwa Andromeda mendemonstrasikan apa yang mereka sebut "penskalaan linier hampir sempurna" dari beban kerja AI untuk model bahasa besar. Singkatnya, itu berarti saat CS-2 tambahan ditambahkan, waktu pelatihan berkurang secara proporsional.
Biasanya, kata perusahaan, saat Anda menambahkan lebih banyak chip, peningkatan kinerja berkurang. Chip WSE Cerebras, di sisi lain, terbukti dapat menskalakan lebih efisien karena 850,000 intinya terhubung satu sama lain pada bagian silikon yang sama. Terlebih lagi, setiap inti memiliki modul memori di sebelahnya. Secara bersama-sama, chip memangkas jumlah waktu yang dihabiskan bolak-balik data antara core dan memori.
“Penskalaan linier berarti ketika Anda beralih dari satu sistem ke dua sistem, dibutuhkan waktu setengah dari waktu yang dibutuhkan untuk menyelesaikan pekerjaan Anda. Itu adalah properti yang sangat tidak biasa dalam komputasi, ”kata Feldman HPC Kawat. Dan, katanya, itu dapat melampaui 16 sistem yang terhubung.
Di luar pengujian Cerebras sendiri, hasil penskalaan linier juga didemonstrasikan selama bekerja di Laboratorium Nasional Argonne di mana para peneliti menggunakan Andromeda untuk melatih algoritme bahasa besar GPT-3-XL pada urutan panjang genom Covid-19.
Tentu saja, meskipun sistem dapat menskalakan lebih dari 16 CS-2, sejauh mana penskalaan linier masih harus dilihat. Selain itu, kami belum tahu bagaimana kinerja Cerebras head-to-head melawan chip AI lainnya. Pembuat chip AI seperti Nvidia dan Intel telah dimulai berpartisipasi dalam pembandingan pihak ketiga reguler oleh orang-orang seperti MLperf. Cerebras belum ambil bagian.
Ruang untuk Cadangan
Namun, pendekatan tersebut tampaknya mengukir ceruknya sendiri di dunia superkomputer, dan melanjutkan penskalaan dalam bahasa besar AI adalah kasus penggunaan utama. Memang, Feldman mengatakan Kabel tahun yg lalu bahwa perusahaan telah berbicara dengan para insinyur di OpenAI, pemimpin dalam model bahasa besar. (Pendiri OpenAI, Sam Altman, juga seorang investor di Cerebras.)
Saat dirilis pada tahun 2020, model bahasa besar OpenAI GPT-3, mengubah game baik dari segi kinerja maupun ukuran. Dengan berat 175 miliar parameter, ini adalah model AI terbesar saat itu dan mengejutkan para peneliti dengan kemampuannya. Sejak saat itu, model bahasa telah mencapai triliunan parameter, dan model yang lebih besar mungkin akan segera hadir. Ada rumor—hanya itu, sejauh ini—OpenAI akan merilis GPT-4 dalam waktu yang tidak terlalu lama dan ini akan menjadi lompatan lain dari GPT-3. (Kita harus menunggu dan melihat hitungan itu.)
Meskipun demikian, terlepas dari kemampuannya, model bahasa besar tidak sempurna atau dipuja secara universal. Kelemahan mereka termasuk keluaran yang bisa salah, bias, dan ofensif. Meta's Galactica, dilatih tentang teks ilmiah, adalah contoh terbaru. Meskipun kumpulan data yang mungkin diasumsikan kurang rentan terhadap toksisitas daripada pelatihan di internet terbuka, model tersebut dengan mudah terprovokasi untuk menghasilkan teks yang berbahaya dan tidak akurat dan ditarik hanya dalam tiga hari. Apakah peneliti dapat mengatasi kekurangan bahasa AI masih belum pasti.
Namun tampaknya peningkatan akan terus berlanjut hingga hasil yang semakin berkurang muncul. Lompatan berikutnya mungkin sudah dekat—dan kita mungkin sudah memiliki perangkat keras untuk mewujudkannya.
Gambar Kredit: Otak besar
