13 Chip Skala Wafer untuk Superkomputer AI Exaflop

Cerebras Systems, pionir dalam mempercepat komputasi kecerdasan buatan (AI), hari ini meluncurkan Andromeda, superkomputer AI dengan 13.5 juta inti, kini tersedia dan digunakan untuk pekerjaan komersial dan akademis. Dibangun dengan cluster yang terdiri dari 16 sistem Cerebras CS-2 dan memanfaatkan teknologi Cerebras MemoryX dan SwarmX, Andromeda menghadirkan lebih dari 1 Exaflop komputasi AI dan 120 Petaflop komputasi padat dengan presisi setengah 16-bit. Ini adalah satu-satunya superkomputer AI yang pernah menunjukkan penskalaan linier yang hampir sempurna pada beban kerja model bahasa besar yang hanya mengandalkan paralelisme data sederhana.

Dengan 13.5 juta core komputasi yang dioptimalkan AI dan didukung oleh 18,176 prosesor AMD EPYC™ Generasi ke-3, Andromeda memiliki core yang lebih banyak dibandingkan 1,953 GPU Nvidia A100 dan 1.6 kali lebih banyak core dibandingkan superkomputer terbesar di dunia, Frontier, yang memiliki 8.7 juta core. Berbeda dengan cluster berbasis GPU lainnya, Andromeda memberikan penskalaan yang hampir sempurna melalui paralelisme data sederhana di seluruh model bahasa besar kelas GPT, termasuk GPT-3, GPT-J, dan GPT-NeoX.

Penskalaan yang mendekati sempurna berarti semakin banyak CS-2 yang digunakan, waktu pelatihan berkurang hampir dalam proporsi yang sempurna. Ini termasuk model bahasa besar dengan panjang urutan yang sangat besar, sebuah tugas yang tidak mungkin dicapai pada GPU. Faktanya, kinerja GPU yang mustahil ditunjukkan oleh salah satu pengguna pertama Andromeda, yang mencapai penskalaan hampir sempurna pada GPT-J pada 2.5 miliar dan 25 miliar parameter dengan panjang urutan yang panjang — MSL 10,240. Pengguna mencoba melakukan pekerjaan yang sama pada Polaris, 2,000 cluster Nvidia A100, dan GPU tidak dapat melakukan pekerjaan tersebut karena keterbatasan memori GPU dan bandwidth memori.

Wafer-Scale Engine (WSE-2), yang menggerakkan sistem Cerebras CS-2, adalah chip terbesar yang pernah dibuat. WSE-2 56 kali lebih besar dari GPU terbesar, memiliki inti komputasi 123 kali lebih banyak, dan memori on-chip berperforma tinggi 1000 kali lebih banyak. Satu-satunya prosesor skala wafer yang pernah diproduksi, prosesor ini berisi 2.6 triliun transistor, 850,000 inti yang dioptimalkan AI, dan 40 gigabyte memori on-wafer berkinerja tinggi, semuanya untuk mempercepat pekerjaan AI Anda.

Skala Cluster dalam Satu Chip

Tidak seperti perangkat tradisional dengan jumlah memori cache on-chip yang kecil dan bandwidth komunikasi yang terbatas, WSE-2 memiliki fitur SRAM on-chip sebesar 40 GB, tersebar merata di seluruh permukaan chip, memberikan setiap inti akses siklus jam tunggal ke memori cepat pada bandwidth yang sangat tinggi yaitu 20PB/s. Kapasitasnya 1,000x lebih besar dan bandwidth 9,800x lebih besar dibandingkan GPU terkemuka.

Bandwidth Tinggi, Latensi Rendah
Interkoneksi on-wafer WSE-2 menghilangkan kelambatan komunikasi dan inefisiensi dalam menghubungkan ratusan perangkat kecil melalui kabel dan kabel. Ini memberikan bandwidth interkoneksi 220 Pb/s yang menakjubkan antar inti. Itu lebih dari 45,000x bandwidth yang disalurkan antar prosesor grafis. Hasilnya adalah eksekusi yang lebih cepat dan efisien untuk pekerjaan deep learning Anda dengan konsumsi daya yang lebih sedikit dibandingkan cluster GPU tradisional.