Nvidia tidak memotongnya? Chip AI terbaru Google dan Amazon telah tiba

Pelatihan AI berbasis cloud menjadi sedikit lebih beragam minggu ini setelah Amazon Web Services (AWS) dan Google Cloud mengumumkan ketersediaan umum akselerator AI kustom terbaru mereka.

Memulai dengan Amazon, chip Trainium penyedia cloud sekarang tersedia secara umum di AWS. Pertama dulu di AWS re:Invent tahun lalu, instans Trn1n yang didukung Trainium dari Amazon dirancang untuk melatih model pembelajaran mesin besar, seperti yang digunakan dalam pemrosesan bahasa alami dan pengenalan gambar.

Amazon mengklaim bahwa instans memiliki kinerja antara 40 persen dan 250 persen lebih tinggi dalam beban kerja BF16 dan TensorFlow 32-bit daripada instans P100d yang didukung Nvidia A4, menurut tolok ukur internal Amazon. Akselerator juga mendukung FP32, FP16, UINT8, dan tipe data FP8 yang dapat dikonfigurasi. FP8 memiliki menjadi terkenal di dunia AI dalam beberapa tahun terakhir sebagai sarana untuk memperdagangkan akurasi untuk kinerja mentah.

Instans tersedia dalam dua ukuran: trn1.2xlarge Amazon memasangkan delapan vCPU dengan satu chip Trainium, memori 64GB yang dibagi rata antara CPU dan akselerator, jaringan 12.5Gbit/dtk, dan penyimpanan SSD lokal 500GB. Sementara itu, untuk beban kerja yang lebih besar, trn1.32xlarge 16 kali lebih besar, mengemas 128 vCPU, 16 chip Trainium, memori gabungan 1TB, dan bandwidth jaringan 800Gbit/dtk per instans.

Untuk pelatihan model skala besar, beberapa instans trn1.32xlarge dapat dikelompokkan menggunakan layanan penyimpanan FSx Lustre Amazon dan sakelar top-of-rack non-blocking “kelas petabit”.

Akselerator menggunakan Neuron SDK yang sama dengan chip inferensiasi Amazon yang diumumkan sebelumnya, yang dilengkapi dengan kompiler, ekstensi kerangka kerja, pustaka runtime, dan alat pengembang. Secara keseluruhan, Amazon mengklaim beban kerja yang ditulis dalam kerangka kerja ML populer, seperti PyTorch dan TensorFlow, dapat diadaptasi untuk dijalankan di Trainium dengan pemfaktoran ulang minimal.

Instans Trn1n tersedia minggu ini di wilayah AS Timur dan AS Barat Amazon.

TPU v4 Google sekarang tersedia secara umum

Google juga meluncurkan bundel pembaruan perangkat keras di acara Cloud Next minggu ini, termasuk ketersediaan umum dari Tensor Processing Unit (TPU) generasi keempat.

Mesin virtual bertenaga TPU v4 Google Cloud tersedia dalam konfigurasi mulai dari empat chip — satu modul TPU — hingga pod yang dikemas dengan hingga 4,096 chip yang semuanya terhubung melalui fabric berkecepatan tinggi.

Bagi mereka yang tidak terbiasa, akselerator TPU Google dirancang khusus untuk mempercepat model pembelajaran mesin besar perangkat keras, seperti yang digunakan dalam pemrosesan bahasa alami, sistem rekomendasi, dan visi komputer.

Pada tingkat tinggi, akselerator pada dasarnya adalah sekumpulan mesin matematika matriks bfloat besar yang disebut MXU, didukung oleh beberapa memori bandwidth tinggi dan beberapa inti CPU untuk membuatnya dapat diprogram; inti CPU diinstruksikan untuk memasukkan operasi matematika AI beban kerja ke dalam MXU untuk pemrosesan berkecepatan tinggi. Setiap VM TPU terdiri dari empat chip, masing-masing dengan dua inti pemrosesan, dan total memori 128GB.

Untuk perincian lengkap arsitektur TPU terbaru Google, kami sarankan memeriksa kami situs saudara perempuan Platform Selanjutnya.

Akselerator khusus dirancang untuk mempercepat beban kerja AI Google sendiri, tetapi kemudian dibuka untuk pelanggan di GCP. Seperti yang Anda harapkan, TPU mendukung berbagai kerangka kerja ML populer termasuk JAX, PyTorch, dan TensorFlow. Dan menurut Google, TPU v4 lebih dari dua kali lebih cepat dari pendahulunya, sementara juga memberikan kinerja 40 persen lebih tinggi per dolar.

Irisan TPU v4 Pod sekarang tersedia di region Oklahoma GCP, dengan tarif antara $0.97 dan $3.22 per chip, per jam. Untuk contoh terkecil Google, itu menghasilkan $5,924 per bulan dengan komitmen satu tahun.

Google menawarkan mengintip CPU Intel generasi berikutnya, smartNICs

CPU Intel Sapphire Rapids dan IPU Mount Evans juga muncul di Google Cloud sebagai pratinjau pribadi minggu ini.

Pelanggan tertentu sekarang dapat memberikan Intel lama tertunda CPU Sapphire Rapids berputar, namun, pengumuman hari ini menawarkan beberapa petunjuk tentang apa yang dapat kita harapkan dari mikroprosesor. Sebaliknya, bisnis memainkan IPU Mount Evans yang dikembangkan bersama dengan Intel.

“Yang pertama dari jenisnya di cloud publik mana pun, VM C3 akan menjalankan beban kerja pada prosesor Intel Xeon Scalable Generasi ke-4 sementara mereka membebaskan pemrosesan paket yang dapat diprogram ke IPU secara aman dengan kecepatan baris 200Gbit/dtk,” Nick McKeown, yang memimpin jaringan Intel dan kelompok tepi, dikatakan dalam a pernyataan.

Diumumkan di Intel's Architecture Day tahun lalu, Mount Evans — sekarang berganti nama menjadi E2000 — adalah ASIC IPU pertama Intel. IPU menjadi Unit Pemrosesan Infrastruktur, pada dasarnya akselerator perangkat keras lain untuk tugas jaringan dan penyimpanan.

Chip kelas smartNIC akan digunakan untuk mempercepat beban kerja infrastruktur cloud Google. Salah satu yang pertama adalah penyimpanan. Penyedia cloud mengklaim instans C3 yang didukung IPU menawarkan IOPS 10x lebih tinggi dan 4x throughput instans C2 keluarnya, saat menggunakan baru-baru ini mengumumkan Layanan hyperdisk.

IPU, unit pemrosesan data, dan SmartNIC bukanlah fenomena baru di dunia cloud. Amazon, Microsoft Azure, dan Alibaba Cloud juga menggunakan SmartNIC untuk membongkar tugas infrastruktur, seperti jaringan, penyimpanan, dan keamanan dari host, membebaskan siklus CPU untuk digunakan oleh beban kerja penyewa dalam prosesnya.

Sapphire Rapids Intel masih terjebak di cloud

Meskipun menggoda instance C3 sebagai "VM pertama di cloud publik" yang didukung oleh Sapphire Rapids, "publik" mungkin adalah kata yang salah di sini. Instans C3 Google tetap terbatas untuk memilih pelanggan berdasarkan aplikasi, mungkin di bawah NDA yang ketat.

Sampai minggu ini, Intel belum mengumumkan tanggal peluncuran untuk keluarga prosesor Sapphire Rapids, yang sudah lebih dari satu tahun terlambat dari jadwal. Namun, dengan peluncuran prosesor Epyc generasi keempat AMD yang dijadwalkan untuk musim gugur ini, Intel tampak lebih bersemangat dari sebelumnya untuk mendapatkan chip pusat data generasi berikutnya di tangan beberapa pelanggan — setidaknya secara virtual.

Google hanyalah mitra Intel terbaru yang membuat sumber daya berbasis Sapphire Rapids tersedia bagi pelanggan dalam kapasitas tertentu. Sementara Google menawarkan VM cloud, Supermicro dan Intel masing-masing menawarkan akses jarak jauh ke sistem bare-metal untuk memberi pelanggan kesempatan menjelajahi kemampuan baru yang dimungkinkan oleh chip.

Intel telah mulai mengirimkan prosesor Xeon Scalable generasi keempat yang didukung Sapphire-Rapids ke beberapa OEM, sahabat cloud, dan lembaga pemerintah. Namun, tidak jelas berapa banyak chip x86 titan yang berhasil dibagikan kepada pelanggan. ®