Kemajuan Ethernet akan mengakhiri keunggulan InfiniBand dalam jaringan AI

Kemajuan Ethernet akan mengakhiri keunggulan InfiniBand dalam jaringan AI

Stempel Waktu: 4 April 2024 8:32
Ethernet advances will end InfiniBand's lead in AI nets PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Tiga perbaikan segera pada standar Ethernet akan menjadikannya alternatif yang lebih baik untuk menampung beban kerja AI, dan hal ini akan membuat vendor mendukung teknologi tersebut sebagai alternatif dari kit InfiniBand Nvidia, yang akan mendominasi selama dua tahun ke depan.

Demikian pendapat firma analis Gartner dalam artikel yang diterbitkan minggu ini berjudul “Emerging Tech: Top Trends in Networking for Generative AI.” Ditulis oleh direktur analis Anushree Verma, anggota grup Emerging Technologies and Trends Gartner, makalah ini memperkirakan adopsi InfiniBand di antara penyedia teknologi seperti vendor dan cloud akan mencapai sekitar 25 persen pada tahun 2026 dan tetap berada di angka tersebut.

Ethernet akan mencapai tingkat adopsi yang sama oleh penyedia pada tahun tersebut, kemudian meningkat hingga mencapai titik di mana Ethernet ditawarkan oleh lebih dari delapan puluh persen penyedia dalam satu dekade.

Pergeseran yang dilakukan oleh penyedia teknologi ini berarti bahwa pada tahun 2028, 45 persen beban kerja Gen AI akan berjalan di Ethernet – naik dari kurang dari 20 persen saat ini.

Perubahan ini akan terjadi karena Ethernet membaik. Gartner saat ini menilainya sebagai “tidak ideal” untuk pelatihan AI, namun Verma menyoroti tiga inovasi yang menurutnya akan membuat Ethernet menjadi pesaing yang layak – bahkan lebih unggul – melawan InfiniBand:

  • RDMA over Converged Ethernet (RoCE) – akan memungkinkan akses memori langsung antar perangkat melalui Ethernet, meningkatkan kinerja dan mengurangi penggunaan CPU;
  • Lossless Ethernet – akan menghadirkan kontrol aliran tingkat lanjut, penanganan kemacetan yang lebih baik, peningkatan hashing, buffering, dan telemetri aliran tingkat lanjut yang meningkatkan kemampuan switch modern;
  • Spesifikasi Ultra Ethernet Consortium (UEC) pada tahun 2024 – dirancang khusus untuk menjadikan Ethernet siap untuk AI.

Karena Ethernet bersifat terbuka, Verma berharap banyak pemasok akan menerapkan ketiga inovasi yang disebutkan di atas, sehingga memberikan pilihan kepada pembeli dan menciptakan persaingan.

Sebaliknya, InfiniBand lebih mahal daripada Ethernet dan akan tetap demikian selama lima tahun. Verna percaya bahwa ini “memiliki keterbatasan skalabilitas dan memerlukan keterampilan khusus untuk mengelolanya,” yang berarti beberapa perancang jaringan menghindarinya jika kompleksitasnya menjadi tidak dapat dikelola.

Namun dia memperkirakan 30 persen beban kerja AI generatif akan dijalankan di InfiniBand – naik dari kurang dari 20 persen saat ini.

Pertumbuhan tersebut akan terhambat jika dibandingkan dengan peningkatan interkoneksi optik dalam jaringan yang digunakan untuk menyalurkan lalu lintas AI generatif. Verna menemukan bahwa saat ini kurang dari satu persen jaringan yang digunakan untuk beban kerja AI menggunakan interkoneksi, namun diperkirakan akan meningkat menjadi 25 persen pada tahun 2030.

Dia memperingatkan bahwa meskipun teknologi ini memiliki pendukung besar – seperti Intel, TSMC, dan HPE – teknologi ini tidak akan digunakan secara luas hingga sekitar tahun 2028. Setelah matang, pengguna dapat berharap bahwa teknologi ini akan meningkatkan skalabilitas cluster komputasi melebihi 100Tbit/detik, sementara juga membutuhkan daya yang lebih kecil dibandingkan peralihan listrik.

PCIe juga sedang meningkat, dan ketika digabungkan dengan server yang menggunakannya untuk berbagi memori di seluruh bus menggunakan spesifikasi CXL, Gartner memperkirakan keduanya akan menjadi lazim dalam beban kerja AI.

Sekali lagi, Verna memperkirakan penggunaannya akan memakan waktu beberapa tahun lagi: CXL memulai debutnya pada awal tahun 2023, dan dia merasa bahwa adopsi yang serius akan dimulai pada tahun 2026 – pada saat yang sama dia memperkirakan implementasi PCIe 6.0 akan meningkat.

Verna merekomendasikan pengguna untuk “Mengevaluasi peluang adopsi awal untuk mendapatkan keunggulan kompetitif dengan membangun kemitraan pada tahap desain dengan penyedia teknologi terkemuka,” dan memastikan mereka memahami teknologi yang diuraikan di atas.

Dan bagi mereka yang mempertimbangkan InfiniBand, dia menulis bahwa penting untuk “mengevaluasi kembali pilihan jaringan dalam hal kinerja, keandalan, skalabilitas, dan harga dengan menilai switch berbasis InfiniBand versus switch berbasis Ultra-Ethernet.” ®

Stempel Waktu:

Lebih dari Pendaftaran