Bing Chat sangat haus GPU, Microsoft akan menyewa Oracle

Bing Chat sangat haus GPU, Microsoft akan menyewa Oracle

Stempel Waktu: 7 November 2023 7
Bing Chat sangat haus GPU, Microsoft akan menyewa PlatoBlockchain Data Intelligence dari Oracle. Pencarian Vertikal. Ai.

Permintaan terhadap layanan AI Microsoft tampaknya sangat besar – atau sumber daya Redmond sangat terbatas – sehingga raksasa perangkat lunak tersebut berencana untuk memindahkan beberapa model pembelajaran mesin yang digunakan oleh Bing Search ke superkluster GPU Oracle sebagai bagian dari perjanjian multi-tahun yang diumumkan pada hari Selasa.

“Kolaborasi kami dengan Oracle dan penggunaan infrastruktur Oracle Cloud bersama dengan infrastruktur Microsoft Azure AI kami, akan memperluas akses ke pelanggan dan meningkatkan kecepatan banyak hasil pencarian kami,” Divya Kumar, yang mengepalai tim pemasaran Pencarian dan AI Microsoft, menjelaskan di sebuah pernyataan.

Kemitraan ini pada dasarnya bermuara pada: Microsoft membutuhkan lebih banyak sumber daya komputasi untuk mengimbangi dugaan “pertumbuhan eksplosif” layanan AI-nya, dan Oracle kebetulan memiliki puluhan ribu GPU Nvidia A100 dan H100 yang tersedia untuk disewa. Kita tidak bisa berasumsi bahwa raksasa database yang didirikan Larry-Ellison ini tidak memiliki cukup pelanggan cloud untuk menggunakan stok silikonnya.

Microsoft termasuk orang pertama yang mengintegrasikan chatbot AI generatif ke dalam mesin pencarinya dengan jalankan dari Bing Chat pada bulan Februari. Anda semua sudah mengetahui latihannya sekarang: Anda dapat memasukkan perintah, permintaan, atau pertanyaan ke Bing Chat, dan Bing Chat akan mencoba mencari informasi, menulis puisi buruk, menghasilkan gambar dan konten lainnya, dan seterusnya.

Model bahasa besar yang mendukung layanan ini tidak hanya memerlukan cluster GPU yang sangat besar untuk dilatih, namun juga untuk melakukan inferensi – proses penerapan model – agar dapat dijalankan dalam skala besar. Tumpukan GPU Oracle-lah yang akan membantu pekerjaan inferensi ini.

Kolaborasi terbaru kedua penyedia cloud ini memanfaatkan Oracle Interconnect untuk Microsoft Azure, yang memungkinkan layanan yang berjalan di Azure berinteraksi dengan sumber daya di Oracle Cloud Infrastructure (OCI). Kedua korps super punya sebelumnya menggunakan layanan ini untuk memungkinkan pelanggan menyambungkan beban kerja yang berjalan di Azure kembali ke database OCI.

Dalam hal ini, Microsoft menggunakan sistem tersebut bersama dengan Layanan Azure Kubernetes untuk mengatur node GPU Oracle guna memenuhi permintaan akan fitur AI Bing.

Menurut StatCounter, untuk Oktober 2023, Bing memiliki a 3.1 persen pangsa pasar penelusuran web global untuk semua platform – dibandingkan dengan Google yang sebesar 91.6 persen, namun naik dari 3 persen pada bulan sebelumnya. Di desktop, Bing naik menjadi 9.1 persen, dan 4.6 persen untuk tablet.

Mungkin StatCounter salah; mungkin mesin pencari Microsoft yang cerewet tidak sepopuler yang kita yakini. Mungkin Microsoft hanya ingin membuat Bing terlihat memiliki permintaan yang tinggi; mungkin Redmond benar-benar membutuhkan komputasi ekstra.

Oracle mengklaim super-cluster cloud-nya, yang mungkin akan digunakan Bing, masing-masing dapat ditingkatkan hingga 32,768 Nvidia A100 atau 16,384 GPU H100 menggunakan jaringan Remote Direct Memory Access (RDMA) dengan latensi sangat rendah. Hal ini didukung oleh penyimpanan file cluster berkinerja tinggi berukuran petabyte yang dirancang untuk mendukung aplikasi yang sangat paralel.

Microsoft belum mengatakan berapa banyak node GPU Oracle yang dibutuhkan untuk layanan dan aplikasi AI-nya, dan tidak akan mengatakannya. Seorang juru bicara mengatakan kepada kami: “Itu bukanlah rincian yang kami sampaikan sebagai bagian dari pengumuman ini.” Kami juga telah meminta informasi lebih lanjut dari Oracle dan kami akan memberi tahu Anda jika kami mendapat tanggapan.

Ini bukan pertama kalinya musuh saling bersandar untuk meminta bantuan. Kembali pada bulan September Oracle mengumumkan itu akan menempatkan sistem databasenya di pusat data Microsoft Azure. Dalam hal ini, kolaborasi ini dimaksudkan untuk mengurangi latensi yang terkait dengan penyambungan database Oracle yang berjalan di OCI ke beban kerja di Azure. ®

Stempel Waktu:

Lebih dari Pendaftaran