Bing Chat este atât de înfometat de GPU, Microsoft va închiria Oracle

Cererea pentru serviciile Microsoft AI este aparent atât de mare – sau resursele lui Redmond atât de strânse – încât gigantul software intenționează să transfere unele dintre modelele de învățare automată utilizate de Bing Search către superclusterul GPU al Oracle, ca parte a unui acord multianual anunțat marți.

„Colaborarea noastră cu Oracle și utilizarea infrastructurii Oracle Cloud împreună cu infrastructura noastră Microsoft Azure AI, va extinde accesul la clienți și va îmbunătăți viteza multora dintre rezultatele căutării noastre”, a explicat Divya Kumar, care conduce echipa Microsoft de căutare și marketing AI. într-o declaraţie.

Parteneriatul se rezumă în esență la: Microsoft are nevoie de mai multe resurse de calcul pentru a ține pasul cu presupusa „creștere explozivă” a serviciilor sale de inteligență artificială, iar Oracle se întâmplă să aibă zeci de mii de GPU-uri Nvidia A100 și H100 disponibile pentru închiriere. Departe de noi să sugerăm că gigantul de baze de date fondat de Larry-Ellison nu are destui clienți cloud pentru a-și consuma stocurile de siliciu.

Microsoft a fost printre primii care au integrat un chatbot AI generativ în motorul său de căutare cu lansa de Bing Chat în februarie. Cu toții știți până acum exercițiul: puteți introduce solicitări, solicitări sau interogări în Bing Chat și va încerca să caute informații, să scrie poezie proastă, să genereze imagini și alt conținut și așa mai departe.

Modelele mari de limbaj care stau la baza serviciului necesită nu numai grupuri masive de GPU pentru a fi antrenate, ci și pentru inferență - procesul de punere în funcțiune a unui model - pentru a rula la scară. Stiva de GPU-uri Oracle este cea care va ajuta la această activitate de inferență.

Cea mai recentă colaborare a celor doi furnizori de cloud profită de Oracle Interconnect for Microsoft Azure, care permite serviciilor care rulează în Azure să interacționeze cu resursele din Oracle Cloud Infrastructure (OCI). Cele două super-corpuri au în prealabil a folosit serviciul pentru a le permite clienților să conecteze încărcăturile de lucru care rulează în Azure la bazele de date OCI.

În acest caz, Microsoft folosește sistemul împreună cu Serviciul Azure Kubernetes pentru a orchestra nodurile GPU ale Oracle pentru a ține pasul cu ceea ce se spune că este cererea pentru funcțiile AI ale Bing.

Potrivit StatCounter, pentru octombrie 2023, Bing a avut un 3.1 la sută Cota de piață globală a căutării web pentru toate platformele – aceasta este comparativ cu 91.6% a Google, dar în creștere față de 3% în luna anterioară. Pe desktop, Bing a urcat la 9.1% și la 4.6% pentru tablete.

Poate StatCounter este greșit; poate că motorul de căutare de la Microsoft nu este atât de uluitor de popular pe cât ne-am făcut să credem. Poate că Microsoft vrea doar să facă Bing să arate de parcă ar fi la mare căutare; poate că Redmond chiar are nevoie de calcul suplimentar.

Oracle susține că super-clusterele sale din cloud, pe care se presupune că le va folosi Bing, se pot scala fiecare la 32,768 de GPU-uri Nvidia A100 sau 16,384 de GPU-uri H100 folosind o rețea RDMA (Remote Direct Memory Access) cu latență ultra-scăzută. Acest lucru este susținut de petabytes de stocare de fișiere cluster de înaltă performanță, concepute pentru a suporta aplicații extrem de paralele.

Microsoft nu a spus de câte dintre nodurile GPU Oracle are nevoie pentru serviciile și aplicațiile sale AI și nu va spune. Un purtător de cuvânt ne-a spus: „Acelea nu sunt detalii pe care le împărtășim ca parte a acestui anunț”. Am cerut și Oracle mai multe informații și vă vom anunța dacă primim ceva răspuns.

Nu este prima dată când inamicii se sprijină unul pe celălalt pentru ajutor. Înapoi în septembrie Oracle a anunțat și-ar instala sistemele de baze de date în centrele de date Microsoft Azure. În acest caz, colaborarea a fost menită să reducă latența asociată cu conectarea bazelor de date Oracle care rulează în OCI la sarcinile de lucru din Azure. ®

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://go.theregister.com/feed/www.theregister.com/2023/11/07/bing_gpu_oracle/