Bing Chat heeft zoveel GPU-honger dat Microsoft Oracle's zal huren

Bing Chat heeft zoveel GPU-honger dat Microsoft Oracle's zal huren

Tijdstempel: 7 november 2023 7:27 uur
Bing Chat heeft zoveel GPU-honger dat Microsoft Oracle's PlatoBlockchain Data Intelligence zal huren. Verticaal zoeken. Ai.

De vraag naar de AI-diensten van Microsoft is blijkbaar zo groot – of de middelen van Redmond zo krap – dat de softwaregigant van plan is een aantal van de door Bing Search gebruikte machine-learning-modellen over te brengen naar de GPU-supercluster van Oracle als onderdeel van een meerjarige overeenkomst die dinsdag werd aangekondigd.

“Onze samenwerking met Oracle en het gebruik van de Oracle Cloud-infrastructuur samen met onze Microsoft Azure AI-infrastructuur zullen de toegang tot klanten vergroten en de snelheid van veel van onze zoekresultaten verbeteren”, legt Divya Kumar, hoofd van het Search- en AI-marketingteam van Microsoft, uit. in een verklaring.

Het partnerschap komt in essentie op het volgende neer: Microsoft heeft meer computerbronnen nodig om de vermeende ‘explosieve groei’ van zijn AI-diensten bij te houden, en Oracle heeft toevallig tienduizenden Nvidia A100’s en H100 GPU’s beschikbaar voor verhuur. Het zij verre van ons om te suggereren dat de door Larry-Ellison opgerichte databasegigant niet genoeg cloudklanten heeft om zijn siliciumvoorraden te verbruiken.

Microsoft was een van de eersten die een generatieve AI-chatbot in zijn zoekmachine integreerde met de lancering van Bing Chat in februari. Jullie kennen het inmiddels allemaal: je kunt prompts, verzoeken of vragen in Bing Chat invoeren, en het zal proberen informatie op te zoeken, slechte poëzie te schrijven, afbeeldingen en andere inhoud te genereren, enzovoort.

De grote taalmodellen die de service ondersteunen, vereisen niet alleen enorme clusters van GPU's om te trainen, maar ook om inferentie (het proces waarbij een model aan het werk wordt gezet) op schaal uit te voeren. Het zijn de stapel GPU's van Oracle die zullen helpen bij dit gevolgtrekkingswerk.

De nieuwste samenwerking tussen de twee cloudproviders maakt gebruik van Oracle Interconnect voor Microsoft Azure, waarmee services die in Azure draaien, kunnen communiceren met bronnen in Oracle Cloud Infrastructure (OCI). De twee superkorpsen hebben dat wel gedaan die eerder gebruikte de service om klanten in staat te stellen workloads die in Azure draaien, terug te koppelen aan OCI-databases.

In dit geval gebruikt Microsoft het systeem naast zijn Azure Kubernetes Service om de GPU-knooppunten van Oracle te orkestreren om gelijke tred te houden met de zogenaamde vraag naar de AI-functies van Bing.

Volgens StatCounter had Bing voor oktober 2023 een 3.1 procent het wereldwijde marktaandeel voor internetzoekopdrachten voor alle platforms – dat is vergeleken met de 91.6 procent van Google, maar een stijging ten opzichte van de 3 procent de maand ervoor. Op desktops steeg Bing naar 9.1 procent, en naar 4.6 procent voor tablets.

Misschien heeft StatCounter het mis; misschien is de spraakzame zoekmachine van Microsoft niet zo verbijsterend populair als ons wordt doen geloven. Misschien wil Microsoft gewoon de indruk wekken dat er veel vraag naar Bing is; misschien heeft Redmond echt de extra rekenkracht nodig.

Oracle beweert dat zijn cloud-superclusters, die vermoedelijk Bing zal gebruiken, elk kunnen schalen naar 32,768 Nvidia A100's of 16,384 H100 GPU's met behulp van een Remote Direct Memory Access (RDMA)-netwerk met ultralage latentie. Dit wordt ondersteund door petabytes aan krachtige clusterbestandsopslag, ontworpen om zeer parallelle applicaties te ondersteunen.

Microsoft heeft niet gezegd hoeveel GPU-nodes van Oracle het nodig heeft voor zijn AI-services en -apps, en zal dat ook niet zeggen. Een woordvoerder vertelde ons: “Dit zijn geen details die we delen als onderdeel van deze aankondiging.” We hebben Oracle ook om meer informatie gevraagd en we laten het u weten als we iets terughoren.

Dit is niet de eerste keer dat de vijanden op elkaar vertrouwen voor hulp. In september Orakel aangekondigd het zou zijn databasesystemen onderbrengen in Microsoft Azure-datacentra. In dat geval was de samenwerking bedoeld om de latentie te verminderen die gepaard gaat met het verbinden van Oracle-databases die in OCI draaien met workloads in Azure. ®

Tijdstempel:

Meer van Het register