Bing Chat ist so GPU-hungrig, dass Microsoft Oracle mieten wird

Die Nachfrage nach den KI-Diensten von Microsoft ist offenbar so groß – oder die Ressourcen von Redmond so knapp –, dass der Softwareriese im Rahmen einer am Dienstag angekündigten mehrjährigen Vereinbarung plant, einige der von Bing Search verwendeten Modelle für maschinelles Lernen auf den GPU-Supercluster von Oracle auszulagern.

„Unsere Zusammenarbeit mit Oracle und die Nutzung der Oracle Cloud-Infrastruktur zusammen mit unserer Microsoft Azure AI-Infrastruktur werden den Zugang zu Kunden erweitern und die Geschwindigkeit vieler unserer Suchergebnisse verbessern“, erklärte Divya Kumar, Leiterin des Such- und KI-Marketingteams von Microsoft in einem Aussage.

Die Partnerschaft läuft im Wesentlichen darauf hinaus: Microsoft benötigt mehr Rechenressourcen, um mit dem angeblich „explosiven Wachstum“ seiner KI-Dienste Schritt zu halten, und Oracle verfügt zufällig über Zehntausende Nvidia A100- und H100-GPUs zur Miete. Es liegt uns fern zu behaupten, dass der von Larry-Ellison gegründete Datenbankgigant nicht genügend Cloud-Kunden hat, um seine Siliziumvorräte zu verbrauchen.

Microsoft war einer der ersten, der mit dem einen generativen KI-Chatbot in seine Suchmaschine integriert hat starten von Bing Chat im Februar. Sie alle kennen die Vorgehensweise inzwischen: Sie können Eingabeaufforderungen, Anfragen oder Abfragen in Bing Chat einspeisen, und Bing Chat wird versuchen, Informationen nachzuschlagen, schlechte Gedichte zu schreiben, Bilder und andere Inhalte zu generieren und so weiter.

Die großen Sprachmodelle, die dem Dienst zugrunde liegen, erfordern nicht nur riesige GPU-Cluster zum Trainieren, sondern auch, damit Inferenz – der Prozess der Umsetzung eines Modells – in großem Maßstab ausgeführt werden kann. Es ist der GPU-Stack von Oracle, der bei dieser Inferenzarbeit hilft.

Die neueste Zusammenarbeit der beiden Cloud-Anbieter nutzt Oracle Interconnect für Microsoft Azure, das es in Azure ausgeführten Diensten ermöglicht, mit Ressourcen in der Oracle Cloud Infrastructure (OCI) zu interagieren. Die beiden Superkorps haben vorher nutzte den Dienst, um Kunden die Verbindung von in Azure ausgeführten Workloads mit OCI-Datenbanken zu ermöglichen.

In diesem Fall nutzt Microsoft das System zusammen mit seinem Azure Kubernetes Service, um die GPU-Knoten von Oracle zu orchestrieren, um mit der angeblichen Nachfrage nach den KI-Funktionen von Bing Schritt zu halten.

Laut StatCounter hatte Bing für Oktober 2023 einen 3.1 Prozent Weltweiter Marktanteil bei der Websuche für alle Plattformen – im Vergleich zu 91.6 Prozent bei Google, aber ein Anstieg gegenüber 3 Prozent im Vormonat. Auf dem Desktop kletterte Bing auf 9.1 Prozent und auf Tablets auf 4.6 Prozent.

Vielleicht ist StatCounter falsch; Vielleicht ist die gesprächige Suchmaschine von Microsoft nicht so überwältigend beliebt, wie man uns glauben machen will. Vielleicht möchte Microsoft einfach nur den Eindruck erwecken, dass Bing sehr gefragt ist. Vielleicht braucht Redmond wirklich die zusätzliche Rechenleistung.

Oracle behauptet, dass seine Cloud-Supercluster, die vermutlich Bing nutzen wird, mithilfe eines RDMA-Netzwerks (Remote Direct Memory Access) mit extrem geringer Latenz jeweils auf 32,768 Nvidia A100- oder 16,384 H100-GPUs skaliert werden können. Dies wird durch Petabytes leistungsstarken Cluster-Dateispeicher unterstützt, der für die Unterstützung hochparalleler Anwendungen ausgelegt ist.

Microsoft hat nicht gesagt, wie viele der GPU-Knoten von Oracle es für seine KI-Dienste und Apps benötigt, und wird es auch nicht sagen. Ein Sprecher sagte uns: „Das sind keine Details, die wir im Rahmen dieser Ankündigung mitteilen.“ Wir haben auch Oracle um weitere Informationen gebeten und werden Sie informieren, wenn wir etwas hören.

Dies ist nicht das erste Mal, dass sich die Feinde gegenseitig um Hilfe bitten. Zurück im September Oracle angekündigt Es würde seine Datenbanksysteme in Microsoft Azure-Rechenzentren zusammenlegen. In diesem Fall sollte die Zusammenarbeit die Latenz reduzieren, die mit der Verbindung von Oracle-Datenbanken, die in OCI ausgeführt werden, mit Workloads in Azure verbunden ist. ®

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://go.theregister.com/feed/www.theregister.com/2023/11/07/bing_gpu_oracle/