Bing Chat er så GPU-sulten at Microsoft vil leie Oracles

Bing Chat er så GPU-sulten at Microsoft vil leie Oracles

Tidsstempel: 7. november 2023 7:27
Bing Chat er så GPU-sulten at Microsoft vil leie Oracles PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Etterspørselen etter Microsofts AI-tjenester er tilsynelatende så stor – eller Redmonds ressurser så trange – at programvaregiganten planlegger å laste ned noen av maskinlæringsmodellene som brukes av Bing Search til Oracles GPU-superklynge som en del av en flerårig avtale kunngjort tirsdag.

"Vårt samarbeid med Oracle og bruk av Oracle Cloud-infrastruktur sammen med vår Microsoft Azure AI-infrastruktur, vil utvide tilgangen til kunder og forbedre hastigheten på mange av søkeresultatene våre," forklarte Divya Kumar, som leder Microsofts søke- og AI-markedsføringsteam. i en uttalelse.

Partnerskapet koker i hovedsak ned til: Microsoft trenger flere dataressurser for å holde tritt med den påståtte "eksplosive veksten" av sine AI-tjenester, og Oracle har tilfeldigvis titusenvis av Nvidia A100-er og H100 GPU-er tilgjengelig for utleie. Det er langt fra oss å antyde at den Larry-Ellison-grunnlagte databasegiganten ikke har nok skykunder til å konsumere sine silisiumlagre.

Microsoft var blant de første som integrerte en generativ AI chatbot i sin søkemotor med lansere av Bing Chat tilbake i februar. Dere kjenner alle øvelsen nå: dere kan mate forespørsler, forespørsler eller forespørsler inn i Bing Chat, og den vil prøve å slå opp informasjon, skrive dårlig poesi, generere bilder og annet innhold, og så videre.

De store språkmodellene som underbygger tjenesten krever ikke bare massive klynger av GPU-er for å trene, men for å konkludere – prosessen med å sette en modell i bruk – skal kjøres i stor skala. Det er Oracles stabel med GPUer som vil hjelpe med dette slutningsarbeidet.

De to skyleverandørenes siste samarbeid drar fordel av Oracle Interconnect for Microsoft Azure, som lar tjenester som kjører i Azure samhandle med ressurser i Oracle Cloud Infrastructure (OCI). De to superkorpsene har tidligere brukte tjenesten for å tillate kunder å koble arbeidsbelastninger som kjører i Azure tilbake til OCI-databaser.

I dette tilfellet bruker Microsoft systemet sammen med Azure Kubernetes Service for å orkestrere Oracles GPU-noder for å holde tritt med det som sies å være etterspørselen etter Bings AI-funksjoner.

I følge StatCounter hadde Bing for oktober 2023 en 3.1 prosent global markedsandel for nettsøk for alle plattformer – det er sammenlignet med Googles 91.6 prosent, men opp fra 3 prosent måneden før. På skrivebordet klatret Bing til 9.1 prosent, og 4.6 prosent for nettbrett.

Kanskje StatCounter tar feil; kanskje Microsofts chatty søkemotor ikke er så svimlende populær som vi er ført til å tro. Kanskje Microsoft bare ønsker å få Bing til å se ut som den er etterspurt; kanskje Redmond virkelig trenger den ekstra beregningen.

Oracle hevder at deres sky-superklynger, som antagelig Bing vil bruke, hver kan skaleres til 32,768 100 Nvidia A16,384-er eller 100 XNUMX HXNUMX GPUer ved å bruke et RDMA-nettverk (Remote Direct Memory Access) med ultralav latens. Dette støttes av petabyte med høyytelses klyngefillagring designet for å støtte svært parallelle applikasjoner.

Microsoft har ikke sagt hvor mange av Oracles GPU-noder den trenger for sine AI-tjenester og apper, og vil ikke si noe. En talsperson fortalte oss: "Dette er ikke detaljer vi deler som en del av denne kunngjøringen." Vi har også spurt Oracle om mer informasjon, og vi vil gi deg beskjed hvis vi hører noe tilbake.

Dette er ikke første gang frenemies har støttet seg på hverandre for å få hjelp. Tilbake i september Oracle annonsert det ville samlokalisere databasesystemene sine i Microsoft Azure-datasentre. I så fall var samarbeidet ment å redusere ventetiden knyttet til å koble Oracle-databaser som kjører i OCI til arbeidsbelastninger i Azure. ®

Tidstempel:

Mer fra Registeret