Bing Chat on niin GPU-nälkäinen, että Microsoft vuokraa Oraclen

Bing Chat on niin GPU-nälkäinen, että Microsoft vuokraa Oraclen

Aikaleima: 7. marraskuuta 2023 7
Bing Chat on niin GPU-nälkäinen, että Microsoft vuokraa Oraclen PlatoBlockchain Data Intelligencen. Pystysuuntainen haku. Ai.

Microsoftin tekoälypalvelujen kysyntä on ilmeisesti niin suuri – tai Redmondin resurssit niin tiukat –, että ohjelmistojätti aikoo siirtää osan Bing Searchin käyttämistä koneoppimismalleista Oraclen GPU-superklusteriin osana tiistaina julkistettua monivuotista sopimusta.

"Yhteistyömme Oraclen kanssa ja Oracle Cloud -infrastruktuurin käyttö yhdessä Microsoft Azure AI -infrastruktuurimme kanssa laajentaa asiakkaiden pääsyä ja parantaa monien hakutulostemme nopeutta", Microsoftin haku- ja tekoälymarkkinointitiimin johtaja Divya Kumar selittää. jonkin sisällä selvitys.

Kumppanuus tiivistyy olennaisesti seuraavaan: Microsoft tarvitsee lisää laskentaresursseja pysyäkseen AI-palveluidensa väitetyn "räjähdysmäisen kasvun" tahdissa, ja Oraclella on vain kymmeniä tuhansia Nvidia A100- ja H100-grafiikkasuorittimia vuokrattavana. On kaukana meistä väittää, että Larry-Ellisonin perustamalla tietokantajättiläisellä ei ole tarpeeksi pilviasiakkaita kuluttamaan piivarastojaan.

Microsoft oli ensimmäisten joukossa, joka integroi generatiivisen AI-chatbotin hakukoneeseensa käynnistää Bing Chatista helmikuussa. Tiedätte kaikki harjoituksen tähän mennessä: voit syöttää kehotteita, pyyntöjä tai kyselyitä Bing Chatiin, ja se yrittää etsiä tietoja, kirjoittaa huonoja runoja, luoda kuvia ja muuta sisältöä ja niin edelleen.

Palvelun perustana olevat suuret kielimallit eivät vaadi pelkästään valtavia grafiikkasuorittimien ryhmiä kouluttautumiseen, vaan myös päätelmien tekemiseen – mallin käyttöönottoprosessiin – toimimista mittakaavassa. Oraclen GPU-pino auttaa tässä päättelytyössä.

Kahden pilvipalveluntarjoajan uusimmassa yhteistyössä hyödynnetään Oracle Interconnect for Microsoft Azure -sovellusta, jonka avulla Azuressa käynnissä olevat palvelut voivat olla vuorovaikutuksessa Oracle Cloud Infrastructure (OCI) -resurssien kanssa. Kahdella superjoukolla on aiemmin käytti palvelua, jotta asiakkaat voivat yhdistää Azuressa käynnissä olevia työkuormia takaisin OCI-tietokantoihin.

Tässä tapauksessa Microsoft käyttää järjestelmää Azure Kubernetes -palvelunsa ohella Oracle-GPU-solmujen järjestämiseen pysyäkseen Bingin tekoälyominaisuuksien kysynnän tasalla.

StatCounterin mukaan Bingillä oli lokakuussa 2023 a 3.1 prosenttia maailmanlaajuinen verkkohaun markkinaosuus kaikille alustoille – verrattuna Googlen 91.6 prosenttiin, mutta se kasvoi edellisen kuukauden 3 prosentista. Pöytäkoneissa Bing nousi 9.1 prosenttiin ja tablettien 4.6 prosenttiin.

Ehkä StatCounter on väärässä; ehkä Microsoftin puhelias hakukone ei ole niin hämmästyttävän suosittu kuin olemme saaneet uskomaan. Ehkä Microsoft haluaa vain saada Bingin näyttämään siltä, ​​että sillä on suuri kysyntä; ehkä Redmond todella tarvitsee lisälaskentaa.

Oracle väittää, että sen pilvisuperklusterit, joita Bing todennäköisesti käyttää, voivat skaalata 32,768 100 Nvidia A16,384- tai 100 XNUMX HXNUMX-grafiikkasuorittimeen käyttämällä erittäin matalan viiveen Remote Direct Memory Access (RDMA) -verkkoa. Tätä tukee petabyyttiä korkean suorituskyvyn klusteritiedostojen tallennustilaa, joka on suunniteltu tukemaan erittäin rinnakkaisia ​​sovelluksia.

Microsoft ei ole kertonut, kuinka monta Oraclen GPU-solmua se tarvitsee tekoälypalveluihin ja -sovelluksiin, eikä kerro. Tiedottaja kertoi meille: "Ne eivät ole yksityiskohtia, joita jaamme osana tätä ilmoitusta." Olemme myös pyytäneet Oraclelta lisätietoja ja ilmoitamme sinulle, jos kuulemme jotain.

Tämä ei ole ensimmäinen kerta, kun viholliset nojaavat toistensa puoleen saadakseen apua. Takaisin syyskuussa Oracle ilmoitti se sijoittaisi tietokantajärjestelmänsä Microsoft Azure -tietokeskuksiin. Siinä tapauksessa yhteistyön tarkoituksena oli vähentää viivettä, joka liittyy OCI:ssa käynnissä olevien Oracle-tietokantojen yhdistämiseen Azuren työkuormiin. ®

Aikaleima:

Lisää aiheesta Rekisteri