Bing Chat è così affamato di GPU che Microsoft affitterà Oracle

Bing Chat è così affamato di GPU che Microsoft affitterà Oracle

Timestamp: 7 novembre 2023 7:27
Bing Chat è così affamato di GPU che Microsoft affitterà PlatoBlockchain Data Intelligence di Oracle. Ricerca verticale. Ai.

La domanda per i servizi di intelligenza artificiale di Microsoft è apparentemente così grande – o le risorse di Redmond così limitate – che il colosso del software prevede di scaricare alcuni dei modelli di apprendimento automatico utilizzati da Bing Search sul supercluster GPU di Oracle come parte di un accordo pluriennale annunciato martedì.

"La nostra collaborazione con Oracle e l'utilizzo dell'infrastruttura Oracle Cloud insieme alla nostra infrastruttura AI di Microsoft Azure amplierà l'accesso ai clienti e migliorerà la velocità di molti dei nostri risultati di ricerca", ha spiegato Divya Kumar, a capo del team di marketing di ricerca e intelligenza artificiale di Microsoft. in un dichiarazione.

La partnership si riduce essenzialmente a: Microsoft ha bisogno di più risorse di calcolo per tenere il passo con la presunta "crescita esplosiva" dei suoi servizi di intelligenza artificiale, e Oracle ha decine di migliaia di GPU Nvidia A100 e H100 disponibili per l'affitto. Lungi da noi suggerire che il colosso dei database fondato da Larry-Ellison non abbia abbastanza clienti cloud per consumare le sue scorte di silicio.

Microsoft è stata tra le prime a integrare un chatbot con intelligenza artificiale generativa nel suo motore di ricerca lanciare di Bing Chat a febbraio. Ormai conoscete tutti la procedura: puoi inserire suggerimenti, richieste o domande in Bing Chat e proverà a cercare informazioni, scrivere poesie cattive, generare immagini e altri contenuti e così via.

I modelli linguistici di grandi dimensioni che sono alla base del servizio non solo richiedono enormi cluster di GPU per l’addestramento, ma anche per l’inferenza – il processo di messa in funzione di un modello – per funzionare su larga scala. È lo stack di GPU di Oracle che aiuterà con questo lavoro di inferenza.

L'ultima collaborazione tra i due fornitori di servizi cloud sfrutta Oracle Interconnect per Microsoft Azure, che consente ai servizi in esecuzione in Azure di interagire con le risorse in Oracle Cloud Infrastructure (OCI). I due super-corpi lo hanno fatto in precedenza ha utilizzato il servizio per consentire ai clienti di connettere i carichi di lavoro in esecuzione in Azure ai database OCI.

In questo caso, Microsoft sta utilizzando il sistema insieme al suo servizio Azure Kubernetes per orchestrare i nodi GPU di Oracle per tenere il passo con quella che si dice sia la domanda per le funzionalità AI di Bing.

Secondo StatCounter, per ottobre 2023, Bing ha avuto a 3.1 per cento quota di mercato globale della ricerca web per tutte le piattaforme: rispetto al 91.6% di Google, ma in aumento rispetto al 3% del mese precedente. Su desktop, Bing è salito al 9.1%, mentre per i tablet è al 4.6%.

Forse StatCounter è sbagliato; forse il loquace motore di ricerca di Microsoft non è così incredibilmente popolare come siamo portati a credere. Forse Microsoft vuole solo far sembrare che Bing sia molto richiesto; forse Redmond ha davvero bisogno del calcolo extra.

Oracle afferma che i suoi super-cluster cloud, che presumibilmente utilizzerà Bing, possono scalare ciascuno fino a 32,768 Nvidia A100 o 16,384 GPU H100 utilizzando una rete RDMA (Remote Direct Memory Access) a latenza ultra bassa. Ciò è supportato da petabyte di storage di file cluster ad alte prestazioni progettati per supportare applicazioni altamente parallele.

Microsoft non ha detto di quanti nodi GPU Oracle ha bisogno per i suoi servizi e app AI, e non lo dirà. Un portavoce ci ha detto: "Questi non sono dettagli che condividiamo come parte di questo annuncio". Abbiamo chiesto ulteriori informazioni anche a Oracle e ti faremo sapere se avremo notizie in risposta.

Questa non è la prima volta che i nemici-amici si appoggiano a vicenda per chiedere aiuto. A settembre Oracle ha annunciato collocherebbe i suoi sistemi di database nei data center di Microsoft Azure. In quel caso, la collaborazione aveva lo scopo di ridurre la latenza associata alla connessione dei database Oracle in esecuzione in OCI ai carichi di lavoro in Azure. ®

Timestamp:

Di più da Il registro