Bing Chat on nii GPU-näljas, et Microsoft rendib Oracle'i

Taasavaldanud Platon

järgijaid: 0

Bing Chat on nii GPU-näljas, et Microsoft rendib Oracle'i PlatoBlockchain Data Intelligence'i. Vertikaalne otsing. Ai.

Nõudlus Microsofti tehisintellekti teenuste järele on ilmselt nii suur – või Redmondi ressursid nii kitsad –, et tarkvarahiiglane kavatseb teisipäeval välja kuulutatud mitmeaastase lepingu raames osa Bing Searchi kasutatavatest masinõppemudelitest Oracle'i GPU superklastrisse laadida.

"Meie koostöö Oracle'iga ja Oracle Cloudi infrastruktuuri kasutamine koos meie Microsoft Azure AI infrastruktuuriga laiendab juurdepääsu klientidele ja parandab paljude meie otsingutulemuste kiirust," selgitas Divya Kumar, kes juhib Microsofti otsingu- ja tehisintellekti turundusmeeskonda. sees avaldus.

Partnerlus taandub sisuliselt järgmisele: Microsoft vajab rohkem arvutusressursse, et pidada sammu oma AI-teenuste väidetava plahvatusliku kasvuga, ja Oracle'il on lihtsalt kümneid tuhandeid Nvidia A100 ja H100 GPU-sid rentimiseks. Olgu meist kaugel väitmine, et Larry-Ellisoni asutatud andmebaasihiiglasel pole piisavalt pilvekliente, et oma ränivarusid tarbida.

Microsoft oli esimeste seas, kes integreeris generatiivse AI-vestlusroti oma otsingumootorisse koos algatama veebruaris Bing Chatist. Te kõik tunnete nüüd seda õppust: saate Bing Chati sisestada viipasid, päringuid või päringuid ning see püüab otsida teavet, kirjutada halba luulet, genereerida pilte ja muud sisu jne.

Teenuse aluseks olevad suured keelemudelid ei nõua mitte ainult tohutuid graafikaprotsessorite klastreid, et treenida, vaid ka järelduste tegemiseks – mudeli tööle panemiseks – mastaabis töötamiseks. See on Oracle'i GPU-de virn, mis aitab seda järeldust teha.

Kahe pilveteenuse pakkuja viimases koostöös kasutatakse ära Oracle Interconnect for Microsoft Azure, mis võimaldab Azure'is töötavatel teenustel suhelda Oracle Cloud Infrastructure'i (OCI) ressurssidega. Kahel superkorpusel on varem kasutas teenust, et võimaldada klientidel ühendada Azure'is töötavad töökoormused tagasi OCI andmebaasidega.

Sel juhul kasutab Microsoft süsteemi koos oma Azure Kubernetes teenusega Oracle'i GPU sõlmede juhtimiseks, et olla kursis väidetava nõudlusega Bingi AI funktsioonide järele.

StatCounteri andmetel oli Bingil 2023. aasta oktoobriks a 3.1 protsenti globaalse veebiotsingu turuosa kõigi platvormide jaoks – see on võrreldes Google'i 91.6 protsendiga, kuid eelmise kuu 3 protsendiga. Lauaarvutites tõusis Bing 9.1 protsendini ja tahvelarvutite puhul 4.6 protsendini.

Võib-olla on StatCounter vale; võib-olla pole Microsofti jutukas otsingumootor nii vapustavalt populaarne, kui me arvame. Võib-olla soovib Microsoft lihtsalt muuta Bingi jaoks mulje, et selle järele on suur nõudlus; võib-olla vajab Redmond tõesti täiendavat arvutust.

Oracle väidab, et tema pilve superklastrid, mida arvatavasti Bing kasutab, saavad kõik skaleerida 32,768 100 Nvidia A16,384 või 100 XNUMX HXNUMX GPU-ni, kasutades ülimadala latentsusega Remote Direct Memory Access (RDMA) võrku. Seda toetab petabaitide suurune suure jõudlusega klastrifailide salvestusruum, mis on loodud väga paralleelsete rakenduste toetamiseks.

Microsoft ei ole öelnud, kui palju Oracle'i GPU-sõlmi ta oma AI-teenuste ja rakenduste jaoks vajab, ega ütle. Pressiesindaja ütles meile: "Need ei ole üksikasjad, mida me selle teate osana jagame." Küsisime ka Oracle'ilt lisateavet ja anname teile teada, kui midagi vastu kuuleme.

See pole esimene kord, kui vihavaenlased üksteisele abi otsivad. Tagasi septembris Oracle teatas see paigutaks oma andmebaasisüsteemid Microsoft Azure'i andmekeskustesse. Sel juhul oli koostöö eesmärk vähendada latentsust, mis on seotud OCI-s töötavate Oracle'i andmebaaside ühendamisega Azure'i töökoormustega. ®