Bing Chat jest tak obciążony procesorem graficznym, że Microsoft wynajmie Oracle

Zapotrzebowanie na usługi sztucznej inteligencji firmy Microsoft jest najwyraźniej tak duże – a zasoby Redmond tak ograniczone – że gigant oprogramowania planuje przenieść część modeli uczenia maszynowego wykorzystywanych przez Bing Search do superklastra GPU Oracle w ramach ogłoszonej we wtorek wieloletniej umowy.

„Nasza współpraca z Oracle i wykorzystanie infrastruktury Oracle Cloud wraz z naszą infrastrukturą AI Microsoft Azure rozszerzy dostęp do klientów i poprawi szybkość wielu naszych wyników wyszukiwania” – wyjaśniła Divya Kumar, która kieruje zespołem ds. wyszukiwania i marketingu AI w firmie Microsoft w oświadczenie.

Współpraca zasadniczo sprowadza się do tego, że: Microsoft potrzebuje więcej zasobów obliczeniowych, aby nadążyć za rzekomym „gwałtownym rozwojem” swoich usług AI, a Oracle tak się składa, że ​​ma do wynajęcia dziesiątki tysięcy procesorów graficznych Nvidia A100 i H100. Daleko nam do sugerowania, że ​​założony przez Larry’ego-Ellisona gigant baz danych nie ma wystarczającej liczby klientów w chmurze, aby wykorzystać jego zapasy krzemu.

Firma Microsoft jako jedna z pierwszych zintegrowała generatywnego chatbota AI ze swoją wyszukiwarką za pomocą uruchomić Bing Chat w lutym. Wszyscy już znacie tę procedurę: możesz wprowadzać podpowiedzi, prośby lub zapytania do Bing Chat, a on będzie próbował wyszukać informacje, napisać kiepskie wiersze, wygenerować obrazy i inną treść i tak dalej.

Duże modele językowe, na których opiera się usługa, wymagają nie tylko ogromnych klastrów procesorów graficznych do trenowania, ale także do wnioskowania – procesu uruchamiania modelu – do działania na dużą skalę. W tym wnioskowaniu pomoże stos procesorów graficznych Oracle.

Najnowsza współpraca obu dostawców usług w chmurze wykorzystuje rozwiązanie Oracle Interconnect for Microsoft Azure, które umożliwia usługom działającym na platformie Azure interakcję z zasobami w Oracle Cloud Infrastructure (OCI). Obydwa superkorpusy to zrobiły poprzednio korzystał z tej usługi, aby umożliwić klientom łączenie obciążeń działających na platformie Azure z powrotem z bazami danych OCI.

W tym przypadku Microsoft używa systemu wraz z usługą Azure Kubernetes do koordynowania węzłów GPU Oracle, aby nadążać za rzekomo zapotrzebowaniem na funkcje sztucznej inteligencji Bing.

Według StatCounter w październiku 2023 r. Bing miał Wzrost o 3.1 udział w globalnym rynku wyszukiwarek internetowych dla wszystkich platform – w porównaniu z 91.6% Google, ale wzrost z 3% miesiąc wcześniej. Na komputerach stacjonarnych udział Bing wzrósł do 9.1 proc., a w przypadku tabletów do 4.6 proc.

Może StatCounter się myli; może gadatliwa wyszukiwarka Microsoftu nie jest tak zdumiewająco popularna, jak nam się wydaje. Być może Microsoft chce po prostu sprawić, by Bing wyglądał tak, jakby cieszył się dużym zainteresowaniem; może Redmond naprawdę potrzebuje dodatkowych obliczeń.

Oracle twierdzi, że superklastry w chmurze, z których prawdopodobnie będzie korzystał Bing, każdy z nich będzie można skalować do 32,768 100 procesorów graficznych Nvidia A16,384 lub 100 XNUMX procesorów graficznych HXNUMX przy użyciu sieci zdalnego bezpośredniego dostępu do pamięci (RDMA) o bardzo niskim opóźnieniu. Jest to wspierane przez petabajty wysokowydajnego klastrowego magazynu plików zaprojektowanego do obsługi wysoce równoległych aplikacji.

Microsoft nie powiedział, ilu węzłów GPU Oracle potrzebuje do swoich usług i aplikacji AI, i nie powie. Rzecznik powiedział nam: „To nie są szczegóły, które udostępniamy w ramach tego ogłoszenia”. Poprosiliśmy także Oracle o więcej informacji i damy Ci znać, jeśli otrzymamy jakąkolwiek odpowiedź.

To nie pierwszy raz, kiedy wrogowie zwracają się do siebie o pomoc. Już we wrześniu Oracle ogłosił kolokowałoby swoje systemy baz danych w centrach danych Microsoft Azure. W tym przypadku współpraca miała na celu zmniejszenie opóźnień związanych z łączeniem baz danych Oracle działających w OCI z obciążeniami na platformie Azure. ®

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://go.theregister.com/feed/www.theregister.com/2023/11/07/bing_gpu_oracle/