Nvidia heeft zojuist een moord gepleegd op AI – waar zijn alle anderen?

Nvidia heeft zojuist een moord gepleegd op AI – waar zijn alle anderen?

Tijdstempel: 29 augustus 2023 2:35 uur
Nvidia heeft zojuist een moord gepleegd op AI – waar zijn alle anderen? PlatoBlockchain-gegevensintelligentie. Verticaal zoeken. Ai.

Opmerking Het laatste kwartaal van Nvidia markeerde een beslissend moment voor de adoptie van AI.

De vraag naar de GPU's van de tech-titan dreef de inkomsten omhoog nieuwe hoogtes, terwijl ondernemingen, cloudproviders en hyperscalers allemaal hun best deden om relevant te blijven onder de nieuwe AI-wereldorde. 

Maar hoewel de managers van Nvidia verwachten de komende kwartalen miljardenwinsten uit deze vraag te halen, is de vraag bij veel mensen of Nvidia en partners daadwerkelijk genoeg GPU's kunnen bouwen om aan de vraag te voldoen, en wat er gebeurt als ze dat niet kunnen.

In een gesprek met financiële analisten zegt Nvidia CFO Colette Kress verzekerd Wall Street zei dat de grafische processorgigant nauw samenwerkte met partners om de cyclustijden te verkorten en de leveringscapaciteit uit te breiden. Toen Kress om details vroeg, ontweek hij herhaaldelijk de vraag, met het argument dat bij de uitrusting van Nv zoveel leveranciers betrokken waren dat het moeilijk te zeggen was hoeveel capaciteit ze zouden kunnen inzetten en wanneer.

Een financiële tijd verslagOndertussen suggereerde Nvidia dat het van plan is om de productie van zijn topspecificatie H100-accelerator in 2024 op zijn minst te verdrievoudigen tot tussen de 1.5 en 2 miljoen exemplaren, tegen ongeveer een half miljoen dit jaar. Hoewel dit geweldig nieuws is voor de bedrijfsresultaten van Nvidia, wachten sommige bedrijven niet op de inhaalslag van Nvidia, maar kijken ze in plaats daarvan naar alternatieve architecturen.

Onvervulde vraag schept kansen

Een van de meest overtuigende voorbeelden is de G42 Cloud van de Verenigde Arabische Emiraten, die tikte Cerebras Systems gaat negen AI-supercomputers bouwen die in staat zijn tot een gecombineerde 36 exaflops met spaarzame FP16-prestaties voor slechts $ 100 miljoen per stuk.

Cerebra's versnellers zijn enorm verschillend van de GPU's die de HGX- en DGX-systemen van Nvidia aandrijven. In plaats van vier of acht GPU's in een rackgemonteerd chassis te stoppen, zijn de accelerators van Cerebra enorme siliciumplaten ter grootte van een bord, met 850,000 cores en 40 GB SRAM. De chipmaker beweert dat er slechts 16 van deze versnellers nodig zijn om 1 exaflop aan schaarse FP16-prestaties te bereiken, een prestatie waarvoor, volgens onze schatting, meer dan 500 Nvidia H100's nodig zouden zijn.

En voor anderen die bereid zijn zich buiten de ommuurde tuin van Nvidia te wagen, is er geen tekort aan alternatieven. Het laatste dat we hoorden, is Amazon gebruik Intel's Gaudi AI-trainingsversnellers vormen een aanvulling op zijn eigen aangepaste Trainium-chips – hoewel het niet duidelijk is in welke volumes.

Vergeleken met Nvidia's A100, Intel's Gaudi2-processors, die gelanceerd claimden afgelopen mei ongeveer twee keer zoveel prestaties te leveren, tenminste in het ResNet-50-beeldclassificatiemodel en BERT-modellen voor natuurlijke taalverwerking. En voor degenen in China, Intel onlangs geïntroduceerd een ingekorte versie van de chip die in de regio te koop is. Verwacht wordt dat Intel ergens volgend jaar een nog krachtigere versie van de processor zal lanceren, voorspelbaar Gaudi3 genaamd, om te concurreren met Nvidia's huidige generatie H100.

Dan is er natuurlijk AMD, die, na een recente reeks spraakmakende overwinningen op het gebied van supercomputers, zijn aandacht op de AI-markt heeft gericht.

Tijdens zijn Datacenter en AI-evenement in juni presenteerde AMD gedetailleerd de Instinct MI300X, die naar verwachting tegen het einde van het jaar zal worden verzonden. De accelerator bevat 192 GB snel HBM3-geheugen en acht CDNA 3 GPU's in één pakket.

Onze zustersite Het volgende platform schattingen de chip levert ongeveer 3 petaflops aan FP8-prestaties. Terwijl de H75 van Nvidia qua prestaties 100 procent van de prestaties uitmaakt, biedt de MI300X een 2.4x hogere geheugencapaciteit, waardoor klanten weg zouden kunnen komen door minder GPU's te gebruiken om hun modellen te trainen.

Het vooruitzicht van een GPU die niet alleen overtuigende prestaties kan leveren, maar die jij ook kunt daadwerkelijk kopen, heeft duidelijk enige belangstelling gewekt. Tijdens AMD's Q2-winstoproep deze maand zei CEO Lisa Su geroemde dat de AI-activiteiten van het bedrijf in de loop van het kwartaal verzevenvoudigd waren. “Alleen al op het datacenter verwachten we dat de markt voor AI-versnellers in 150 meer dan 2027 miljard dollar zal bedragen”, zei ze.

Belemmeringen voor adoptie

Dus als Nvidia op dit moment denkt dat het slechts in een derde van de vraag naar zijn AI-gerichte silicium kan voorzien, waarom komen zijn rivalen dan niet in actie om het gat op te vullen en geld te verdienen aan de hype?

Het meest voor de hand liggende probleem is dat van de timing. Noch AMD, noch Intel zullen accelerators hebben die de H100 van Nvidia, althans qua prestaties, maandenlang kunnen uitdagen. Maar ook daarna zullen klanten nog steeds te maken krijgen met minder volwassen software.

Dan is er nog het feit dat de rivalen van Nvidia zullen vechten voor dezelfde voorraden en productiecapaciteit die Nv wil veiligstellen of al heeft veiliggesteld. AMD bijvoorbeeld vertrouwt op TSMC, net zoals Nvidia doet voor chipfabricage. Hoewel de vraag naar halfgeleiders zit in een dip Omdat de laatste tijd minder mensen geïnteresseerd zijn in het kopen van pc's, telefoons en dergelijke, is er een grote vraag naar serverversnellers om modellen te trainen en machine learning-applicaties aan te drijven.

Maar terug naar de code: het hechte hardware- en software-ecosysteem van Nvidia bestaat al jaren. Als gevolg hiervan is er veel code, waaronder veel van de meest populaire AI-modellen, geoptimaliseerd voor Nv's branchedominante CUDA-framework.

Dat wil niet zeggen dat rivaliserende chiphuizen deze dynamiek niet proberen te veranderen. Intel's OneAPI bevat tools waarmee gebruikers dit kunnen doen converteren code geschreven voor Nvidia's CUDA naar SYCL, die vervolgens kan worden uitgevoerd op Intel's reeks AI-platforms. Soortgelijke inspanningen zijn geleverd om CUDA-workloads te converteren naar AMD's Instinct GPU-familie met behulp van de HIP API.

Veel van deze zelfde chipmakers roepen ook de hulp in van bedrijven als Hugging Face, dat tools ontwikkelt voor het bouwen van ML-apps, om de barrière te verminderen voor het draaien van populaire modellen op hun hardware. Deze investeringen heeft de waardering van Hugging onlangs naar ruim $ 4 miljard gebracht.

Andere chipbedrijven, zoals Cerebras, hebben geprobeerd dit specifieke probleem te omzeilen door op maat gemaakte AI-modellen voor hun hardware te ontwikkelen, die klanten kunnen gebruiken in plaats van helemaal opnieuw te moeten beginnen. In maart, Cerebras aangekondigd Cerebras-GPT, een verzameling van zeven LLM's met een grootte van 111 miljoen tot 13 miljard parameters.

Voor meer technische klanten met de middelen die ze kunnen besteden aan het ontwikkelen, optimaliseren of porten van verouderde code naar nieuwere, minder volwassen architecturen, kan de keuze voor een alternatief hardwareplatform de potentiële kostenbesparingen of kortere doorlooptijden waard zijn. Zowel Google als Amazon zijn deze route al ingeslagen met respectievelijk hun TPU- en Trainium-versnellers.

Voor degenen die deze middelen niet hebben, kan het omarmen van infrastructuur zonder een bewezen softwarestack – hoe performant deze ook is – gezien worden als een risico. In dat geval blijft Nvidia waarschijnlijk de veilige gok. ®

Tijdstempel:

Meer van Het register