Met AI moet je het grotere hardware- en softwarebeeld zien

Gesponsorde functie Het is anderhalf decennium geleden dat onderzoekers de technische wereld verblindden door aan te tonen dat grafische verwerkingseenheden kunnen worden gebruikt om belangrijke AI-operaties drastisch te versnellen.

Dat besef blijft tot de verbeelding van ondernemingen spreken. IDC heeft gemeld dat als het gaat om infrastructuur, GPU-versnelde compute en HPC-achtige scale-up tot de belangrijkste overwegingen behoren voor tech-leiders en architecten die hun AI-infrastructuur willen uitbouwen.

Maar voor alle organisaties die AI met succes hebben toegepast op problemen in de echte wereld, worstelen nog veel meer organisaties om voorbij de experiment- of pilotfase te komen. IDC's 2021 onderzoek ontdekte dat minder dan een derde van de respondenten hun AI-projecten in productie had genomen, en slechts een derde daarvan had een "volwassen productiestadium" bereikt.

Genoemde hindernissen zijn onder meer problemen met de verwerking en voorbereiding van gegevens en het versterken van de infrastructuur om AI op ondernemingsniveau te ondersteunen. Ondernemingen moesten investeren in "speciaal gebouwde infrastructuur van de juiste grootte", zei IDC.

Wat is hier het AI-probleem?

Dus waar gaan die organisaties de fout in met AI? Een factor kan zijn dat tech-leiders en AI-specialisten geen holistische blik werpen op de bredere AI-pijplijn, terwijl ze te veel aandacht besteden aan GPU's in vergelijking met andere compute-engines, met name de eerbiedwaardige CPU.

Omdat het uiteindelijk geen kwestie is van back-up van CPU's versus GPU's versus ASIC's. Het gaat veeleer om het vinden van de optimale manier om een ​​AI-pijplijn te bouwen die u van ideeën en gegevens en modelbouw tot implementatie en gevolgtrekking kan brengen. En dat betekent dat u de respectieve sterke punten van verschillende processorarchitecturen moet waarderen, zodat u de juiste computerengine op het juiste moment kunt toepassen.

Shardul Brahmbhatt, senior director van Intel, Datacenter AI Strategy and Execution, legt uit: “De CPU is gebruikt voor microservices en traditionele rekeninstances in de cloud. En GPU's zijn gebruikt voor parallelle compute, zoals mediastreaming, gaming en voor AI-workloads."

Dus nu hyperscalers en andere cloudspelers hun aandacht op AI hebben gericht, wordt het duidelijk dat ze dezelfde sterke punten gebruiken voor verschillende taken.

De mogelijkheden van GPU's rond parallelle compute maken ze zeer geschikt voor het trainen van bijvoorbeeld AI-algoritmen. Ondertussen hebben CPU's een voorsprong als het gaat om realtime inferentie met lage batch en lage latentie en het gebruik van die algoritmen om live gegevens te analyseren en resultaten en voorspellingen te leveren.

Nogmaals, er zijn kanttekeningen, legt Brahmbhatt uit: "Er zijn plaatsen waar je meer batch-inferentie wilt doen. En die batch-inferentie wordt ook gedaan via GPU's of ASIC's."

Door de pijplijn kijken

Maar de AI-pijplijn gaat verder dan training en gevolgtrekking. Aan de linkerkant van de pijplijn moeten gegevens worden voorbewerkt en algoritmen worden ontwikkeld. De generalistische CPU speelt hier een belangrijke rol.

In feite zijn GPU's verantwoordelijk voor een relatief klein deel van de totale processoractiviteit in de AI-pijplijn, waarbij CPU-aangedreven "data stage"-workloads goed zijn voor tweederde in totaal, volgens Intel (u kunt een Solution Brief lezen - Inferentie optimaliseren met Intel CPU-technologie hier).

En Brahmbhatt herinnert ons eraan dat de CPU-architectuur nog andere voordelen heeft, waaronder programmeerbaarheid.

"Omdat CPU's zo breed worden gebruikt, is er al een bestaand ecosysteem van ontwikkelaars en applicaties beschikbaar, plus tools die gebruiksgemak en programmeerbaarheid bieden voor algemene doeleinden", zegt hij.

“Ten tweede bieden CPU's snellere toegang tot de grotere geheugenruimte. En dan is het derde ding dat het meer ongestructureerde rekenkracht is versus GPU's [die] meer parallelle rekenkracht zijn. Om deze redenen fungeren CPU's als de gegevensverhuizers die de GPU's voeden, waardoor ze helpen met Recommender System-modellen en evoluerende werklasten zoals Graph Neural Networks."

Een open plan voor AI-ontwikkeling

Dus hoe moeten we de rollen van respectievelijk CPU's en GPU's bekijken bij het plannen van een AI-ontwikkelingspijplijn, of dit nu on-premise, in de cloud of beide is?

GPU's brachten een revolutie teweeg in de AI-ontwikkeling, omdat ze een versnellingsmethode boden die bewerkingen van de CPU ontlast. Maar daaruit volgt niet dat dit de meest verstandige optie is voor een bepaalde baan.

Zoals Intel-platformarchitect Sharath Raghava uitlegt: "AI-applicaties hebben gevectoriseerde berekeningen. Vectorberekeningen zijn parallelleerbaar. Om AI-workloads efficiënt uit te voeren, zou men de mogelijkheden van CPU's en GPU's kunnen benutten, rekening houdend met de grootte van de vectorberekeningen, offload-latentie, parallelliseerbaarheid en vele andere factoren". Maar hij gaat verder, voor een "kleinere" taak zullen de "kosten" van het offloaden buitensporig zijn, en het is misschien niet logisch om het op een GPU of versneller te laten draaien.

CPU's kunnen ook profiteren van nauwere integratie met andere systeemcomponenten, waardoor ze de AI-taak sneller kunnen voltooien. Maximale waarde halen uit AI-implementaties houdt meer in dan het uitvoeren van alleen de modellen zelf - het gezochte inzicht hangt af van efficiënte voorbewerkings-, inferentie- en nabewerkingsbewerkingen. Voorverwerking vereist dat gegevens worden voorbereid om te voldoen aan de invoerverwachtingen van het getrainde model voordat deze worden ingevoerd om gevolgtrekkingen te genereren. De nuttige informatie wordt vervolgens in de postprocessing-fase uit de inferentieresultaten gehaald.

Als we bijvoorbeeld denken aan een datacenter intrusion detectiesysteem (IDS), is het belangrijk om op de output van het model te reageren om eventuele schade door een cyberaanval tijdig te beschermen en te voorkomen. En doorgaans zijn voor- en nabewerkingsstappen efficiënter wanneer ze worden uitgevoerd op de CPU's van het hostsysteem, omdat ze nauwer zijn geïntegreerd met de rest van het architecturale ecosysteem.

Prestatieverbetering onder startersbestellingen

Dus, betekent dit dat u de voordelen van GPU-versnelling helemaal moet opgeven? Niet noodzakelijk. Intel bouwt al enkele jaren AI-versnelling in zijn Xeon Scalable CPU's. Het assortiment omvat al Deep Learning Boost voor krachtige inferentie op deep learning-modellen, terwijl Intel's Advanced Vector Extensions 512 (AVX 512) en Vector Neural Network Extensions (VNNI) de INT8-inferentieprestaties versnellen. Maar DL Boost gebruikt ook brain floating point-formaat (BF16) om de prestaties te verbeteren bij trainingsworkloads die geen hoge mate van precisie vereisen.

Intel's aankomende Xeon Scalable vierde generatie CPU's zullen geavanceerde matrixvermenigvuldiging of AMX toevoegen. Dit geeft volgens Intel's berekeningen een verdere 8-voudige boost ten opzichte van de AVX-512 VNNI x86-uitbreidingen die in eerdere processors zijn geïmplementeerd, en stelt de 4e generatie Intel Xeon Scalable-processors in staat "trainingsworkloads en DL-algoritmen aan te pakken zoals een GPU dat doet". Maar diezelfde versnellers kunnen ook worden toegepast op algemene CPU-computing voor AI- en niet-AI-workloads.

Dat betekent niet dat Intel verwacht dat AI-pipelines van begin tot eind x86 zullen zijn. Wanneer het logischer is om trainingsworkloads die baat hebben bij parallellisatie volledig te ontlasten, biedt Intel zijn Habana Gaudi AI Training Processor. Benchmark-tests suggereren dat de laatste Amazon EC2 DL1-instanties aandrijven, die tot 40 procent betere prijsprestaties kunnen leveren dan vergelijkbare Nvidia GPU-gebaseerde trainingsinstanties die ook in de cloud worden gehost.

Tegelijkertijd is Intel's Data Center GPU Flex-serie gericht op workloads en bewerkingen die profiteren van parallellisatie zoals AI-inferentie, met verschillende implementaties gericht op "lichtere" en complexere AI-modellen. Een andere Intel® Data Center GPU, met de codenaam Ponte Vecchio (PVC), zal binnenkort beginnen met het aandrijven van de Aurora-supercomputer in het Argonne National Laboratory.

Kunnen we van begin tot eind gaan?

Het is dus mogelijk dat Intel's silicium de hele AI-pijplijn kan ondersteunen, terwijl de noodzaak om gegevens tussen verschillende computerengines onnodig te verplaatsen, wordt geminimaliseerd. De processors van het bedrijf - of het nu GPU of CPU is - ondersteunen ook een algemeen softwaremodel op basis van open source-tooling en frameworks met Intel-optimalisaties via het OneAPI-programma.

Brahmbhatt noemt Intel's erfgoed in het bouwen van een x86-software-ecosysteem op basis van community en open source als een ander voordeel. “De filosofie die Intel heeft is … 'laat het ecosysteem de adoptie bepalen'. En we moeten ervoor zorgen dat we eerlijk en open zijn voor het ecosysteem, en we geven al onze geheime saus terug aan het ecosysteem.”

"We gebruiken een gemeenschappelijke softwarestack om ervoor te zorgen dat ontwikkelaars zich geen zorgen hoeven te maken over de onderliggende differentiatie van IP tussen CPU en GPU voor AI."

Deze combinatie van een gemeenschappelijke softwarestack en een focus op het gebruik van de juiste compute-engine voor de juiste taak is zelfs nog belangrijker in de onderneming. Bedrijven vertrouwen op AI om hen te helpen bij het oplossen van enkele van hun meest urgente problemen, of die zich nu in de cloud of op locatie bevinden. Maar gemengde workloads vereisen volledige software, evenals onderhoud en beheer van de systeemstack, om de code uit te voeren die niet is opgenomen in de kernel die op de accelerator zit.

Dus als het gaat om het beantwoorden van de vraag "hoe krijgen we AI op bedrijfsschaal", kan het antwoord afhangen van het bekijken van het grotere geheel en ervoor zorgen dat u de volledige hardware- en softwarekit gebruikt die tot uw beschikking staat.

Gesponsord door Intel.