Med AI må du se det større maskinvare- og programvarebildet

Sponset funksjon Det er et og et halvt tiår siden forskere blendet teknologiverdenen ved å demonstrere at grafiske prosesseringsenheter kan brukes til å dramatisk akselerere viktige AI-operasjoner.

Denne erkjennelsen fortsetter å gripe fantasien til bedrifter. IDC har rapportert at når det kommer til infrastruktur, er GPU-akselerert databehandling og HPC-lignende oppskalering blant de viktigste hensynene for tekniske ledere og arkitekter som ønsker å bygge ut AI-infrastrukturen sin.

Men for alle organisasjonene som har brukt AI på problemer i den virkelige verden, sliter mange flere med å komme utover eksperimenterings- eller pilotstadiet. IDCs 2021-forskning fant at mindre enn en tredjedel av respondentene hadde flyttet AI-prosjektene sine til produksjon, og bare en tredjedel av disse hadde nådd et "modent produksjonsstadium".

Siterte hindringer inkluderer problemer med behandling og klargjøring av data og oppgradering av infrastruktur for å støtte AI i bedriftsskala. Bedrifter trengte å investere i "formålsbygd og riktig størrelse infrastruktur", sa IDC.

Hva er AI-problemet her?

Så hvor går disse organisasjonene galt med AI? En faktor kan være at teknologiledere og AI-spesialister ikke klarer å ta et helhetlig blikk på den bredere AI-pipelinen mens de tar for mye oppmerksomhet til GPUer sammenlignet med andre databehandlingsmotorer, spesielt den ærverdige CPUen.

For til syvende og sist er det ikke et spørsmål om å støtte CPUer versus GPUer kontra ASICer. Snarere handler det om å finne den optimale måten å konstruere en AI-pipeline som kan bringe deg fra ideer og data- og modellbygging til distribusjon og slutning. Og det betyr å sette pris på de respektive styrkene til forskjellige prosessorarkitekturer, slik at du kan bruke den riktige beregningsmotoren til rett tid.

Som Intels seniordirektør, Datacenter AI Strategy and Execution, forklarer Shardul Brahmbhatt, "CPU har blitt brukt til mikrotjenester og tradisjonelle databehandlingsinstanser i skyen. Og GPU-er har blitt brukt til parallell databehandling, som mediestrømming, spill og for AI-arbeidsbelastninger.»

Så ettersom hyperskalere og andre skyspillere har rettet oppmerksomheten mot AI, har det blitt klart at de utnytter de samme styrkene for forskjellige oppgaver.

GPU-enes evner rundt parallellberegning gjør dem svært egnet for trening av AI-algoritmer, for eksempel. I mellomtiden har CPUer en fordel når det kommer til lav batch, lav latens sanntidsslutning, og bruk av disse algoritmene til å analysere live data og levere resultater og spådommer.

Igjen, det er forbehold, forklarer Brahmbhatt, "Det er steder hvor du ønsker å gjøre mer batch-slutninger. Og den batch-slutningen er også noe som gjøres gjennom GPUer eller ASICer."

Ser nedover rørledningen

Men AI-rørledningen strekker seg utover trening og slutninger. På venstre side av rørledningen må data forhåndsbehandles og algoritmer utvikles. Generalist-CPU har en betydelig rolle å spille her.

Faktisk står GPU-er for en relativt liten andel av den totale prosessoraktiviteten på tvers av AI-pipelinen, med CPU-drevne "data stage"-arbeidsbelastninger som utgjør to tredjedeler totalt sett, ifølge Intel (du kan lese en løsningsoversikt – Optimaliser inferens med Intel CPU-teknologi her).

Og Brahmbhatt minner oss om at CPU-arkitekturen har andre fordeler, inkludert programmerbarhet.

"Fordi CPU-er har blitt brukt så bredt, er det allerede et eksisterende økosystem av utviklere og applikasjoner tilgjengelig, pluss verktøy som gir brukervennlighet og programmerbarhet for generell databehandling," sier han.

"For det andre gir CPUer raskere tilgang til større minneplass. Og så er den tredje tingen at det er mer ustrukturert databehandling kontra GPU-er [som] er mer parallell databehandling. Av disse grunnene fungerer CPU-er som dataflyttere som mater GPU-ene, og hjelper dermed med Recommender System-modeller samt utviklende arbeidsbelastninger som Graph Neural Networks.»

En åpen plan for AI-utvikling

Så hvordan bør vi se på rollene til henholdsvis CPUer og GPUer når vi planlegger en AI-utviklingspipeline, enten det er on-prem, i skyen eller over begge deler?

GPUer revolusjonerte AI-utviklingen, fordi de tilbød en akselerasjonsmetode som avlaster operasjoner fra CPU. Men det følger ikke med at dette er det mest fornuftige alternativet for en gitt jobb.

Som Intel-plattformarkitekt Sharath Raghava forklarer "AI-applikasjoner har vektoriserte beregninger. Vektorberegninger er parallelliserbare. For å kjøre AI-arbeidsbelastninger effektivt, kan man utnytte CPU-er og GPU-funksjoner med tanke på størrelsen på vektorberegningene, avlastningsforsinkelse, parallelliserbarhet og mange andre faktorer. Men han fortsetter, for en "mindre" oppgave vil "kostnadene" ved avlasting være for høye, og det er kanskje ikke fornuftig å kjøre den på en GPU eller akselerator.

CPUer kan også dra nytte av tettere integrasjon med andre systemkomponenter som lar dem fullføre AI-jobben raskere. Å få maksimal verdi fra AI-implementeringer innebærer mer enn å kjøre bare modellene selv – innsikten som søkes avhenger av effektiv forbehandling, slutning og etterbehandling. Forbehandling krever at data forberedes for å matche inputforventningene til den trente modellen før den mates for å generere inferens. Den nyttige informasjonen trekkes deretter ut fra slutningsresultatene på etterbehandlingsstadiet.

Hvis vi for eksempel tenker på et datasenterinntrengningssystem (IDS), er det viktig å handle på utgangen av modellen for å beskytte og forhindre skade fra et cyberangrep i tide. Og typisk er forbehandlings- og etterbehandlingstrinn mer effektive når de utføres på vertssystemets CPUer fordi de er tettere integrert med resten av det arkitektoniske økosystemet.

Ytelsesøkning under startbestillinger

Så, betyr det å gi avkall på fordelene med GPU-akselerasjon helt? Ikke nødvendigvis. Intel har bygget AI-akselerasjon i sine Xeon-skalerbare prosessorer i noen år. Utvalget inkluderer allerede Deep Learning Boost for høyytelses slutninger på dyplæringsmodeller, mens Intels Advanced Vector Extensions 512 (AVX 512) og Vector Neural Network Extensions (VNNI) øker INT8-slutningsytelsen. Men DL Boost bruker også brain floating point format (BF16) for å øke ytelsen på treningsbelastninger som ikke krever høye nivåer av presisjon.

Intels kommende Xeon Scalable fjerde generasjons CPUer vil legge til avansert matrisemultiplikasjon, eller AMX. Dette vil gi en ytterligere 8 ganger økning i forhold til AVX-512 VNNI x86-utvidelsene implementert i tidligere prosessorer i henhold til Intels beregninger, og tillate 4. generasjons Intel Xeon Scalable-prosessorer å "håndtere treningsarbeidsbelastninger og DL-algoritmer som en GPU gjør". Men de samme akseleratorene kan også brukes på generell CPU-beregning for AI- og ikke-AI-arbeidsbelastninger.

Det betyr ikke at Intel forventer at AI-rørledninger skal være x86 fra start til slutt. Når det er mer fornuftig å fullføre treningsarbeidsmengder som vil dra nytte av parallellisering, tilbyr Intel sin Habana Gaudi AI Training Processor. Benchmark-tester tyder på at sistnevnte driver Amazon EC2 DL1-forekomster som kan levere opptil 40 prosent bedre prisytelse enn sammenlignbare Nvidia GPU-baserte treningsforekomster også vert i skyen.

Samtidig er Intels Data Center GPU Flex-serie rettet mot arbeidsbelastninger og operasjoner som drar nytte av parallellisering som AI-inferens, med forskjellige implementeringer på "lettere" og mer komplekse AI-modeller. En annen Intel® Data Center GPU, kodenavnet Ponte Vecchio (PVC), vil snart begynne å drive Aurora-superdatamaskinen ved Argonne National Laboratory.

Kan vi gå fra ende til annen?

Potensielt kan altså Intels silisium underbygge hele AI-pipelinen, samtidig som det minimerer behovet for å avlaste data mellom ulike datamotorer unødvendig. Selskapets prosessorer – enten GPU eller CPU – støtter også en felles programvaremodell basert på åpen kildekode-verktøy og rammeverk med Intel-optimaliseringer gjennom OneAPI-programmet.

Brahmbhatt siterer Intels arv i å bygge et x86-programvareøkosystem basert på fellesskap og åpen kildekode som en annen fordel. "Filosofien som Intel har er ... 'la økosystemet drive adopsjonen'. Og vi må sikre at vi er rettferdige og åpne for økosystemet, og vi gir noen av våre hemmelige sauser tilbake til økosystemet.»

"Vi bruker en vanlig programvarestabel, for å i utgangspunktet sørge for at utviklere ikke trenger å bekymre seg for den underliggende differensieringen av IP mellom CPU og GPU for AI."

Denne kombinasjonen av en felles programvarestabel og fokus på å bruke riktig beregningsmotor for riktig oppgave er enda viktigere i bedriften. Bedrifter er avhengige av AI for å hjelpe dem med å løse noen av de mest presserende problemene deres, enten det ligger i skyen eller på prem. Men blandede arbeidsbelastninger krever fullverdig programvare, samt vedlikehold og administrasjon av systemstakken, for å kjøre koden som ikke er inkludert i kjernen som sitter på akseleratoren.

Så når det gjelder å svare på spørsmålet "hvordan får vi AI til bedriftsskala" kan svaret avhenge av å ta en titt på det større bildet og sørge for at du bruker det fulle utstyret med maskinvare og programvare til din disposisjon.

Sponset av Intel.