Med AI skal du se det større hardware- og softwarebillede

Sponsoreret funktion Det er halvandet årti siden, at forskere blændede teknologiverdenen ved at demonstrere, at grafiske behandlingsenheder kunne bruges til dramatisk at accelerere vigtige AI-operationer.

Denne erkendelse fortsætter med at gribe virksomhedernes fantasi. IDC har rapporteret, at når det kommer til infrastruktur, er GPU-accelereret beregning og HPC-lignende opskalering blandt de vigtigste overvejelser for tekniske ledere og arkitekter, der ønsker at bygge deres AI-infrastruktur ud.

Men for alle de organisationer, der med succes har anvendt AI på problemer i den virkelige verden, kæmper mange flere for at komme ud over eksperimenterings- eller pilotstadiet. IDC's 2021-forskning fandt, at mindre end en tredjedel af de adspurgte havde flyttet deres AI-projekter i produktion, og kun en tredjedel af dem havde nået et "modent produktionsstadium".

De nævnte forhindringer omfatter problemer med behandling og forberedelse af data og forbedring af infrastrukturen for at understøtte AI i virksomhedsskala. Virksomheder havde brug for at investere i "formålsbygget og infrastruktur i den rigtige størrelse", sagde IDC.

Hvad er AI-problemet her?

Så hvor går disse organisationer galt med AI? En faktor kan være, at teknologiske ledere og AI-specialister undlader at tage et holistisk blik på den bredere AI-pipeline, mens de er for meget opmærksomme på GPU'er sammenlignet med andre computermotorer, især den ærværdige CPU.

For i sidste ende er det ikke et spørgsmål om at understøtte CPU'er versus GPU'er versus ASIC'er. Det handler snarere om at finde den optimale måde at konstruere en AI-pipeline, der kan få dig fra idéer og data- og modelbygning til implementering og konklusioner. Og det betyder at værdsætte de respektive styrker ved forskellige processorarkitekturer, så du kan anvende den rigtige beregningsmotor på det rigtige tidspunkt.

Som Intels seniordirektør, Datacenter AI Strategy and Execution, forklarer Shardul Brahmbhatt: "CPU'en er blevet brugt til mikrotjenester og traditionelle computerforekomster i skyen. Og GPU'er er blevet brugt til parallel beregning, såsom mediestreaming, spil og til AI-arbejdsbelastninger."

Så efterhånden som hyperscalere og andre cloud-spillere har rettet deres opmærksomhed mod kunstig intelligens, er det blevet klart, at de udnytter de samme styrker til forskellige opgaver.

GPU'ers muligheder omkring parallel beregning gør dem særdeles velegnede til for eksempel at træne AI-algoritmer. I mellemtiden har CPU'er en fordel, når det kommer til lav batch, lav latens realtidsslutning og brug af disse algoritmer til at analysere live data og levere resultater og forudsigelser.

Igen er der forbehold, forklarer Brahmbhatt, "Der er steder, hvor du ønsker at gøre mere batch-inferens. Og den batch-inferens er også noget, der bliver gjort gennem GPU'er eller ASIC'er."

Kigger ned ad rørledningen

Men AI-pipelinen strækker sig ud over træning og inferens. I venstre side af pipelinen skal data forbehandles og algoritmer udvikles. Generalist-CPU'en har en væsentlig rolle at spille her.

Faktisk tegner GPU'er sig for en relativt lille del af den samlede processoraktivitet på tværs af AI-pipelinen, med CPU-drevne "data stage"-arbejdsbelastninger, der tegner sig for to tredjedele samlet set, ifølge Intel (du kan læse en løsningsoversigt - Optimer inferens med Intel CPU-teknologi her).

Og Brahmbhatt minder os om, at CPU-arkitekturen har andre fordele, herunder programmerbarhed.

"Fordi CPU'er er blevet brugt så bredt, er der allerede et eksisterende økosystem af udviklere og applikationer til rådighed, plus værktøjer, der leverer brugervenlighed og programmerbarhed til generel databehandling," siger han.

"For det andet giver CPU'er hurtigere adgang til den større hukommelsesplads. Og så er den tredje ting, det er mere ustruktureret databehandling i forhold til GPU'er [som] er mere parallel databehandling. Af disse grunde fungerer CPU'er som de dataflyttere, der leverer GPU'erne, og hjælper derved med Recommender System-modeller såvel som udviklende arbejdsbelastninger som Graph Neural Networks."

En åben plan for AI-udvikling

Så hvordan skal vi se rollerne af henholdsvis CPU'er og GPU'er, når vi planlægger en AI-udviklingspipeline, uanset om det er on-prem, i skyen eller skrævende begge dele?

GPU'er revolutionerede AI-udviklingen, fordi de tilbød en accelerationsmetode, der aflaster operationer fra CPU'en. Men deraf følger ikke, at dette er den mest fornuftige mulighed for et givent job.

Som Intel-platformsarkitekt Sharath Raghava forklarer "AI-applikationer har vektoriserede beregninger. Vektorberegninger kan paralleliseres. For at køre AI-arbejdsbelastninger effektivt kunne man udnytte CPU'er og GPU'er-kapaciteter i betragtning af størrelsen af ​​vektorberegningerne, aflastningsforsinkelse, paralleliserbarhed og mange andre faktorer." Men han fortsætter, for en "mindre" opgave vil "omkostningerne" ved aflæsning være for høje, og det giver måske ikke mening at køre det på en GPU eller accelerator.

CPU'er kan også drage fordel af tættere integration med andre systemkomponenter, der giver dem mulighed for at fuldføre AI-jobbet hurtigere. At få maksimal værdi fra AI-implementeringer involverer mere end kun at køre selve modellerne – den indsigt, der søges, afhænger af effektiv forbehandling, inferens og efterbehandling. Forbehandling kræver, at data forberedes til at matche input-forventningerne fra den trænede model, før de føres til at generere inferens. Den nyttige information udtrækkes derefter fra slutningsresultaterne på efterbehandlingsstadiet.

Hvis vi for eksempel tænker på et datacenterindtrængendetekteringssystem (IDS), er det vigtigt at handle på outputtet af modellen for at beskytte og forhindre enhver skade fra et cyberangreb rettidigt. Og typisk er forbehandlings- og efterbehandlingstrin mere effektive, når de udføres på værtssystemets CPU'er, fordi de er tættere integreret med resten af ​​det arkitektoniske økosystem.

Ydeevne boost under startere ordrer

Så betyder det helt at give afkald på fordelene ved GPU-acceleration? Ikke nødvendigvis. Intel har bygget AI-acceleration ind i sine Xeon Scalable CPU'er i nogle år. Udvalget omfatter allerede Deep Learning Boost til højtydende inferencing på deep learning-modeller, mens Intels Advanced Vector Extensions 512 (AVX 512) og Vector Neural Network Extensions (VNNI) fremskynder INT8-inferencing-ydeevnen. Men DL Boost bruger også brain floating point format (BF16) til at øge ydeevnen på træningsbelastninger, der ikke kræver høje niveauer af præcision.

Intels kommende Xeon Scalable fjerde generation CPU'er vil tilføje avanceret matrix multiplikation, eller AMX. Dette vil give et yderligere 8-dobbelt løft i forhold til AVX-512 VNNI x86-udvidelserne implementeret i tidligere processorer ifølge Intels beregninger og tillader 4. generation af Intel Xeon Scalable-processorer at "håndtere træningsbelastninger og DL-algoritmer som en GPU gør". Men de samme acceleratorer kan også anvendes til generel CPU-beregning til AI- og ikke-AI-arbejdsbelastninger.

Det betyder ikke, at Intel forventer, at AI-pipelines er x86 fra start til slut. Når det giver mere mening fuldt ud at aflaste træningsarbejdsbelastninger, der vil drage fordel af parallelisering, tilbyder Intel sin Habana Gaudi AI Training Processor. Benchmark-tests tyder på, at sidstnævnte driver Amazon EC2 DL1-instanser, som kan levere op til 40 procent bedre pris-ydeevne end sammenlignelige Nvidia GPU-baserede træningsinstanser også hostet i skyen.

Samtidig er Intels Data Center GPU Flex-serie gearet til arbejdsbelastninger og operationer, der drager fordel af parallelisering såsom AI-inferens, med forskellige implementeringer, der er "lettere" og mere komplekse AI-modeller. En anden Intel® Data Center GPU, kodenavnet Ponte Vecchio (PVC), vil snart begynde at drive Aurora-supercomputeren på Argonne National Laboratory.

Kan vi gå fra ende til anden?

Potentielt kan Intels silicium underbygge hele AI-pipelinen, samtidig med at det minimerer behovet for at aflæse data mellem forskellige computermotorer unødigt. Virksomhedens processorer – uanset om det er GPU eller CPU – understøtter også en fælles softwaremodel baseret på open source-værktøjer og rammer med Intel-optimeringer gennem sit OneAPI-program.

Brahmbhatt nævner Intels arv i at bygge et x86-softwareøkosystem baseret på fællesskab og open source som en anden fordel. “Filosofien, som Intel har, er … 'lad økosystemet drive adoptionen'. Og vi skal sikre, at vi er retfærdige og åbne over for økosystemet, og vi giver enhver af vores hemmelige saucer tilbage til økosystemet."

"Vi bruger en fælles softwarestak for grundlæggende at sikre, at udviklere ikke behøver at bekymre sig om den underliggende differentiering af IP mellem CPU og GPU til AI."

Denne kombination af en fælles softwarestak og fokus på at bruge den rigtige computermotor til den rigtige opgave er endnu vigtigere i virksomheden. Virksomheder er afhængige af kunstig intelligens for at hjælpe dem med at løse nogle af deres mest presserende problemer, uanset om det ligger i skyen eller på forhånd. Men blandede arbejdsbelastninger kræver fuldt udstyret software samt vedligeholdelse og styring af systemstakken for at køre koden, der ikke er inkluderet i kernen, der sidder på acceleratoren.

Så når det kommer til at besvare spørgsmålet "hvordan får vi AI til virksomhedsskala" kan svaret afhænge af at tage et kig på det større billede og sikre dig, at du bruger det fulde udvalg af hardware- og softwaresæt til din rådighed.

Sponsoreret af Intel.