AI-ga peate nägema suuremat riist- ja tarkvarapilti

Sponsoreeritud funktsioon Möödus poolteist aastakümmet ajast, mil teadlased pimestasid tehnoloogiamaailma, näidates, et graafilisi töötlusseadmeid saab kasutada tehisintellekti peamiste toimingute järsuks kiirendamiseks.

See mõistmine haarab jätkuvalt ettevõtete kujutlusvõimet. IDC on teatanud, et infrastruktuuri osas on GPU kiirendatud arvutus ja HPC-laadne suurendamine üks peamisi kaalutlusi tehniliste juhtide ja arhitektide jaoks, kes soovivad oma AI infrastruktuuri välja ehitada.

Kuid kõik organisatsioonid, kes on AI-d edukalt reaalsete probleemide lahendamiseks rakendanud, näevad palju rohkem vaeva, et katse- või katseetapist kaugemale jõuda. IDC 2021. aasta uuring leidis, et vähem kui kolmandik vastanutest oli oma tehisintellektiprojektid tootmisse viinud ja vaid kolmandik neist oli jõudnud tootmise küpsesse etappi.

Viidatud takistused hõlmavad probleeme andmete töötlemise ja ettevalmistamisega ning infrastruktuuri täiustamisega, et toetada tehisintellekti ettevõtte tasandil. Ettevõtted pidid investeerima "eesmärgipärasesse ja õige suurusega infrastruktuuri", ütles IDC.

Mis siin AI probleem on?

Niisiis, kus on neil organisatsioonidel tehisintellektiga valesti läinud? Üks tegur võib olla see, et tehnoloogiajuhid ja tehisintellekti spetsialistid ei suuda laiemat tehisintellekti torustikku terviklikult vaadata, pöörates samal ajal GPU-dele liiga palju tähelepanu võrreldes teiste arvutusmootoritega, eriti auväärse CPU-ga.

Sest lõppkokkuvõttes pole küsimus CPU-de ja GPU-de ja ASIC-ide toetamises. Pigem on see optimaalse viisi leidmine AI-konveieri loomiseks, mis viib teid ideedest ja andmetest ning mudelite loomisest juurutamise ja järeldusteni. Ja see tähendab erinevate protsessoriarhitektuuride vastavate tugevuste hindamist, et saaksite õigel ajal õiget arvutusmootorit rakendada.

Inteli andmekeskuse AI strateegia ja teostamise vanemdirektor Shardul Brahmbhatt selgitab: "CPU-d on kasutatud mikroteenuste ja traditsiooniliste pilves leiduvate arvutusjuhtumite jaoks. Ja GPU-sid on kasutatud paralleelseks arvutamiseks, nagu meediumi voogesitus, mängimine ja tehisintellekti töökoormus.

Nii et kui hüperskaalajad ja teised pilvemängijad on pööranud oma tähelepanu AI-le, on saanud selgeks, et nad kasutavad samu tugevusi erinevate ülesannete jaoks.

Graafikaprotsessorite paralleelarvutusvõimalused muudavad need väga sobivaks näiteks AI-algoritmide treenimiseks. Samal ajal on protsessoritel eelis madala partii ja madala latentsusega reaalajas järelduste tegemisel ning nende algoritmide kasutamisel reaalajas andmete analüüsimiseks ning tulemuste ja prognooside esitamiseks.

Jällegi on hoiatusi, selgitab Brahmbhatt: "On kohti, kus soovite teha rohkem partiid järeldusi. Ja see partii järeldus on ka midagi, mida tehakse GPU-de või ASIC-ide kaudu.

Torust alla vaadates

Kuid tehisintellekti torujuhe ulatub väljaõppest ja järeldustest kaugemale. Konveieri vasakus servas tuleb andmeid eeltöödelda ja töötada välja algoritmid. Üldprotsessoril on siin oluline roll.

Tegelikult moodustavad GPU-d suhteliselt väikese osa kogu protsessori tegevusest AI-konveieri ulatuses, kusjuures protsessori toitega "andmeetapi" töökoormus moodustab Inteli andmetel kokku kaks kolmandikku (saate lugeda lahenduse lühikirjeldust - Optimeerige järeldusi Inteli protsessoritehnoloogiaga siin).

Ja Brahmbhatt tuletab meile meelde, et protsessori arhitektuuril on muid eeliseid, sealhulgas programmeeritavus.

"Kuna protsessoreid on kasutatud nii laialdaselt, on olemas juba olemasolev arendajate ja rakenduste ökosüsteem ning tööriistad, mis pakuvad üldotstarbeliseks arvutamiseks lihtsat kasutamist ja programmeeritavust," ütleb ta.

"Teiseks pakuvad protsessorid kiiremat juurdepääsu suuremale mäluruumile. Ja siis kolmas asi on see, et see on rohkem struktureerimata arvutus kui GPU-d, [mis] on rohkem paralleelsed. Nendel põhjustel toimivad CPU-d andmeliikujatena, mis toidavad GPU-sid, aidates seeläbi kaasa Recommender Systemi mudelitele ja arenevale töökoormusele, nagu Graph Neural Networks.

Avatud plaan AI arendamiseks

Niisiis, kuidas peaksime AI arendustoru kavandamisel vaatama CPU-de ja GPU-de rolle, olgu siis kohapeal, pilves või mõlemat mööda?

GPU-d muutsid tehisintellekti arendamise revolutsiooni, kuna pakkusid kiirendusmeetodit, mis laadib toimingud protsessorilt maha. Kuid sellest ei järeldu, et see on antud töö jaoks kõige mõistlikum variant.

Inteli platvormi arhitekt Sharath Raghava selgitab: "AI-rakendustel on vektoriseeritud arvutused. Vektorarvutused on paralleelsed. Tehisintellekti töökoormuste tõhusaks käitamiseks võiks kasutada CPU-de ja GPU-de võimalusi, võttes arvesse vektorarvutuste suurust, mahalaadimise latentsust, paralleelsust ja paljusid muid tegureid. Kuid ta jätkab, et "väiksema" ülesande puhul on mahalaadimise "kulu" liiga suur ja seda ei pruugi olla mõtet GPU-s või kiirendis käivitada.

Protsessorid saavad kasu ka tihedamast integreerimisest teiste süsteemikomponentidega, mis võimaldavad neil tehisintellekti töö kiiremini lõpule viia. Tehisintellekti juurutustest maksimaalse kasu saamine hõlmab enamat kui ainult mudelite enda käitamist – otsitav ülevaade sõltub tõhusast eeltöötlusest, järeldustest ja järeltöötlustoimingutest. Eeltöötlus nõuab andmete ettevalmistamist, et need vastaksid koolitatud mudeli sisendi ootustele, enne kui need sisestatakse järelduste tegemiseks. Seejärel ekstraheeritakse järeltöötluse etapis järeldustulemustest kasulik teave.

Kui mõelda näiteks andmekeskuse sissetungimise tuvastamise süsteemile (IDS), on oluline tegutseda mudeli väljundi järgi, et kaitsta ja vältida küberrünnakust tulenevaid kahjustusi õigeaegselt. Tavaliselt on eel- ja järeltöötlusetapid tõhusamad, kui need viiakse läbi peremeessüsteemi protsessorites, kuna need on tihedamalt integreeritud ülejäänud arhitektuurilise ökosüsteemiga.

Jõudluse suurendamine starteritellimuste alusel

Niisiis, kas see tähendab GPU kiirenduse eelistest täielikult loobumist? Mitte tingimata. Intel on AI-kiirendust oma Xeoni skaleeritavatesse protsessoritesse ehitanud juba mitu aastat. Valikus on juba Deep Learning Boost, mis võimaldab sügavalt õppimise mudelitel teha suure jõudlusega järeldusi, samas kui Inteli täiustatud vektorlaiendid 512 (AVX 512) ja Vector Neural Network Extensions (VNNI) kiirendavad INT8 järelduste jõudlust. Kuid DL Boost kasutab ka aju ujukomavormingut (BF16), et suurendada jõudlust treeningkoormuse korral, mis ei nõua suurt täpsust.

Inteli tulevased Xeon Scalable neljanda põlvkonna CPU-d lisavad täiustatud maatrikskorrutamise ehk AMX-i. See annab Inteli arvutuste kohaselt veel 8-kordse tõuke võrreldes varasemates protsessorites juurutatud laiendustega AVX-512 VNNI x86 ja võimaldab neljanda põlvkonna Intel Xeon Scalable protsessoritel "käsitseda treeningkoormust ja DL-algoritme nagu GPU". Kuid neid samu kiirendeid saab rakendada ka AI ja muude töökoormuste jaoks mõeldud protsessori üldiseks arvutamiseks.

See ei tähenda, et Intel eeldab, et AI torujuhtmed on algusest lõpuni x86. Kui on mõttekam koolituskoormused, mis paralleelsusest kasu saavad, täielikult maha laadida, pakub Intel oma Habana Gaudi AI koolitusprotsessorit. Võrdluskatsed näitavad, et viimane toidab Amazon EC2 DL1 eksemplare, mis suudavad pakkuda kuni 40 protsenti paremat hinna-jõudlust kui võrreldavad Nvidia GPU-põhised koolituseksemplarid, mida majutatakse ka pilves.

Samal ajal on Inteli andmekeskuse GPU Flex-seeria suunatud töökoormustele ja toimingutele, mis saavad kasu paralleelsusest, näiteks tehisintellekti järeldamisest, kusjuures erinevad teostused on seatud kergematele ja keerukamatele AI mudelitele. Teine Intel® Data Centeri GPU, koodnimega Ponte Vecchio (PVC), hakkab peagi Argonne'i riiklikus laboris Aurora superarvutit toitma.

Kas me saame minna otsast lõpuni?

Võimalik, et Inteli räni võib toetada kogu tehisintellekti konveieri, minimeerides samal ajal vajadust tarbetult andmeid erinevate arvutusmootorite vahel maha laadida. Ettevõtte protsessorid – kas GPU või CPU – toetavad ka ühtset tarkvaramudelit, mis põhineb avatud lähtekoodiga tööriistadel ja Inteli optimeeritud raamistikel oma OneAPI programmi kaudu.

Teise eelisena nimetab Brahmbhatt Inteli pärandit kogukonnal ja avatud lähtekoodil põhineva x86 tarkvara ökosüsteemi loomisel. Inteli filosoofia on … las ökosüsteem juhib kasutuselevõttu. Ja me peame tagama, et oleme ökosüsteemile ausad ja avatud, ning tagame oma salajase kastme ökosüsteemile tagasi.

"Kasutame ühist tarkvarapakki, tagamaks, et arendajad ei pea muretsema tehisintellekti jaoks mõeldud protsessori ja GPU IP aluseks oleva diferentseerimise pärast."

See kombinatsioon ühisest tarkvaravirust ja keskendumisest õige arvutusmootori kasutamisele õige ülesande jaoks on ettevõttes veelgi olulisem. Ettevõtted loodavad tehisintellektile, et aidata neil lahendada mõned kõige pakilisemad probleemid, olgu need siis pilves või prem-is. Kuid segatöökoormused nõuavad täisfunktsionaalset tarkvara, samuti süsteemivirna hooldust ja haldamist, et käivitada kood, mis ei sisaldu kiirendis asuvas kernelis.

Seega, kui on vaja vastata küsimusele „kuidas me saame tehisintellekti ettevõtte mastaabis saavutada”, võib vastus sõltuda sellest, kas vaatame laiemat pilti ja veendume, et kasutate kogu teie käsutuses olevat riist- ja tarkvarakomplekti.

Sponsoriks Intel.