Z AI morate videti širšo sliko strojne in programske opreme

Sponzorirana funkcija Minilo je desetletje in pol, odkar so raziskovalci osupnili tehnološki svet z dokazovanjem, da je mogoče grafične procesne enote uporabiti za dramatično pospešitev ključnih operacij umetne inteligence.

To spoznanje še naprej grabi domišljijo podjetij. IDC je poročal, da sta, ko gre za infrastrukturo, računalništvo, pospešeno z grafično procesorsko enoto, in povečevanje, podobno HPC, med najpomembnejšimi dejavniki za tehnološke voditelje in arhitekte, ki želijo zgraditi svojo infrastrukturo AI.

Toda med vsemi organizacijami, ki so uspešno uporabile umetno inteligenco pri problemih v resničnem svetu, se jih veliko več trudi preseči eksperimentalno ali pilotno fazo. Raziskava IDC iz leta 2021 ugotovili, da je manj kot tretjina anketirancev svoje projekte umetne inteligence premaknila v produkcijo, le tretjina pa jih je dosegla "zrelo stopnjo proizvodnje".

Navedene ovire vključujejo težave z obdelavo in pripravo podatkov ter krepitvijo infrastrukture za podporo AI na ravni podjetja. Podjetja so morala vlagati v "namensko zgrajeno infrastrukturo prave velikosti", je dejal IDC.

V čem je tukaj problem AI?

Torej, kje gredo te organizacije narobe z AI? Eden od dejavnikov je lahko ta, da tehnološki voditelji in strokovnjaki za umetno inteligenco ne uspejo celovito pogledati na širši nabor umetne inteligence, medtem ko posvečajo preveč pozornosti grafičnim procesorjem v primerjavi z drugimi računalniškimi motorji, zlasti častitljivim procesorjem.

Ker navsezadnje ne gre za vprašanje podpore CPE proti GPE proti ASIC. Namesto tega gre za iskanje optimalnega načina za izgradnjo cevovoda umetne inteligence, ki vas lahko popelje od idej, podatkov in gradnje modela do uvajanja in sklepanja. In to pomeni, da cenite posamezne prednosti različnih procesorskih arhitektur, tako da lahko uporabite pravi računalniški mehanizem ob pravem času.

Kot pojasnjuje Shardul Brahmbhatt, višji direktor Datacenter AI Strategy and Execution, »CPE je bil uporabljen za mikrostoritve in tradicionalne računalniške instance v oblaku. GPU-ji so bili uporabljeni za vzporedno računanje, kot je pretakanje medijev, igranje iger in za delovne obremenitve z umetno inteligenco.«

Ko so hiperscalerji in drugi igralci v oblaku svojo pozornost usmerili na umetno inteligenco, je postalo jasno, da izkoriščajo iste prednosti za različne naloge.

Zmogljivosti grafičnih procesorjev okoli vzporednega računanja so zelo primerni na primer za usposabljanje algoritmov AI. Medtem imajo procesorji prednost, ko gre za sklepanje v realnem času z nizko serijo in nizko zakasnitvijo ter uporabo teh algoritmov za analizo podatkov v živo ter zagotavljanje rezultatov in napovedi.

Spet obstajajo opozorila, pojasnjuje Brahmbhatt: »Obstajajo kraji, kjer želite narediti več paketnega sklepanja. In to paketno sklepanje je tudi nekaj, kar se izvaja prek GPU-jev ali ASIC-jev.«

Pogled navzdol po cevovodu

Toda cevovod umetne inteligence presega usposabljanje in sklepanje. Na levi strani cevovoda je treba podatke predhodno obdelati in razviti algoritme. Splošni CPE ima tukaj pomembno vlogo.

Pravzaprav GPE predstavljajo razmeroma majhen delež skupne dejavnosti procesorja v cevovodu umetne inteligence, pri čemer delovne obremenitve »podatkovne stopnje«, ki jih poganja CPE, po podatkih Intela predstavljajo skupno dve tretjini (lahko preberete povzetek rešitve – Optimizirajte sklepanje s tehnologijo Intel CPU tukaj).

In Brahmbhatt nas opominja, da ima arhitektura CPE druge prednosti, vključno z možnostjo programiranja.

»Ker so bili procesorji tako široko uporabljeni, je že na voljo obstoječi ekosistem razvijalcev in aplikacij ter orodja, ki zagotavljajo preprosto uporabo in možnost programiranja za računalništvo za splošne namene,« pravi.

»Drugič, procesorji zagotavljajo hitrejši dostop do večjega pomnilniškega prostora. In potem tretja stvar je bolj nestrukturirano računanje v primerjavi z grafičnimi procesorji [ki] so bolj vzporedno računanje. Iz teh razlogov delujejo procesorji kot nosilci podatkov, ki napajajo grafične procesorje, s čimer pomagajo pri modelih Recommender System in razvijajočih se delovnih obremenitvah, kot je Graph Neural Networks.«

Odprt načrt za razvoj AI

Kako naj torej gledamo na vloge CPE-jev oziroma GPE-jev pri načrtovanju razvojnega cevovoda umetne inteligence, ne glede na to, ali je na mestu, v oblaku ali oboje?

GPE-ji so revolucionirali razvoj umetne inteligence, saj so ponudili metodo pospeševanja, ki razbremeni operacije s CPE-ja. Vendar iz tega ne sledi, da je to najbolj smiselna možnost za določeno delovno mesto.

Kot pojasnjuje Intelov arhitekt platforme Sharath Raghava, »imajo aplikacije AI vektorizirane izračune. Vektorski izračuni so vzporedni. Za učinkovito izvajanje delovnih obremenitev umetne inteligence bi lahko izkoristili zmogljivosti procesorjev in grafičnih procesorjev ob upoštevanju velikosti vektorskih izračunov, zakasnitve razbremenitve, možnosti paralelizacije in številnih drugih dejavnikov. Toda nadaljuje, za "manjšo" nalogo bodo "stroški" razbremenitve pretirani in morda ne bo smiselno izvajati na GPU ali pospeševalniku.

CPE-ji imajo lahko tudi koristi od tesnejše integracije z drugimi sistemskimi komponentami, ki jim omogočajo hitrejše dokončanje dela AI. Doseganje največje vrednosti iz uvedb umetne inteligence vključuje več kot izvajanje samih modelov – iskani vpogled je odvisen od učinkovitih operacij predprocesiranja, sklepanja in naknadne obdelave. Predhodna obdelava zahteva, da se podatki pripravijo tako, da se ujemajo z vhodnimi pričakovanji usposobljenega modela, preden se vnesejo v ustvarjanje sklepanja. Koristne informacije se nato izvlečejo iz rezultatov sklepanja v fazi naknadne obdelave.

Če pomislimo na primer na sistem za zaznavanje vdorov v podatkovnem centru (IDS), je pomembno ukrepati na podlagi rezultatov modela, da pravočasno zaščitimo in preprečimo morebitno škodo zaradi kibernetskega napada. Običajno so koraki predprocesiranja in naknadnega procesiranja učinkovitejši, če se izvajajo na CPE gostiteljskega sistema, ker so tesneje povezani s preostalim arhitekturnim ekosistemom.

Povečanje zmogljivosti pod začetnimi naročili

Torej, ali to pomeni, da se v celoti odrečemo prednostim GPU pospeševanja? Ni nujno. Intel že nekaj let vgrajuje AI pospešek v svoje Xeon Scalable CPE. Ponudba že vključuje Deep Learning Boost za visoko zmogljivo sklepanje na modelih globokega učenja, medtem ko Intelove napredne vektorske razširitve 512 (AVX 512) in vektorske nevronske razširitve (VNNI) pospešijo zmogljivost sklepanja INT8. Toda DL Boost uporablja tudi možganski format s plavajočo vejico (BF16) za povečanje učinkovitosti pri vadbenih delovnih obremenitvah, ki ne zahtevajo visoke stopnje natančnosti.

Intelova prihajajoča četrta generacija procesorjev Xeon Scalable bo dodala napredno matrično množenje ali AMX. To bo dalo nadaljnjo 8-kratno spodbudo v primerjavi z razširitvami AVX-512 VNNI x86, implementiranimi v prejšnjih procesorjih v skladu z Intelovimi izračuni, in omogočilo razširljivim procesorjem Intel Xeon 4. generacije, da "obvladajo vadbene delovne obremenitve in algoritme DL, kot to počne GPE". Toda te iste pospeševalnike je mogoče uporabiti tudi za splošno računanje procesorja za delovne obremenitve z umetno inteligenco in brez AI.

To ne pomeni, da Intel pričakuje, da bodo cevovodi AI x86 od začetka do konca. Ko je bolj smiselno popolnoma razbremeniti vadbene delovne obremenitve, ki bodo imele koristi od paralelizacije, Intel ponudi svoj vadbeni procesor Habana Gaudi AI. Primerjalni testi kažejo, da slednji poganja primerke Amazon EC2 DL1, ki lahko zagotovijo do 40 odstotkov boljše razmerje med ceno in zmogljivostjo kot primerljivi primerki za usposabljanje, ki temeljijo na Nvidia GPE, prav tako gostijo v oblaku.

Hkrati je Intelova serija GPU Flex za podatkovne centre usmerjena k delovnim obremenitvam in operacijam, ki imajo koristi od paralelizacije, kot je sklepanje AI, z različnimi izvedbami, namenjenimi "lažjim" in bolj zapletenim modelom AI. Drugi grafični procesor Intel® Data Center s kodnim imenom Ponte Vecchio (PVC) bo kmalu začel napajati superračunalnik Aurora v nacionalnem laboratoriju Argonne.

Lahko gremo od konca do konca?

Potencialno torej lahko Intelov silicij podpre celoten cevovod umetne inteligence, hkrati pa zmanjša potrebo po nepotrebnem raztovarjanju podatkov med različnimi računalniškimi motorji. Procesorji podjetja – ne glede na to, ali gre za GPU ali CPE – prav tako podpirajo skupen model programske opreme, ki temelji na odprtokodnih orodjih in ogrodjih z Intelovimi optimizacijami prek programa OneAPI.

Brahmbhatt kot drugo prednost navaja Intelovo dediščino pri izgradnji programskega ekosistema x86, ki temelji na skupnosti in odprtokodnosti. »Filozofija, ki jo ima Intel, je … 'naj ekosistem spodbuja sprejemanje'. Zagotoviti moramo, da smo pošteni in odprti do ekosistema, ter da vse svoje skrivnosti vrnemo ekosistemu.«

"Uporabljamo skupni programski sklad, da v bistvu zagotovimo, da razvijalcem ni treba skrbeti za osnovno razlikovanje IP med CPU in GPE za AI."

Ta kombinacija skupnega sklada programske opreme in osredotočenosti na uporabo pravega računalniškega mehanizma za pravo nalogo je v podjetju še pomembnejša. Podjetja se zanašajo na umetno inteligenco, da jim pomaga pri reševanju nekaterih najbolj perečih težav, ne glede na to, ali se nahajajo v oblaku ali na prem. Toda mešane delovne obremenitve zahtevajo programsko opremo z vsemi funkcijami ter vzdrževanje in upravljanje sistemskega sklada za izvajanje kode, ki ni vključena v jedro, ki se nahaja na pospeševalniku.

Torej, ko gre za odgovor na vprašanje »kako umetno inteligenco pripravimo do obsega podjetja«, je odgovor morda odvisen od pogleda na širšo sliko in zagotovitve, da uporabljate celoten nabor strojne in programske opreme, ki vam je na voljo.

Sponzorira Intel.