Cu AI, trebuie să vedeți imaginea mai mare a hardware-ului și software-ului

Funcție sponsorizată A trecut un deceniu și jumătate de când cercetătorii au uimit lumea tehnologiei, demonstrând că unitățile de procesare grafică ar putea fi folosite pentru a accelera dramatic operațiunile cheie AI.

Această realizare continuă să capteze imaginația întreprinderilor. IDC a raportat că, atunci când vine vorba de infrastructură, calculul accelerat GPU și extinderea ca HPC sunt printre principalele considerații pentru liderii tehnologici și arhitecții care doresc să-și construiască infrastructura AI.

Dar pentru toate organizațiile care au aplicat cu succes AI la problemele lumii reale, multe altele se luptă să treacă dincolo de etapa de experimentare sau pilot. Cercetarea IDC 2021 a constatat că mai puțin de o treime dintre respondenți și-au mutat proiectele de inteligență artificială în producție, iar doar o treime dintre aceștia ajunseseră într-un „stadiu matur al producției”.

Obstacolele citate includ probleme legate de procesarea și pregătirea datelor și consolidarea infrastructurii pentru a sprijini AI la scară întreprindere. Întreprinderile trebuiau să investească în „infrastructură construită special și de dimensiuni adecvate”, a spus IDC.

Care este problema AI aici?

Deci, unde greșesc acele organizații cu AI? Un factor ar putea fi faptul că liderii tehnologici și specialiștii în inteligență artificială nu reușesc să arunce o privire holistică asupra conductei mai ample de AI, acordând în același timp prea multă atenție GPU-urilor în comparație cu alte motoare de calcul, în special procesorul venerabil.

Pentru că, în cele din urmă, nu este vorba de a susține procesoarele versus GPU-uri versus ASIC-uri. Mai degrabă, este vorba despre găsirea modului optim de a construi o conductă de AI care să te poată aduce de la idei și date și construirea de modele până la implementare și inferență. Și asta înseamnă să apreciezi punctele forte ale diferitelor arhitecturi de procesor, astfel încât să poți aplica motorul de calcul potrivit la momentul potrivit.

După cum explică directorul senior Intel, Datacenter AI Strategy and Execution, Shardul Brahmbhatt, „CPU a fost folosit pentru microservicii și instanțele de calcul tradiționale în cloud. Și GPU-urile au fost folosite pentru calcule paralele, cum ar fi streaming media, jocuri și pentru sarcinile de lucru AI.”

Deci, pe măsură ce hiperscalerii și alți jucători din cloud și-au îndreptat atenția către AI, a devenit clar că folosesc aceleași puncte forte pentru diferite sarcini.

Capacitățile GPU-urilor în jurul calculului paralel le fac foarte potrivite pentru antrenarea algoritmilor AI, de exemplu. Între timp, procesoarele au un avantaj atunci când vine vorba de loturi reduse, inferență în timp real cu latență scăzută și utilizarea acelor algoritmi pentru a analiza datele în direct și a furniza rezultate și predicții.

Din nou, există avertismente, explică Brahmbhatt, „Există locuri în care doriți să faceți mai multe inferențe în loturi. Și această inferență în lot este, de asemenea, ceva care se face prin GPU-uri sau ASIC-uri.”

Privind în josul conductei

Dar conducta AI se extinde dincolo de instruire și inferență. În partea stângă a conductei, datele trebuie să fie preprocesate și algoritmi dezvoltați. CPU-ul generalist are un rol important aici.

De fapt, GPU-urile reprezintă o proporție relativ mică din activitatea totală a procesorului de-a lungul conductei AI, încărcările de lucru „etapă de date” alimentate de CPU reprezentând două treimi în total, conform Intel (puteți citi un Rezumat al soluției - Optimizați inferența cu tehnologia CPU Intel aici).

Și Brahmbhatt ne reamintește că arhitectura CPU are alte avantaje, inclusiv programabilitatea.

„Deoarece procesoarele au fost utilizate atât de larg, există deja un ecosistem existent de dezvoltatori și aplicații disponibile, plus instrumente care oferă ușurință în utilizare și programabilitate pentru calcularea de uz general”, spune el.

„În al doilea rând, procesoarele oferă acces mai rapid la spațiul de memorie mai mare. Și apoi al treilea lucru este că este mai mult calcul nestructurat față de GPU-uri [care] sunt mai mult calcul paralel. Din aceste motive, procesoarele funcționează ca dispozitive de transfer de date care alimentează GPU-urile, ajutând astfel cu modelele de sistem de recomandare, precum și cu sarcinile de lucru în evoluție, cum ar fi rețelele neuronale Graph.”

Un plan deschis pentru dezvoltarea AI

Așadar, cum ar trebui să vedem rolurile CPU-urilor și, respectiv, GPU-urilor atunci când planificăm o conductă de dezvoltare AI, fie on-prem, în cloud sau de ambele?

GPU-urile au revoluționat dezvoltarea AI, deoarece ofereau o metodă de accelerare care descarcă operațiunile din procesor. Dar nu rezultă că aceasta este cea mai bună opțiune pentru un anumit loc de muncă.

După cum explică arhitectul platformei Intel Sharath Raghava, „aplicațiile AI au calcule vectorizate. Calculele vectoriale sunt paralelizabile. Pentru a rula sarcinile de lucru AI în mod eficient, s-ar putea exploata capabilitățile CPU-urilor și GPU-urilor ținând cont de dimensiunea calculelor vectoriale, latența de descărcare, paralelizarea și mulți alți factori”. Dar continuă, pentru o sarcină „mai mică”, „costul” de descărcare va fi excesiv și s-ar putea să nu aibă sens să o rulezi pe un GPU sau un accelerator.

CPU-urile pot beneficia, de asemenea, de o integrare mai strânsă cu alte componente ale sistemului, care le permit să finalizeze mai rapid munca AI. Obținerea valorii maxime din implementările AI implică mai mult decât rularea doar a modelelor în sine - înțelegerea căutată depinde de operațiuni eficiente de preprocesare, inferență și postprocesare. Preprocesarea necesită ca datele să fie pregătite pentru a se potrivi cu așteptările de intrare ale modelului antrenat înainte ca acesta să fie alimentat pentru a genera inferență. Informațiile utile sunt apoi extrase din rezultatele inferenței în etapa de postprocesare.

Dacă ne gândim la un sistem de detectare a intruziunilor în centrul de date (IDS), de exemplu, este important să acționăm asupra rezultatului modelului pentru a proteja și a preveni orice daune cauzate de un atac cibernetic în timp util. Și de obicei, pașii de preprocesare și postprocesare sunt mai eficienți atunci când sunt efectuate pe procesoarele sistemului gazdă, deoarece sunt mai strâns integrate cu restul ecosistemului arhitectural.

Creșterea performanței la comenzile de pornire

Deci, asta înseamnă să renunți cu totul la beneficiile accelerării GPU? Nu neaparat. Intel a dezvoltat accelerarea AI în procesoarele sale scalabile Xeon de câțiva ani. Gama include deja Deep Learning Boost pentru inferențele de înaltă performanță pe modelele de deep learning, în timp ce Advanced Vector Extensions 512 (AVX 512) și Vector Neural Network Extensions (VNNI) de la Intel accelerează performanța de inferență INT8. Dar DL Boost folosește și formatul în virgulă mobilă a creierului (BF16) pentru a crește performanța la sarcinile de antrenament care nu necesită niveluri ridicate de precizie.

Procesoarele Intel Xeon Scalable din a patra generație vor adăuga multiplicare matrice avansată sau AMX. Acest lucru va oferi un impuls suplimentar de 8 ori față de extensiile AVX-512 VNNI x86 implementate în procesoarele anterioare conform calculelor Intel și va permite procesoarelor scalabile Intel Xeon din a 4-a generație să „gestioneze sarcinile de lucru de antrenament și algoritmii DL așa cum o face un GPU”. Dar aceleași acceleratoare pot fi aplicate și la calculul general CPU pentru sarcinile de lucru AI și non-AI.

Asta nu înseamnă că Intel se așteaptă ca conductele AI să fie x86 de la început până la sfârșit. Când este mai logic să descărcați complet sarcinile de antrenament care vor beneficia de paralelizare, Intel oferă Habana Gaudi AI Training Processor. Testele de referință sugerează că acestea din urmă alimentează instanțele Amazon EC2 DL1, care pot oferi o performanță preț-performanță cu până la 40% mai bună decât instanțe de antrenament bazate pe GPU Nvidia comparabile, găzduite și în cloud.

În același timp, seria Intel Data Center GPU Flex este orientată către sarcini de lucru și operațiuni care beneficiază de paralelizare, cum ar fi inferența AI, cu diferite implementări propuse la modele AI „mai ușoare” și mai complexe. Un alt GPU Intel® Data Center, cu nume de cod Ponte Vecchio (PVC), va începe în scurt timp să alimenteze supercomputerul Aurora de la Laboratorul Național Argonne.

Putem merge cap la cap?

Prin urmare, potențial, siliciul Intel poate sprijini întreaga conductă AI, minimizând în același timp nevoia de a descărca date între diferite motoare de calcul în mod inutil. Procesoarele companiei – fie GPU sau CPU – acceptă, de asemenea, un model software comun bazat pe instrumente și cadre open-source cu optimizări Intel prin programul său OneAPI.

Brahmbhatt citează moștenirea Intel în construirea unui ecosistem software x86 bazat pe comunitate și sursă deschisă ca un alt avantaj. „Filozofia pe care o are Intel este … „lăsați ecosistemul să conducă adoptarea”. Și trebuie să ne asigurăm că suntem corecți și deschiși către ecosistem și că oferim orice sos secret înapoi ecosistemului.”

„Folosim o stivă de software comună, practic pentru a ne asigura că dezvoltatorii nu trebuie să-și facă griji cu privire la diferențierea de bază a IP între CPU și GPU pentru AI.”

Această combinație între o stivă de software comună și concentrarea pe utilizarea motorului de calcul potrivit pentru sarcina potrivită este și mai importantă în întreprindere. Companiile se bazează pe inteligența artificială pentru a le ajuta să-și rezolve unele dintre cele mai presante probleme, indiferent dacă acestea se află în cloud sau pe site. Dar sarcinile de lucru mixte necesită software cu caracteristici complete, precum și întreținerea și gestionarea stivei de sistem, pentru a rula codul care nu este inclus în nucleul care se află pe accelerator.

Așadar, când vine vorba de a răspunde la întrebarea „cum ajungem AI la scară întreprindere”, răspunsul ar putea depinde de o privire la imaginea de ansamblu și de a vă asigura că utilizați întregul kit de hardware și software pe care îl aveți la dispoziție.

Sponsorizat de Intel.