Inteligența artificială este pe o lacrimă. Aparatele pot vorbi, scrie, juca jocuri și pot genera imagini, videoclipuri și muzică originale. Dar pe măsură ce capacitățile AI au crescut, la fel au crescut și algoritmii săi.
Acum un deceniu, algoritmii de învățare automată bazat pe zeci de milioane de conexiuni interne, sau parametri. Algoritmii de astăzi ajung în mod regulat la sute de miliarde și chiar trilioane de parametri. Cercetătorii spun că extinderea oferă în continuare câștiguri de performanță, iar modelele cu zeci de trilioane de parametri pot ajunge în scurt timp.
Pentru a antrena modele atât de mari, ai nevoie de computere puternice. În timp ce AI la începutul anilor 2010 rula pe o mână de unități de procesare grafică - cipuri de computer care excelează la procesarea paralelă esențială pentru AI - nevoile de calcul au crescut exponențial, iar modelele de top necesită acum sute sau mii. OpenAI, Microsoft, meta, și alții construiesc supercomputere dedicate pentru a se ocupa de această sarcină și spun că aceste mașini AI sunt printre cele mai rapide de pe planetă.
Dar chiar dacă GPU-urile au fost esențiale pentru scalarea AI – A100 de la Nvidia, de exemplu, este încă unul dintre cele mai rapide și mai frecvent utilizate cipuri din clusterele AI – alternative mai ciudate concepute special pentru AI au apărut în ultimii ani.
Cerebras oferă o astfel de alternativă.
Pregătirea unei mese din IA
Dimensiunea unei farfurii – aproximativ 8.5 inci pe o parte – motorul Wafer Scale al companiei este cel mai mare cip de siliciu din lume, cu 2.6 trilioane de tranzistori și 850,000 de nuclee gravate pe o singură placă de siliciu. Fiecare motor Wafer Scale servește drept inima computerului CS-2 al companiei.
Singur, CS-2 este o bestie, dar anul trecut Cerebras a dezvăluit un plan pentru a conecta CS-2-uri împreună cu un sistem de memorie extern numit MemoryX și un sistem pentru a conecta CS-2-uri numit SwarmX. Compania a spus că noua tehnologie ar putea conecta până la 192 de cipuri și ar putea antrena modele cu două ordine de mărime mai mari decât cele mai mari și mai avansate IA de astăzi.
„Industria trece de modelele cu 1 trilion de parametri și extindem această graniță cu două ordine de mărime, permițând rețele neuronale la scară cerebrală cu 120 de trilioane de parametri”, a spus CEO-ul și cofondatorul Cerebras, Andrew Feldman.
La acea vreme, toate acestea erau teoretice. Dar săptămâna trecută, a anunțat compania au conectat 16 CS-2 într-un supercomputer AI de clasă mondială.
Faceți cunoștință cu Andromeda
Noua mașină, numită Andromeda, are 13.5 milioane de nuclee capabile de viteze peste un exaflop (un quintilion de operații pe secundă) la jumătate de precizie de 16 biți. Datorită cipului unic din nucleul său, Andromeda nu este ușor de comparat cu supercalculatoarele care rulează pe procesoare și GPU-uri mai tradiționale, dar a spus Feldman Wire HPC Andromeda este aproximativ echivalent cu supercomputerul Polaris al Laboratorului Național Argonne, care se clasează 17 cel mai rapid din lume, conform ultimei liste Top500.
Pe lângă performanță, timpul de construcție rapid, costul și amprenta Andromeda sunt notabile. Argonne a început să instaleze Polaris în vara anului 2021 și supercomputerul a intrat în direct aproximativ un an mai târziu. Ocupă 40 de rafturi, carcasele asemănătoare unui dulap adăpostind componente de supercomputer. Prin comparație, Andromeda a costat 35 de milioane de dolari - un preț modest pentru o mașină de puterea sa - a luat doar trei zile pentru asamblare, și folosește doar 16 rafturi.
Cerebras a testat sistemul antrenând cinci versiuni ale modelului de limbaj mare OpenAI GPT-3, precum și GPT-J și GPT-NeoX de la Eleuther AI. Și conform Cerebras, poate cea mai importantă constatare este că Andromeda a demonstrat ceea ce ei numesc „scalarea liniară aproape perfectă” a sarcinilor de lucru AI pentru modele de limbaj mari. Pe scurt, asta înseamnă că, pe măsură ce se adaugă CS-2 suplimentare, timpii de antrenament scad proporțional.
De obicei, a spus compania, pe măsură ce adăugați mai multe cipuri, câștigurile de performanță se diminuează. Cipul WSE de la Cerebras, pe de altă parte, se poate dovedi că se scalează mai eficient, deoarece cele 850,000 de nuclee ale sale sunt conectate între ele pe aceeași bucată de siliciu. În plus, fiecare nucleu are un modul de memorie chiar alături. Luat împreună, cipul reduce cantitatea de timp petrecută transferând date între nuclee și memorie.
„Scalarea liniară înseamnă că atunci când treci de la unul la două sisteme, este nevoie de jumătate din timp pentru ca munca ta să fie finalizată. Aceasta este o proprietate foarte neobișnuită în calcul”, a spus Feldman Wire HPC. Și, a spus el, poate scala dincolo de 16 sisteme conectate.
Dincolo de testele proprii Cerebras, rezultatele scalarii liniare au fost demonstrate și în timpul lucrului la Laboratorul Național Argonne, unde cercetătorii au folosit Andromeda pentru a antrena algoritmul de limbaj mare GPT-3-XL pe secvențe lungi ale genomului Covid-19.
Desigur, deși sistemul poate scala dincolo de 16 CS-2, rămâne de văzut în ce măsură persistă scalarea liniară. De asemenea, încă nu știm cum funcționează Cerebras față în față cu alte cipuri AI. Producătorii de cipuri AI precum Nvidia și Intel au început participarea la benchmarking-ul obișnuit de la terți de oameni ca MLperf. Cerebras încă nu a luat parte.
Spatiu de rezerva
Still, the approach does appear to be carving out its own niche in the world of supercomputing, and continued scaling in large language AI is a prime use case. Indeed, Feldman a spus Prin cablu anul trecut că compania vorbea deja cu inginerii de la OpenAI, un lider în modele mari de limbaj. (Fondatorul OpenAI, Sam Altman, este, de asemenea, un investitor în Cerebras.)
La lansarea sa în 2020, modelul de limbaj mare al OpenAI GPT-3, a schimbat jocul atât în ceea ce privește performanța, cât și dimensiunea. Cântărind 175 de miliarde de parametri, a fost cel mai mare model AI la acea vreme și a surprins cercetătorii cu abilitățile sale. De atunci, modelele lingvistice au ajuns la trilioane de parametri și pot apărea modele mai mari. Există zvonuri— doar atât, până acum — că OpenAI va lansa GPT-4 într-un viitor nu prea îndepărtat și va fi un alt salt de la GPT-3. (Va trebui să așteptăm și să vedem cu privire la acest număr.)
That said, despite their capabilities, large language models are neither perfect nor universally adored. Their flaws include output that can be false, biased, and offensive. Meta’s Galactica, trained on scientific texts, is a recent example. Despite a dataset one might assume is less prone to toxicity than training on the open internet, the model was easily provoked into generating harmful and inaccurate text and pulled down in just three days. Whether researchers can solve language AI’s shortcomings remains uncertain.
But it seems likely that scaling up will continue until diminishing returns kick in. The next leap could be just around the corner—and we may already have the hardware to make it happen.
Credit imagine: Cerebrele
