Un nou cip de computer fotonic folosește lumina pentru a reduce costurile energiei AI

Modelele AI sunt porci de putere.

Pe măsură ce algoritmii cresc și devin mai complexi, ei taxează din ce în ce mai mult cipurile de computer actuale. Mai multe companii au proiectat cipuri adaptate AI pentru a reduce consumul de energie. Dar toate se bazează pe o singură regulă fundamentală - folosesc electricitatea.

Luna aceasta, o echipă de la Universitatea Tsinghua din China a schimbat rețeta. ei a construit un cip de rețea neuronală care utilizează mai degrabă lumina decât electricitatea pentru a rula sarcini AI la o fracțiune din costul energiei H100 de la NVIDIA, un cip de ultimă generație folosit pentru antrenarea și rularea modelelor AI.

Numit Taichi, cipul combină două tipuri de procesare bazată pe lumină în structura sa internă. Comparativ cu precedentul cipuri optice, Taichi este mult mai precis pentru sarcini relativ simple, cum ar fi recunoașterea numerelor scrise de mână sau a altor imagini. Spre deosebire de predecesorii săi, cipul poate genera și conținut. Poate realiza imagini de bază într-un stil bazat pe artistul olandez Vincent van Gogh, de exemplu, sau numere muzicale clasice inspirate de Johann Sebastian Bach.

O parte din eficiența lui Taichi se datorează structurii sale. Cipul este format din mai multe componente numite chiplets. Similar cu organizarea creierului, fiecare chiplet realizează propriile calcule în paralel, ale căror rezultate sunt apoi integrate cu celelalte pentru a ajunge la o soluție.

Confruntat cu o problemă dificilă de separare a imaginilor în peste 1,000 de categorii, Taichi a avut succes în aproape 92 la sută din timp, egalând performanța actuală a cipului, dar reducând consumul de energie de peste o mie de ori.

Pentru AI, „tendința de a se ocupa de sarcini mai avansate [este] ireversibilă”, au scris autorii. „Taichi deschide calea pentru calculul fotonic la scară largă [pe bază de lumină]”, ceea ce duce la o IA mai flexibilă, cu costuri mai mici de energie.

Cip pe umăr

Cipurile computerelor de astăzi nu se potrivesc bine cu AI.

O parte a problemei este structurală. Procesarea și memoria pe cipurile tradiționale sunt separate fizic. Transferul datelor între ele necesită cantități enorme de energie și timp.

Deși eficientă pentru rezolvarea problemelor relativ simple, configurația este incredibil de amantă de putere atunci când vine vorba de IA complexă, cum ar fi modelele mari de limbaj care alimentează ChatGPT.

Problema principală este modul în care sunt construite cipurile de calculator. Fiecare calcul se bazează pe tranzistori, care se pornesc sau se opresc pentru a reprezenta 0-urile și 1-urile utilizate în calcule. Inginerii au redus dramatic tranzistoarele de-a lungul deceniilor, astfel încât să poată înghesui din ce în ce mai mult pe cipuri. Dar tehnologia actuală a cipurilor se îndreaptă spre un punct de rupere în care nu putem merge mai mici.

Oamenii de știință au căutat de mult să reînnoiască cipurile actuale. O strategie inspirată de creier se bazează pe „sinapsele” – „docul” biologic care conectează neuronii – care calculează și stochează informații în aceeași locație. Aceste cipuri inspirate de creier sau neuromorfe reduc consumul de energie și accelerează calculele. Dar, ca și cipurile actuale, se bazează pe electricitate.

O altă idee este să folosiți un mecanism de calcul diferit: lumina. „Calcul fotonic” „atrage o atenție din ce în ce mai mare”, au scris autorii. În loc să folosiți electricitate, este posibil să deturnați particule de lumină pentru a alimenta AI la viteza luminii.

Să fie lumină

În comparație cu cipurile bazate pe energie electrică, lumina utilizează mult mai puțină energie și poate aborda simultan mai multe calcule. Utilizând aceste proprietăți, oamenii de știință au construit rețele neuronale optice care folosesc fotoni – particule de lumină – pentru cipurile AI, în loc de electricitate.

Aceste cipuri pot funcționa în două moduri. Într-una, cipurile împrăștie semnale luminoase în canale proiectate care în cele din urmă combină razele pentru a rezolva o problemă. Denumite difracție, aceste rețele neuronale optice împachetează neuronii artificiali strâns împreună și reduc la minimum costurile energetice. Dar nu pot fi schimbate cu ușurință, adică pot lucra doar la o singură problemă simplă.

O configurație diferită depinde de o altă proprietate a luminii numită interferență. La fel ca valurile oceanului, undele luminoase se combină și se anulează reciproc. Când sunt în interiorul micro-tunelelor de pe un cip, acestea se pot ciocni pentru a se stimula sau a se inhiba reciproc - aceste modele de interferență pot fi folosite pentru calcule. Cipurile bazate pe interferență pot fi ușor reconfigurate folosind un dispozitiv numit interferometru. Problema este că sunt voluminoase din punct de vedere fizic și consumă tone de energie.

Apoi mai este problema preciziei. Chiar și în canalele sculptate adesea folosite pentru experimente de interferență, lumina sări și împrăștie, făcând calculele nesigure. Pentru o singură rețea neuronală optică, erorile sunt tolerabile. Dar cu rețele optice mai mari și probleme mai sofisticate, zgomotul crește exponențial și devine insuportabil.

Acesta este motivul pentru care rețelele neuronale bazate pe lumină nu pot fi extinse cu ușurință. Până acum, au reușit să rezolve doar sarcini de bază, cum ar fi recunoașterea numerelor sau a vocalelor.

„Mărirea dimensiunii arhitecturilor existente nu ar îmbunătăți proporțional performanța”, a scris echipa.

Probleme dublu

Noua IA, Taichi, a combinat cele două trăsături pentru a împinge rețelele neuronale optice către utilizarea în lumea reală.

În loc să configureze o singură rețea neuronală, echipa a folosit o metodă chiplet, care a delegat diferite părți ale unei sarcini la mai multe blocuri funcționale. Fiecare bloc avea propriile sale puncte forte: unul a fost creat pentru a analiza difracția, care ar putea comprima cantități mari de date într-o perioadă scurtă de timp. Un alt bloc a fost încorporat cu interferometre pentru a furniza interferențe, permițând reconfigurarea cu ușurință a cipul între sarcini.

În comparație cu învățarea profundă, Taichi a adoptat o abordare „superficială”, prin care sarcina este răspândită pe mai multe chiplet-uri.

Cu structurile standard de deep learning, erorile tind să se acumuleze pe straturi și timp. Această configurație elimină problemele care provin din procesarea secvențială din start. Când se confruntă cu o problemă, Taichi distribuie volumul de lucru în mai multe clustere independente, făcând mai ușor să rezolve probleme mai mari cu erori minime.

Strategia a dat roade.

Taichi are o capacitate de calcul de 4,256 de neuroni artificiali în total, cu aproape 14 milioane de parametri care imită conexiunile creierului care codifică învățarea și memoria. La sortarea imaginilor în 1,000 de categorii, cipul fotonic a fost de aproape 92% precis, comparabil cu „rețelele neuronale electronice populare în prezent”, a scris echipa.

Cipul a excelat și în alte teste standard de recunoaștere a imaginilor AI, cum ar fi identificarea caracterelor scrise de mână din diferite alfabete.

Ca test final, echipa a provocat AI fotonică să înțeleagă și să recreeze conținut în stilul diferiților artiști și muzicieni. Când a fost antrenat cu repertoriul lui Bach, AI a învățat în cele din urmă tonul și stilul general al muzicianului. În mod similar, imagini de la van Gogh sau Edvard Munch - artistul din spatele celebrului tablou, Țipătul— introdus în AI i-a permis să genereze imagini într-un stil similar, deși multe păreau recrearea unui copil mic.

Rețelele neuronale optice mai au mult de parcurs. Dar dacă sunt utilizate pe scară largă, ar putea fi o alternativă mai eficientă din punct de vedere energetic la sistemele actuale de IA. Taichi este de peste 100 de ori mai eficient din punct de vedere energetic decât iterațiile anterioare. Dar cipul încă necesită lasere pentru unități de transfer de energie și date, care sunt greu de condensat.

Apoi, echipa speră să integreze mini-lasere și alte componente ușor disponibile într-un singur cip fotonic coeziv. Între timp, ei speră că Taichi va „accelera dezvoltarea unor soluții optice mai puternice” care ar putea duce în cele din urmă la „o nouă eră” a IA puternică și eficientă din punct de vedere energetic.

Credit imagine: spainter_vfx / Shutterstock.com

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/