En ny fotonisk computerchip bruger lys til at reducere AI-energiomkostningerne

AI-modeller er kraftsvin.

Efterhånden som algoritmerne vokser og bliver mere komplekse, belaster de i stigende grad nuværende computerchips. Flere virksomheder har designet chips skræddersyet til AI for at reducere strømforbruget. Men de er alle baseret på en grundlæggende regel - de bruger elektricitet.

I denne måned ændrede et hold fra Tsinghua University i Kina opskriften. De bygget en neural netværkschip der bruger lys frem for elektricitet til at udføre AI-opgaver til en brøkdel af energiomkostningerne NVIDIAs H100, en state-of-the-art chip, der bruges til at træne og køre AI-modeller.

Kaldet Taichi, chippen kombinerer to typer lys-baseret behandling i sin interne struktur. Sammenlignet med tidligere optiske chips, Taichi er langt mere præcis til relativt simple opgaver som at genkende håndskrevne tal eller andre billeder. I modsætning til sine forgængere kan chippen også generere indhold. Det kan lave grundbilleder i en stil baseret på den hollandske kunstner Vincent van Gogh, for eksempel, eller klassiske musiknumre inspireret af Johann Sebastian Bach.

En del af Taichis effektivitet skyldes dens struktur. Chippen er lavet af flere komponenter kaldet chiplets. I lighed med hjernens organisation udfører hver chiplet sine egne beregninger parallelt, hvis resultater derefter integreres med de andre for at nå frem til en løsning.

Stillet over for et udfordrende problem med at adskille billeder over 1,000 kategorier, var Taichi succesfuld næsten 92 procent af tiden, hvilket matchede den nuværende chip-ydelse, men reducerede energiforbruget over tusind gange.

For AI er "tendensen med at håndtere mere avancerede opgaver irreversibel," skrev forfatterne. "Taichi baner vejen for storskala fotonisk [lysbaseret] databehandling," hvilket fører til mere fleksibel kunstig intelligens med lavere energiomkostninger.

Chip på skulderen

Nutidens computerchips passer ikke godt sammen med kunstig intelligens.

En del af problemet er strukturelt. Behandling og hukommelse på traditionelle chips er fysisk adskilt. At flytte data mellem dem tager enorme mængder energi og tid.

Selvom det er effektivt til at løse relativt simple problemer, er opsætningen utroligt strømkrævende, når det kommer til kompleks AI, som de store sprogmodeller, der driver ChatGPT.

Hovedproblemet er, hvordan computerchips er bygget. Hver beregning er afhængig af transistorer, som tænder eller slukker for at repræsentere 0'erne og 1'erne, der bruges i beregninger. Ingeniører har dramatisk krympet transistorer gennem årtier, så de kan proppe stadig mere på chips. Men den nuværende chipteknologi er på vej mod et bristepunkt, hvor vi ikke kan blive mindre.

Forskere har længe forsøgt at forny nuværende chips. En strategi inspireret af hjernen er afhængig af "synapser" - den biologiske "dok", der forbinder neuroner - der beregner og lagrer information på samme sted. Disse hjerne-inspirerede eller neuromorfe chips skærer ned på energiforbruget og fremskynder beregningerne. Men ligesom nuværende chips er de afhængige af elektricitet.

En anden idé er at bruge en helt anden computermekanisme: lys. "Photonic computing" er "tiltrækker stadigt voksende opmærksomhed," skrev forfatterne. I stedet for at bruge elektricitet kan det være muligt at kapre lyspartikler for at drive AI med lysets hastighed.

Lad der blive lys

Sammenlignet med el-baserede chips bruger lys langt mindre strøm og kan samtidig tackle flere beregninger. Ved at udnytte disse egenskaber har forskere bygget optiske neurale netværk, der bruger fotoner - lyspartikler - til AI-chips i stedet for elektricitet.

Disse chips kan fungere på to måder. I den ene spreder chips lyssignaler i konstruerede kanaler, der til sidst kombinerer strålerne for at løse et problem. Kaldet diffraktion, disse optiske neurale netværk pakker kunstige neuroner tæt sammen og minimerer energiomkostningerne. Men de kan ikke nemt ændres, hvilket betyder, at de kun kan arbejde på et enkelt enkelt problem.

En anden opsætning afhænger af en anden egenskab ved lys kaldet interferens. Ligesom havbølger kombinerer lysbølger og ophæver hinanden. Når de er inde i mikrotunneler på en chip, kan de kollidere for at booste eller hæmme hinanden - disse interferensmønstre kan bruges til beregninger. Chips baseret på interferens kan nemt omkonfigureres ved hjælp af en enhed kaldet et interferometer. Problemet er, at de er fysisk omfangsrige og forbruger tonsvis af energi.

Så er der problemet med nøjagtighed. Selv i de skulpturelle kanaler, der ofte bruges til interferenseksperimenter, springer lyset og spreder sig, hvilket gør beregninger upålidelige. For et enkelt optisk neuralt netværk er fejlene tolerable. Men med større optiske netværk og mere sofistikerede problemer stiger støj eksponentielt og bliver uholdbar.

Dette er grunden til, at lysbaserede neurale netværk ikke let kan skaleres op. Hidtil har de kun været i stand til at løse basale opgaver, såsom at genkende tal eller vokaler.

"At forstørre skalaen af ​​eksisterende arkitekturer ville ikke proportionelt forbedre ydeevnerne," skrev teamet.

Double Trouble

Den nye AI, Taichi, kombinerede de to egenskaber for at skubbe optiske neurale netværk mod brug i den virkelige verden.

I stedet for at konfigurere et enkelt neuralt netværk brugte holdet en chiplet-metode, som delegerede forskellige dele af en opgave til flere funktionelle blokke. Hver blok havde sine egne styrker: Den ene blev sat op til at analysere diffraktion, som kunne komprimere store mængder data på kort tid. En anden blok var indlejret med interferometre for at give interferens, så chippen nemt kan omkonfigureres mellem opgaver.

Sammenlignet med dyb læring tog Taichi en "overfladisk" tilgang, hvor opgaven er spredt ud over flere chiplets.

Med standard dyb læringsstrukturer har fejl en tendens til at akkumulere over lag og tid. Denne opsætning afhjælper problemer, der kommer fra sekventiel behandling. Når Taichi står over for et problem, fordeler Taichi arbejdsbyrden på tværs af flere uafhængige klynger, hvilket gør det lettere at tackle større problemer med minimale fejl.

Strategien betalte sig.

Taichi har en beregningskapacitet på 4,256 kunstige neuroner i alt, med næsten 14 millioner parametre, der efterligner de hjerneforbindelser, der koder for indlæring og hukommelse. Når billederne blev sorteret i 1,000 kategorier, var den fotoniske chip næsten 92 procent nøjagtig, sammenlignelig med "aktuelt populære elektroniske neurale netværk," skrev holdet.

Chippen udmærkede sig også i andre standard AI billedgenkendelsestest, såsom at identificere håndskrevne tegn fra forskellige alfabeter.

Som en sidste test udfordrede holdet den fotoniske AI til at forstå og genskabe indhold i stil med forskellige kunstnere og musikere. Når den blev trænet med Bachs repertoire, lærte AI til sidst musikerens tonehøjde og overordnede stil. Tilsvarende billeder fra van Gogh eller Edvard Munch - kunstneren bag det berømte maleri, Skriget— indført i AI tillod den at generere billeder i en lignende stil, selvom mange lignede et lille barns rekreation.

Optiske neurale netværk har stadig meget længere at gå. Men hvis de bruges bredt, kan de være et mere energieffektivt alternativ til nuværende AI-systemer. Taichi er over 100 gange mere energieffektiv end tidligere iterationer. Men chippen kræver stadig lasere til strøm- og dataoverførselsenheder, som er svære at kondensere.

Dernæst håber holdet at integrere let tilgængelige minilasere og andre komponenter i en enkelt sammenhængende fotonisk chip. I mellemtiden håber de, at Taichi vil "accelerere udviklingen af ​​mere kraftfulde optiske løsninger", der i sidste ende kan føre til "en ny æra" med kraftfuld og energieffektiv AI.

Billede Credit: spainter_vfx / Shutterstock.com

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
• Kilde: https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/