IBM:s hjärninspirerade analoga chip syftar till att göra AI mer hållbar

Återutgiven av Platon

anhängare: 0

ChatGPT, DALL-E, Stabil diffusion, och andra generativa AI:er har tagit världen med storm. De skapar fantastisk poesi och bilder. De sipprar in i alla avkrokar av vår värld, från marknadsföring till att skriva juridiska kort och upptäckt av droger. De verkar som affischbarnet för en framgångssaga mellan människa och maskin.

Men under huven ser det mindre peachy ut. Dessa system är enorma energisvin, som kräver datacenter som spottar ut tusentals ton koldioxidutsläpp – vilket ytterligare betonar ett redan flyktigt klimat – och suger upp miljarder dollar. När de neurala nätverken blir mer sofistikerade och mer utbredda kommer energiförbrukningen sannolikt att skjuta i höjden ännu mer.

Mycket bläck har spillts på generativa AI koldioxidavtryck. Dess energibehov kan bli dess undergång, vilket hindrar utvecklingen när den växer ytterligare. Med nuvarande hårdvara förväntas generativ AI "stoppa snart om den fortsätter att förlita sig på standarddatorhårdvara." sade Dr Hechen Wang på Intel Labs.

Det är hög tid att vi bygger hållbar AI.

Denna vecka, en studie från IBM tog ett praktiskt steg i den riktningen. De skapade ett 14-nanometer analogt chip packat med 35 miljoner minnesenheter. Till skillnad från nuvarande kretsar, sker beräkning direkt inom dessa enheter, vilket eliminerar behovet av att skicka data fram och tillbaka - i sin tur sparar energi.

Data shuttling kan öka energiförbrukningen allt från 3 till 10,000 XNUMX gånger över vad som krävs för den faktiska beräkningen, sa Wang.

Chipet var mycket effektivt när det utmanades med två taligenkänningsuppgifter. En, Google Speech Commands, är liten men praktisk. Här är hastigheten nyckeln. Den andra, Librispeech, är ett mastodontsystem som hjälper till att transkribera tal till text, vilket beskattar chipets förmåga att bearbeta enorma mängder data.

När det ställs mot konventionella datorer presterade chippet lika exakt men avslutade jobbet snabbare och med mycket mindre energi, och använde mindre än en tiondel av vad som normalt krävs för vissa uppgifter.

"Dessa är, såvitt vi vet, de första demonstrationerna av kommersiellt relevanta noggrannhetsnivåer på en kommersiellt relevant modell ... med effektivitet och massiv parallellism" för ett analogt chip, sa teamet.

Brainy bytes

Detta är knappast det första analoga chippet. Men det driver idén om neuromorfisk datoranvändning till det praktiska riket - ett chip som en dag kan driva din telefon, ditt smarta hem och andra enheter med en effektivitet nära hjärnans.

Öh va? Låt oss backa.

Nuvarande datorer är byggda på Von Neumann arkitektur. Se det som ett hus med flera rum. Den ena, den centrala processorenheten (CPU), analyserar data. En annan lagrar minne.

För varje beräkning måste datorn skicka data fram och tillbaka mellan dessa två rum, och det tar tid och energi och minskar effektiviteten.

Hjärnan, däremot, kombinerar både beräkning och minne till en studiolägenhet. Dess svampliknande korsningar, kallade synapser, bildar både neurala nätverk och lagrar minnen på samma plats. Synapser är mycket flexibla och justerar hur starkt de kopplas till andra neuroner baserat på lagrat minne och nya inlärningar - en egenskap som kallas "vikter". Våra hjärnor anpassar sig snabbt till en ständigt föränderlig miljö genom att justera dessa synaptiska vikter.

IBM har legat i framkant när det gäller design analoga chips som härmar hjärnberäkning. Ett genombrott kom 2016, när de introducerade ett chip baserat på ett fascinerande material som vanligtvis finns på omskrivbara CD-skivor. Materialet ändrar sitt fysiska tillstånd och formförskjuts från en goopy soppa till kristallliknande strukturer när det zappas med elektricitet - liknande en digital 0 och 1.

Här är nyckeln: chippet kan också existera i ett hybridtillstånd. Med andra ord, i likhet med en biologisk synaps, kan den konstgjorda koda en myriad av olika vikter – inte bara binära – vilket gör att den kan samla flera beräkningar utan att behöva flytta en enda bit data.

Jekyll och Hyde

Den nya studien byggde på tidigare arbete genom att även använda fasförändringsmaterial. De grundläggande komponenterna är "minnesbrickor". Var och en är fullproppad med tusentals fasförändringsmaterial i en rutnätsstruktur. Plattorna kommunicerar lätt med varandra.

Varje bricka styrs av en programmerbar lokal styrenhet, vilket gör att teamet kan justera komponenten – i likhet med en neuron – med precision. Chipet lagrar ytterligare hundratals kommandon i sekvens, vilket skapar en sorts svart låda som låter dem gräva tillbaka och analysera dess prestanda.

Sammantaget innehöll chippet 35 miljoner fasförändringsminnesstrukturer. Anslutningarna uppgick till 45 miljoner synapser – långt ifrån den mänskliga hjärnan, men mycket imponerande på ett 14 nanometers chip.

IBM’s Brain-Inspired Analog Chip Aims to Make AI More Sustainable PlatoBlockchain Data Intelligence. Vertical Search. Ai. — *Ett 14nm analogt AI-chip vilar i en forskares hand. Bildkredit: Ryan Lavine för IBM*

Dessa bedövande siffror utgör ett problem för att initiera AI-chippet: det finns helt enkelt för många parametrar att söka igenom. Teamet tog itu med problemet med vad som motsvarar en AI-dagis, förprogrammerade synaptiska vikter innan beräkningarna börjar. (Det är lite som att krydda en ny gjutjärnspanna innan du lagar mat med den.)

De "skräddarsydda sina nätverksträningstekniker med hårdvarans fördelar och begränsningar i åtanke" och satte sedan vikterna för de mest optimala resultaten, förklarade Wang, som inte var involverad i studien.

Det löste sig. I ett första test körde chipet lätt genom 12.4 biljoner operationer per sekund för varje watt effekt. Energiförbrukningen är "tiotals eller till och med hundratals gånger högre än för de mest kraftfulla CPU:erna och GPU:erna", sa Wang.

Chipet spikade en kärnberäkningsprocess som ligger bakom djupa neurala nätverk med bara några klassiska hårdvarukomponenter i minnesbrickorna. Däremot behöver traditionella datorer hundratals eller tusentals transistorer (en basenhet som utför beräkningar).

Det alla talar om

Teamet utmanade sedan chipet till två taligenkänningsuppgifter. Var och en betonade en annan aspekt av chipet.

Det första testet var snabbhet när den utmanades med en relativt liten databas. Använda Google Talkommandon databas, krävde uppgiften att AI-chippet skulle upptäcka 12 nyckelord i en uppsättning av ungefär 65,000 30 klipp av tusentals människor som talade XNUMX korta ord (”litet” är relativt i djupinlärningsuniversum). När du använder ett accepterat riktmärke—MLPerf— chippet presterade sju gånger snabbare än i tidigare arbete.

Chipet lyste också när det utmanades med en stor databas, Librispeech. Korpusen innehåller över 1,000 XNUMX timmar läst engelskt tal som vanligtvis används för att träna AI för att analysera tal och automatisk tal-till-text-transkription.

Sammantaget använde teamet fem chips för att så småningom koda mer än 45 miljoner vikter med hjälp av data från 140 miljoner fasförändringsenheter. När det ställdes mot konventionell hårdvara var chipet ungefär 14 gånger mer energieffektivt – bearbetade nästan 550 prover varje sekund per watt energiförbrukning – med en felfrekvens på lite över 9 procent.

Även om de är imponerande, är analoga chips fortfarande i sin linda. De visar "enormt löfte för att bekämpa hållbarhetsproblemen förknippade med AI", sa Wang, men vägen framåt kräver att man tar bort några fler hinder.

En faktor är att finslipa designen av själva minnestekniken och dess omgivande komponenter – det vill säga hur chippet är upplagt. IBMs nya chip innehåller ännu inte alla element som behövs. Ett nästa kritiskt steg är att integrera allt på ett enda chip samtidigt som dess effektivitet bibehålls.

På mjukvarusidan kommer vi också att behöva algoritmer som är speciellt anpassade för analoga chips och mjukvara som lätt översätter kod till språk som maskiner kan förstå. När dessa chips blir allt mer kommersiellt gångbara kommer utvecklingen av dedikerade applikationer att hålla drömmen om en framtida analog chip vid liv.

"Det tog decennier att forma de beräkningsekosystem där CPU:er och GPU:er fungerar så framgångsrikt," sa Wang. "Och det kommer förmodligen att ta år att etablera samma typ av miljö för analog AI."

Image Credit: Ryan Lavine för IBM