IBMs hjerneinspirerte analoge brikke har som mål å gjøre AI mer bærekraftig

ChatGPT, DALL-E, Stabil diffusjon, og andre generative AI-er har tatt verden med storm. De lager fabelaktig poesi og bilder. De siver inn i hver krok av verden vår, fra markedsføring til å skrive juridiske briefer og oppdagelse av narkotika. De virker som plakatbarnet for en suksesshistorie mellom menneske og maskin.

Men under panseret ser ting mindre ferskenaktig ut. Disse systemene er enorme energisvin, som krever datasentre som spytter ut tusenvis av tonn karbonutslipp – noe som ytterligere understreker et allerede flyktig klima – og suger opp milliarder av dollar. Etter hvert som de nevrale nettverkene blir mer sofistikerte og mer utbredt, vil energiforbruket sannsynligvis skyte enda mer i været.

Det har blitt sølt mye blekk på generative AI-er karbonutslipp. Energietterspørselen kan være dens undergang, og hindre utviklingen etter hvert som den vokser videre. Ved å bruke dagens maskinvare, forventes generativ AI å "stoppe snart hvis den fortsetter å stole på standard datamaskinvare." sa Dr. Hechen Wang ved Intel Labs.

Det er på høy tid at vi bygger bærekraftig AI.

Denne uken, en studie fra IBM tok et praktisk skritt i den retningen. De laget en 14 nanometer analog brikke fullpakket med 35 millioner minneenheter. I motsetning til nåværende brikker, skjer beregningen direkte i disse enhetene, noe som eliminerer behovet for å sende data frem og tilbake – og dermed spare energi.

Dataoverføring kan øke energiforbruket alt fra 3 til 10,000 XNUMX ganger over det som kreves for den faktiske beregningen, sa Wang.

Brikken var svært effektiv når den ble utfordret med to talegjenkjenningsoppgaver. Den ene, Google Speech Commands, er liten, men praktisk. Her er hastighet nøkkelen. Den andre, Librispeech, er et enormt system som hjelper til med å transkribere tale til tekst, og belaster brikkens evne til å behandle enorme mengder data.

Når den ble satt opp mot konvensjonelle datamaskiner, presterte brikken like nøyaktig, men fullførte jobben raskere og med langt mindre energi, og brukte mindre enn en tidel av det som normalt kreves for enkelte oppgaver.

"Dette er, så vidt vi vet, de første demonstrasjonene av kommersielt relevante nøyaktighetsnivåer på en kommersielt relevant modell ... med effektivitet og massiv parallellitet" for en analog brikke, sa teamet.

Brainy Bytes

Dette er neppe den første analoge brikken. Imidlertid presser det ideen om nevromorf databehandling inn i praktiske rike - en brikke som en dag kan drive telefonen, smarthjemmet og andre enheter med en effektivitet nær hjernen.

Um, hva? La oss sikkerhetskopiere.

Nåværende datamaskiner er bygget på Von Neumann arkitektur. Tenk på det som et hus med flere rom. Den ene, den sentrale prosesseringsenheten (CPU), analyserer data. En annen lagrer minne.

For hver beregning må datamaskinen sende data frem og tilbake mellom de to rommene, og det tar tid og energi og reduserer effektiviteten.

Hjernen, derimot, kombinerer både beregning og minne til en studioleilighet. Dens sopplignende veikryss, kalt synapser, danner begge nevrale nettverk og lagrer minner på samme sted. Synapser er svært fleksible, og justerer hvor sterkt de forbinder med andre nevroner basert på lagret minne og ny læring - en egenskap som kalles "vekter". Hjernen vår tilpasser seg raskt til et miljø i stadig endring ved å justere disse synaptiske vektene.

IBM har vært i forkant av design analoge brikker som etterligner hjerneberegning. Et gjennombrudd kom i 2016, da de introduserte en brikke basert på et fascinerende materiale som vanligvis finnes i overskrivbare CD-er. Materialet endrer sin fysiske tilstand og skifter form fra en goopy suppe til krystalllignende strukturer når det zappes med elektrisitet - i likhet med en digital 0 og 1.

Her er nøkkelen: brikken kan også eksistere i en hybrid tilstand. Med andre ord, i likhet med en biologisk synapse, kan den kunstige kode en myriade av forskjellige vekter – ikke bare binære – slik at den kan akkumulere flere beregninger uten å måtte flytte en eneste bit med data.

Jekyll og Hyde

Den nye studien bygde på tidligere arbeid ved også å bruke faseendringsmaterialer. De grunnleggende komponentene er "minnebrikker." Hver er fullpakket med tusenvis av faseendringsmaterialer i en rutenettstruktur. Flisene kommuniserer lett med hverandre.

Hver flis styres av en programmerbar lokal kontroller, som lar teamet justere komponenten – i likhet med en nevron – med presisjon. Brikken lagrer ytterligere hundrevis av kommandoer i rekkefølge, og skaper en sort boks som lar dem grave tilbake og analysere ytelsen.

Totalt sett inneholdt brikken 35 millioner faseendringsminnestrukturer. Forbindelsene utgjorde 45 millioner synapser – langt unna den menneskelige hjernen, men veldig imponerende på en 14 nanometer brikke.

Disse nervepirrende tallene utgjør et problem for initialisering av AI-brikken: det er rett og slett for mange parametere å søke gjennom. Teamet taklet problemet med det som tilsvarer en AI-barnehage, og forhåndsprogrammerte synaptiske vekter før beregningene begynner. (Det er litt som å krydre en ny støpejernspanne før du lager mat med den.)

De "skreddersydde sine nettverkstreningsteknikker med fordelene og begrensningene til maskinvaren i tankene," og satte deretter vektene for de mest optimale resultatene, forklarte Wang, som ikke var involvert i studien.

Det ordnet seg. I en innledende test churnet brikken lett gjennom 12.4 billioner operasjoner per sekund for hver watt strøm. Energiforbruket er "tivis eller til og med hundrevis av ganger høyere enn for de kraftigste CPUene og GPUene," sa Wang.

Brikken spikret en kjerneberegningsprosess som ligger til grunn for dype nevrale nettverk med bare noen få klassiske maskinvarekomponenter i minnebrikkene. I kontrast trenger tradisjonelle datamaskiner hundrevis eller tusenvis av transistorer (en grunnleggende enhet som utfører beregninger).

Snakk om byen

Teamet utfordret deretter brikken til to talegjenkjenningsoppgaver. Hver av dem understreket en annen faset av brikken.

Den første testen var hastighet når den ble utfordret med en relativt liten database. Bruker Google talekommandoer databasen, krevde oppgaven at AI-brikken fant 12 nøkkelord i et sett med omtrent 65,000 30 klipp av tusenvis av mennesker som sa XNUMX korte ord («liten» er relativt i dyplæringsuniverset). Når du bruker en akseptert målestokk—MLPerf— brikken presterte syv ganger raskere enn i tidligere arbeid.

Brikken lyste også når den ble utfordret med en stor database, Libristale. Korpuset inneholder over 1,000 timer med lest engelsk tale som vanligvis brukes til å trene AI for å analysere tale og automatisk tale-til-tekst-transkripsjon.

Totalt sett brukte teamet fem brikker for til slutt å kode mer enn 45 millioner vekter ved å bruke data fra 140 millioner faseendringsenheter. Når den ble satt opp mot konvensjonell maskinvare, var brikken omtrent 14 ganger mer energieffektiv – behandlet nesten 550 prøver hvert sekund per watt energiforbruk – med en feilrate på litt over 9 prosent.

Selv om det er imponerende, er analoge brikker fortsatt i sin spede begynnelse. De viser "enormt løfte for å bekjempe bærekraftsproblemene knyttet til AI," sa Wang, men veien videre krever å fjerne noen flere hindringer.

En faktor er å finpusse utformingen av selve minneteknologien og dens omkringliggende komponenter – det vil si hvordan brikken er lagt ut. IBMs nye brikke inneholder ennå ikke alle elementene som trengs. Et neste kritisk skritt er å integrere alt på en enkelt brikke samtidig som effektiviteten opprettholdes.

På programvaresiden trenger vi også algoritmer som er spesifikt skreddersydd for analoge brikker, og programvare som enkelt oversetter kode til språk som maskiner kan forstå. Ettersom disse brikkene blir stadig mer kommersielt levedyktige, vil utvikling av dedikerte applikasjoner holde drømmen om en fremtidig analog brikke i live.

"Det tok tiår å forme de beregningsmessige økosystemene der CPUer og GPUer fungerer så vellykket," sa Wang. "Og det vil sannsynligvis ta år å etablere samme type miljø for analog AI."

Bilde Credit: Ryan Lavine for IBM

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Bil / elbiler, Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• ChartPrime. Hev handelsspillet ditt med ChartPrime. Tilgang her.
• BlockOffsets. Modernisering av eierskap for miljøkompensasjon. Tilgang her.
• kilde: https://singularityhub.com/2023/08/25/ibms-brain-inspired-analog-chip-aims-to-make-ai-more-sustainable/