Ny chip udvider mulighederne for kunstig intelligens

Kunstig intelligens-algoritmer kan ikke blive ved med at vokse i deres nuværende tempo. Algoritmer som dybe neurale netværk - som er løst inspireret af hjernen, med flere lag af kunstige neuroner forbundet med hinanden via numeriske værdier kaldet vægte - bliver større hvert år. Men i disse dage holder hardwareforbedringer ikke længere trit med den enorme mængde hukommelse og behandlingskapacitet, der kræves for at køre disse massive algoritmer. Snart kan størrelsen af ​​AI-algoritmer ramme en væg.

Og selvom vi kunne blive ved med at opskalere hardware for at imødekomme kravene fra AI, er der et andet problem: at køre dem på traditionelle computere spilder en enorm mængde energi. De høje kulstofemissioner, der genereres ved at køre store AI-algoritmer, er allerede skadelige for miljøet, og det vil kun blive værre, efterhånden som algoritmerne bliver stadig mere gigantiske.

En løsning, kaldet neuromorphic computing, tager inspiration fra biologiske hjerner til at skabe energieffektive designs. Desværre, mens disse chips kan overgå digitale computere i at spare energi, har de manglet den beregningskraft, der er nødvendig for at drive et betydeligt dybt neuralt netværk. Det har gjort dem nemme at overse for AI-forskere.

Det ændrede sig endelig i august, da Weier Wan, H.-S. Philip Wong, Gert Cauwenberghs og deres kolleger afslørede en ny neuromorf chip kaldet NeuRRAM, der omfatter 3 millioner hukommelsesceller og tusindvis af neuroner indbygget i sin hardware til at køre algoritmer. Den bruger en relativt ny type hukommelse kaldet resistiv RAM eller RRAM. I modsætning til tidligere RRAM-chips er NeuRRAM programmeret til at fungere på en analog måde for at spare mere energi og plads. Mens digital hukommelse er binær - lagrer enten et 1 eller 0 - kan analoge hukommelsesceller i NeuRRAM-chippen hver lagre flere værdier langs et fuldt kontinuerligt område. Det gør det muligt for chippen at gemme mere information fra massive AI-algoritmer på den samme mængde chipplads.

Som et resultat kan den nye chip udføre lige så godt som digitale computere på komplekse AI-opgaver som billed- og talegenkendelse, og forfatterne hævder, at den er op til 1,000 gange mere energieffektiv, hvilket åbner muligheden for, at små chips kan køre stadig mere komplicerede algoritmer inden for små enheder, der tidligere var uegnede til kunstig intelligens som smarture og telefoner.

Forskere, der ikke er involveret i arbejdet, er blevet dybt imponeret over resultaterne. "Dette papir er ret unikt," sagde Zhongrui Wang, en mangeårig RRAM-forsker ved University of Hong Kong. "Det giver bidrag på forskellige niveauer - på enhedsniveau, på kredsløbsarkitekturniveau og på algoritmeniveau."

Skaber nye minder

I digitale computere er de enorme mængder energi, der spildes, mens de kører AI-algoritmer, forårsaget af en enkel og allestedsnærværende designfejl, der gør hver enkelt beregning ineffektiv. Typisk placeres en computers hukommelse - som indeholder de data og de numeriske værdier, den knuser under beregningen - på bundkortet væk fra processoren, hvor databehandlingen finder sted.

For informationen, der strømmer gennem processoren, "er det lidt som om, du bruger otte timer på pendling, men du udfører to timers arbejde," sagde Wan, en datalog tidligere ved Stanford University, som for nylig flyttede til AI-startup Aizip.

At løse dette problem med nye alt-i-en-chips, der placerer hukommelse og beregning på samme sted, virker ligetil. Det er også tættere på, hvordan vores hjerner sandsynligvis behandler information, da mange neurovidenskabsmænd mener, at beregning sker inden for populationer af neuroner, mens minder dannes, når synapserne mellem neuroner styrker eller svækker deres forbindelser. Men at skabe sådanne enheder har vist sig vanskeligt, da nuværende former for hukommelse er uforenelige med teknologien i processorer.

Dataloger udviklede for årtier siden materialerne til at skabe nye chips, der udfører beregninger, hvor hukommelsen er lagret - en teknologi kendt som compute-in-memory. Men med traditionelle digitale computere, der præsterer så godt, blev disse ideer overset i årtier.

"Det arbejde, ligesom det meste videnskabeligt arbejde, var lidt glemt," sagde Wong, professor ved Stanford.

Faktisk første sådan enhed dateres tilbage til mindst 1964, da elektriske ingeniører hos Stanford opdagede, at de kunne manipulere visse materialer, kaldet metaloxider, for at slå deres evne til at lede elektricitet til og fra. Det er vigtigt, fordi et materiales evne til at skifte mellem to tilstande udgør rygraden for traditionel hukommelseslagring. I digital hukommelse svarer en tilstand af højspænding typisk til et 1, og lavspænding til et 0.

For at få en RRAM-enhed til at skifte tilstand, påfører du en spænding over metalelektroder, der er tilsluttet til to ender af metaloxidet. Normalt er metaloxider isolatorer, hvilket betyder, at de ikke leder elektricitet. Men med nok spænding opbygges strømmen, som til sidst skubber gennem materialets svage punkter og smede en vej til elektroden på den anden side. Når strømmen er brudt igennem, kan den flyde frit ad den vej.

Wong sammenligner denne proces med lyn: Når der opbygges tilstrækkelig ladning inde i en sky, finder den hurtigt en vej med lav modstand, og lynet slår ned. Men i modsætning til lyn, hvis vej forsvinder, forbliver vejen gennem metaloxidet, hvilket betyder, at det forbliver ledende på ubestemt tid. Og det er muligt at slette den ledende bane ved at påføre en anden spænding på materialet. Så forskere kan skifte en RRAM mellem to tilstande og bruge dem til at gemme digital hukommelse.

Midcentury-forskere anerkendte ikke potentialet for energieffektiv databehandling, og de havde heller ikke brug for det endnu med de mindre algoritmer, de arbejdede med. Det tog indtil begyndelsen af ​​2000'erne, med opdagelsen af ​​nye metaloxider, for forskere at indse mulighederne.

Wong, som arbejdede hos IBM på det tidspunkt, husker, at en prisvindende kollega, der arbejdede på RRAM, indrømmede, at han ikke fuldt ud forstod den involverede fysik. "Hvis han ikke forstår det," husker Wong, at han tænkte, "måske skulle jeg ikke prøve at forstå det."

Men i 2004 meddelte forskere hos Samsung Electronics, at de havde med succes integreret RRAM-hukommelse bygget oven på en traditionel computerchip, hvilket tyder på, at en compute-in-memory chip måske endelig er mulig. Wong besluttede sig for i det mindste at prøve.

Compute-in-Memory Chips til AI

 I mere end et årti arbejdede forskere som Wong på at opbygge RRAM-teknologi til det punkt, hvor den pålideligt kunne håndtere højtydende computeropgaver. Omkring 2015 begyndte dataloger at erkende det enorme potentiale i disse energieffektive enheder til store AI-algoritmer, som begyndte at tage fart. Det år, videnskabsmænd ved University of California, Santa Barbara viste at RRAM-enheder kunne mere end blot at gemme hukommelse på en ny måde. De kunne udføre grundlæggende computeropgaver selv - inklusive langt de fleste beregninger, der finder sted inden for et neuralt netværks kunstige neuroner, som er simple matrixmultiplikationsopgaver.

I NeuRRAM-chippen er siliciumneuroner indbygget i hardwaren, og RRAM-hukommelsescellerne gemmer vægtene - de værdier, der repræsenterer styrken af ​​forbindelserne mellem neuroner. Og fordi NeuRRAM-hukommelsescellerne er analoge, repræsenterer vægtene, de gemmer, hele spektret af modstandstilstande, der opstår, mens enheden skifter mellem en lav-modstandstilstand til en højmodstandstilstand. Dette muliggør endnu højere energieffektivitet end digital RRAM-hukommelse kan opnå, fordi chippen kan køre mange matrixberegninger parallelt - snarere end i låsetrin efter hinanden, som i de digitale behandlingsversioner.

Men da analog behandling stadig er årtier bagefter digital behandling, er der stadig mange problemer, der skal løses. Den ene er, at analoge RRAM-chips skal være usædvanligt præcise, da ufuldkommenheder på den fysiske chip kan introducere variabilitet og støj. (For traditionelle chips, med kun to tilstande, betyder disse ufuldkommenheder ikke nær så meget.) Det gør det betydeligt sværere for analoge RRAM-enheder at køre AI-algoritmer, i betragtning af at nøjagtigheden af ​​f.eks. genkendelse af et billede vil lide, hvis RRAM-enhedens ledende tilstand er ikke helt den samme hver gang.

"Når vi ser på en lyssti, er den anderledes hver gang," sagde Wong. "Så som et resultat af det udviser RRAM en vis grad af stokasticitet - hver gang du programmerer dem er lidt anderledes." Wong og hans kolleger beviste, at RRAM-enheder kan gemme kontinuerlige AI-vægte og stadig være lige så nøjagtige som digitale computere, hvis algoritmerne er trænet til at vænne sig til den støj, de møder på chippen, et fremskridt, der gjorde dem i stand til at producere NeuRRAM-chippen.

Et andet stort problem, de skulle løse, involverede den nødvendige fleksibilitet til at understøtte forskellige neurale netværk. Tidligere måtte chipdesignere stille de små RRAM-enheder op i ét område ved siden af ​​større siliciumneuroner. RRAM-enhederne og neuronerne var fastkablet uden programmerbarhed, så beregningen kunne kun udføres i en enkelt retning. For at understøtte neurale netværk med tovejsberegning var ekstra ledninger og kredsløb nødvendige, hvilket øgede energi- og pladsbehovet.

Så Wongs team designede en ny chiparkitektur, hvor RRAM-hukommelsesenhederne og siliciumneuronerne blev blandet sammen. Denne lille ændring af designet reducerede det samlede areal og sparede energi.

"Jeg syntes [arrangementet] var virkelig smukt," sagde Melika Payvand, en neuromorfisk forsker ved Swiss Federal Institute of Technology Zürich. "Jeg betragter det bestemt som et banebrydende arbejde."

I flere år arbejdede Wongs team med samarbejdspartnere for at designe, fremstille, teste, kalibrere og køre AI-algoritmer på NeuRRAM-chippen. De overvejede at bruge andre nye typer hukommelse, der også kan bruges i en compute-in-memory chip, men RRAM havde en fordel på grund af dets fordele i analog programmering, og fordi det var relativt nemt at integrere med traditionelle computermaterialer.

Deres seneste resultater repræsenterer den første RRAM-chip, der kan køre så store og komplekse AI-algoritmer - en bedrift, der tidligere kun har været mulig i teoretiske simuleringer. "Når det kommer til ægte silicium, manglede den evne," sagde Anup Das, en datalog ved Drexel University. "Dette arbejde er den første demonstration."

"Digitale AI-systemer er fleksible og præcise, men størrelsesordener mindre effektive," sagde Cauwenberghs. Nu, sagde Cauwenberghs, har deres fleksible, præcise og energieffektive analoge RRAM-chip "bro over kløften for første gang."

Opskalere

Holdets design holder NeuRRAM-chippen lille - kun på størrelse med en fingernegl - mens den klemmer 3 millioner RRAM-hukommelsesenheder, der kan fungere som analoge processorer. Og selvom den kan køre neurale netværk mindst lige så godt, som digitale computere gør, kan chippen også (og for første gang) køre algoritmer, der udfører beregninger i forskellige retninger. Deres chip kan indlæse en spænding til rækkerne i RRAM-arrayet og læse output fra kolonnerne som standard for RRAM-chips, men den kan også gøre det baglæns fra kolonnerne til rækkerne, så den kan bruges i neurale netværk, der fungerer. med data, der flyder i forskellige retninger.

Som med selve RRAM-teknologien har dette længe været muligt, men ingen har tænkt på at gøre det. "Hvorfor tænkte vi ikke over det før?" spurgte Payvand. "Set i bakspejlet ved jeg det ikke."

"Dette åbner faktisk op for en masse andre muligheder," sagde Das. Som eksempler nævnte han et simpelt systems evne til at køre de enorme algoritmer, der er nødvendige for multidimensionelle fysiksimuleringer eller selvkørende biler.

Alligevel er størrelsen et problem. De største neurale netværk indeholder nu milliarder af vægte, ikke de millioner indeholdt i de nye chips. Wong planlægger at skalere op ved at stable flere NeuRRAM-chips oven på hinanden.

Det vil være lige så vigtigt at holde energiomkostningerne lave i fremtidige enheder, eller at nedskalere dem endnu mere. En måde at komme dertil er ved kopiere hjernen endnu tættere på at adoptere kommunikationssignalet, der bruges mellem rigtige neuroner: den elektriske spids. Det er et signal, der affyres fra en neuron til en anden, når forskellen i spændingen mellem indersiden og ydersiden af ​​cellen når en kritisk tærskel.

"Der er store udfordringer der," sagde Tony Kenyon, en nanoteknologiforsker ved University College London. "Men vi vil måske stadig bevæge os i den retning, fordi ... chancerne er, at du vil have større energieffektivitet, hvis du bruger meget sparsomme pigge." At køre algoritmer, der spidser til på den nuværende NeuRRAM-chip, ville dog sandsynligvis kræve en helt anden arkitektur, bemærkede Kenyon.

For nu har den energieffektivitet, som holdet opnåede, mens de kørte store AI-algoritmer på NeuRRAM-chippen, skabt nyt håb om, at hukommelsesteknologier kan repræsentere fremtiden for computere med AI. Måske vil vi en dag endda være i stand til at matche den menneskelige hjernes 86 milliarder neuroner og trillioner af synapser, der forbinder dem uden at løbe tør for strøm.