Predstavitev
Algoritmi umetne inteligence ne morejo rasti s trenutno hitrostjo. Algoritmi, kot so globoke nevronske mreže – ki jih ohlapno navdihujejo možgani, z več plastmi umetnih nevronov, ki so med seboj povezani preko numeričnih vrednosti, imenovanih uteži – so vsako leto večji. Toda v teh dneh izboljšave strojne opreme ne dohajajo več ogromne količine pomnilnika in procesorske zmogljivosti, potrebne za izvajanje teh ogromnih algoritmov. Kmalu lahko velikost algoritmov umetne inteligence udari ob zid.
In tudi če bi lahko še naprej povečevali strojno opremo, da bi zadostili zahtevam umetne inteligence, obstaja še en problem: njihovo izvajanje na tradicionalnih računalnikih potrati ogromno energije. Visoke emisije ogljika, ki nastanejo pri izvajanju velikih algoritmov umetne inteligence, so že škodljive za okolje in bodo samo še hujše, ko bodo algoritmi vedno bolj velikanski.
Ena rešitev, imenovana nevromorfno računalništvo, črpa navdih iz bioloških možganov za ustvarjanje energetsko učinkovitih modelov. Čeprav lahko ti čipi pri varčevanju z energijo prehitijo digitalne računalnike, žal nimajo dovolj računske moči, ki bi bila potrebna za zagon obsežne globoke nevronske mreže. Zaradi tega jih raziskovalci AI zlahka spregledajo.
To se je dokončno spremenilo avgusta, ko Weier Wan, H.-S. Philip Wong, Gert Cauwenberghs in njihovi kolegi razkril nov nevromorfni čip imenovan NeuRRAM, ki vključuje 3 milijone pomnilniških celic in tisoče nevronov, vgrajenih v njegovo strojno opremo za izvajanje algoritmov. Uporablja razmeroma novo vrsto pomnilnika, imenovano uporovni RAM ali RRAM. Za razliko od prejšnjih čipov RRAM je NeuRRAM programiran za analogno delovanje, da prihrani več energije in prostora. Medtem ko je digitalni pomnilnik binarni – shranjuje bodisi 1 bodisi 0 – lahko analogne pomnilniške celice v čipu NeuRRAM shranijo več vrednosti v popolnoma neprekinjenem obsegu. To omogoča, da čip shrani več informacij iz masivnih algoritmov umetne inteligence v enako količino prostora na čipu.
Posledično lahko novi čip opravlja tako dobro kot digitalni računalniki pri kompleksnih nalogah umetne inteligence, kot sta prepoznavanje slik in govora, avtorji pa trdijo, da je do 1,000-krat bolj energetsko učinkovit, kar odpira možnost, da majhni čipi poganjajo vse bolj zapletene algoritme. znotraj majhnih naprav, ki so bile prej neprimerne za AI, kot so pametne ure in telefoni.
Raziskovalci, ki niso bili vključeni v delo, so bili nad rezultati globoko navdušeni. "Ta papir je precej edinstven," je rekel Zhongrui Wang, dolgoletni raziskovalec RRAM na Univerzi v Hong Kongu. "Prispeva na različnih ravneh - na ravni naprave, na ravni arhitekture vezja in na ravni algoritma."
Ustvarjanje novih spominov
V digitalnih računalnikih ogromne količine izgubljene energije, medtem ko izvajajo algoritme umetne inteligence, povzroči preprosta in vseprisotna konstrukcijska napaka, zaradi katere je vsak posamezen izračun neučinkovit. Običajno je računalniški pomnilnik – ki hrani podatke in številske vrednosti, ki jih obdela med računanjem – nameščen na matični plošči stran od procesorja, kjer poteka računanje.
Kar zadeva informacije, ki tečejo skozi procesor, "je nekako tako, kot da porabite osem ur na poti, vendar opravite dve uri dela," je dejal Wan, računalniški znanstvenik, ki je prej delal na Univerzi Stanford in se je pred kratkim preselil v startup AI Aizip.
Predstavitev
Odpravljanje te težave z novimi čipi vse-v-enem, ki pomnilnik in računanje postavijo na isto mesto, se zdi preprosto. Prav tako je bližje temu, kako naši možgani verjetno obdelujejo informacije, saj mnogi nevroznanstveniki verjamejo, da se računanje dogaja znotraj populacij nevronov, medtem ko se spomini oblikujejo, ko sinapse med nevroni okrepijo ali oslabijo svoje povezave. Toda ustvarjanje takšnih naprav se je izkazalo za težko, saj trenutne oblike pomnilnika niso združljive s tehnologijo v procesorjih.
Računalniški znanstveniki so pred desetletji razvili materiale za ustvarjanje novih čipov, ki izvajajo izračune tam, kjer je shranjen pomnilnik – tehnologija, znana kot računanje v pomnilniku. Ker pa so tradicionalni digitalni računalniki delovali tako dobro, so bile te ideje desetletja spregledane.
"To delo, tako kot večina znanstvenih del, je bilo nekako pozabljeno," je dejal Wong, profesor na Stanfordu.
Dejansko prva taka naprava sega vsaj v leto 1964, ko so inženirji elektrotehnike na Stanfordu odkrili, da lahko manipulirajo z nekaterimi materiali, imenovanimi kovinski oksidi, da vklopijo in izklopijo njihovo sposobnost prevajanja elektrike. To je pomembno, ker sposobnost materiala za preklapljanje med dvema stanjema zagotavlja hrbtenico za tradicionalno shranjevanje pomnilnika. Običajno v digitalnem pomnilniku stanje visoke napetosti ustreza 1, nizke napetosti pa 0.
Če želite, da naprava RRAM preklaplja med stanji, uporabite napetost na kovinskih elektrodah, ki so priključene na dva konca kovinskega oksida. Običajno so kovinski oksidi izolatorji, kar pomeni, da ne prevajajo elektrike. Toda z zadostno napetostjo se tok poveča, sčasoma potisne skozi šibke točke materiala in ustvari pot do elektrode na drugi strani. Ko se tok prebije, lahko prosto teče po tej poti.
Wong ta proces primerja s strelo: ko se v oblaku nabere dovolj naboja, ta hitro najde pot z nizkim uporom in udari strela. Toda za razliko od strele, katere pot izgine, pot skozi kovinski oksid ostane, kar pomeni, da ostane prevoden za nedoločen čas. Prevodno pot je mogoče izbrisati z uporabo druge napetosti na material. Tako lahko raziskovalci preklopijo RRAM med dvema stanjema in ju uporabijo za shranjevanje digitalnega pomnilnika.
Raziskovalci iz sredine stoletja niso prepoznali potenciala za energetsko učinkovito računalništvo, niti ga še niso potrebovali z manjšimi algoritmi, s katerimi so delali. Do zgodnjih 2000-ih, z odkritjem novih kovinskih oksidov, so raziskovalci spoznali možnosti.
Wong, ki je takrat delal pri IBM-u, se spominja, da je nagrajeni kolega, ki je delal na RRAM-u, priznal, da ni popolnoma razumel vključene fizike. "Če on tega ne razume," se spominja razmišljanja Wong, "mogoče ne bi smel poskušati razumeti."
Toda leta 2004 so raziskovalci pri Samsung Electronics objavili, da so uspešno integriran pomnilnik RRAM zgrajen na vrhu tradicionalnega računalniškega čipa, kar nakazuje, da bi lahko bil končno mogoč čip za računanje v pomnilniku. Wong se je odločil vsaj poskusiti.
Čipi Compute-in-Memory za AI
Več kot desetletje so si raziskovalci, kot je Wong, prizadevali zgraditi tehnologijo RRAM do te mere, da bi lahko zanesljivo obvladovala visokozmogljive računalniške naloge. Okoli leta 2015 so računalniški znanstveniki začeli prepoznavati ogromen potencial teh energetsko učinkovitih naprav za velike algoritme umetne inteligence, ki so začeli vzhajati. Tistega leta so znanstveniki s kalifornijske univerze v Santa Barbari je pokazala, da bi lahko naprave RRAM naredile več kot le shranjevanje pomnilnika na nov način. Sami bi lahko izvajali osnovne računalniške naloge - vključno z veliko večino izračunov, ki potekajo znotraj umetnih nevronov nevronske mreže, kar so preproste naloge množenja matrik.
V čipu NeuRRAM so silicijevi nevroni vgrajeni v strojno opremo, pomnilniške celice RRAM pa shranjujejo uteži - vrednosti, ki predstavljajo moč povezav med nevroni. In ker so pomnilniške celice NeuRRAM analogne, uteži, ki jih hranijo, predstavljajo celoten obseg stanj upora, ki se pojavijo, medtem ko naprava preklaplja med stanjem nizke upornosti in stanjem visoke upornosti. To omogoča celo višjo energijsko učinkovitost, kot jo lahko doseže digitalni pomnilnik RRAM, ker lahko čip izvaja številne matrične izračune vzporedno - namesto v koraku enega za drugim, kot v različicah za digitalno obdelavo.
Toda ker analogna obdelava še vedno desetletja zaostaja za digitalno obdelavo, je treba rešiti še veliko težav. Eno je, da morajo biti analogni čipi RRAM neobičajno natančni, saj lahko nepopolnosti na fizičnem čipu povzročijo spremenljivost in hrup. (Za tradicionalne čipe s samo dvema stanjema te nepopolnosti niso niti približno tako pomembne.) Zaradi tega je za analogne naprave RRAM znatno težje izvajati algoritme AI, glede na to, da bo natančnost, na primer, prepoznavanja slike trpela, če prevodno stanje naprave RRAM ni vsakič popolnoma enako.
"Ko pogledamo svetlobno pot, je vsakič drugačna," je dejal Wong. "Zaradi tega RRAM kaže določeno stopnjo stohastičnosti - vsakič, ko jih programirate, je nekoliko drugačen." Wong in njegovi kolegi so dokazali, da lahko naprave RRAM shranjujejo neprekinjene uteži AI in so še vedno tako natančne kot digitalni računalniki, če so algoritmi usposobljeni, da se navadijo na hrup, s katerim se srečujejo na čipu, napredek, ki jim je omogočil izdelavo čipa NeuRRAM.
Predstavitev
Drugo pomembno vprašanje, ki so ga morali rešiti, je vključevalo prožnost, potrebno za podporo raznolikim nevronskim mrežam. V preteklosti so oblikovalci čipov morali majhne naprave RRAM postaviti v vrsto poleg večjih silicijevih nevronov. Naprave RRAM in nevroni so bili trdo povezani brez možnosti programiranja, tako da je bilo mogoče izračun izvesti samo v eno smer. Za podporo nevronskim mrežam z dvosmernim računanjem so bile potrebne dodatne žice in vezja, kar je povečalo potrebe po energiji in prostoru.
Tako je Wongova ekipa oblikovala novo arhitekturo čipa, kjer so bile pomnilniške naprave RRAM in silicijevi nevroni pomešani skupaj. Ta majhna sprememba zasnove je zmanjšala skupno površino in prihranila energijo.
"Mislil sem, da je [aranžma] res lep," je dejal Melika Payvand, nevromorfni raziskovalec na švicarskem zveznem inštitutu za tehnologijo v Zürichu. "Vsekakor se mi zdi to prelomno delo."
Več let je Wongova ekipa sodelovala s sodelavci pri načrtovanju, izdelavi, testiranju, umerjanju in izvajanju algoritmov AI na čipu NeuRRAM. Razmišljali so o uporabi drugih nastajajočih vrst pomnilnika, ki jih je mogoče uporabiti tudi v čipu za računanje v pomnilniku, vendar je imel RRAM prednost zaradi svojih prednosti pri analognem programiranju in ker ga je bilo relativno enostavno integrirati s tradicionalnimi računalniškimi materiali.
Njihovi nedavni rezultati predstavljajo prvi čip RRAM, ki lahko izvaja tako velike in zapletene algoritme umetne inteligence – podvig, ki je bil prej mogoč samo v teoretičnih simulacijah. "Ko gre za pravi silicij, ta zmogljivost manjka," je dejal Anup Das, računalniški znanstvenik na univerzi Drexel. "To delo je prva predstavitev."
»Digitalni sistemi umetne inteligence so prilagodljivi in natančni, a nekoliko manj učinkoviti,« je dejal Cauwenberghs. Cauwenberghs je dejal, da je njihov prilagodljiv, natančen in energetsko učinkovit analogni RRAM čip "prvič premostil vrzel."
Povečanje
Zasnova ekipe ohranja čip NeuRRAM majhen – le velik kot noht – hkrati pa stiska 3 milijone pomnilniških naprav RRAM, ki lahko služijo kot analogni procesorji. In čeprav lahko poganja nevronske mreže vsaj tako dobro kot digitalni računalniki, lahko čip tudi (in prvič) poganja algoritme, ki izvajajo izračune v različnih smereh. Njihov čip lahko vnese napetost v vrstice matrike RRAM in bere izhode iz stolpcev, kot je standardno za čipe RRAM, lahko pa to stori tudi nazaj od stolpcev do vrstic, tako da se lahko uporablja v nevronskih mrežah, ki delujejo pri čemer podatki tečejo v različne smeri.
Tako kot pri sami tehnologiji RRAM je bilo to že dolgo mogoče, vendar nihče ni pomislil, da bi to storil. "Zakaj o tem nismo razmišljali že prej?" je vprašal Payvand. "Gledano nazaj, ne vem."
"To pravzaprav odpira veliko drugih priložnosti," je dejal Das. Kot primere je omenil sposobnost preprostega sistema za izvajanje ogromnih algoritmov, potrebnih za večdimenzionalne fizikalne simulacije ali samovozeče avtomobile.
Vendar je velikost problem. Največje nevronske mreže zdaj vsebujejo milijarde uteži, ne pa milijonov, ki jih vsebujejo novi čipi. Wong načrtuje povečanje z zlaganjem več čipov NeuRRAM enega na drugega.
Enako pomembno bo ohraniti nizke stroške energije v prihodnjih napravah ali jih še bolj zmanjšati. Eden od načinov, kako priti tja, je kopiranje možganov še bolj natančno prevzeti komunikacijski signal, ki se uporablja med resničnimi nevroni: električni konik. To je signal, ki se sproži od enega nevrona do drugega, ko razlika v napetosti med notranjostjo in zunanjostjo celice doseže kritični prag.
"Tam so veliki izzivi," je dejal Tony Kenyon, raziskovalec nanotehnologije na University College London. "Vendar bi se morda še vedno želeli premakniti v to smer, ker ... obstaja velika verjetnost, da boste imeli večjo energetsko učinkovitost, če uporabljate zelo redke konice." Kenyon je opozoril, da bi za zagon algoritmov, ki delujejo na trenutnem čipu NeuRRAM, verjetno bila potrebna popolnoma drugačna arhitektura.
Za zdaj je energetska učinkovitost, ki jo je ekipa dosegla med izvajanjem velikih algoritmov umetne inteligence na čipu NeuRRAM, ustvarila novo upanje, da lahko pomnilniške tehnologije predstavljajo prihodnost računalništva z umetno inteligenco. Morda bomo nekega dne celo lahko primerjali 86 milijard nevronov človeških možganov in trilijone sinaps, ki jih povezujejo, ne da bi jim zmanjkalo moči.
