Čip AI dodaja umetne nevrone uporovnemu RAM-u za uporabo v nosljivih napravah, dronih

Nedavno objavljeni raziskovalni članek opisuje čip za računanje v pomnilniku (CIM), ki združuje umetne nevrone z uporovnim RAM-om (RRAM), tako da je mogoče uteži modela AI shraniti in obdelati na istem čipu.

Raziskovalci, ki stojijo za zasnovo, trdijo, da bi bila učinkovitejša za robne aplikacije, ker odpravlja prenos podatkov med ločenimi računalniškimi in pomnilniškimi bloki.

Robno računalništvo in umetna inteligenca sta vsaj na poti meteorske rasti v bližnji prihodnosti po podatkih analitične družbe IDC. Nekateri scenariji jih združujejo skupaj, ker so lahko uvedbe robov omejene na moč in povezljivost, vendar morajo še vedno analizirati znatne količine podatkov in zagotavljati odziv na dogodke v skoraj realnem času, zaradi česar je model AI, ki "živi" v napravi, najbolj optimalna rešitev .

V luči tega je skupina raziskovalcev razvila čip, ki ga imenuje NeuRRAM, ker združuje umetne nevrone z RRAM v novi arhitekturi. Cilj projekta je bil zagotoviti zasnovo, ki lahko hkrati zagotavlja visoko energetsko učinkovitost ter vsestranskost za podporo različnim modelom umetne inteligence in primerljivo natančnost z izvajanjem istega modela v programski opremi.

Projekt se je sprva začel kot del projekta Nature Science Foundation, imenovanega "Expeditions in Computing". Ta projekt je zbral skupino raziskovalcev iz različnih ustanov z različnimi ozadji, vključno z nekaterimi iz Stanforda in UCSD, pa tudi raziskovalce na univerzi Tsinghua na Kitajskem, ki so strokovnjaki za izdelavo naprav RRAM.

Energetska učinkovitost: sklepanje z umetno inteligenco opravljeno na baterijskem gizmu

Po mnenju Weierja Wana, diplomiranega raziskovalca na univerzi Stanford in enega od avtorji prispevka, včeraj objavljeno v reviji Nature, je bil NeuRRAM razvit kot čip z umetno inteligenco, ki močno izboljša energijsko učinkovitost sklepanja z umetno inteligenco in s tem omogoča realizacijo zapletenih funkcij umetne inteligence neposredno v baterijsko napajanih robnih napravah, kot so pametne nosljive naprave, brezpilotna letala in industrijski IoT senzorji .

»V današnjih čipih AI se obdelava in shranjevanje podatkov odvijata na ločenih mestih – računalniški enoti in pomnilniški enoti. Pogosto premikanje podatkov med temi enotami porabi največ energije in postane ozko grlo za uresničitev procesorjev AI z nizko porabo energije za robne naprave,« je dejal.

Da bi rešili to težavo, čip NeuRRAM izvaja model "računanja v pomnilniku", kjer se obdelava dogaja neposredno v pomnilniku. Uporablja tudi uporovni RAM (RRAM), vrsto pomnilnika, ki je tako hiter kot statični RAM, vendar je neobstojen, kar mu omogoča shranjevanje uteži modelov AI. Ključna značilnost celic RRAM je, da se nevronske uteži lahko shranijo v pomnilniške celice kot različne ravni prevodnosti, kodirajo prek digitalno-analognih pretvornikov (DAC) in navedejo v pomnilniški niz.

To ni simulacija programske opreme, je strojna oprema

Obstajajo že prejšnje študije o arhitekturah CIM, vendar je to prva, ki prikazuje širok nabor aplikacij umetne inteligence v strojni opremi in ne v programski simulaciji, hkrati pa je energijsko učinkovitejša in lahko natančno izvaja algoritme, česar ni imela nobena prejšnja študija. lahko prikazali hkrati, pravi Wan.

NeuRRAM je sestavljen iz 48 jeder CIM, ki obsegajo skupno 3 milijone celic RRAM. Vsako jedro je opisano kot prenosljivo nevrosinaptično polje (TNSA), sestavljeno iz mreže 256 × 256 RRAM celic in 256 CMOS umetnih nevronskih vezij, ki izvajajo analogno-digitalne pretvornike (ADC) in aktivacijske funkcije.

V skladu s prispevkom je bila arhitektura TNSA zasnovana tako, da ponuja prilagodljiv nadzor nad smerjo podatkovnih tokov, kar je ključnega pomena za podporo raznolikega nabora modelov AI z različnimi vzorci podatkovnih tokov.

Na primer, v konvolucijskih nevronskih mrežah (CNN), ki so običajne pri nalogah, povezanih z vizijo, tečejo podatki v eno smer skozi plasti, da se ustvarijo predstavitve podatkov na različnih ravneh abstrakcije, medtem ko se v nekaterih drugih modelih verjetnostno vzorčenje izvaja naprej in nazaj med plastmi. dokler omrežje ne konvergira v stanje visoke verjetnosti.

Vendar pa so bile druge zasnove, ki so združile CIM z RRAM, omejene na delovanje v eni sami smeri, običajno s trdim ožičenjem vrstic in stolpcev niza prečk RRAM na namenska vezja na obrobju za pogon vhodov in merjenje izhodov, piše v prispevku.

Kako deluje

Skrivnost rekonfigurabilnosti NeuRRAM je v tem, da porazdeli nevronska vezja CMOS med celice RRAM in jih poveže po dolžini obeh vrstic in stolpcev.

Vsak TNSA je razdeljen na več jedrnic, od katerih je vsaka sestavljena iz 16 × 16 celic RRAM in enega nevronskega vezja. Koreleti so povezani s skupnimi bitnimi črtami (BL) in besednimi črtami (WL) vzdolž vodoravne smeri ter izvornimi črtami (SL) vzdolž navpične smeri.

Nevronsko vezje se prek stikal poveže z enim BL in enim SL od 16 vsakega, ki gre skozi jedro, in je odgovorno za integracijo vhodov iz vseh 256 RRAM-jev, ki se povezujejo z istim BL ali SL.

Vsako nevronsko vezje lahko uporablja svoja stikala BL in SL za vhod in izhod. To pomeni, da lahko prejme analogno množenje matričnih vektorjev (MVM) iz celice RRAM, ki prihaja iz BL ali SL prek stikal, lahko pa tudi pošlje pretvorjene digitalne rezultate v periferne registre prek istih stikal.

Ta ureditev pomeni, da je mogoče izvajati različne smeri pretoka podatkov s konfiguracijo, katero stikalo naj se uporablja med vhodno in izhodno stopnjo vsakega nevronskega vezja.

(Ta arhitektura nas tudi nekoliko spominja na SambaNova procesorski čip AI, ki je implementiran kot mreža računalniških enot in pomnilniških enot, povezanih s komunikacijsko strukturo na čipu, ki nadzoruje pretok podatkov.)

Da bi povečali zmogljivost sklepanja AI z uporabo 48 jeder CIM v NeuRRAM, je mogoče implementirati različne strategije preslikave teže, ki izkoriščajo vzporednost modelov in vzporednost podatkov, glede na dokument.

V primeru CNN bi lahko bila strategija podvojitev uteži zgodnjih, računalniško najbolj intenzivnih plasti v več jedrih CIM za vzporedno sklepanje. Prispevek ponuja podrobnejši opis razpoložljivih strategij kartiranja teže.

Prispevek poroča o strojno izmerjenih rezultatih sklepanja z uporabo čipa za vrsto nalog umetne inteligence, vključno s klasifikacijo slik z uporabo naborov podatkov CIFAR-10 in MNIST, prepoznavanje govornih ukazov Google in obnovitev slike MNIST, ki se izvaja z različnimi modeli umetne inteligence.

Trdi se, da dosega natančnost sklepanja, ki je primerljiva z modeli programske opreme, usposobljenimi s 4-bitnimi utežmi pri vseh teh primerjalnih nalogah. Na primer, doseže 0.98-odstotno stopnjo napak pri prepoznavanju ročno napisanih številk MNIST z uporabo 7-slojnega CNN, 14.34-odstotno stopnjo napak pri klasifikaciji objektov CIFAR-10 z uporabo ResNet-20 in 15.34-odstotno stopnjo napak pri prepoznavanju govornih ukazov Google z uporabo 4-celični LSTM (dolgi kratkoročni spomin).

Čip NeuRRAM naj bi imel tudi dvakrat boljšo energijsko učinkovitost od prejšnjih modelov čipov CIM, ki uporabljajo RRAM, pri različnih računalniških bitnih natančnostih. Vendar pa poraba energije v dokumentu ni navedena v obliki, ki bi jo bilo enostavno primerjati s komercialnimi napravami na trgu, in spodnja slika prikazuje porabo energije na operacijo v različnih bitnih natančnostih, merjeno v femtodžulih (fJ).

Vendar nam je Wan povedal, da za tipično nalogo odkrivanja ključnih besed v realnem času, ki se danes izvaja na mnogih pametnih domačih napravah (kot je ukaz pametnemu zvočniku, naj prižge luč), ocenjuje, da NeuRRAM porabi manj kot 2 mikrovata energije.

"To pomeni, da bi lahko tudi na majhni gumbasti bateriji deloval več kot 10 let (brez upoštevanja energije, ki jo porabijo druge komponente sistema)," je dejal.

Po navedbah časopisa je čip izdelan s tehnologijo 130 nm CMOS in pričakuje se, da se bo energetska učinkovitost izboljšala s skaliranjem tehnologije, kot velja za druge polprevodniške izdelke.

Do produkcije so še leta

Bomo torej videli komercialno napravo za dostavo, ki temelji na tej tehnologiji? Wan pravi, da ima velik potencial za komercializacijo, in osebno razmišlja o tem, da bi ga sam produciral.

»Najprimernejši primer začetne uporabe je zelo verjetno ekstremni rob / IoT,« nam je povedal.

Izdelek na osnovi čipa NeuRRAM bi lahko združili v sistem s CPE, kot pri drugih pospeševalnikih, vendar to ni potrebno za vsako aplikacijo.

"V zadnjem času je prišlo do trenda, da se podatki iz senzorjev posredujejo neposredno procesorjem AI, ne da bi šli skozi CPE ali dodatni pomnilnik," je dejal Wan, vendar je dodal, da v večini primerov uvajanja v resničnem svetu takšni pospeševalniki AI delujejo kot soprocesor. za CPE, kjer CPE upravlja druge naloge.

Čip NeuRRAM je namenjen samo sklepanju, predvsem zato, ker tehnologija RRAM v svoji trenutni obliki ni zelo primerna za usposabljanje, ker proces usposabljanja zahteva pogoste posodobitve pomnilnika, to pa je "zelo draga operacija na RRAM", je dejal Wan.

»Trenutno imajo številne komercialne livarne že zmožnost izdelave naprav RRAM, vendar večinoma za uporabo vgrajenega pomnilnika in ne za računanje v pomnilniku. Ko bo postopek RRAM širše dostopen oblikovalcem IC, se lahko zgodi izdelek NeuRRAM.«

Natančen časovni načrt, ko se bo to zgodilo, pa je težko napovedati in Wan je dejal, da bi lahko bil v naslednjih dveh do treh letih ali veliko dlje. ®