AI-kiip lisab takistuslikule RAM-ile tehisneuroneid, mida saab kasutada kantavates seadmetes, droonides

Äsja avaldatud uurimistöös kirjeldatakse arvutimälus (CIM) kiipi, mis ühendab kunstlikud neuronid takistusliku RAM-iga (RRAM), nii et tehisintellekti mudeli kaalu saab salvestada ja töödelda samal kiibil.

Disaini taga olevad teadlased väidavad, et see oleks servarakenduste jaoks tõhusam, kuna see välistab andmete liikumise eraldi arvutus- ja mäluplokkide vahel.

Edge andmetöötlus ja tehisintellekt on mõlemad lähitulevikus meteoriidi kasvu suunas analüütikufirma IDC andmetel. Mõned stsenaariumid kombineerivad need kokku, kuna serva juurutamine võib piirata võimsust ja ühenduvust, kuid siiski tuleb analüüsida märkimisväärseid andmemahtusid ja reageerida sündmustele peaaegu reaalajas, muutes AI-mudeli seadmes kõige optimaalsemaks lahenduseks. .

Selle valguses on teadlaste rühm välja töötanud kiibi, mida nimetatakse NeuRRAM-iks, kuna see ühendab uudses arhitektuuris tehisneuroneid RRAM-iga. Projekti eesmärk oli pakkuda disaini, mis suudab samaaegselt pakkuda nii kõrget energiatõhusust kui ka mitmekülgsust erinevate tehisintellekti mudelite toetamiseks ning võrreldavat täpsust sama mudeli tarkvaras käitamisega.

Algselt sai projekt alguse loodusteaduste fondi projektist "Ekspeditsioonid arvutis". See projekt koondas rühma teadlasi erinevatest erineva taustaga institutsioonidest, sealhulgas mõned Stanfordist ja UCSD-st, samuti Hiina Tsinghua ülikooli teadlasi, kes on RRAM-seadmete valmistamise eksperdid.

Energiatõhusus: tehisintellekti järeldus tehakse akutoitel seadmel

Stanfordi ülikooli diplomeeritud teaduri Weier Wani sõnul ja üks paberi autorid, avaldati eile ajakirjas Nature, NeuRRAM on välja töötatud AI-kiibina, mis parandab oluliselt tehisintellekti järelduste energiatõhusust, võimaldades seeläbi teostada keerulisi tehisintellekti funktsioone otse akutoitega servaseadmetes, nagu nutikad kantavad seadmed, droonid ja tööstuslikud asjade Interneti andurid. .

„Tänapäeva tehisintellekti kiipides toimub andmetöötlus ja andmete salvestamine eraldi kohtades – arvutusüksuses ja mäluüksuses. Nende seadmete sagedane andmeliikumine kulutab kõige rohkem energiat ja muutub kitsaskohaks väikese võimsusega AI-protsessorite realiseerimisel servaseadmete jaoks, " ütles ta.

Selle lahendamiseks rakendab NeuRRAM-i kiip "arvuta mälus" mudelit, kus töötlemine toimub otse mälus. Samuti kasutab see resistiivset RAM-i (RRAM), mälutüüpi, mis on sama kiire kui staatiline RAM, kuid on püsiv, võimaldades salvestada tehisintellekti mudelite kaalu. RRAM-i rakkude põhiomadus on see, et närvikaalusid saab salvestada mälurakkudesse erinevate juhtivustasemetena, kodeerida digitaal-analoogmuundurite (DAC) kaudu ja sisestada mälumassiivi.

See ei ole tarkvara simulatsioon, see on riistvara

CIM-arhitektuuride kohta on tehtud varasemaid uuringuid, kuid see on esimene, mis demonstreerib laias valikus tehisintellekti rakendusi pigem riistvaras kui tarkvara simulatsioonis, olles samal ajal energiatõhusam ja suudab algoritme täpselt käitada, mida üheski varasemas uuringus ei olnud. said Wani sõnul samaaegselt näidata.

NeuRRAM koosneb 48 CIM-südamikust, mis sisaldavad kokku 3 miljonit RRAM-i rakku. Iga südamikku kirjeldatakse kui transponeeritavat neurosünaptilist massiivi (TNSA), mis koosneb 256 × 256 RRAM-i rakust ja 256 CMOS-i tehisneuroniahelast, mis rakendavad analoog-digitaalmuundureid (ADC) ja aktiveerimisfunktsioone.

Dokumendi kohaselt on TNSA arhitektuur loodud pakkuma andmevoogude suuna paindlikku juhtimist, mis on ülioluline erinevate andmevoomustritega tehisintellekti mudelite mitmekesise valiku toetamiseks.

Näiteks konvolutsioonilistes närvivõrkudes (CNN), mis on levinud nägemisega seotud ülesannete puhul, liiguvad andmed ühes suunas läbi kihtide, et genereerida andmeesitusi erinevatel abstraktsioonitasemetel, samas kui mõnes teises mudelis tehakse tõenäosuslikku diskreetimist kihtide vahel edasi-tagasi. kuni võrk läheneb suure tõenäosusega olekusse.

Kuid teised konstruktsioonid, mis on kombineerinud CIM-i ja RRAM-i, piirdusid töötamisega ühes suunas, tavaliselt ühendades RRAM-i risttala massiivi read ja veerud sisendite juhtimiseks ja väljundite mõõtmiseks perifeerias asuvatesse spetsiaalsetesse ahelatesse.

Kuidas see töötab?

NeuRRAM-i ümberkonfigureeritavuse saladus seisneb selles, et see jaotab CMOS-i neuronite ahelad RRAM-i rakkude vahel ja ühendab need nii ridade kui ka veergude pikkuses.

Iga TNSA on jaotatud mitmeks tuumaks, millest igaüks koosneb 16 × 16 RRAM-i rakust ja ühest neuroniahelast. Coreletid on ühendatud jagatud bitiliinide (BL) ja sõnaliinide (WL) abil horisontaalsuunas ning lähteliinide (SL) abil vertikaalsuunas.

Neuroniahel ühendub lülitite kaudu ühe BL-i ja ühe SL-iga kõigist 16-st, mis läbivad Coreleti, ja vastutab kõigi 256 RRAM-i sisendite integreerimise eest, mis on ühendatud sama BL-i või SL-iga.

Iga neuroni ahel saab kasutada sisendiks ja väljundiks oma BL- ja SL-lüliteid. See tähendab, et see võib lülitite kaudu vastu võtta analoogmaatriks-vektori korrutamist (MVM) RRAM-i rakust, mis tuleb kas BL-st või SL-st, kuid võib samade lülitite kaudu saata ka teisendatud digitaalsed tulemused välisseadmete registritesse.

See paigutus tähendab, et erinevaid andmevoo suundi saab rakendada, konfigureerides, millist lülitit kasutada iga neuroniahela sisend- ja väljundfaasis.

(See arhitektuur paneb meid ka mõnevõrra silmas SambaNova AI protsessori kiip, mis on realiseeritud arvutus- ja mäluüksuste võrgustikuna, mis on ühendatud andmevoogu kontrolliva kiibil oleva sidekangaga.)

Tehisintellekti järelduste jõudluse maksimeerimiseks NeuRRAM-i 48 CIM-südamiku abil on artikli kohaselt võimalik rakendada erinevaid kaalukaardistamise strateegiaid, mis kasutavad ära nii mudelite paralleelsust kui ka andmete paralleelsust.

CNN-i puhul võib strateegia olla varajaste, kõige arvutusmahukamate kihtide kaalude dubleerimine mitme CIM-i tuumaga paralleelseks järeldamiseks. Artiklis kirjeldatakse üksikasjalikumalt saadaolevaid kaalu kaardistamise strateegiaid.

Dokumendis esitatakse riistvaraliselt mõõdetud järeldustulemused, kasutades kiipi mitmesuguste AI-ülesannete jaoks, sealhulgas kujutiste klassifitseerimine CIFAR-10 ja MNIST-i andmekogumite abil, Google'i kõnekäskude tuvastamine ja MNIST-kujutise taastamine, mida on rakendatud erinevate AI-mudelitega.

Väidetavalt saavutab see kõigi nende võrdlusülesannete puhul 4-bitise kaaluga treenitud tarkvaramudelitega võrreldava järeldustäpsuse. Näiteks saavutab see 0.98-protsendilise veamäära MNIST käsitsi kirjutatud numbrituvastuses, kasutades 7-kihilist CNN-i, 14.34-protsendilise veamäära CIFAR-10 objektide klassifikatsioonil ResNet-20 abil ja 15.34-protsendilise veamäära Google'i kõnekäskude tuvastamisel, kasutades 4-rakuline LSTM (pikk lühiajaline mälu).

Väidetavalt on NeuRRAM-i kiibil energiatõhusus, mis on erinevate arvutuslike bittide täpsusega võrreldes kaks korda parem kui varasematel RRAM-i kasutavatel CIM-kiibil. Siiski ei ole paberil energiatarbimist esitatud kujul, mida oleks lihtne võrrelda turul olevate kommertsseadmetega, ja alltoodud joonis illustreerib energiatarbimist operatsiooni kohta erinevate bititäpsustega, mõõdetuna femtojoulides (fJ).

Kuid Wan ütles meile, et tüüpilise reaalajas märksõna leidmise ülesande jaoks, mis töötab paljudes tänapäeval paljudes nutikate koduseadmetes (näiteks käsk nutikõlaril valgust sisse lülitada), tarbib NeuRRAM hinnanguliselt vähem kui 2 mikrovatti energiat.

"See tähendab, et isegi väikese mündipatarei korral võib see töötada kauem kui 10 aastat (arvestamata teiste süsteemikomponentide tarbitavat energiat), " ütles ta.

Paberi kohaselt on kiip valmistatud 130 nm CMOS-tehnoloogia abil ja eeldatakse, et energiatõhusus paraneb koos tehnoloogia skaleerimisega, nagu ka teiste pooljuhttoodete puhul.

Produtseerimine on veel aastate kaugusel

Kas me näeme sellel tehnoloogial põhinevat kommertsseadet? Wan ütleb, et sellel on suur potentsiaal kommertsialiseerimiseks, ja ta kaalub isiklikult selle tootmise kallal töötamist.

"Kõige sobivam esmane kasutusjuhtum on väga tõenäoline äärmuslike servade / asjade Interneti puhul," ütles ta meile.

NeuRRAM-i kiibil põhinevat toodet saaks kombineerida CPU-ga süsteemis, nagu teistegi kiirenditega, kuid see pole iga rakenduse jaoks vajalik.

"Hiljuti on ilmnenud trend, et anduritelt saadud andmed suunatakse otse tehisintellekti protsessoritele ilma protsessorit või lisamälu läbimata," ütles Wan, kuid lisas, et enamiku reaalsete juurutamise juhtude puhul toimivad sellised tehisintellekti kiirendid kaasprotsessorina. CPU jaoks, kus CPU haldab muid ülesandeid.

NeuRRAM-i kiip on mõeldud ainult järeldamistööks, suuresti seetõttu, et RRAM-tehnoloogia praegusel kujul ei ole treenimiseks eriti sobiv, kuna treeningprotsess nõuab sagedast mälu uuendamist ja see on "väga kallis operatsioon RRAM-i peal", ütles Wan.

"Praegu on paljudel kommertsvalukodadel juba võimalus toota RRAM-seadmeid, kuid enamasti manusmälu kasutamiseks, mitte mälus arvutamiseks. Kui RRAM-protsess muutub IC-disaineritele laiemalt kättesaadavaks, võib juhtuda NeuRRAM-i toode.

Selle toimumise täpset ajakava on aga raske ennustada ja Wan ütles, et see võib juhtuda järgmise kahe kuni kolme aasta jooksul või palju kauem. ®