AI-siru lisää keinotekoisia neuroneja resistiiviseen RAM-muistiin käytettäväksi puettavissa laitteissa, droneissa

Äskettäin julkaistu tutkimusartikkeli kuvaa compute-in-memory (CIM) -sirun, joka yhdistää keinotekoiset neuronit resistiiviseen RAM-muistiin (RRAM), jotta AI-mallin painot voidaan tallentaa ja käsitellä samalle sirulle.

Suunnittelun takana olevat tutkijat väittävät, että se olisi tehokkaampi reunasovelluksissa, koska se eliminoi tiedonsiirron erillisten laskenta- ja muistilohkojen välillä.

Reunalaskenta ja tekoäly ovat molemmat oikeilla jäljillä meteoriikkaan kasvuun lähitulevaisuudessa analyytikkoyhtiö IDC:n mukaan. Joissakin skenaarioissa ne yhdistetään, koska reunakäyttöönotto voi olla rajoitettu tehoon ja liitettävyyteen, mutta silti on analysoitava merkittäviä tietomääriä ja annettava lähes reaaliaikainen vastaus tapahtumiin, mikä tekee laitteessa "elävästä" tekoälymallista optimaalisen ratkaisun. .

Tämän valossa joukko tutkijoita on kehittänyt sirun nimeltä NeuRRAM, koska se yhdistää keinotekoiset neuronit RRAM:iin uudessa arkkitehtuurissa. Projektin tavoitteena oli tuottaa suunnittelu, joka pystyy samanaikaisesti tuottamaan korkean energiatehokkuuden sekä monipuolisuuden tukemaan erilaisia ​​tekoälymalleja ja vertailukelpoista tarkkuutta saman mallin ajamiseen ohjelmistossa.

Projekti käynnistyi alun perin osana Nature Science Foundation -projektia nimeltä "Expeditions in Computing". Tämä projekti kokosi ryhmän tutkijoita eri instituutioista, joilla oli eri taustat, mukaan lukien jotkut Stanfordista ja UCSD:stä, sekä tutkijoita Tsinghuan yliopistosta Kiinasta, jotka ovat RRAM-laitteiden valmistuksen asiantuntijoita.

Energiatehokkuus: AI-päätelmä tehty akkukäyttöisestä gizmosta

Weier Wanin, Stanfordin yliopiston tutkinnon ja yhden tutkijan mukaan lehden kirjoittajatEilen Nature-lehdessä julkaistu NeuRRAM on kehitetty tekoälysiruksi, joka parantaa huomattavasti tekoälyn päättelyn energiatehokkuutta ja mahdollistaa siten monimutkaisten tekoälytoimintojen toteuttamisen suoraan akkukäyttöisissä reunalaitteissa, kuten älykkäissä puettavissa laitteissa, droneissa ja teollisissa IoT-antureissa. .

”Nykypäivän tekoälysiruissa tietojenkäsittely ja tietojen tallennus tapahtuu eri paikoissa – laskentayksikössä ja muistiyksikössä. Toistuva tiedonsiirto näiden yksiköiden välillä kuluttaa eniten energiaa ja siitä tulee pullonkaula pienitehoisten tekoälyprosessorien toteuttamiselle reunalaitteisiin", hän sanoi.

Tämän ratkaisemiseksi NeuRRAM-siru toteuttaa "compute-in-memory" -mallin, jossa käsittely tapahtuu suoraan muistissa. Se käyttää myös resistiivistä RAM-muistia (RRAM), muistityyppiä, joka on yhtä nopea kuin staattinen RAM, mutta on haihtumaton, mikä mahdollistaa tekoälymallien painojen tallentamisen. RRAM-solujen keskeinen ominaisuus on, että hermopainot voidaan tallentaa muistisoluihin eri konduktanssitasoina, koodata digitaali-analogimuuntimien (DAC) kautta ja syöttää muistiryhmään.

Tämä ei ole ohjelmistosimulaatio, se on laitteisto

CIM-arkkitehtuureista on tehty aiempia tutkimuksia, mutta tämä on ensimmäinen, joka osoittaa laajan valikoiman tekoälysovelluksia laitteistossa eikä ohjelmistosimulaatiossa, samalla kun se on energiatehokkaampi ja pystyy suorittamaan algoritmeja tarkasti, mitä ei mikään aikaisemmista tutkimuksista. pystyivät näyttämään samanaikaisesti Wanin mukaan.

NeuRRAM koostuu 48 CIM-ytimestä, jotka sisältävät yhteensä 3 miljoonaa RRAM-solua. Jokaista ydintä kuvataan transponoitavaksi neurosynaptiseksi ryhmäksi (TNSA), joka koostuu 256 × 256 RRAM-solun ruudukosta ja 256 CMOS-keinotekoisesta neuronipiiristä, jotka toteuttavat analogia-digitaalimuuntimia (ADC) ja aktivointitoimintoja.

Paperin mukaan TNSA-arkkitehtuuri on suunniteltu tarjoamaan joustavaa tietovirran suunnan hallintaa, mikä on ratkaisevan tärkeää tuettaessa erilaisia ​​AI-malleja erilaisilla datavirtakuvioilla.

Esimerkiksi konvoluutiohermoverkoissa (CNN), jotka ovat yleisiä näkemiseen liittyvissä tehtävissä, data virtaa yhteen suuntaan kerrosten läpi tuottaakseen dataesityksiä eri abstraktiotasoilla, kun taas joissakin muissa malleissa todennäköisyyspohjaista näytteenottoa suoritetaan edestakaisin kerrosten välillä. kunnes verkko konvergoi suuren todennäköisyyden tilaan.

Kuitenkin muut mallit, joissa CIM on yhdistetty RRAM:iin, rajoittuivat toimimaan yhteen suuntaan, tyypillisesti johdottamalla RRAM:n poikkipalkkitaulukon rivejä ja sarakkeita reunassa oleviin omistettuihin piireihin syötteiden ohjaamiseksi ja lähtöjen mittaamiseksi, paperi sanoo.

Kuinka se toimii

NeuRRAM:n uudelleenkonfiguroitavuuden salaisuus on, että se jakaa CMOS-neuronipiirit RRAM-solujen kesken ja yhdistää ne sekä rivien että sarakkeiden pituudelta.

Jokainen TNSA on jaettu useisiin coreleteihin, joista jokainen koostuu 16 × 16 RRAM-solusta ja yhdestä neuronipiiristä. Coreletit on yhdistetty jaetuilla bittilinjoilla (BL) ja sanarivillä (WL) vaakasuunnassa ja lähdelinjoilla (SL) pystysuunnassa.

Neuronipiiri kytkeytyy kytkimien kautta yhteen BL:ään ja yhteen SL:ään niistä 16:sta, jotka kulkevat Coreletin läpi, ja on vastuussa kaikkien samaan BL:ään tai SL:ään kytkeytyvien 256 RRAM:n tulojen integroimisesta.

Jokainen neuronipiiri voi käyttää BL- ja SL-kytkimiään tulona ja lähtönä. Tämä tarkoittaa, että se voi vastaanottaa analogisen matriisivektorin kertolaskua (MVM) RRAM-solusta, joka tulee joko BL:stä tai SL:stä kytkimien kautta, mutta voi myös lähettää muunnetut digitaaliset tulokset oheisrekistereihin samojen kytkimien kautta.

Tämä järjestely tarkoittaa, että erilaiset tiedonkulkusuunnat voidaan toteuttaa määrittämällä, mitä kytkintä käytetään kunkin neuronipiirin tulo- ja lähtövaiheissa.

(Tämä arkkitehtuuri pitää myös mielessämme jonkin verran SambaNovan AI-prosessorisiru, joka on toteutettu laskentayksiköiden ja muistiyksiköiden ruudukkona, joka on linkitetty tietovirtaa ohjaavalla sirulla.)

Tekoälyn päättelysuorituskyvyn maksimoimiseksi NeuRRAM:n 48 CIM-ytimen avulla on mahdollista toteuttaa erilaisia ​​painokartoitusstrategioita, jotka hyödyntävät sekä mallin rinnakkaisuutta että datan rinnakkaisuutta, paperin mukaan.

CNN:n tapauksessa strategia voisi olla monistaa aikaisempien, laskentaintensiivisimpien kerrosten painot useisiin CIM-ytimiin rinnakkaispäätelmiä varten. Paperi tarjoaa yksityiskohtaisemman kuvauksen käytettävissä olevista painokartoitusstrategioista.

Paperi raportoi laitteistolla mitatut päättelytulokset käyttämällä sirua erilaisiin tekoälytehtäviin, mukaan lukien kuvien luokittelu CIFAR-10- ja MNIST-tietosarjoja käyttäen, Googlen puhekomentojen tunnistus ja MNIST-kuvan palautus, toteutettu erilaisilla tekoälymalleilla.

Sen väitetään saavuttavan johtopäätöstarkkuuden, joka on verrattavissa 4-bittisillä painoilla koulutettuihin ohjelmistomalleihin kaikissa näissä vertailutehtävissä. Se saavuttaa esimerkiksi 0.98 prosentin virhesuhteen MNIST-käsin kirjoitettujen numeroiden tunnistuksessa 7-kerroksisen CNN:n avulla, 14.34 prosentin virheprosentin CIFAR-10-objektien luokittelussa ResNet-20:n avulla ja 15.34 prosentin virhesuhteen Googlen puhekomentojen tunnistuksessa käyttämällä 4-soluinen LSTM (pitkä lyhytaikainen muisti).

NeuRRAM-sirun väitetään myös olevan energiatehokkuus, joka on kaksi kertaa parempi kuin aiemmissa RRAM-muistia käyttävissä CIM-siruissa erilaisilla laskennallisilla bittitarkkuuksilla. Paperin energiankulutusta ei kuitenkaan ole esitetty sellaisessa muodossa, että sitä olisi helppo verrata markkinoilla oleviin kaupallisiin laitteisiin, ja alla oleva kuva havainnollistaa energiankulutusta operaatiota kohden eri bittitarkkuuksilla femtojouleina (fJ) mitattuna.

Wan kuitenkin kertoi meille, että tyypillisessä reaaliaikaisessa avainsanahakutehtävässä, joka toimii monilla älykodin laitteilla nykyään (kuten älykaiuttimen käskeminen sytyttää valo), NeuRRAM:n arvioidaan kuluttavan alle 2 mikrowattia virtaa.

"Tämä tarkoittaa, että jopa pienellä kolikkoakulla se voi toimia yli 10 vuotta (ei oteta huomioon muiden järjestelmän komponenttien tehoa", hän sanoi.

Lehden mukaan siru on valmistettu 130nm CMOS-teknologialla ja energiatehokkuuden odotetaan paranevan teknologian skaalautumisen myötä, kuten muiden puolijohdetuotteiden kohdalla.

Tuotanto on vielä vuosien päässä

Näemmekö siis tähän tekniikkaan perustuvan kaupallisen laitteen? Wan sanoo, että sillä on suuret mahdollisuudet kaupallistaa, ja hän harkitsee henkilökohtaisesti sen tuotteistamista.

"Sopivin alkukäyttötapaus on erittäin todennäköinen äärimmäisessä reunassa / IoT", hän kertoi meille.

NeuRRAM-siruun perustuva tuote voitaisiin yhdistää prosessorilla varustettuun järjestelmään, kuten muihinkin kiihdyttimiin, mutta tämä ei ole välttämätöntä jokaisessa sovelluksessa.

"Viime aikoina on ollut trendi, että antureiden data syötetään suoraan tekoälyprosessoreihin ilman prosessorin tai lisämuistin läpimenoa", Wan sanoi, mutta hän lisäsi, että useimmissa tosielämän käyttöönottotapauksissa tällaiset tekoälykiihdytit toimivat apuprosessorina. CPU:lle, jossa CPU hallitsee muita tehtäviä.

NeuRRAM-siru on tarkoitettu vain päättelytyöhön, suurelta osin siksi, että RRAM-tekniikka ei nykymuodossaan ole kovin sopiva harjoitteluun, koska harjoitusprosessi vaatii usein muistin päivityksiä, ja tämä on "erittäin kallis operaatio RRAM:lla", Wan sanoi.

"Tällä hetkellä monilla kaupallisilla valimoilla on jo valmiudet valmistaa RRAM-laitteita, mutta enimmäkseen sulautettuun muistiin eikä muistiin laskemiseen. Kun RRAM-prosessi tulee laajemmin IC-suunnittelijoiden saataville, NeuRRAM-tuote saattaa syntyä."

Tarkkaa aikataulua tämän tapahtumiselle on kuitenkin vaikea ennustaa, ja Wan sanoi, että se voi tapahtua seuraavien kahden tai kolmen vuoden sisällä tai paljon kauemmin. ®