Az AI chip mesterséges neuronokat ad a rezisztív RAM-hoz, hogy hordható eszközökben, drónokban használhatók

Egy újonnan publikált kutatási cikk egy compute-in-memory (CIM) chipet ír le, amely kombinálja a mesterséges neuronokat rezisztív RAM-mal (RRAM), így az AI-modell súlyozása ugyanazon a chipen tárolható és feldolgozható.

A tervezés mögött álló kutatók azt állítják, hogy hatékonyabb lenne az éles alkalmazásoknál, mivel kiküszöböli az adatmozgást a különálló számítási és memóriablokkok között.

Az élszámítástechnika és a mesterséges intelligencia is jó úton halad a közeljövőben, legalábbis a meteorikus növekedés felé az IDC elemző cég szerint. Egyes forgatókönyvek kombinálják ezeket, mert a szélső telepítések korlátozhatják a teljesítményt és a csatlakozást, ugyanakkor jelentős mennyiségű adatot kell elemezni, és közel valós idejű választ kell adni az eseményekre, így az eszközben „élő” mesterséges intelligencia modell a legoptimálisabb megoldás. .

Ennek fényében a kutatók egy csoportja kifejlesztett egy NeuRRAM nevű chipet, amely a mesterséges neuronokat az RRAM-mal kombinálja egy újszerű architektúrában. A projekt célja egy olyan kialakítás volt, amely egyszerre tud magas energiahatékonyságot és sokoldalúságot biztosítani a különféle mesterséges intelligencia modellek támogatásához, és összehasonlítható pontossággal, mint ugyanazon modell szoftveres futtatásával.

A projekt eredetileg a Természettudományi Alapítvány „Expeditions in Computing” nevű projektje részeként indult. Ez a projekt különböző hátterű kutatók csoportját állította össze, köztük a Stanfordból és az UCSD-ből, valamint a kínai Tsinghua Egyetem kutatóiból, akik az RRAM-eszközök gyártásának szakértői.

Energiahatékonyság: AI-következtetés az akkumulátoros gizmon

Weier Wan, a Stanford Egyetem diplomás kutatója szerint és az egyik a lap szerzőiA Nature-ben tegnap megjelent, a NeuRRAM-ot mesterséges intelligencia-chipként fejlesztették ki, amely nagymértékben javítja az AI következtetések energiahatékonyságát, lehetővé téve ezáltal az összetett mesterséges intelligencia funkciók közvetlen megvalósítását az akkumulátorral működő éleszközökön, például intelligens hordható eszközökön, drónokon és ipari IoT-szenzorokon belül. .

„A mai mesterséges intelligencia chipekben az adatfeldolgozás és az adattárolás külön helyeken történik – a számítási egységben és a memóriaegységben. Az egységek közötti gyakori adatmozgás fogyasztja a legtöbb energiát, és szűk keresztmetszetet jelent az alacsony fogyasztású mesterséges intelligencia processzorok szélső eszközökhöz való megvalósításában” – mondta.

Ennek megoldására a NeuRRAM chip egy „számítás a memóriában” modellt valósítja meg, ahol a feldolgozás közvetlenül a memóriában történik. A rezisztív RAM-ot (RRAM) is használja, egy olyan memóriatípust, amely ugyanolyan gyors, mint a statikus RAM, de nem illékony, lehetővé téve az AI modellsúlyok tárolását. Az RRAM cellák kulcsfontosságú jellemzője, hogy a neurális súlyok különböző vezetőképességi szintekként tárolhatók a memóriacellákban, amelyeket digitális-analóg konverterek (DAC) kódolnak, és betáplálnak a memóriatömbbe.

Ez nem szoftveres szimuláció, hanem hardver

Korábbi tanulmányok készültek a CIM-architektúrákról, de ez az első, amely az AI-alkalmazások széles skáláját mutatja be hardverben, nem pedig szoftveres szimulációban, miközben energiahatékonyabb és képes az algoritmusok pontos futtatására, amit a korábbi tanulmányok egyike sem Wan szerint egyszerre tudtak megmutatni.

A NeuRRAM 48 CIM magból áll, amelyek összesen 3 millió RRAM cellát tartalmaznak. Mindegyik magot transzponálható neuroszinaptikus tömbként (TNSA) írják le, amely 256 × 256 RRAM sejtből és 256 CMOS mesterséges neuron áramkörből áll, amelyek analóg-digitális átalakítókat (ADC) és aktiválási funkciókat valósítanak meg.

A cikk szerint a TNSA architektúrát úgy alakították ki, hogy rugalmasan szabályozza az adatfolyamok irányát, ami kulcsfontosságú a különböző adatfolyam-mintákkal rendelkező AI-modellek sokféleségének támogatásához.

Például a látással kapcsolatos feladatokban elterjedt konvolúciós neurális hálózatokban (CNN) az adatok egyetlen irányban áramlanak a rétegeken keresztül, hogy különböző absztrakciós szintű adatreprezentációkat hozzon létre, míg néhány más modellben a valószínűségi mintavételezés oda-vissza történik a rétegek között. amíg a hálózat nem konvergál egy nagy valószínűségű állapotba.

A CIM-et és az RRAM-ot kombináló egyéb kialakítások azonban csak egyetlen irányban működtek, jellemzően az RRAM keresztléc tömb sorait és oszlopait a perifériás dedikált áramkörökhöz kötve a bemenetek meghajtására és a kimenetek mérésére.

Hogyan működik?

A NeuRRAM újrakonfigurálhatóságának titka az, hogy elosztja a CMOS neuron áramköröket az RRAM cellák között, és összeköti azokat a sorok és oszlopok hosszában.

Mindegyik TNSA számos coreletre oszlik, amelyek mindegyike 16 × 16 RRAM sejtből és egy neuron áramkörből áll. A Coreleteket megosztott bitvonalak (BL) és szósorok (WL) kötik össze vízszintes irányban, forrásvonalak (SL) pedig függőleges irányban.

A neuronáramkör kapcsolókon keresztül csatlakozik egy BL-hez és egy SL-hez a 16-ból, amelyek áthaladnak a coreleten, és felelős az azonos BL-hez vagy SL-hez csatlakozó 256 RRAM bemeneteinek integrálásáért.

Mindegyik neuron áramkör használhatja a BL és SL kapcsolóit bemenetre és kimenetre. Ez azt jelenti, hogy a kapcsolókon keresztül tudja fogadni az analóg mátrix-vektor szorzást (MVM) egy RRAM cellából, amely akár BL-ről, akár SL-ről érkezik, de a konvertált digitális eredményeket is elküldheti a periféria regiszterekbe ugyanezeken a kapcsolókon keresztül.

Ez az elrendezés azt jelenti, hogy az egyes neuronáramkörök bemeneti és kimeneti szakaszai során eltérő adatáramlási irányok valósíthatók meg.

(Ez az architektúra valamennyire szem előtt tart bennünket A SambaNova AI processzor chipje, amely számítási és memóriaegységekből álló rácsként van megvalósítva, amelyeket egy chipen lévő kommunikációs szövet köt össze, amely az adatfolyamot szabályozza.)

Az AI következtetési teljesítményének maximalizálása érdekében a NeuRRAM-ban található 48 CIM mag használatával különféle súlyleképezési stratégiákat lehet megvalósítani, amelyek a modell párhuzamosságát és az adatok párhuzamosságát egyaránt kihasználják.

Egy CNN esetében a stratégia az lehet, hogy a korai, számításigényes rétegek súlyát több CIM magra duplikálják a párhuzamos következtetés érdekében. A cikk részletesebb leírást ad a rendelkezésre álló súlyozási stratégiákról.

A cikk hardveren mért következtetési eredményeket közöl a chip segítségével számos mesterséges intelligencia-feladathoz, beleértve a CIFAR-10 és MNIST adatkészleteket használó képosztályozást, a Google beszédparancs-felismerését és az MNIST kép-helyreállítást, amelyeket különféle AI modellekkel valósítottak meg.

Állítólag a 4 bites súlyozással betanított szoftvermodellekhez hasonló következtetési pontosságot ér el az összes benchmark feladatban. Például 0.98 százalékos hibaarányt ér el az MNIST kézzel írt számjegyfelismerésénél 7 rétegű CNN használatával, 14.34 százalékos hibaarányt a CIFAR-10 objektumosztályozásnál ResNet-20 használatával és 15.34 százalékos hibaarányt a Google beszédparancs-felismerésénél egy 4 cellás LSTM (hosszú rövid távú memória).

Azt is állítják, hogy a NeuRRAM chip energiahatékonysága kétszer jobb, mint a korábbi RRAM-ot használó CIM chipek, különféle számítási bitpontosságok mellett. A papír energiafogyasztását azonban nem olyan formában tüntetik fel, hogy könnyen összehasonlítható legyen a piacon lévő kereskedelmi eszközökkel, és az alábbi ábra a műveletenkénti energiafogyasztást szemlélteti femtojoule-ban (fJ) mért különböző bitpontosságokkal.

Wan azonban elmondta, hogy egy tipikus valós idejű kulcsszófelderítési feladathoz, amely manapság sok intelligens otthoni eszközön fut (mint például egy okoshangszórónak, hogy kapcsolja be a lámpát), a NeuRRAM a becslések szerint 2 mikrowattnál kevesebb energiát fogyaszt.

"Ez azt jelenti, hogy még egy kis érmeakkumulátoron is több mint 10 évig működhet (ha nem vesszük figyelembe a rendszer többi összetevője által fogyasztott energiát)" - mondta.

A lap szerint a chipet 130 nm-es CMOS technológiával gyártják, és várhatóan az energiahatékonyság is javulni fog a technológia skálázásával, akárcsak más félvezető termékek esetében.

A termelés még évekre van hátra

Tehát látni fogunk egy ilyen technológián alapuló kereskedelmi eszközt? Wan azt mondja, hogy nagy lehetőségek rejlenek benne, hogy kereskedelmi forgalomba kerüljön, és személyesen azt fontolgatja, hogy saját maga gyártja le.

"A legmegfelelőbb kezdeti felhasználási eset nagyon valószínű, hogy szélsőséges szélsőséges / IoT" - mondta nekünk.

A NeuRRAM chipre épülő termék más gyorsítókhoz hasonlóan CPU-s rendszerben is kombinálható, de ez nem minden alkalmazásnál szükséges.

"A közelmúltban megfigyelhető az a tendencia, hogy az érzékelőkből származó adatokat közvetlenül a mesterséges intelligencia processzoraiba táplálják anélkül, hogy a processzoron vagy extra memórián keresztül mennének át" - mondta Wan, de hozzátette, hogy a legtöbb valós telepítési esetben az ilyen AI-gyorsítók társprocesszorként működnek. CPU esetében, ahol a CPU más feladatokat kezel.

A NeuRRAM chipet csak következtetési munkára szánják, nagyrészt azért, mert az RRAM technológia jelenlegi formájában nem nagyon alkalmas a képzésre, mivel a betanítási folyamat gyakori memóriafrissítést igényel, és ez „nagyon költséges művelet RRAM-on” – mondta Wan.

„Jelenleg sok kereskedelmi öntöde rendelkezik már RRAM-eszközök gyártásának lehetőségével, de leginkább beágyazott memória használatára, nem pedig memóriában történő számításra. Amint az RRAM folyamat szélesebb körben elérhetővé válik az IC tervezők számára, létrejöhet egy NeuRRAM termék.”

Ennek pontos ütemtervét azonban nehéz megjósolni, és Wan szerint ez a következő két-három év, vagy sokkal hosszabb időre tehető. ®