Az új chip kibővíti az AI lehetőségeit

A mesterséges intelligencia algoritmusai nem tudnak folyamatosan növekedni jelenlegi ütemükben. Az olyan algoritmusok, mint a mély neurális hálózatok – amelyeket lazán az agy inspirál, és mesterséges neuronok több rétege kapcsolódik egymáshoz a súlyoknak nevezett numerikus értékeken keresztül – évről évre nőnek. De manapság a hardverfejlesztések már nem tartanak lépést a hatalmas mennyiségű memóriával és feldolgozási kapacitással, amely e hatalmas algoritmusok futtatásához szükséges. Hamarosan falba ütközhet az AI-algoritmusok mérete.

És még ha tovább is bővíthetnénk a hardvert, hogy megfeleljünk a mesterséges intelligencia igényeinek, van egy másik probléma: a hagyományos számítógépeken való futtatás hatalmas mennyiségű energiát pazarol. A nagyméretű mesterséges intelligencia-algoritmusok futtatásából származó magas szén-dioxid-kibocsátás már most is káros a környezetre, és ez csak rosszabb lesz, ahogy az algoritmusok egyre gigantikusabbak lesznek.

Az egyik megoldás, az úgynevezett neuromorf számítástechnika, a biológiai agyból merít ihletet az energiahatékony tervek létrehozásához. Sajnos, bár ezek a chipek meghaladják a digitális számítógépeket az energiatakarékosság terén, hiányzik belőlük a méretes mély neurális hálózat működtetéséhez szükséges számítási teljesítmény. Ez megkönnyíti az AI-kutatók számára, hogy figyelmen kívül hagyják őket.

Ez végül augusztusban megváltozott, amikor Weier Wan, H.-S. Philip Wong, Gert Cauwenberghs és kollégáik új neuromorf chipet tárt fel NeuRRAM-nak nevezett, amely 3 millió memóriasejtet és több ezer idegsejtet tartalmaz a hardverébe az algoritmusok futtatásához. Egy viszonylag új típusú memóriát használ, az úgynevezett rezisztív RAM-ot vagy RRAM-ot. A korábbi RRAM chipekkel ellentétben a NeuRRAM analóg módon működik, így több energiát és helyet takaríthat meg. Míg a digitális memória bináris – akár 1-es, akár 0-s – a NeuRRAM chipben lévő analóg memóriacellák mindegyike több értéket tárolhat egy teljesen folytonos tartományban. Ez lehetővé teszi a chip számára, hogy több információt tároljon a hatalmas mesterségesintelligencia-algoritmusokból ugyanazon a chipterületen.

Ennek eredményeként az új chip a digitális számítógépekhez hasonlóan képes elvégezni olyan összetett mesterséges intelligencia-feladatokat, mint a kép- és beszédfelismerés, és a szerzők szerint akár 1,000-szer energiahatékonyabb, ami lehetővé teszi az apró chipek számára, hogy egyre bonyolultabb algoritmusokat futtassanak. olyan kis eszközökön belül, amelyek korábban nem voltak alkalmasak mesterséges intelligencia számára, például okosórák és telefonok.

A munkában részt nem vevő kutatókat mélyen lenyűgözték az eredmények. „Ez a papír meglehetősen egyedi” – mondta Zhongrui Wang, az RRAM hosszú ideje kutatója a Hongkongi Egyetemen. „Különböző szinteken járul hozzá – az eszköz szintjén, az áramköri architektúra szintjén és az algoritmusok szintjén.”

Új emlékek létrehozása

A digitális számítógépekben a mesterséges intelligencia-algoritmusok futtatása közben elpazarolt hatalmas mennyiségű energia egy egyszerű és mindenütt jelen lévő tervezési hiba okozza, amely minden egyes számítást nem hatékony. Jellemzően a számítógép memóriája – amely a számítás során feltört adatokat és számértékeket tárolja – az alaplapon van elhelyezve, távol a processzortól, ahol a számítás zajlik.

A processzoron áthaladó információhoz „olyan, mintha nyolc órát töltenél az ingázásban, de két órát dolgozol” – mondta Wan, a Stanford Egyetem informatikusa, aki nemrég költözött az AI startuphoz, az Aiziphez.

A probléma megoldása olyan új, többfunkciós chipekkel, amelyek a memóriát és a számítást egy helyre teszik, egyszerűnek tűnik. Ez közelebb áll ahhoz is, hogy agyunk valószínűleg hogyan dolgozza fel az információkat, mivel sok idegtudós úgy véli, hogy a számítás az idegsejtek populációin belül történik, míg az emlékek akkor keletkeznek, amikor az idegsejtek közötti szinapszisok erősítik vagy gyengítik kapcsolataikat. Az ilyen eszközök létrehozása azonban nehéznek bizonyult, mivel a jelenlegi memóriaformák nem kompatibilisek a processzorok technológiájával.

A számítástechnikusok évtizedekkel ezelőtt kifejlesztették azokat az anyagokat, amelyek segítségével új chipeket hozhatnak létre, amelyek számításokat hajtanak végre a memória tárolása helyén – ezt a technológiát compute-in-memory néven ismerik. De mivel a hagyományos digitális számítógépek olyan jól teljesítenek, ezeket az ötleteket évtizedekig figyelmen kívül hagyták.

"Ez a munka, akárcsak a legtöbb tudományos munka, egyfajta feledésbe merült" - mondta Wong, a Stanford professzora.

Valóban, a első ilyen eszköz legalább 1964-ig nyúlik vissza, amikor a Stanford villamosmérnökei felfedezték, hogy képesek bizonyos anyagokat, az úgynevezett fémoxidokat manipulálni, hogy be- és kikapcsolják az elektromosság vezető képességét. Ez azért fontos, mert egy anyag két állapot közötti váltási képessége biztosítja a gerincét a hagyományos memóriatárolásnak. Általában a digitális memóriában a nagyfeszültség állapota 1-nek, az alacsony feszültség pedig 0-nak felel meg.

Ahhoz, hogy egy RRAM-eszköz állapotot váltson, feszültséget kell alkalmazni a fém-oxid két végéhez csatlakoztatott fémelektródákra. Általában a fém-oxidok szigetelők, ami azt jelenti, hogy nem vezetik az elektromosságot. De elegendő feszültség esetén az áram felgyülemlik, végül átnyomja az anyag gyenge pontjait, és utat kovácsol a másik oldalon lévő elektródához. Miután az áram áttört, szabadon tud haladni ezen az úton.

Wong ezt a folyamatot a villámhoz hasonlítja: Ha elegendő töltés halmozódik fel egy felhőben, gyorsan megtalálja az alacsony ellenállású utat, és becsap a villám. De ellentétben a villámmal, amelynek útja eltűnik, a fém-oxidon áthaladó út megmarad, vagyis korlátlan ideig vezetőképes marad. És lehetséges a vezető út törlése, ha egy másik feszültséget kapcsolunk az anyagra. Így a kutatók egy RRAM-ot válthatnak két állapot között, és használhatják őket digitális memória tárolására.

A századközép kutatói nem ismerték fel az energiahatékony számítástechnikában rejlő lehetőségeket, és még nem is volt rá szükségük a kisebb algoritmusokkal, amelyekkel dolgoztak. A 2000-es évek elejéig, új fém-oxidok felfedezéséig tartott, amíg a kutatók felismerték a lehetőségeket.

Wong, aki akkoriban az IBM-nél dolgozott, úgy emlékszik vissza, hogy egy díjnyertes, RRAM-on dolgozó kollégája bevallotta, hogy nem érti teljesen az érintett fizikát. „Ha nem érti meg” – emlékszik vissza Wong, „lehet, hogy ne próbáljam megérteni.”

2004-ben azonban a Samsung Electronics kutatói bejelentették, hogy megtették sikeresen integrált RRAM memória egy hagyományos számítási chipre épült, ami azt sugallja, hogy végre lehetséges lehet egy számítás a memóriában chip. Wong elhatározta, hogy legalább megpróbálja.

Számítási memória chipek AI-hoz

 Wonghoz hasonló kutatók több mint egy évtizeden át dolgoztak azon, hogy az RRAM technológiát olyan szintre hozzák létre, hogy az megbízhatóan kezelje a nagy teljesítményű számítási feladatokat. 2015 körül az informatikusok kezdték felismerni ezekben az energiahatékony eszközökben rejlő hatalmas lehetőségeket a nagyméretű mesterségesintelligencia-algoritmusok számára, amelyek kezdett fellendülni. Abban az évben a Santa Barbarai Kaliforniai Egyetem tudósai kimutatta, hogy az RRAM-eszközök nem csupán a memória újszerű tárolására képesek. Maguk is végre tudják hajtani az alapvető számítási feladatokat – beleértve a neurális hálózat mesterséges neuronjain belül végbemenő számítások túlnyomó részét, amelyek egyszerű mátrixszorzási feladatok.

A NeuRRAM chipben szilícium neuronok vannak beépítve a hardverbe, és az RRAM memóriacellák tárolják a súlyokat – az értékeket, amelyek a neuronok közötti kapcsolatok erősségét jelzik. És mivel a NeuRRAM memóriacellák analógok, az általuk tárolt súlyok az ellenállási állapotok teljes tartományát képviselik, amelyek akkor fordulnak elő, amikor az eszköz alacsony ellenállásról nagy ellenállású állapotra vált. Ez még nagyobb energiahatékonyságot tesz lehetővé, mint amit a digitális RRAM memória elérhet, mivel a chip számos mátrix számítást tud párhuzamosan futtatni – nem pedig egymás után, mint a digitális feldolgozási változatokban.

De mivel az analóg feldolgozás még mindig évtizedekkel a digitális feldolgozás mögött van, még mindig sok problémát kell megoldani. Az egyik az, hogy az analóg RRAM chipeknek szokatlanul pontosaknak kell lenniük, mivel a fizikai chip tökéletlenségei változékonyságot és zajt okozhatnak. (A hagyományos chipek esetében, amelyek csak két állapotúak, ezek a tökéletlenségek közel sem számítanak annyira.) Ez jelentősen megnehezíti az analóg RRAM-eszközök számára az AI-algoritmusok futtatását, mivel mondjuk a kép felismerésének pontossága romlik, ha a Az RRAM-eszköz vezetőképes állapota nem mindig ugyanaz.

„Ha egy világítási utat nézünk, minden alkalommal más” – mondta Wong. "Tehát ennek eredményeként az RRAM-ok bizonyos fokú sztochasztikusságot mutatnak – minden programozásuk kissé eltérő." Wong és kollégái bebizonyították, hogy az RRAM-eszközök képesek folyamatos mesterségesintelligencia-súlyokat tárolni, és még mindig ugyanolyan pontosak, mint a digitális számítógépek, ha az algoritmusokat arra tanítják, hogy hozzászokjanak a chipen tapasztalt zajhoz, ami lehetővé tette számukra a NeuRRAM chip előállítását.

Egy másik fontos probléma, amelyet meg kellett oldaniuk, a különféle neurális hálózatok támogatásához szükséges rugalmasság volt. Korábban a chiptervezőknek az apró RRAM-eszközöket egy területen kellett sorba rendezniük a nagyobb szilícium-neuronok mellett. Az RRAM-eszközök és a neuronok programozhatóság nélkül vezetékesek voltak, így a számítást csak egy irányban lehetett elvégezni. A neurális hálózatok kétirányú számítással való támogatásához extra vezetékekre és áramkörökre volt szükség, ami megnövelte az energia- és helyigényt.

Így Wong csapata egy új chip architektúrát tervezett, amelyben az RRAM memóriaeszközök és a szilícium neuronok keveredtek. Ez a kis változtatás a kialakításban csökkentette a teljes területet és energiát takarított meg.

„Azt hittem, [a rendezés] nagyon szép volt” – mondta Melika Payvand, a zürichi Svájci Szövetségi Technológiai Intézet neuromorf kutatója. – Határozottan úttörő munkának tartom.

Wong csapata több éven át együttműködő partnerekkel dolgozott a NeuRRAM chipen AI algoritmusok tervezésén, gyártásán, tesztelésén, kalibrálásán és futtatásán. Megfontolták más feltörekvő memóriatípusok használatát, amelyek szintén használhatók a számítás a memóriában chipben, de az RRAM előnye volt az analóg programozásban rejlő előnyeinek köszönhetően, és mivel viszonylag könnyen integrálható volt a hagyományos számítástechnikai anyagokkal.

Legutóbbi eredményeik az első olyan RRAM chipet képviselik, amely ilyen nagy és összetett AI-algoritmusokat képes futtatni – ez a bravúr korábban csak elméleti szimulációkban volt lehetséges. „Ami a valódi szilíciumot illeti, ez a képesség hiányzott” – mondta Anup Das, a Drexel Egyetem informatikusa. "Ez a munka az első bemutató."

„A digitális mesterséges intelligencia rendszerek rugalmasak és pontosak, de nagyságrendekkel kevésbé hatékonyak” – mondta Cauwenberghs. Cauwenberghs elmondta, hogy rugalmas, precíz és energiatakarékos analóg RRAM chipjük „első alkalommal hidalta át a szakadékot”.

Scaling Up

A csapat kialakítása a NeuRRAM chipet aprónak tartja – csak akkora, mint egy köröm –, miközben 3 millió RRAM memóriaeszközt szorít össze, amelyek analóg processzorként szolgálhatnak. És bár a neurális hálózatokat legalább olyan jól tudja futtatni, mint a digitális számítógépek, a chip (és most először) olyan algoritmusokat is futtathat, amelyek különböző irányokba hajtanak végre számításokat. A chipjük az RRAM tömb soraiba feszültséget tud bevinni és az oszlopokból kiolvasni a kimeneteket az RRAM chipeknél megszokott módon, de az oszlopoktól a sorokig visszafelé is megteheti, így használható neurális hálózatokban, amelyek működnek. különböző irányokba áramló adatokkal.

Mint maga az RRAM technológia, ez is régóta lehetséges, de senkinek nem jutott eszébe, hogy megtegye. – Miért nem gondoltunk erre korábban? – kérdezte Payvand. – Utólag visszagondolva, nem tudom.

„Ez valójában sok más lehetőséget nyit meg” – mondta Das. Példaként említette, hogy egy egyszerű rendszer képes a többdimenziós fizikai szimulációkhoz vagy az önvezető autókhoz szükséges hatalmas algoritmusok futtatására.

A méret azonban probléma. A legnagyobb neurális hálózatok ma már több milliárd súlyt tartalmaznak, nem pedig az új chipek millióit. Wong úgy tervezi, hogy több NeuRRAM lapkát egymásra helyez.

Ugyanilyen fontos lesz az energiaköltségek alacsony szinten tartása a jövőbeni készülékekben, vagy még tovább csökkenteni őket. Az egyik módja annak, hogy odaérjünk az agy másolása még szorosabban átvenni a valódi neuronok között használt kommunikációs jelet: az elektromos tüskét. Ez egy jel, amely az egyik idegsejtről a másikra sugárzik, amikor a sejt belső és külső része közötti feszültségkülönbség eléri a kritikus küszöböt.

„Nagy kihívások vannak ott” – mondta Tony Kenyon, a University College London nanotechnológiai kutatója. „De lehet, hogy még mindig ebbe az irányba akarunk haladni, mert… nagy eséllyel nagyobb lesz az energiahatékonyság, ha nagyon ritka tüskéket használ.” Kenyon megjegyezte azonban, hogy a jelenlegi NeuRRAM lapkán kiugró algoritmusok futtatásához valószínűleg teljesen más architektúrára lenne szükség.

Egyelőre az energiahatékonyság, amelyet a csapat a NeuRRAM lapkán nagy mesterségesintelligencia-algoritmusok futtatása közben ért el, új reményt teremtett, hogy a memóriatechnológiák képviselhetik a mesterséges intelligenciával történő számítástechnika jövőjét. Talán egy napon még az emberi agy 86 milliárd idegsejtjét és az őket összekötő szinapszisok billióit is összemérhetjük anélkül, hogy kimerülne az energia.