Uus kiip avardab AI võimalusi

Tehisintellekti algoritmid ei saa oma praeguses tempos edasi kasvada. Algoritmid, nagu sügavad närvivõrgud – mis on lõdvalt ajust inspireeritud ja mille tehisneuronite kihid on üksteisega seotud numbriliste väärtuste kaudu, mida nimetatakse kaaluks –, muutuvad iga aastaga suuremaks. Kuid tänapäeval ei pea riistvaratäiustused enam sammu nende tohutute algoritmide käitamiseks vajaliku tohutu hulga mälu ja töötlemisvõimsusega. Peagi võib AI algoritmide suurus vastu seina lüüa.

Ja isegi kui saaksime tehisintellekti nõudmistele vastamiseks riistvara laiendada, on veel üks probleem: nende käitamine traditsioonilistes arvutites raiskab tohutult energiat. Suurte tehisintellekti algoritmide käitamisest tulenevad suured süsinikdioksiidi heitkogused on juba praegu keskkonnale kahjulikud ja see läheb ainult hullemaks, kui algoritmid kasvavad üha hiiglaslikumaks.

Üks lahendus, mida nimetatakse neuromorfseks andmetöötluseks, ammutab energiatõhusate disainilahenduste loomiseks inspiratsiooni bioloogilistest ajudest. Kahjuks, kuigi need kiibid suudavad energiasäästu osas edestada digitaalseid arvuteid, on neil puudunud arvutusvõimsus, mis on vajalik suure sügava närvivõrgu käitamiseks. Tänu sellele on tehisintellekti teadlastel neid lihtne kahe silma vahele jätta.

See muutus lõpuks augustis, kui Weier Wan, H.-S. Philip Wong, Gert Cauwenberghs ja nende kolleegid paljastas uue neuromorfse kiibi nimega NeuRRAM, mis sisaldab 3 miljonit mälurakku ja tuhandeid neuroneid, mis on algoritmide käitamiseks sisse ehitatud riistvarasse. See kasutab suhteliselt uut tüüpi mälu, mida nimetatakse takistuslikuks RAM-iks või RRAM-iks. Erinevalt eelmistest RRAM-kiipidest on NeuRRAM programmeeritud töötama analoogsel viisil, et säästa rohkem energiat ja ruumi. Kuigi digitaalmälu on binaarne (kas 1 või 0), saab NeuRRAM-i kiibi analoogmälurakke salvestada mitu väärtust täielikult pidevas vahemikus. See võimaldab kiibil salvestada samasse kiibiruumi rohkem teavet massiivsete AI-algoritmide kohta.

Selle tulemusena suudab uus kiip täita sama hästi kui digitaalsed arvutid keeruliste tehisintellekti ülesannetega, nagu pildi- ja kõnetuvastus, ning autorite väitel on see kuni 1,000 korda energiasäästlikum, mis annab väikestele kiipidele võimaluse käitada üha keerulisemaid algoritme. väikestes seadmetes, mis varem ei sobinud tehisintellektiga, nagu nutikellad ja telefonid.

Tööga mitteseotud teadlastele on tulemused sügavat muljet avaldanud. "See paber on üsna ainulaadne," ütles Zhongrui Wang, kauaaegne RRAM-i teadur Hongkongi ülikoolis. "See annab panuse erinevatel tasanditel - seadme tasemel, vooluahela arhitektuuri tasemel ja algoritmi tasemel."

Uute mälestuste loomine

Digitaalarvutites on AI-algoritmide käitamisel raisatud tohutud energiahulgad põhjustatud lihtsast ja üldlevinud disainiveast, mis muudab iga arvutuse ebatõhusaks. Tavaliselt paigutatakse arvuti mälu – mis hoiab andmeid ja arvutuslikke väärtusi, mida see arvutamise ajal krõbiseb – emaplaadile protsessorist eemale, kus toimub andmetöötlus.

Protsessori kaudu liikuva teabe jaoks "see on umbes nii, et veedate kaheksa tundi pendelreisil, kuid teete kaks tundi tööd," ütles Wan, arvutiteadlane, endine Stanfordi ülikoolis, kes hiljuti kolis tehisintellekti idufirma Aizip juurde.

Selle probleemi lahendamine uute kõik-ühes kiipidega, mis panevad mälu ja arvutused samasse kohta, tundub lihtne. See on ka lähemal sellele, kuidas meie aju tõenäoliselt teavet töötleb, kuna paljud neuroteadlased usuvad, et arvutamine toimub neuronite populatsioonides, samas kui mälestused tekivad siis, kui neuronite vahelised sünapsid tugevdavad või nõrgendavad nende ühendusi. Kuid selliste seadmete loomine on osutunud keeruliseks, kuna praegused mäluvormid ei ühildu protsessorite tehnoloogiaga.

Arvutiteadlased töötasid aastakümneid tagasi välja materjalid, et luua uusi kiipe, mis teostavad arvutusi, kus mälu on salvestatud – seda tehnoloogiat nimetatakse mälus arvutamiseks. Kuid kuna traditsioonilised digitaalarvutid toimisid nii hästi, jäid need ideed aastakümneteks tähelepanuta.

"See töö, nagu enamik teaduslikke töid, unustati ära," ütles Stanfordi professor Wong.

Tõepoolest, esimene selline seade pärineb vähemalt aastast 1964, mil Stanfordi elektriinsenerid avastasid, et nad suudavad teatud materjalidega, mida nimetatakse metalloksiidideks, manipuleerida, et lülitada nende elektrijuhtimise võime sisse ja välja. See on oluline, kuna materjali võime kahe oleku vahel lülituda on traditsioonilise mälusalvestuse selgroog. Tavaliselt vastab digitaalmälus kõrgepinge olek 1-le ja madalpinge 0-le.

RRAM-seadme olekute vahetamiseks rakendate pinget metallelektroodidele, mis on ühendatud metalloksiidi kahe otsaga. Tavaliselt on metalloksiidid isolaatorid, mis tähendab, et nad ei juhi elektrit. Kuid piisava pinge korral vool koguneb, surudes lõpuks läbi materjali nõrkade kohtade ja luues tee teisel pool asuvale elektroodile. Kui vool on läbi murdnud, saab see seda teed mööda vabalt voolata.

Wong võrdleb seda protsessi välguga: kui pilve sees koguneb piisavalt laengut, leiab see kiiresti madala takistusega tee ja välk lööb sisse. Kuid erinevalt välgust, mille tee kaob, jääb tee läbi metalloksiidi, mis tähendab, et see jääb juhtivaks määramata ajaks. Ja juhtivat rada on võimalik kustutada, rakendades materjalile teist pinget. Nii saavad teadlased vahetada RRAM-i kahe oleku vahel ja kasutada neid digitaalmälu salvestamiseks.

Sajandi keskpaiga teadlased ei mõistnud energiatõhusa andmetöötluse potentsiaali ega vajanud seda veel väiksemate algoritmidega, millega nad töötasid. Kulus kuni 2000. aastate alguseni, uute metallioksiidide avastamiseni, enne kui teadlased mõistsid võimalusi.

Wong, kes töötas sel ajal IBMis, meenutab, et auhinnatud kolleeg, kes töötas RRAM-i kallal, tunnistas, et ei saanud sellega seotud füüsikast täielikult aru. "Kui ta sellest aru ei saa," mäletab Wong mõeldes, "võib-olla ma ei peaks püüdma seda mõista."

Kuid 2004. aastal teatasid Samsung Electronicsi teadlased, et nad on seda teinud edukalt integreeritud RRAM-mälu ehitatud traditsioonilise arvutuskiibi peale, mis viitab sellele, et mälus arvutamise kiip võib lõpuks olla võimalik. Wong otsustas vähemalt proovida.

Mälus arvutamise kiibid AI jaoks

 Rohkem kui kümme aastat töötasid teadlased nagu Wong selle nimel, et arendada RRAM-tehnoloogiat nii kaugele, et see saaks usaldusväärselt hakkama suure võimsusega andmetöötlusülesannetega. 2015. aasta paiku hakkasid arvutiteadlased mõistma nende energiatõhusate seadmete tohutut potentsiaali suurte tehisintellekti algoritmide jaoks, mis hakkasid kasvama. Sel aastal Santa Barbara California ülikooli teadlased näitas et RRAM-seadmed suudavad teha enamat kui lihtsalt uuel viisil mälu salvestada. Nad võiksid ise täita põhilisi arvutusülesandeid, sealhulgas enamikku arvutustest, mis toimuvad närvivõrgu tehisneuronites, mis on lihtsad maatriksi korrutamise ülesanded.

NeuRRAM-i kiibis on räni neuronid sisse ehitatud riistvarasse ja RRAM-i mälurakud salvestavad kaalud - väärtused, mis näitavad neuronite vaheliste ühenduste tugevust. Ja kuna NeuRRAM-i mäluelemendid on analoogsed, esindavad nendes salvestatud kaalud kogu takistuse olekute vahemikku, mis tekivad, kui seade lülitub madala takistuse ja suure takistusega oleku vahel. See võimaldab veelgi suuremat energiatõhusust, kui digitaalne RRAM-mälu suudab saavutada, kuna kiip suudab paralleelselt käitada paljusid maatriksarvutusi – mitte üksteise järel, nagu digitaalse töötluse versioonides.

Kuid kuna analoogtöötlus jääb digitaalsest töötlemisest veel aastakümneid maha, on veel palju probleeme, mida lahendada. Üks on see, et analoog-RRAM-kiibid peavad olema ebatavaliselt täpsed, kuna füüsilise kiibi puudused võivad põhjustada varieeruvust ja müra. (Traditsiooniliste kiipide puhul, millel on ainult kaks olekut, ei ole need puudused peaaegu sama olulised.) See muudab analoogsete RRAM-seadmete AI-algoritmide käitamise oluliselt raskemaks, kuna näiteks pildi tuvastamise täpsus kannatab, kui RRAM-seadme juhtivus olek ei ole iga kord täpselt sama.

"Kui me vaatame valgustusrada, on see iga kord erinev," ütles Wong. "Selle tulemusena on RRAM-il teatud stohhastilisus - iga kord, kui neid programmeerite, on veidi erinev." Wong ja tema kolleegid tõestasid, et RRAM-seadmed suudavad salvestada pidevaid tehisintellekti kaalusid ja olla sama täpsed kui digitaalarvutid, kui algoritme õpetatakse harjuma kiibil esineva müraga, mis võimaldas neil toota NeuRRAM-i kiipi.

Teine oluline probleem, mille nad pidid lahendama, hõlmas paindlikkust, mis oli vajalik erinevate närvivõrkude toetamiseks. Varem pidid kiibidisainerid paigutama pisikesed RRAM-seadmed ühte piirkonda suuremate räni neuronite kõrvale. RRAM-seadmed ja neuronid olid juhtmega ühendatud ilma programmeeritavuseta, nii et arvutusi sai teha ainult ühes suunas. Närvivõrkude toetamiseks kahesuunalise arvutusega oli vaja täiendavaid juhtmeid ja ahelaid, mis suurendasid energia- ja ruumivajadust.

Nii kujundas Wongi meeskond uue kiibiarhitektuuri, kus RRAM-mäluseadmed ja räni neuronid segati kokku. See väike disainimuudatus vähendas kogupinda ja säästis energiat.

"Ma arvasin, et [korraldus] oli tõesti ilus," ütles Melika Payvand, Šveitsi Zürichi Föderaalse Tehnoloogiainstituudi neuromorfide uurija. "Ma pean seda kindlasti murranguliseks tööks."

Wongi meeskond töötas mitu aastat koos kaastöötajatega NeuRRAM-i kiibil tehisintellekti algoritmide kavandamiseks, tootmiseks, testimiseks, kalibreerimiseks ja käitamiseks. Nad kaalusid ka muude tärkavate mälutüüpide kasutamist, mida saab kasutada ka mälus arvutamise kiibis, kuid RRAM-il oli eelis tänu oma eelistele analoogprogrammeerimises ja kuna seda oli suhteliselt lihtne integreerida traditsiooniliste andmetöötlusmaterjalidega.

Nende hiljutised tulemused esindavad esimest RRAM-i kiipi, mis suudab käitada nii suuri ja keerulisi AI-algoritme - see on saavutus, mis on varem olnud võimalik ainult teoreetiliste simulatsioonide korral. "Kui rääkida tõelisest ränist, siis see võime puudus," ütles Anup Das, Drexeli ülikooli arvutiteadlane. "See töö on esimene demonstratsioon."

"Digitaalsed AI-süsteemid on paindlikud ja täpsed, kuid suurusjärgus vähem tõhusad, " ütles Cauwenberghs. Nüüd ütles Cauwenberghs, et nende paindlik, täpne ja energiasäästlik analoog-RRAM-kiip on "esmakordselt ületanud lõhe".

Suurendamine

Meeskonna disain hoiab NeuRRAM-i kiibi väiksena – vaid küünesuuruse –, pigistades samal ajal kokku 3 miljonit RRAM-mäluseadet, mida saab kasutada analoogprotsessorina. Ja kuigi see suudab käivitada närvivõrke vähemalt sama hästi kui digitaalarvutid, saab kiip (ja esimest korda) käivitada ka algoritme, mis teostavad arvutusi erinevates suundades. Nende kiip suudab sisestada pinget RRAM-i massiivi ridadele ja lugeda veergude väljundeid nagu RRAM-kiipide puhul standardne, kuid seda saab teha ka veergudest ridadele tagasi, nii et seda saab kasutada toimivates närvivõrkudes. eri suundades voolavate andmetega.

Nagu RRAM-tehnoloogia enda puhul, on see juba ammu võimalik olnud, kuid keegi ei mõelnud seda teha. "Miks me sellele varem ei mõelnud?" küsis Payvand. "Tagantjärele mõeldes ma ei tea."

"See avab tegelikult palju muid võimalusi," ütles Das. Näidetena tõi ta lihtsa süsteemi võime käivitada tohutuid algoritme, mis on vajalikud mitmemõõtmeliste füüsikasimulatsioonide või isejuhtivate autode jaoks.

Suurus on aga probleem. Suurimad närvivõrgud sisaldavad nüüd miljardeid kaalusid, mitte miljoneid, mis sisalduvad uutes kiipides. Wong kavatseb suurendada mastaapi, virnastades mitu NeuRRAM-i kiipi üksteise peale.

Sama oluline on hoida tulevaste seadmete energiakulud madalad või neid veelgi vähendada. Üks viis sinna jõudmiseks on läbi aju kopeerimine veelgi tihedamalt, et võtta kasutusele tõeliste neuronite vahel kasutatav sidesignaal: elektriline piik. See on signaal, mis saadetakse ühelt neuronilt teisele, kui pinge erinevus raku sise- ja välispinna vahel jõuab kriitilise läveni.

"Seal on suured väljakutsed," ütles Tony Kenyon, Londoni ülikooli kolledži nanotehnoloogiateadlane. "Kuid me võiksime siiski selles suunas liikuda, sest … on tõenäoline, et energiatõhusus on suurem, kui kasutate väga hõredaid naelu." Kenyon märkis, et praegusel NeuRRAM-i kiibil kasvavate algoritmide käitamiseks oleks tõenäoliselt vaja täiesti teistsugust arhitektuuri.

Praeguseks on energiatõhusus, mille meeskond saavutas NeuRRAM-i kiibil suurte AI-algoritmide käitamisel, loonud uue lootuse, et mälutehnoloogiad võivad kujutada endast tehisintellektiga arvutite tulevikku. Võib-olla suudame ühel päeval isegi võrrelda inimaju 86 miljardit neuronit ja neid ühendavaid triljoneid sünapsid, ilma et võimsus otsa saaks.