Uusi siru laajentaa tekoälyn mahdollisuuksia

Tekoälyalgoritmit eivät voi jatkaa kasvuaan nykyisellä tahdilla. Algoritmit, kuten syvät hermoverkot – jotka ovat löyhästi aivojen inspiroimia ja joissa on useita keinotekoisia hermosoluja, jotka on kytketty toisiinsa numeeristen arvojen kautta, joita kutsutaan painoiksi – kasvavat joka vuosi. Mutta nykyään laitteistoparannukset eivät enää pysy näiden massiivisten algoritmien suorittamiseen vaadittavan valtavan muistimäärän ja prosessointikapasiteetin tahdissa. Pian tekoälyalgoritmien koko saattaa osua seinään.

Ja vaikka voisimmekin jatkaa laitteiston laajentamista vastaamaan tekoälyn vaatimuksia, on toinen ongelma: niiden käyttäminen perinteisillä tietokoneilla tuhlaa valtavasti energiaa. Suurten tekoälyalgoritmien ajamisesta syntyvät korkeat hiilidioksidipäästöt ovat jo haitallisia ympäristölle, ja se vain pahenee algoritmien kasvaessa yhä jättimäisemmiksi.

Yksi ratkaisu, nimeltään neuromorfinen laskenta, saa inspiraationsa biologisista aivoista energiatehokkaiden mallien luomiseksi. Valitettavasti vaikka nämä sirut voivat ohittaa digitaaliset tietokoneet energiansäästössä, niiltä puuttuu laskentateho, joka tarvitaan suuren syvän neuroverkon pyörittämiseen. Tämän ansiosta tekoälytutkijat voivat helposti jättää ne huomiotta.

Se lopulta muuttui elokuussa, jolloin Weier Wan, H.-S. Philip Wong, Gert Cauwenberghs ja heidän kollegansa paljasti uuden neuromorfisen sirun nimeltä NeuRRAM, joka sisältää 3 miljoonaa muistisolua ja tuhansia neuroneja, jotka on sisäänrakennettu sen laitteistoon algoritmien suorittamiseksi. Se käyttää suhteellisen uudentyyppistä muistia, jota kutsutaan nimellä resistiivinen RAM tai RRAM. Toisin kuin aiemmat RRAM-sirut, NeuRRAM on ohjelmoitu toimimaan analogisesti energian ja tilan säästämiseksi. Vaikka digitaalinen muisti on binäärinen – joko 1:n tai 0:n tallentamiseen – analogiset muistisolut NeuRRAM-sirulle voivat tallentaa useita arvoja täysin jatkuvalla alueella. Tämän ansiosta siru voi tallentaa enemmän tietoa massiivisista tekoälyalgoritmeista samaan sirutilaan.

Tämän seurauksena uusi siru voi suorittaa yhtä hyvin kuin digitaaliset tietokoneet monimutkaisissa tekoälytehtävissä, kuten kuvan ja puheentunnistuksessa, ja kirjoittajat väittävät, että se on jopa 1,000 kertaa energiatehokkaampi, mikä avaa pienille siruille mahdollisuuden suorittaa yhä monimutkaisempia algoritmeja. pienissä laitteissa, jotka eivät ole aiemmin olleet tekoälylle sopivia, kuten älykelloissa ja puhelimissa.

Tutkijat, jotka eivät osallistuneet työhön, ovat olleet syvästi vaikuttuneita tuloksista. "Tämä lehti on melko ainutlaatuinen", sanoi Zhongrui Wang, pitkäaikainen RRAM-tutkija Hongkongin yliopistosta. "Se tekee panoksia eri tasoilla - laitetasolla, piiriarkkitehtuuritasolla ja algoritmitasolla."

Uusien muistojen luominen

Digitaalisissa tietokoneissa tekoälyalgoritmeja ajaessaan hukkaan heitetyt valtavat energiamäärät johtuvat yksinkertaisesta ja kaikkialla esiintyvästä suunnitteluvirheestä, joka tekee jokaisesta laskennasta tehotonta. Tyypillisesti tietokoneen muisti - jossa on laskennan aikana murskatut tiedot ja numeeriset arvot - sijoitetaan emolevylle pois prosessorista, jossa laskenta tapahtuu.

Prosessorin läpi kulkeville tiedoille "se on tavallaan kuin viettäisit kahdeksan tuntia työmatkalla, mutta teet kaksi tuntia työtä", sanoi Wan, tietokonetieteilijä, joka on aiemmin Stanfordin yliopistossa ja muutti äskettäin tekoälyn startup-yritykseen Aizip.

Tämän ongelman korjaaminen uusilla all-in-one-siruilla, jotka sijoittavat muistin ja laskennan samaan paikkaan, vaikuttaa yksinkertaiselta. Se on myös lähempänä sitä, kuinka aivomme todennäköisesti käsittelevät tietoa, koska monet neurotieteilijät uskovat, että laskenta tapahtuu neuronipopulaatioissa, kun taas muistot muodostuvat, kun hermosolujen väliset synapsit vahvistavat tai heikentävät niiden yhteyksiä. Mutta tällaisten laitteiden luominen on osoittautunut vaikeaksi, koska nykyiset muistimuodot eivät ole yhteensopivia prosessorien tekniikan kanssa.

Tietojenkäsittelytieteilijät kehittivät vuosikymmeniä sitten materiaaleja luodakseen uusia siruja, jotka suorittavat laskelmia, joissa muistia on tallennettu - tekniikkaa, joka tunnetaan nimellä compute in-memory. Mutta koska perinteiset digitaaliset tietokoneet toimivat niin hyvin, nämä ideat jätettiin huomiotta vuosikymmeniä.

"Se työ, kuten useimmat tieteelliset työt, unohdettiin tavallaan", sanoi Wong, Stanfordin professori.

Itse asiassa ensimmäinen tällainen laite juontaa juurensa ainakin vuoteen 1964, jolloin Stanfordin sähköinsinöörit havaitsivat, että he pystyivät manipuloimaan tiettyjä materiaaleja, joita kutsutaan metallioksideiksi, kääntämään niiden kykyä johtaa sähköä päälle ja pois. Tämä on merkittävää, koska materiaalin kyky vaihtaa kahden tilan välillä tarjoaa selkärangan perinteiselle muistin tallennukselle. Tyypillisesti digitaalisessa muistissa korkean jännitteen tila vastaa arvoa 1 ja matala jännite nollaa.

Saadaksesi RRAM-laitteen vaihtamaan tiloja, käytät jännitettä metallielektrodeihin, jotka on kytketty metallioksidin kahteen päähän. Normaalisti metallioksidit ovat eristeitä, mikä tarkoittaa, että ne eivät johda sähköä. Mutta riittävällä jännitteellä virta kasvaa, työntyen lopulta materiaalin heikkojen kohtien läpi ja muodostaen polun toisella puolella olevaan elektrodiin. Kun virta on murtunut, se voi virrata vapaasti tätä polkua pitkin.

Wong vertaa tätä prosessia salamaan: Kun pilven sisään kerääntyy tarpeeksi varausta, se löytää nopeasti alhaisen vastuksen polun ja salama iskee. Mutta toisin kuin salaman kohdalla, jonka polku katoaa, metallioksidin läpi kulkeva polku säilyy, mikä tarkoittaa, että se pysyy johtavana loputtomiin. Ja on mahdollista poistaa johtava polku kohdistamalla materiaaliin toinen jännite. Joten tutkijat voivat vaihtaa RRAM-muistia kahden tilan välillä ja käyttää niitä digitaalisen muistin tallentamiseen.

Keskivuosisadan tutkijat eivät tunnistaneet energiatehokkaan tietojenkäsittelyn mahdollisuuksia, eivätkä he vielä tarvinneet sitä pienempien algoritmien kanssa, joiden kanssa he työskentelivät. Kesti 2000-luvun alkuun, kun uusia metallioksideja löydettiin, ennen kuin tutkijat ymmärsivät mahdollisuudet.

Wong, joka työskenteli tuolloin IBM:llä, muistelee, että palkittu RRAM:n parissa työskentelevä kollega myönsi, ettei hän täysin ymmärtänyt asiaan liittyvää fysiikkaa. "Jos hän ei ymmärrä sitä", Wong muistaa ajattelevansa, "ehkä minun ei pitäisi yrittää ymmärtää sitä."

Mutta vuonna 2004 Samsung Electronicsin tutkijat ilmoittivat, että he olivat onnistuneesti integroitu RRAM-muisti rakennettu perinteisen laskentasirun päälle, mikä viittaa siihen, että muistissa laskettava siru saattaa olla vihdoin mahdollinen. Wong päätti ainakin yrittää.

Muistilaskennan sirut tekoälylle

 Wongin kaltaiset tutkijat ovat työskennelleet yli vuosikymmenen ajan kehittääkseen RRAM-teknologiaa siihen pisteeseen, että se pystyisi luotettavasti käsittelemään suuritehoisia laskentatehtäviä. Vuoden 2015 tienoilla tietojenkäsittelytieteilijät alkoivat tunnistaa näiden energiatehokkaiden laitteiden valtavat mahdollisuudet suurille tekoälyalgoritmeille, jotka alkoivat levitä. Sinä vuonna tutkijat Kalifornian yliopistossa Santa Barbarassa osoittivat että RRAM-laitteet voisivat tehdä muutakin kuin vain tallentaa muistia uudella tavalla. He voisivat suorittaa peruslaskentatehtävät itse – mukaan lukien valtaosa laskutoimituksista, jotka tapahtuvat hermoverkon keinotekoisissa neuroneissa, jotka ovat yksinkertaisia ​​matriisin kertolaskutehtäviä.

NeuRRAM-sirussa piihermosolut on rakennettu laitteistoon, ja RRAM-muistisolut tallentavat painot - arvot, jotka edustavat hermosolujen välisten yhteyksien vahvuutta. Ja koska NeuRRAM-muistisolut ovat analogisia, niiden tallentamat painot edustavat kaikkia resistanssitiloja, joita esiintyy, kun laite vaihtaa alhaisen resistanssin tilasta suuren resistanssin tilaan. Tämä mahdollistaa jopa paremman energiatehokkuuden kuin digitaalisella RRAM-muistilla voidaan saavuttaa, koska siru voi suorittaa monia matriisilaskutoimituksia rinnakkain - sen sijaan, että ne olisivat peräkkäin, kuten digitaalisissa prosessointiversioissa.

Mutta koska analoginen käsittely on edelleen vuosikymmeniä digitaalista käsittelyä jäljessä, on vielä monia asioita ratkaistavaksi. Yksi on, että analogisten RRAM-sirujen on oltava epätavallisen tarkkoja, koska fyysisen sirun puutteet voivat aiheuttaa vaihtelua ja kohinaa. (Perinteisillä siruilla, joissa on vain kaksi tilaa, näillä epätäydellisyyksillä ei ole läheskään yhtä suurta merkitystä.) Tämä vaikeuttaa huomattavasti analogisten RRAM-laitteiden suorittamista tekoälyalgoritmeilla, koska esimerkiksi kuvan tunnistamisen tarkkuus kärsii, jos RRAM-laitteen johtava tila ei ole täsmälleen sama joka kerta.

"Kun katsomme valaistuspolkua, se on joka kerta erilainen", Wong sanoi. "Joten tämän seurauksena RRAM:illa on tietty stokastisuus - jokainen ohjelmointikerta on hieman erilainen." Wong ja hänen kollegansa osoittivat, että RRAM-laitteet voivat tallentaa jatkuvia tekoälypainoja ja olla silti yhtä tarkkoja kuin digitaaliset tietokoneet, jos algoritmit on koulutettu tottumaan sirulla kohtaamaansa meluon, mikä on edistynyt NeuRRAM-sirun tuottamisessa.

Toinen tärkeä ongelma, joka heidän oli ratkaistava, liittyi joustavuus, jota tarvitaan tukemaan erilaisia ​​​​neuraaliverkkoja. Aiemmin sirujen suunnittelijoiden oli asetettava pienet RRAM-laitteet yhdelle alueelle suurempien piihermosolujen viereen. RRAM-laitteet ja neuronit olivat kiinteästi kytkettyjä ilman ohjelmoitavuutta, joten laskenta voitiin suorittaa vain yhteen suuntaan. Neuroverkkojen tukemiseksi kaksisuuntaisella laskennalla tarvittiin ylimääräisiä johtoja ja piirejä, mikä lisäsi energian ja tilan tarvetta.

Joten Wongin tiimi suunnitteli uuden siruarkkitehtuurin, jossa RRAM-muistilaitteet ja piihermosolut sekoitettiin yhteen. Tämä pieni muutos suunnitteluun pienensi kokonaispinta-alaa ja säästi energiaa.

"Minusta [järjestely] oli todella kaunis", sanoi Melika Payvand, neuromorfinen tutkija Sveitsin Federal Institute of Technology Zürichissä. "Pidän sitä ehdottomasti uraauurtavana työnä."

Wongin tiimi työskenteli useiden vuosien ajan yhteistyökumppaneiden kanssa suunnitella, valmistaa, testata, kalibroida ja ajaa tekoälyalgoritmeja NeuRRAM-sirulla. He harkitsivat muiden kehittyvien muistityyppien käyttöä, joita voidaan käyttää myös laskenta muistissa -sirussa, mutta RRAM:lla oli etulyöntiasema sen analogisen ohjelmoinnin etujen vuoksi ja koska se oli suhteellisen helppo integroida perinteisiin laskentamateriaaleihin.

Heidän viimeaikaiset tulokset edustavat ensimmäistä RRAM-sirua, joka pystyy ajamaan niin suuria ja monimutkaisia ​​tekoälyalgoritmeja - saavutus, joka on aiemmin ollut mahdollista vain teoreettisissa simulaatioissa. "Kun kyse on oikeasta piistä, se kyky puuttui", sanoi Anup Das, tietojenkäsittelytieteilijä Drexelin yliopistosta. "Tämä työ on ensimmäinen esittely."

"Digitaaliset tekoälyjärjestelmät ovat joustavia ja tarkkoja, mutta suuruusluokkaa vähemmän tehokkaita", Cauwenberghs sanoi. Nyt Cauwenberghs sanoi, että heidän joustava, tarkka ja energiatehokas analoginen RRAM-siru on "korjannut aukon ensimmäistä kertaa".

Suurentaminen

Tiimin suunnittelu pitää NeuRRAM-sirun pienenä – vain kynnen kokoisena – samalla kun se puristaa 3 miljoonaa RRAM-muistilaitetta, jotka voivat toimia analogisina prosessoreina. Ja vaikka se voi ajaa hermoverkkoja vähintään yhtä hyvin kuin digitaaliset tietokoneet, se voi myös (ja ensimmäistä kertaa) suorittaa algoritmeja, jotka suorittavat laskelmia eri suuntiin. Niiden siru voi syöttää jännitteen RRAM-ryhmän riveille ja lukea sarakkeiden lähtöjä RRAM-sirujen vakiona, mutta se voi tehdä sen myös taaksepäin sarakkeista riveille, joten sitä voidaan käyttää toimivissa hermoverkoissa. data virtaa eri suuntiin.

Kuten itse RRAM-tekniikassa, tämä on ollut mahdollista pitkään, mutta kukaan ei ajatellut tehdä sitä. "Miksi emme miettineet tätä aiemmin?" Payvand kysyi. "Jälkeenpäin ajateltuna en tiedä."

"Tämä itse asiassa avaa monia muita mahdollisuuksia", sanoi Das. Esimerkkeinä hän mainitsi yksinkertaisen järjestelmän kyvyn ajaa valtavia algoritmeja, joita tarvitaan moniulotteisissa fysiikan simulaatioissa tai itseohjautuvissa autoissa.

Koko on kuitenkin ongelma. Suurimmat hermoverkot sisältävät nyt miljardeja painoja, eivät uusien sirujen sisältämiä miljoonia. Wong aikoo laajentaa toimintaansa pinoamalla useita NeuRRAM-siruja päällekkäin.

Yhtä tärkeää on pitää tulevien laitteiden energiakustannukset alhaisina tai pienentää niitä entisestään. Yksi tapa päästä sinne on aivojen kopioiminen vielä tarkemmin omaksuakseen todellisten neuronien välisen viestintäsignaalin: sähköpiikki. Se on signaali, joka laukeaa neuronista toiseen, kun solun sisä- ja ulkopuolen välinen jänniteero saavuttaa kriittisen kynnyksen.

"Siellä on suuria haasteita", sanoi Tony Kenyon, nanoteknologian tutkija University College Londonissa. "Mutta saatamme silti haluta siirtyä siihen suuntaan, koska … on todennäköistä, että energiatehokkuus paranee, jos käytät erittäin harvaa piikkejä." Nykyisen NeuRRAM-sirun piikkejä käyttävien algoritmien suorittaminen edellyttäisi kuitenkin todennäköisesti täysin erilaista arkkitehtuuria, Kenyon huomautti.

Toistaiseksi energiatehokkuus, jonka tiimi saavutti ajaessaan suuria tekoälyalgoritmeja NeuRRAM-sirulla, on luonut uutta toivoa siitä, että muistitekniikat voivat edustaa tekoälyn avulla tapahtuvan laskennan tulevaisuutta. Ehkä jonain päivänä pystymme jopa vertaamaan ihmisaivojen 86 miljardia neuronia ja niitä yhdistäviä biljoonia synapseja ilman, että teho loppuu.