IBM:n aivojen inspiroima analoginen siru pyrkii tekemään tekoälystä kestävämmän

Julkaissut Platon

seuraajia: 0

ChatGPT, DALL-E, Vakaa diffuusio, ja muut generatiiviset tekoälyt ovat valloittaneet maailman. He luovat upeaa runoutta ja kuvia. He tunkeutuvat maailmamme jokaiseen kolkkaan markkinoinnista laillisten alustojen kirjoittamiseen ja huumeiden löytämiseen. He näyttävät olevan julistelapsi ihmisen ja koneen mielen sulautumisen menestystarinalle.

Mutta konepellin alla asiat näyttävät vähemmän persikkamaisilta. Nämä järjestelmät ovat valtavia energiasikoja, jotka vaativat palvelinkeskuksia, jotka sylkevät tuhansia tonneja hiilidioksidipäästöjä – mikä korostaa entisestään jo ennestään epävakaata ilmastoa – ja imevät miljardeja dollareita. Kun neuroverkot kehittyvät ja niitä käytetään laajemmin, energiankulutus kasvaa todennäköisesti entisestään.

Paljon mustetta on roiskunut generatiivisiin tekoälyihin hiilijalanjälki. Sen energiantarve voi olla sen romahdus, mikä haittaa kehitystä sen kasvaessa. Nykyisellä laitteistolla generatiivisen tekoälyn "odotetaan pysähtyvän pian, jos se edelleen luottaa tavalliseen laskentalaitteistoon". sanoi Tohtori Hechen Wang Intel Labsista.

On korkea aika rakentaa kestävää tekoälyä.

Tällä viikolla tutkimus IBM otti käytännön askeleen tähän suuntaan. He loivat 14 nanometrin analogisen sirun, joka oli pakattu 35 miljoonaan muistiyksikköön. Toisin kuin nykyiset sirut, laskenta tapahtuu suoraan näissä yksiköissä, mikä poistaa tarpeen siirtää tietoja edestakaisin, mikä puolestaan säästää energiaa.

Tietojen siirtäminen voi lisätä energiankulutusta missä tahansa 3-10,000 XNUMX kertaa todelliseen laskentaan verrattuna, Wang sanoi.

Siru oli erittäin tehokas, kun sille haastettiin kaksi puheentunnistustehtävää. Yksi, Google Speech Commands, on pieni mutta käytännöllinen. Tässä nopeus on avainasemassa. Toinen, Librispeech, on mammuttijärjestelmä, joka auttaa transkriptoimaan puhetta tekstiksi, mikä heikentää sirun kykyä käsitellä valtavia tietomääriä.

Perinteisiin tietokoneisiin verrattuna siru suoriutui yhtä tarkasti, mutta suoritti työn nopeammin ja paljon vähemmän energiaa käyttäen alle kymmenesosan joidenkin tehtävien normaalista tarpeesta.

"Nämä ovat tietojemme mukaan ensimmäiset osoitukset kaupallisesti merkityksellisistä tarkkuustasoista kaupallisesti merkityksellisessä mallissa... tehokkuudella ja massiivisella rinnakkaisuudella" analogiselle sirulle, tiimi sanoi.

Brainy Bytes

Tämä tuskin on ensimmäinen analoginen siru. Se kuitenkin työntää ajatuksen neuromorfisesta tietojenkäsittelystä käytännöllisyyteen – sirulle, joka voisi jonain päivänä toimia puhelimessasi, älykodissasi ja muissa laitteissasi lähes aivojen tehokkuudella.

Öö mitä? Palataanpa ylös.

Nykyiset tietokoneet on rakennettu Von Neumann arkkitehtuuri. Ajattele sitä talona, jossa on useita huoneita. Yksi, keskusyksikkö (CPU), analysoi tietoja. Toinen tallentaa muistia.

Jokaista laskelmaa varten tietokoneen on siirrettävä tietoja edestakaisin näiden kahden huoneen välillä, mikä vie aikaa ja energiaa ja vähentää tehokkuutta.

Aivot sitä vastoin yhdistävät sekä laskennan että muistin yksiöiksi. Sen sienimäiset liitokset, joita kutsutaan synapseiksi, molemmat muodostavat hermoverkkoja ja tallentavat muistoja samaan paikkaan. Synapsit ovat erittäin joustavia ja säätelevät, kuinka vahvasti ne liittyvät muihin hermosoluihin tallennetun muistin ja uusien oppien perusteella - ominaisuutta, jota kutsutaan "painoiksi". Aivomme sopeutuvat nopeasti jatkuvasti muuttuvaan ympäristöön säätämällä näitä synaptisia painoja.

IBM on ollut suunnittelun eturintamassa analogiset sirut joka matkii aivojen laskenta. Läpimurto tuli vuonna 2016, kun he esittelivät sirun, joka perustuu kiehtovaan materiaaliin, jota yleensä löytyy uudelleenkirjoitettavilta CD-levyiltä. Materiaali muuttaa fyysistä tilaansa ja muotomuutoksiaan töykeästä keitosta kristallimaisiin rakenteisiin, kun se yhdistetään sähköllä – kuten digitaalinen 0 ja 1.

Tässä on avain: siru voi olla myös hybriditilassa. Toisin sanoen, biologisen synapsin tapaan keinotekoinen synapsi voi koodata lukemattomia eri painoja - ei vain binäärisiä - jolloin se voi kerätä useita laskelmia ilman, että se tarvitsee siirtää yhtä bittiä dataa.

Jekyll ja Hyde

Uusi tutkimus rakentui aikaisempaan työhön käyttämällä myös vaiheenmuutosmateriaaleja. Peruskomponentit ovat "muistilaatat". Jokainen on täynnä tuhansia vaiheenmuutosmateriaaleja verkkorakenteessa. Laatat kommunikoivat helposti keskenään.

Jokaista ruutua ohjaa ohjelmoitava paikallinen ohjain, jonka avulla tiimi voi säätää hermosolua muistuttavaa komponenttia tarkasti. Siru edelleen tallentaa satoja komentoja peräkkäin, luoden eräänlaisen mustan laatikon, jonka avulla he voivat kaivaa sisään ja analysoida sen suorituskykyä.

Kaiken kaikkiaan siru sisälsi 35 miljoonaa vaiheenmuutosmuistirakennetta. Yhteyksien määrä oli 45 miljoonaa synapsia - kaukana ihmisen aivoista, mutta erittäin vaikuttava 14 nanometrin sirulla.

IBM:n Brain-Inspired Analog Chip pyrkii tekemään tekoälystä kestävämmän PlatoBlockchain-tietoälyn. Pystysuuntainen haku. Ai. — *14 nm:n analoginen AI-siru, joka lepää tutkijan kädessä. Kuvan luotto: Ryan Lavine IBM:lle*

Nämä järkyttävät luvut aiheuttavat ongelman tekoälysirun alustamisessa: parametreja on yksinkertaisesti liian monta läpikäymistä. Tiimi ratkaisi tekoälyn lastentarhan ongelman ohjelmoimalla synaptiset painot ennen laskelmien alkamista. (Se on vähän kuin uuden valurautapannun maustamista ennen ruoanlaittoa.)

He "räätälöivät verkkokoulutustekniikoitaan laitteiston edut ja rajoitukset huomioon ottaen" ja asettivat sitten painot optimaalisille tuloksille, Wang, joka ei ollut mukana tutkimuksessa, selitti.

Se onnistui. Yhdessä alkutestissä siru suoritti helposti 12.4 biljoonaa toimintoa sekunnissa jokaista tehowattia kohden. Energiankulutus on "kymmeniä tai jopa satoja kertoja korkeampi kuin tehokkaimmissa prosessoreissa ja GPU:issa", Wang sanoi.

Siru naulasi ydinlaskentaprosessin syvien hermoverkkojen taustalla vain muutamalla klassisella laitteistokomponentilla muistiruuduissa. Sitä vastoin perinteiset tietokoneet tarvitsevat satoja tai tuhansia transistoreita (laskutoimituksia suorittava perusyksikkö).

Keskustelua kaupungista

Seuraavaksi tiimi haastoi sirun kahteen puheentunnistustehtävään. Jokainen painotti sirun eri puolia.

Ensimmäinen testi oli nopeus, kun se haastettiin suhteellisen pienellä tietokannalla. Käyttämällä Googlen puhekomennot tietokanta, tehtävä vaati, että tekoälysiru havaitsi 12 avainsanaa noin 65,000 30 pätkästä, jossa tuhansia ihmisiä puhui XNUMX lyhyttä sanaa ("pieni" on suhteellista syvän oppimisen universumissa). Kun käytät hyväksyttyä vertailuarvoa –MLPerf— siru toimi seitsemän kertaa nopeammin kuin edellisessä työssä.

Siru loisti myös, kun siihen haastettiin suuri tietokanta, Librispuhe. Korpus sisältää yli 1,000 XNUMX tuntia luettua englanninkielistä puhetta, jota käytetään yleisesti AI-harjoitteluun puheen jäsentämiseen ja automaattiseen puheesta tekstiksi transkriptioon.

Kaiken kaikkiaan tiimi käytti viittä sirua koodatakseen lopulta yli 45 miljoonaa painoa käyttämällä 140 miljoonan vaiheenvaihtolaitteen dataa. Perinteiseen laitteistoon verrattuna siru oli noin 14 kertaa energiatehokkaampi – prosessoi lähes 550 näytettä joka sekunti energiankulutuswattia kohden – ja virheprosentti oli hieman yli 9 prosenttia.

Vaikka analogiset sirut vaikuttavatkin, ne ovat vielä lapsenkengissään. Ne osoittavat "valtavia lupauksia tekoälyyn liittyvien kestävyysongelmien torjumiseksi", Wang sanoi, mutta tie eteenpäin vaatii vielä muutaman esteen poistamista.

Yksi tekijä on itse muistitekniikan ja sitä ympäröivien komponenttien suunnittelun hienostaminen – eli kuinka siru asetetaan. IBM:n uusi siru ei vielä sisällä kaikkia tarvittavia elementtejä. Seuraava kriittinen vaihe on integroida kaikki yhdelle sirulle säilyttäen samalla sen tehokkuus.

Ohjelmistopuolella tarvitsemme myös algoritmeja, jotka on räätälöity erityisesti analogisille siruille, ja ohjelmistoja, jotka kääntävät koodin helposti kielelle, jota koneet ymmärtävät. Kun näistä siruista tulee yhä kaupallisesti kannattavampia, erityissovellusten kehittäminen pitää unelman analogisen sirun tulevaisuudesta elossa.

"Kesti vuosikymmeniä muotoilla laskennalliset ekosysteemit, joissa suorittimet ja grafiikkasuorittimet toimivat niin menestyksekkäästi", Wang sanoi. "Ja todennäköisesti kestää vuosia luoda samanlainen ympäristö analogiselle tekoälylle."

Kuva pistetilanne: Ryan Lavine IBM:lle