IBMi ajust inspireeritud analoogkiibi eesmärk on muuta AI jätkusuutlikumaks

Taasavaldanud Platon

järgijaid: 0

ChatGPT, DALL-E, Stabiilne difusioonja teised generatiivsed tehisintellektid on maailma vallutanud. Nad loovad vapustavat luulet ja pilte. Nad imbuvad meie maailma igasse nurka, alates turundusest kuni juriidiliste juhendite kirjutamiseni ja ravimite avastamiseni. Nad tunduvad inimese ja masina mõistuse eduloo plakatilapsena.

Kuid kapoti all näevad asjad vähem virsikuna. Need süsteemid on tohutud energiaallikad, mis nõuavad andmekeskusi, mis eraldavad tuhandeid tonne süsinikdioksiidi heitkoguseid – rõhutades veelgi niigi muutlikku kliimat – ja imevad miljardeid dollareid. Kuna närvivõrgud muutuvad keerukamaks ja laialdasemalt kasutatavaks, suureneb energiatarbimine tõenäoliselt veelgi.

Generatiivsetele tehisintellektidele on valgunud palju tinti süsiniku jalajälg. Selle energianõudlus võib olla selle languseks, mis takistab selle edasise kasvuga arengut. Praegust riistvara kasutades peaks generatiivne AI "peagi seiskuma, kui see tugineb jätkuvalt standardsele arvutiriistvarale". ütles Dr Hechen Wang Intel Labsist.

On viimane aeg luua jätkusuutlik AI.

Sellel nädalal uuringus IBM astus selles suunas praktilise sammu. Nad lõid 14 nanomeetrise analoogkiibi, mis oli pakitud 35 miljoni mäluühikuga. Erinevalt praegustest kiipidest toimub arvutus otse nendes üksustes, kaotades vajaduse andmete edasi-tagasi edastamiseks, mis omakorda säästab energiat.

Wang ütles, et andmete edastamine võib suurendada energiatarbimist 3 kuni 10,000 XNUMX korda rohkem kui tegelikuks arvutamiseks.

Kiip oli kahe kõnetuvastusülesande täitmisel väga tõhus. Üks, Google Speech Commands, on väike, kuid praktiline. Siin on kiirus võtmetähtsusega. Teine, Librispeech, on mammutsüsteem, mis aitab kõnet tekstiks transkribeerida, maksustades kiibi võimet töödelda tohutuid andmemahtusid.

Võrreldes tavaliste arvutitega, toimis kiip sama täpselt, kuid lõpetas töö kiiremini ja palju vähema energiaga, kasutades vähem kui kümnendiku sellest, mida tavaliselt mõne ülesande jaoks vaja läheb.

"Meile teadaolevalt on need analoogkiibi esimesed kaubanduslikult oluliste täpsustasemete demonstratsioonid äriliselt olulisel mudelil … koos tõhususe ja tohutu paralleelsusega" analoogkiibi jaoks, ütles meeskond.

Ajubaidid

See pole vaevalt esimene analoogkiip. Siiski lükkab see neuromorfse andmetöötluse idee praktilisuse valdkonda – kiibile, mis võib ühel päeval toita teie telefoni, nutikat kodu ja muid seadmeid ajule lähedase efektiivsusega.

Mida? Lähme tagasi.

Praegused arvutid on üles ehitatud Von Neumanni arhitektuur. Mõelge sellele kui mitme ruumiga majale. Üks, keskprotsessor (CPU), analüüsib andmeid. Teine salvestab mälu.

Iga arvutuse jaoks peab arvuti nende kahe ruumi vahel andmeid edasi-tagasi edastama ning see võtab aega ja energiat ning vähendab tõhusust.

Aju seevastu ühendab stuudiokorteriks nii arvutamise kui ka mälu. Selle seenelaadsed ristmikud, mida nimetatakse sünapsideks, moodustavad mõlemad närvivõrke ja salvestavad mälestusi samas kohas. Sünapsid on väga paindlikud, kohandades seda, kui tugevalt nad ühendavad teiste neuronitega salvestatud mälu ja uute teadmiste põhjal - seda omadust nimetatakse "kaaluks". Meie aju kohaneb kiiresti pidevalt muutuva keskkonnaga, kohandades neid sünaptilisi kaalusid.

IBM on olnud projekteerimisel esirinnas analoogkiibid mis jäljendavad aju arvutamine. Läbimurre tuli 2016. aastal, kui nad tutvustasid kiipi, mis põhineb põneval materjalil, mida tavaliselt leidub korduvkirjutatavatel CD-del. Materjal muudab oma füüsikalist olekut ja kuju nihkest jaburast supist kristallilaadseteks struktuurideks, kui seda elektriga ühendada – sarnaselt digitaalsetele 0-le ja 1-le.

Siin on võti: kiip võib eksisteerida ka hübriidseisundis. Teisisõnu, sarnaselt bioloogilisele sünapsile võib kunstlik sünaps kodeerida lugematul hulgal erinevat kaalu – mitte ainult binaarset –, võimaldades tal koguda mitu arvutust, ilma et peaks ühtki andmebitti liigutama.

Jekyll ja Hyde

Uus uuring tugines varasemale tööle, kasutades ka faasimuutusmaterjale. Põhikomponendid on "mäluplaadid". Igaüks neist on võrgustruktuuris ummistunud tuhandete faasimuutusmaterjalidega. Plaadid suhtlevad üksteisega hõlpsalt.

Iga paani juhib programmeeritav kohalik kontroller, mis võimaldab meeskonnal neuronitega sarnast komponenti täpselt kohandada. Lisaks salvestab kiip järjest sadu käske, luues omamoodi musta kasti, mis võimaldab neil selle toimivust tagasi kaevata ja analüüsida.

Üldiselt sisaldas kiip 35 miljonit faasimuutusmälu struktuuri. Ühendused ulatusid 45 miljoni sünapsini - inimajust kaugel, kuid 14 nanomeetrisel kiibil on see väga muljetavaldav.

IBMi ajust inspireeritud analoogkiibi eesmärk on muuta tehisintellekt jätkusuutlikumaks PlatoBlockchaini andmeluureks. Vertikaalne otsing. Ai. — *14 nm analoog AI kiip, mis puhkab uurija käes. Pildi krediit: Ryan Lavine IBM-i jaoks*

Need segavad numbrid tekitavad AI-kiibi initsialiseerimisel probleeme: parameetreid on lihtsalt liiga palju, et neid läbi otsida. Meeskond tegeles probleemiga, mis võrdub tehisintellekti lasteaiaga, eelprogrammeerides sünaptilised kaalud enne arvutuste algust. (See on natuke nagu uue malmpanni maitsestamine enne sellega küpsetamist.)

Nad "kohandasid oma võrgukoolituse tehnikaid riistvara eeliseid ja piiranguid silmas pidades" ning määrasid seejärel kõige optimaalsemate tulemuste jaoks kaalud, selgitas Wang, kes uuringus ei osalenud.

See läks korda. Ühes esialgses testis tegi kiip hõlpsalt 12.4 triljonit toimingut sekundis iga vati võimsuse kohta. Energiatarve on "kümneid või isegi sadu kordi suurem kui kõige võimsamatel protsessoritel ja GPU-del," ütles Wang.

Kiip naelutas sügavate närvivõrkude aluseks oleva põhiarvutusprotsessi, mille mäluplaatidel olid vaid mõned klassikalised riistvarakomponendid. Seevastu traditsioonilised arvutid vajavad sadu või tuhandeid transistore (põhiüksus, mis teeb arvutusi).

Jutt linnast

Järgmisena esitas meeskond kiibile kaks kõnetuvastusülesannet. Igaüks neist rõhutas kiibi erinevat tahku.

Esimene test oli kiirus, kui prooviti suhteliselt väikese andmebaasiga. Kasutades Google'i kõnekäsud andmebaasi, ülesande täitmiseks oli AI-kiibil vaja tuvastada 12 märksõna umbes 65,000 30 klipi hulgast, kus tuhanded inimesed rääkisid XNUMX lühikest sõna (“väike” on sügava õppimise universumis suhteline). Kui kasutate aktsepteeritud võrdlusalust -MLPerf— kiip toimis seitse korda kiiremini kui eelmises töös.

Kiip säras ka suure andmebaasi väljakutse korral, Libriskõne. Korpus sisaldab üle 1,000 tunni loetud ingliskeelset kõnet, mida tavaliselt kasutatakse AI koolitamiseks kõne sõelumiseks ja automaatseks kõnest tekstiks transkriptsiooniks.

Üldiselt kasutas meeskond viit kiipi, et lõpuks kodeerida enam kui 45 miljonit kaalu, kasutades 140 miljoni faasimuutusseadme andmeid. Võrreldes tavapärase riistvaraga, oli kiip ligikaudu 14 korda energiasäästlikum – töödeldes igas sekundis peaaegu 550 näidist energiatarbimise vati kohta – ja veamäär oli veidi üle 9 protsendi.

Kuigi muljetavaldavad, on analoogkiibid endiselt lapsekingades. Need näitavad "tohutut lubadust võidelda tehisintellektiga seotud jätkusuutlikkuse probleemidega," ütles Wang, kuid edasiminek nõuab veel mõne takistuse kõrvaldamist.

Üks tegur on mälutehnoloogia enda ja seda ümbritsevate komponentide disaini täiustamine, st kuidas kiip on paigutatud. IBMi uus kiip ei sisalda veel kõiki vajalikke elemente. Järgmine kriitiline samm on integreerida kõik ühele kiibile, säilitades samal ajal selle tõhususe.

Tarkvara poolel vajame ka algoritme, mis on spetsiaalselt kohandatud analoogkiipidele, ja tarkvara, mis tõlgib koodi hõlpsalt masinatele arusaadavasse keelde. Kuna need kiibid muutuvad äriliselt üha elujõulisemaks, hoiab spetsiaalsete rakenduste arendamine unistuse analoogkiibi tulevikust elus.

"Arvutusökosüsteemide kujundamine, milles CPU-d ja GPU-d nii edukalt töötavad, võttis aastakümneid," ütles Wang. "Ja analoogse AI jaoks kulub tõenäoliselt aastaid, et luua samasugune keskkond."

Image Credit: Ryan Lavine IBM-i jaoks