Az IBM agy által ihletett analóg chipjének célja, hogy fenntarthatóbbá tegye a mesterséges intelligenciát

Újra kiadta Platón

Követő: 0

ChatGPT, DALL-E, Stabil diffúzió, és más generatív mesterséges intelligencia is meghódította a világot. Mesés költészetet és képeket alkotnak. Világunk minden zugába beszivárognak, a marketingtől a jogi tájékoztatók írásáig és a gyógyszerkutatásig. Úgy tűnnek, mint az ember-gép elme összeolvadó sikertörténet plakátgyermeke.

De a motorháztető alatt a dolgok kevésbé tűnnek őszibaracknak. Ezek a rendszerek hatalmas energiadisznók, olyan adatközpontokat igényelnek, amelyek több ezer tonna szén-dioxid-kibocsátást sodornak ki – tovább hangsúlyozva az amúgy is ingatag éghajlatot – és dollármilliárdokat szívnak fel. Ahogy a neurális hálózatok egyre kifinomultabbak és egyre szélesebb körben használatosak, az energiafogyasztás valószínűleg még jobban megnő.

Rengeteg tinta ömlött a generatív AI-kra ökológiai lábnyom. Energiaigénye lehet a bukása, ami gátolja a fejlődést, ahogy tovább növekszik. A jelenlegi hardvert használva a generatív mesterséges intelligencia „hamarosan leáll, ha továbbra is szabványos számítástechnikai hardverekre támaszkodik”. mondott Dr. Hechen Wang az Intel Labs-tól.

Legfőbb ideje, hogy fenntartható mesterséges intelligenciát építsünk.

Ezen a héten, Egy tanulmány az IBM gyakorlati lépést tett ebbe az irányba. Létrehoztak egy 14 nanométeres analóg chipet, amely 35 millió memóriaegységet tartalmaz. A jelenlegi chipekkel ellentétben a számítás közvetlenül ezeken az egységeken belül történik, megszüntetve az adatok oda-vissza továbbításának szükségességét, ami viszont energiát takarít meg.

Wang szerint az adatátvitel 3-10,000 XNUMX-szeresére növelheti az energiafogyasztást a tényleges számításhoz szükségesnél.

A chip rendkívül hatékony volt, ha két beszédfelismerési feladatot is végrehajtott. Az egyik, a Google Speech Commands kicsi, de praktikus. Itt a sebesség a kulcs. A másik, a Librispeech egy mamutrendszer, amely segít a beszéd szöveggé történő átírásában, megterhelve a chip azon képességét, hogy hatalmas mennyiségű adatot dolgozzon fel.

Ha szembeállítják a hagyományos számítógépekkel, a chip ugyanolyan pontosan teljesített, de gyorsabban és sokkal kevesebb energiával fejezte be a munkát, kevesebb mint a tizedét felhasználva annak, ami bizonyos feladatokhoz általában szükséges.

„Tudomásunk szerint ezek az első bemutatók a kereskedelmileg releváns pontossági szintekről egy kereskedelmileg releváns modellen… hatékonysággal és masszív párhuzamossággal” egy analóg chip esetében – mondta a csapat.

Brainy Bytes

Aligha ez az első analóg chip. Azonban a neuromorf számítástechnika gondolatát a gyakorlatiság birodalmába tolja – egy chipet, amely egy napon az agy hatékonyságához közeli hatékonysággal táplálhatja telefonját, okosotthonát és más eszközeit.

Hm, mi? Térjünk vissza.

A jelenlegi számítógépek a Von Neumann építészet. Tekintsd úgy, mint egy több szobás házat. Az egyik, a központi feldolgozó egység (CPU) elemzi az adatokat. Egy másik tárolja a memóriát.

Minden számításhoz a számítógépnek oda-vissza kell mozgatnia az adatokat a két szoba között, ami időt és energiát vesz igénybe, és csökkenti a hatékonyságot.

Ezzel szemben az agy a számítást és a memóriát egy stúdiólakásban egyesíti. Gombaszerű csomópontjai, az úgynevezett szinapszisok, neurális hálózatokat alkotnak és emlékeket tárolnak ugyanazon a helyen. A szinapszisok rendkívül rugalmasak, a tárolt memória és az új ismeretek alapján beállítják, hogy milyen erősen kapcsolódnak más neuronokhoz – ezt a tulajdonságot „súlyoknak” nevezik. Agyunk gyorsan alkalmazkodik a folyamatosan változó környezethez a szinaptikus súlyok beállításával.

Az IBM élen jár a tervezésben analóg chipek hogy utánozza agyi számítás. Egy áttörés 2016-ben érkezett, amikor bemutatták az újraírható CD-ken általában megtalálható lenyűgöző anyagon alapuló chipet. Az anyag megváltoztatja fizikai állapotát és alakváltozását a nyavalyás levesből kristályszerű struktúrákká, ha elektromossággal zabálják – hasonlóan a digitális 0-hoz és 1-hez.

Itt van a kulcs: a chip hibrid állapotban is létezhet. Más szóval, a biológiai szinapszishoz hasonlóan a mesterséges is számtalan különböző súlyt kódolhat – nem csak binárist –, lehetővé téve több számítás felhalmozását anélkül, hogy egyetlen bitnyi adatot is meg kellene mozgatnia.

Jekyll és Hyde

Az új tanulmány a korábbi munkákra épült, fázisváltó anyagokat is felhasználva. Az alapvető összetevők a „memórialapkák”. Mindegyik tele van több ezer fázisváltó anyaggal egy rácsszerkezetben. A csempe könnyen kommunikál egymással.

Minden csempét egy programozható helyi vezérlő vezérel, ami lehetővé teszi a csapat számára, hogy precízen módosítsa az összetevőt – egy neuronhoz hasonlóan. A chip ezenkívül több száz parancsot tárol egymás után, és egyfajta fekete dobozt hoz létre, amely lehetővé teszi számukra, hogy visszamegyünk és elemezzék a teljesítményét.

Összességében a chip 35 millió fázisváltó memóriastruktúrát tartalmazott. A kapcsolatok 45 millió szinapszist tettek ki – ez nagyon távol áll az emberi agytól, de nagyon lenyűgöző egy 14 nanométeres chipen.

IBM’s Brain-Inspired Analog Chip Aims to Make AI More Sustainable PlatoBlockchain Data Intelligence. Vertical Search. Ai. — *Egy 14 nm-es analóg AI chip egy kutató kezében pihen. Kép jóváírása: Ryan Lavine az IBM-től*

Ezek az észbontó számok problémát jelentenek az AI-chip inicializálása során: egyszerűen túl sok paramétert kell átkutatni. A csapat azzal a problémával foglalkozott, hogy mi számít egy mesterséges intelligencia óvodának, és a számítások megkezdése előtt előprogramozta a szinaptikus súlyokat. (Kicsit olyan, mintha egy új öntöttvas serpenyőt fűszerezünk, mielőtt főznénk vele.)

„Hálózati képzési technikáikat a hardver előnyeire és korlátaira szabták, majd a legoptimálisabb eredményekhez szabták meg a súlyokat” – magyarázta Wang, aki nem vett részt a vizsgálatban.

Sikerült. Az egyik kezdeti teszt során a chip másodpercenként 12.4 billió műveletet végzett minden watt teljesítményre vetítve. Az energiafogyasztás „tízszer vagy akár százszor nagyobb, mint a legerősebb CPU-k és GPU-k esetében” – mondta Wang.

A chip egy alapvető számítási folyamatot szögezett le a mély neurális hálózatok mögött, mindössze néhány klasszikus hardverkomponenssel a memórialapkákban. Ezzel szemben a hagyományos számítógépeknek több száz vagy több ezer tranzisztorra van szükségük (számításokat végző alapegységre).

Beszélgetés a város

A csapat ezt követően két beszédfelismerési feladatra hívta ki a chipet. Mindegyik a chip más-más oldalát hangsúlyozta.

Az első teszt a sebesség volt, amikor egy viszonylag kis adatbázissal próbáltuk ki. Használni a Google beszédparancsok adatbázisban, a feladathoz az AI chipnek 12 kulcsszót kellett kiszúrnia egy nagyjából 65,000 30 klipből álló halmazban, amelyekben több ezer ember XNUMX rövid szót beszél (a „kicsi” relatív a mély tanulási univerzumban). Ha egy elfogadott benchmarkot használ –MLPerf— a chip hétszer gyorsabban teljesített mint az előző munkában.

A chip akkor is ragyogott, amikor egy nagy adatbázissal szembesültek, Librisbeszéd. A korpusz több mint 1,000 órányi olvasott angol beszédet tartalmaz, amelyet általában a mesterséges intelligencia képzésére használnak a beszéd elemzésére és az automatikus beszéd-szöveg átírásra.

Összességében a csapat öt chipet használt, hogy végül több mint 45 millió súlyt kódoljon 140 millió fázisváltó eszköz adatainak felhasználásával. A hagyományos hardverrel összehasonlítva a chip nagyjából 14-szer energiahatékonyabb volt – minden másodpercben közel 550 mintát dolgozott fel energiafogyasztásonként –, a hibaarány valamivel több mint 9 százalék volt.

Bár lenyűgözőek, az analóg chipek még gyerekcipőben járnak. „Óriási ígéretet mutatnak az MI-vel kapcsolatos fenntarthatósági problémák leküzdésében” – mondta Wang, de a továbblépéshez még néhány akadály leküzdésére van szükség.

Az egyik tényező magának a memóriatechnológiának és a környező összetevőknek a kialakításának finomítása – vagyis a chip elrendezése. Az IBM új chipje még nem tartalmazza az összes szükséges elemet. A következő kritikus lépés az, hogy mindent egyetlen chipbe integrálunk, miközben megőrizzük annak hatékonyságát.

Szoftveres oldalon szükségünk lesz olyan algoritmusokra is, amelyek kifejezetten az analóg chipekhez vannak szabva, és olyan szoftverekre, amelyek könnyen lefordítják a kódot olyan nyelvre, amelyet a gépek megértenek. Ahogy ezek a chipek kereskedelmi szempontból egyre életképessé válnak, a dedikált alkalmazások fejlesztése életben tartja az analóg chip jövőjének álmát.

„Évtizedekbe telt, hogy kialakítsák azokat a számítási ökoszisztémákat, amelyekben a CPU-k és a GPU-k olyan sikeresen működnek” – mondta Wang. "És valószínűleg évekbe fog telni, amíg létrejön az analóg AI-hoz hasonló környezet."

Kép: Ryan Lavine az IBM-től