Il chip analogico ispirato al cervello di IBM mira a rendere l'intelligenza artificiale più sostenibile

Ripubblicato da Platone

Seguaci: 0

ChatGPT, DALL-E, Diffusione stabilee altre IA generative hanno preso d'assalto il mondo. Creano poesie e immagini favolose. Si stanno infiltrando in ogni angolo del nostro mondo, dal marketing alla scrittura di documenti legali e alla scoperta di farmaci. Sembrano il manifesto di una storia di successo di fusione mentale uomo-macchina.

Ma sotto il cofano, le cose sembrano meno rosee. Questi sistemi sono enormi divoratori di energia, che richiedono data center che emettono migliaia di tonnellate di emissioni di carbonio – stressando ulteriormente un clima già instabile – e assorbono miliardi di dollari. Man mano che le reti neurali diventano più sofisticate e ampiamente utilizzate, è probabile che il consumo di energia salga ancora di più.

Molto inchiostro è stato versato sull'intelligenza artificiale generativa impronta di carbonio. La sua domanda di energia potrebbe essere la sua rovina, ostacolando lo sviluppo mentre cresce ulteriormente. Utilizzando l’hardware attuale, si prevede che l’intelligenza artificiale generativa “si fermerà presto se continuerà a fare affidamento su hardware informatico standard”. disse Dottor Hechen Wang presso Intel Labs.

È giunto il momento di costruire un'intelligenza artificiale sostenibile.

Questa settimana, uno studio di IBM ha compiuto un passo concreto in quella direzione. Hanno creato un chip analogico da 14 nanometri contenente 35 milioni di unità di memoria. A differenza dei chip attuali, il calcolo avviene direttamente all’interno di tali unità, eliminando la necessità di spostare i dati avanti e indietro, risparmiando così energia.

Lo spostamento dei dati può aumentare il consumo di energia da 3 a 10,000 volte rispetto a quanto richiesto per il calcolo vero e proprio, ha affermato Wang.

Il chip si è rivelato altamente efficiente quando è stato sfidato con due attività di riconoscimento vocale. Uno, Google Voice Commands, è piccolo ma pratico. Qui la velocità è fondamentale. L'altro, Librispeech, è un sistema gigantesco che aiuta a trascrivere il parlato in testo, mettendo a dura prova la capacità del chip di elaborare enormi quantità di dati.

Confrontato con i computer convenzionali, il chip ha funzionato con la stessa precisione, ma ha completato il lavoro più velocemente e con molta meno energia, utilizzando meno di un decimo di quanto normalmente richiesto per alcune attività.

"Queste sono, a nostra conoscenza, le prime dimostrazioni di livelli di precisione commercialmente rilevanti su un modello commercialmente rilevante... con efficienza e massiccio parallelismo" per un chip analogico, ha affermato il team.

Byte intelligenti

Questo non è certo il primo chip analogico. Tuttavia, spinge l’idea del calcolo neuromorfico nel regno della praticità: un chip che un giorno potrebbe alimentare il tuo telefono, la tua casa intelligente e altri dispositivi con un’efficienza vicina a quella del cervello.

Ehm, cosa? Facciamo un backup.

I computer attuali sono basati su Architettura di Von Neumann. Pensala come una casa con più stanze. Uno, l'unità di elaborazione centrale (CPU), analizza i dati. Un altro immagazzina la memoria.

Per ogni calcolo, il computer deve trasportare i dati avanti e indietro tra le due stanze, e questo richiede tempo ed energia e diminuisce l’efficienza.

Il cervello, al contrario, combina sia il calcolo che la memoria in un monolocale. Le sue giunzioni a forma di fungo, chiamate sinapsi, formano reti neurali e immagazzinano i ricordi nella stessa posizione. Le sinapsi sono altamente flessibili e regolano la forza con cui si connettono con altri neuroni in base alla memoria immagazzinata e ai nuovi apprendimenti, una proprietà chiamata “pesi”. Il nostro cervello si adatta rapidamente a un ambiente in continua evoluzione regolando questi pesi sinaptici.

IBM è stata in prima linea nella progettazione chip analogici quella mimica calcolo del cervello. Una svolta è arrivato nel 2016, quando hanno introdotto un chip basato su un materiale affascinante solitamente presente nei CD riscrivibili. Il materiale cambia il suo stato fisico e cambia forma da una zuppa appiccicosa a strutture simili a cristalli quando viene colpito dall'elettricità, simile a uno 0 e 1 digitale.

Ecco la chiave: il chip può esistere anche in uno stato ibrido. In altre parole, simile a una sinapsi biologica, quella artificiale può codificare una miriade di pesi diversi – non solo binari – permettendole di accumulare più calcoli senza dover spostare un singolo bit di dati.

Jekyll e Hyde

Il nuovo studio si è basato sul lavoro precedente utilizzando anche materiali a cambiamento di fase. I componenti di base sono le “mattonelle di memoria”. Ciascuno è pieno zeppo di migliaia di materiali a cambiamento di fase in una struttura a griglia. Le tessere comunicano facilmente tra loro.

Ogni tessera è controllata da un controller locale programmabile, che consente al team di modificare il componente, simile a un neurone, con precisione. Il chip memorizza inoltre centinaia di comandi in sequenza, creando una sorta di scatola nera che consente loro di scavare e analizzare le sue prestazioni.

Nel complesso, il chip conteneva 35 milioni di strutture di memoria a cambiamento di fase. Le connessioni ammontavano a 45 milioni di sinapsi: ben lontane dal cervello umano, ma davvero impressionanti su un chip da 14 nanometri.

Il chip analogico ispirato al cervello di IBM mira a rendere l'intelligenza artificiale più sostenibile tramite PlatoBlockchain Data Intelligence. Ricerca verticale. Ai. — *Un chip AI analogico da 14 nm appoggiato nella mano di un ricercatore. Credito immagine: Ryan Lavine per IBM*

Questi numeri sconvolgenti presentano un problema per l’inizializzazione del chip AI: ci sono semplicemente troppi parametri da cercare. Il team ha affrontato il problema con quello che equivale a un asilo nido basato sull’intelligenza artificiale, pre-programmando i pesi sinaptici prima che inizino i calcoli. (È un po' come condire una nuova padella di ghisa prima di cucinarla.)

Hanno "adattato le loro tecniche di allenamento in rete tenendo presente i vantaggi e i limiti dell'hardware" e quindi hanno stabilito i pesi per i risultati ottimali, ha spiegato Wang, che non è stato coinvolto nello studio.

Ha funzionato. In un test iniziale, il chip ha eseguito facilmente 12.4 trilioni di operazioni al secondo per ogni watt di potenza. Il consumo energetico è “decine o addirittura centinaia di volte superiore a quello delle CPU e GPU più potenti”, ha affermato Wang.

Il chip ha centrato un processo computazionale fondamentale alla base delle reti neurali profonde con solo pochi componenti hardware classici nelle tessere di memoria. Al contrario, i computer tradizionali necessitano di centinaia o migliaia di transistor (un’unità base che esegue i calcoli).

Parla della città

Il team ha poi sfidato il chip a due compiti di riconoscimento vocale. Ognuno ha sottolineato un aspetto diverso del chip.

Il primo test è stato la velocità quando si è confrontato con un database relativamente piccolo. Usando il Comandi vocali di Google database, l'attività richiedeva che il chip AI individuasse 12 parole chiave in una serie di circa 65,000 clip di migliaia di persone che pronunciavano 30 parole brevi ("piccolo" è relativo nell'universo del deep learning). Quando si utilizza un benchmark accettato:MLPerf— il chip ha funzionato sette volte più velocemente rispetto al lavoro precedente.

Il chip ha brillato anche quando è stato confrontato con un database di grandi dimensioni, Libridiscorso. Il corpus contiene oltre 1,000 ore di parlato inglese letto, comunemente utilizzato per addestrare l'intelligenza artificiale all'analisi del parlato e alla trascrizione automatica del parlato in testo.

Nel complesso, il team ha utilizzato cinque chip per codificare alla fine più di 45 milioni di pesi utilizzando i dati provenienti da 140 milioni di dispositivi a cambiamento di fase. Confrontato con l'hardware convenzionale, il chip era circa 14 volte più efficiente dal punto di vista energetico, elaborando quasi 550 campioni al secondo per watt di consumo energetico, con un tasso di errore leggermente superiore al 9%.

Anche se impressionanti, i chip analogici sono ancora agli inizi. Mostrano “un’enorme promessa per combattere i problemi di sostenibilità associati all’intelligenza artificiale”, ha affermato Wang, ma il percorso da seguire richiede di superare alcuni ulteriori ostacoli.

Un fattore è la messa a punto della progettazione della tecnologia di memoria stessa e dei componenti circostanti, ovvero il modo in cui è disposto il chip. Il nuovo chip di IBM non contiene ancora tutti gli elementi necessari. Il prossimo passo fondamentale è integrare tutto in un unico chip mantenendone l’efficacia.

Dal punto di vista del software, avremo bisogno anche di algoritmi che si adattino specificamente ai chip analogici e di software che traducano prontamente il codice in un linguaggio comprensibile alle macchine. Man mano che questi chip diventano sempre più commercialmente validi, lo sviluppo di applicazioni dedicate manterrà vivo il sogno di un futuro di chip analogici.

"Ci sono voluti decenni per modellare gli ecosistemi computazionali in cui CPU e GPU operano con così tanto successo", ha affermato Wang. “E probabilmente ci vorranno anni per creare lo stesso tipo di ambiente per l’intelligenza artificiale analogica”.

Immagine di credito: Ryan Lavine per IBM