La puce analogique inspirée du cerveau d'IBM vise à rendre l'IA plus durable

Republié par Platon

Suiveurs: 0

ChatGPT, DALL-E, Diffusion stable, et d’autres IA génératives ont pris d’assaut le monde. Ils créent une poésie et des images fabuleuses. Ils s'infiltrent dans tous les recoins de notre monde, du marketing à la rédaction de dossiers juridiques et à la découverte de médicaments. Ils semblent être l’exemple type d’une histoire de réussite de fusion esprit homme-machine.

Mais sous le capot, les choses semblent moins pêches. Ces systèmes sont d’énormes consommateurs d’énergie, nécessitant des centres de données qui rejettent des milliers de tonnes d’émissions de carbone – accentuant encore davantage un climat déjà instable – et aspirent des milliards de dollars. À mesure que les réseaux neuronaux deviennent plus sophistiqués et plus largement utilisés, la consommation d’énergie risque de monter en flèche encore plus.

Beaucoup d’encre a coulé sur les IA génératives empreinte carbone. Sa demande énergétique pourrait entraîner sa chute, en entravant son développement à mesure qu’il continue de croître. En utilisant le matériel actuel, l’IA générative « devrait bientôt s’arrêter si elle continue de s’appuyer sur du matériel informatique standard ». a affirmé Valérie Plante. Dr Hechen Wang chez Intel Labs.

Il est grand temps de construire une IA durable.

Cette semaine, selon une étude d'IBM a fait un pas pratique dans cette direction. Ils ont créé une puce analogique de 14 nanomètres contenant 35 millions d’unités de mémoire. Contrairement aux puces actuelles, le calcul s'effectue directement au sein de ces unités, éliminant ainsi le besoin de déplacer les données d'un côté à l'autre, ce qui permet d'économiser de l'énergie.

La navette de données peut augmenter la consommation d'énergie de 3 à 10,000 XNUMX fois supérieure à celle requise pour le calcul réel, a déclaré Wang.

La puce s’est montrée très efficace lorsqu’elle a été confrontée à deux tâches de reconnaissance vocale. L’un d’entre eux, Google Speech Commands, est petit mais pratique. Ici, la vitesse est la clé. L'autre, Librispeech, est un système gigantesque qui permet de transcrire la parole en texte, mettant à rude épreuve la capacité de la puce à traiter d'énormes quantités de données.

Comparée aux ordinateurs conventionnels, la puce a fonctionné avec autant de précision, mais a terminé le travail plus rapidement et avec beaucoup moins d'énergie, utilisant moins d'un dixième de ce qui est normalement requis pour certaines tâches.

"Il s'agit, à notre connaissance, des premières démonstrations de niveaux de précision commercialement pertinents sur un modèle commercialement pertinent… avec efficacité et parallélisme massif" pour une puce analogique, a déclaré l'équipe.

Octets intelligents

Ce n’est pas la première puce analogique. Cependant, cela pousse l’idée de l’informatique neuromorphique dans le domaine pratique : une puce qui pourrait un jour alimenter votre téléphone, votre maison intelligente et d’autres appareils avec une efficacité proche de celle du cerveau.

Euh, quoi? Revenons en arrière.

Les ordinateurs actuels sont construits sur le Architecture de Von Neumann. Considérez-le comme une maison avec plusieurs pièces. L’une, l’unité centrale de traitement (CPU), analyse les données. Un autre stocke la mémoire.

Pour chaque calcul, l’ordinateur doit faire circuler les données entre ces deux pièces, ce qui prend du temps et de l’énergie et diminue l’efficacité.

Le cerveau, en revanche, combine calcul et mémoire dans un studio. Ses jonctions en forme de champignon, appelées synapses, forment toutes deux des réseaux neuronaux et stockent des souvenirs au même endroit. Les synapses sont très flexibles et ajustent la force avec laquelle elles se connectent aux autres neurones en fonction de la mémoire stockée et des nouveaux apprentissages – une propriété appelée « poids ». Notre cerveau s'adapte rapidement à un environnement en constante évolution en ajustant ces poids synaptiques.

IBM a été à l'avant-garde de la conception puces analogiques qui imitent calcul cérébral. Une percée venu en 2016, lorsqu'ils ont introduit une puce basée sur un matériau fascinant que l'on trouve habituellement dans les CD réinscriptibles. Le matériau change d’état physique et passe d’une soupe gluante à des structures cristallines lorsqu’il est zappé par l’électricité, semblable à un 0 et un 1 numériques.

Voici la clé : la puce peut également exister dans un état hybride. En d’autres termes, à l’instar d’une synapse biologique, la synapse artificielle peut coder une myriade de poids différents, pas seulement binaires, ce qui lui permet d’accumuler plusieurs calculs sans avoir à déplacer un seul bit de données.

Jekyll et Hyde

La nouvelle étude s'appuie sur des travaux antérieurs en utilisant également des matériaux à changement de phase. Les composants de base sont des « tuiles mémoire ». Chacun est rempli de milliers de matériaux à changement de phase dans une structure en grille. Les tuiles communiquent facilement entre elles.

Chaque tuile est contrôlée par un contrôleur local programmable, permettant à l'équipe de modifier le composant, semblable à un neurone, avec précision. La puce stocke en outre des centaines de commandes en séquence, créant une sorte de boîte noire qui leur permet de creuser et d'analyser ses performances.

Au total, la puce contenait 35 millions de structures de mémoire à changement de phase. Les connexions représentaient 45 millions de synapses, ce qui est loin du cerveau humain, mais très impressionnant sur une puce de 14 nanomètres.

La puce analogique inspirée du cerveau d'IBM vise à rendre l'IA plus durable. PlatoBlockchain Data Intelligence. Recherche verticale. Aï. — *Une puce IA analogique de 14 nm posée dans la main d'un chercheur. Crédit d'image : Ryan Lavine pour IBM*

Ces chiffres ahurissants posent un problème pour l’initialisation de la puce IA : il y a tout simplement trop de paramètres à parcourir. L’équipe a résolu le problème avec ce qui équivaut à un jardin d’enfants d’IA, préprogrammant les poids synaptiques avant le début des calculs. (C'est un peu comme assaisonner une nouvelle poêle en fonte avant de cuisiner avec.)

Ils « ont adapté leurs techniques de formation en réseau en tenant compte des avantages et des limites du matériel », puis ont défini les pondérations pour obtenir les résultats les plus optimaux, a expliqué Wang, qui n'a pas participé à l'étude.

Ça a marché. Lors d’un premier test, la puce a facilement effectué 12.4 XNUMX milliards d’opérations par seconde pour chaque watt de puissance. La consommation d’énergie est « des dizaines, voire des centaines de fois supérieure à celle des CPU et GPU les plus puissants », a déclaré Wang.

La puce a mis en place un processus informatique de base sous-jacent aux réseaux neuronaux profonds avec seulement quelques composants matériels classiques dans les tuiles mémoire. En revanche, les ordinateurs traditionnels ont besoin de centaines, voire de milliers de transistors (une unité de base qui effectue les calculs).

Parler de la ville

L’équipe a ensuite testé la puce sur deux tâches de reconnaissance vocale. Chacun a souligné une facette différente de la puce.

Le premier test était la vitesse face à une base de données relativement petite. En utilisant le Commandes vocales Google base de données, la tâche nécessitait que la puce d'IA repère 12 mots-clés dans un ensemble d'environ 65,000 30 clips de milliers de personnes prononçant XNUMX mots courts (« petit » est relatif dans l'univers de l'apprentissage profond). Lorsque vous utilisez une référence acceptée :MLPerf— la puce a fonctionné sept fois plus vite que dans les travaux précédents.

La puce a également brillé lorsqu'elle a été confrontée à une grande base de données, Librisdiscours. Le corpus contient plus de 1,000 XNUMX heures de discours en anglais lu couramment utilisés pour entraîner l’IA à analyser la parole et à la transcription automatique de la parole en texte.

Au total, l’équipe a utilisé cinq puces pour finalement coder plus de 45 millions de poids en utilisant les données de 140 millions d’appareils à changement de phase. Comparée au matériel conventionnel, la puce était environ 14 fois plus économe en énergie, traitant près de 550 échantillons par seconde par watt de consommation d'énergie, avec un taux d'erreur d'un peu plus de 9 %.

Bien qu’impressionnantes, les puces analogiques en sont encore à leurs balbutiements. Ils sont « extrêmement prometteurs pour lutter contre les problèmes de durabilité associés à l’IA », a déclaré Wang, mais la voie à suivre nécessite de franchir quelques obstacles supplémentaires.

L’un des facteurs consiste à affiner la conception de la technologie de mémoire elle-même et de ses composants environnants, c’est-à-dire la manière dont la puce est disposée. La nouvelle puce d'IBM ne contient pas encore tous les éléments nécessaires. Une prochaine étape critique consiste à tout intégrer sur une seule puce tout en conservant son efficacité.

Du côté des logiciels, nous aurons également besoin d'algorithmes spécifiquement adaptés aux puces analogiques et de logiciels capables de traduire facilement le code dans un langage que les machines peuvent comprendre. À mesure que ces puces deviennent de plus en plus viables commercialement, le développement d’applications dédiées permettra de maintenir vivant le rêve d’un avenir de puces analogiques.

« Il a fallu des décennies pour façonner les écosystèmes informatiques dans lesquels les CPU et les GPU fonctionnent avec autant de succès », a déclaré Wang. "Et il faudra probablement des années pour établir le même type d'environnement pour l'IA analogique."

Crédit image: Ryan Lavine pour IBM