El chip analógico de IBM inspirado en el cerebro tiene como objetivo hacer que la IA sea más sostenible

Reeditado por Platón

seguidores: 0

ChatGPT, DALL-E, Difusión establey otras IA generativas han conquistado el mundo. Crean poesía e imágenes fabulosas. Se están filtrando en todos los rincones de nuestro mundo, desde el marketing hasta la redacción de informes legales y el descubrimiento de fármacos. Parecen el ejemplo de una historia de éxito de la fusión de la mente de un hombre y una máquina.

Pero bajo el capó, las cosas se ven menos color de rosa. Estos sistemas consumen enormes cantidades de energía y requieren centros de datos que escupen miles de toneladas de emisiones de carbono (lo que agrava aún más un clima ya volátil) y absorben miles de millones de dólares. A medida que las redes neuronales se vuelven más sofisticadas y más utilizadas, es probable que el consumo de energía se dispare aún más.

Se ha derramado mucha tinta sobre la IA generativa la huella de carbono de este pack fue reducida un. Su demanda de energía podría ser su ruina, obstaculizando su desarrollo a medida que siga creciendo. Utilizando el hardware actual, se espera que la IA generativa "se detenga pronto si continúa dependiendo del hardware informático estándar". dijo Dr. Hechen Wang en Intel Labs.

Ya es hora de que construyamos una IA sostenible.

Esta semana, un estudio de IBM dio un paso práctico en esa dirección. Crearon un chip analógico de 14 nanómetros con 35 millones de unidades de memoria. A diferencia de los chips actuales, la computación se realiza directamente dentro de esas unidades, lo que elimina la necesidad de transportar datos de un lado a otro, lo que a su vez ahorra energía.

El transporte de datos puede aumentar el consumo de energía entre 3 y 10,000 veces más de lo que se requiere para el cálculo real, dijo Wang.

El chip fue muy eficiente cuando se le planteó dos tareas de reconocimiento de voz. Uno, Google Speech Commands, es pequeño pero práctico. Aquí la velocidad es clave. El otro, Librispeech, es un sistema gigantesco que ayuda a transcribir voz en texto, poniendo a prueba la capacidad del chip para procesar cantidades masivas de datos.

Cuando se comparó con computadoras convencionales, el chip funcionó con la misma precisión, pero terminó el trabajo más rápido y con mucha menos energía, utilizando menos de una décima parte de lo que normalmente se requiere para algunas tareas.

"Estas son, hasta donde sabemos, las primeras demostraciones de niveles de precisión comercialmente relevantes en un modelo comercialmente relevante... con eficiencia y paralelismo masivo" para un chip analógico, dijo el equipo.

Bytes inteligentes

Este no es el primer chip analógico. Sin embargo, lleva la idea de la computación neuromórfica al ámbito de la practicidad: un chip que algún día podría alimentar su teléfono, hogar inteligente y otros dispositivos con una eficiencia cercana a la del cerebro.

¿Um que? Retrocedamos.

Las computadoras actuales se basan en Arquitectura von Neumann. Piense en ello como una casa con varias habitaciones. Uno, la unidad central de procesamiento (CPU), analiza los datos. Otro almacena memoria.

Para cada cálculo, la computadora necesita transferir datos de un lado a otro entre esas dos salas, lo que requiere tiempo y energía y disminuye la eficiencia.

El cerebro, por el contrario, combina computación y memoria en un estudio. Sus uniones en forma de hongo, llamadas sinapsis, forman redes neuronales y almacenan recuerdos en el mismo lugar. Las sinapsis son muy flexibles y ajustan la fuerza con la que se conectan con otras neuronas en función de la memoria almacenada y los nuevos aprendizajes, una propiedad llamada "pesos". Nuestros cerebros se adaptan rápidamente a un entorno en constante cambio ajustando estos pesos sinápticos.

IBM ha estado a la vanguardia del diseño fichas analogicas que imitan computación cerebral. Un gran avance llegó en 2016, cuando introdujeron un chip basado en un material fascinante que normalmente se encuentra en los CD regrabables. El material cambia su estado físico y cambia de forma de una sopa pegajosa a estructuras parecidas a cristales cuando se le aplica electricidad, similar a un 0 y un 1 digitales.

Aquí está la clave: el chip también puede existir en estado híbrido. En otras palabras, de manera similar a una sinapsis biológica, la artificial puede codificar una miríada de pesos diferentes (no solo binarios), lo que le permite acumular múltiples cálculos sin tener que mover un solo bit de datos.

Jekyll y Hyde

El nuevo estudio se basó en trabajos anteriores y utilizó también materiales de cambio de fase. Los componentes básicos son "mosaicos de memoria". Cada uno está repleto de miles de materiales de cambio de fase en una estructura de cuadrícula. Los mosaicos se comunican fácilmente entre sí.

Cada mosaico está controlado por un controlador local programable, lo que permite al equipo modificar el componente, similar a una neurona, con precisión. Además, el chip almacena cientos de comandos en secuencia, creando una especie de caja negra que les permite profundizar y analizar su rendimiento.

En total, el chip contenía 35 millones de estructuras de memoria de cambio de fase. Las conexiones ascendieron a 45 millones de sinapsis, muy lejos del cerebro humano, pero muy impresionante en un chip de 14 nanómetros.

El chip analógico de IBM inspirado en el cerebro tiene como objetivo hacer que la IA sea más sostenible PlatoBlockchain Data Intelligence. Búsqueda vertical. Ai. — *Un chip de IA analógico de 14 nm en la mano de un investigador. Credito de imagen: Ryan Lavine para IBM*

Estos números abrumadores presentan un problema para inicializar el chip de IA: simplemente hay demasiados parámetros para buscar. El equipo abordó el problema con lo que equivale a un jardín de infantes con IA, preprogramando pesos sinápticos antes de que comiencen los cálculos. (Es un poco como sazonar una sartén de hierro fundido nueva antes de cocinar con ella).

"Adaptaron sus técnicas de entrenamiento de redes teniendo en cuenta los beneficios y limitaciones del hardware" y luego establecieron los pesos para obtener los resultados más óptimos, explicó Wang, que no participó en el estudio.

Funcionó. En una prueba inicial, el chip realizó fácilmente 12.4 billones de operaciones por segundo por cada vatio de potencia. El consumo de energía es "decenas o incluso cientos de veces mayor que el de las CPU y GPU más potentes", dijo Wang.

El chip logró un proceso computacional central subyacente a redes neuronales profundas con solo unos pocos componentes de hardware clásicos en los mosaicos de memoria. Por el contrario, las computadoras tradicionales necesitan cientos o miles de transistores (una unidad básica que realiza cálculos).

Hablar de la ciudad

A continuación, el equipo desafió al chip a dos tareas de reconocimiento de voz. Cada uno destacó una faceta diferente del chip.

La primera prueba fue la velocidad al enfrentarse a una base de datos relativamente pequeña. Utilizando el Comandos de voz de Google base de datos, la tarea requería que el chip de IA detectara 12 palabras clave en un conjunto de aproximadamente 65,000 clips de miles de personas hablando 30 palabras cortas (“pequeño” es relativo en el universo del aprendizaje profundo). Cuando se utiliza un punto de referencia aceptado:MLPerf— el chip funcionó siete veces más rápido que en trabajos anteriores.

El chip también brilló cuando se le planteó una gran base de datos, Librispeech. El corpus contiene más de 1,000 horas de lectura de voz en inglés que se utiliza habitualmente para entrenar la IA para analizar la voz y la transcripción automática de voz a texto.

En total, el equipo utilizó cinco chips para codificar más de 45 millones de pesos utilizando datos de 140 millones de dispositivos de cambio de fase. Cuando se comparó con el hardware convencional, el chip fue aproximadamente 14 veces más eficiente energéticamente (procesó casi 550 muestras por segundo por vatio de consumo de energía) con una tasa de error de poco más del 9 por ciento.

Aunque impresionantes, los chips analógicos todavía están en su infancia. Muestran “una enorme promesa para combatir los problemas de sostenibilidad asociados con la IA”, dijo Wang, pero el camino a seguir requiere superar algunos obstáculos más.

Un factor es perfeccionar el diseño de la tecnología de memoria en sí y los componentes que la rodean, es decir, cómo se distribuye el chip. El nuevo chip de IBM aún no contiene todos los elementos necesarios. El siguiente paso crítico es integrar todo en un solo chip manteniendo su eficacia.

En cuanto al software, también necesitaremos algoritmos que se adapten específicamente a chips analógicos y software que traduzca fácilmente el código a un lenguaje que las máquinas puedan entender. A medida que estos chips se vuelvan cada vez más viables comercialmente, el desarrollo de aplicaciones dedicadas mantendrá vivo el sueño de un futuro con chips analógicos.

"Se necesitaron décadas para dar forma a los ecosistemas computacionales en los que las CPU y GPU operan con tanto éxito", dijo Wang. "Y probablemente llevará años establecer el mismo tipo de entorno para la IA analógica".

Crédito de la imagen: Ryan Lavine para IBM