O chip analógico inspirado no cérebro da IBM visa tornar a IA mais sustentável

Republicado por Platão

seguidores: 0

ChatGPT, DALL-E, Difusão Estável, e outras IAs generativas conquistaram o mundo. Eles criam poesias e imagens fabulosas. Eles estão se infiltrando em todos os cantos do nosso mundo, desde o marketing até a redação de resumos jurídicos e descoberta de medicamentos. Eles parecem o garoto-propaganda de uma história de sucesso de fusão entre mente homem-máquina.

Mas sob o capô, as coisas parecem menos agradáveis. Estes sistemas são enormes consumidores de energia, exigindo centros de dados que emitem milhares de toneladas de emissões de carbono – acentuando ainda mais um clima já volátil – e absorvem milhares de milhões de dólares. À medida que as redes neurais se tornam mais sofisticadas e mais amplamente utilizadas, o consumo de energia provavelmente disparará ainda mais.

Muita tinta foi derramada em IA generativa a pegada de carbono dessa embalagem foi reduzida em. A sua procura de energia poderá ser a sua ruína, prejudicando o desenvolvimento à medida que cresce. Usando o hardware atual, “espera-se que a IA generativa pare em breve se continuar a depender de hardware de computação padrão”, dito Dr. Hechen Wang da Intel Labs.

Já é hora de construirmos uma IA sustentável.

Esta semana, um estudo da IBM deu um passo prático nessa direção. Eles criaram um chip analógico de 14 nanômetros com 35 milhões de unidades de memória. Ao contrário dos chips atuais, a computação acontece diretamente nessas unidades, eliminando a necessidade de transportar dados de um lado para outro – o que, por sua vez, economiza energia.

O transporte de dados pode aumentar o consumo de energia de 3 a 10,000 vezes acima do necessário para a computação real, disse Wang.

O chip foi altamente eficiente quando desafiado com duas tarefas de reconhecimento de fala. Um, Google Speech Commands, é pequeno, mas prático. Aqui, a velocidade é fundamental. O outro, o Librispeech, é um sistema gigantesco que ajuda a transcrever fala em texto, sobrecarregando a capacidade do chip de processar grandes quantidades de dados.

Quando comparado com computadores convencionais, o chip teve o mesmo desempenho, mas concluiu o trabalho mais rápido e com muito menos energia, usando menos de um décimo do que normalmente é necessário para algumas tarefas.

“Estas são, até onde sabemos, as primeiras demonstrações de níveis de precisão comercialmente relevantes em um modelo comercialmente relevante… com eficiência e paralelismo massivo” para um chip analógico, disse a equipe.

Bytes inteligentes

Este dificilmente é o primeiro chip analógico. No entanto, ele empurra a ideia da computação neuromórfica para o reino da praticidade – um chip que um dia poderá alimentar seu telefone, sua casa inteligente e outros dispositivos com uma eficiência próxima à do cérebro.

Hum, o que? Vamos voltar.

Os computadores atuais são construídos sobre Arquitetura Von Neumann. Pense nisso como uma casa com vários cômodos. Uma, a unidade central de processamento (CPU), analisa os dados. Outro armazena memória.

Para cada cálculo, o computador precisa transportar dados entre essas duas salas, o que consome tempo e energia e diminui a eficiência.

O cérebro, em contraste, combina computação e memória em um estúdio. Suas junções em forma de cogumelo, chamadas sinapses, formam redes neurais e armazenam memórias no mesmo local. As sinapses são altamente flexíveis, ajustando a força com que se conectam a outros neurônios com base na memória armazenada e em novos aprendizados – uma propriedade chamada “pesos”. Nossos cérebros se adaptam rapidamente a um ambiente em constante mudança, ajustando esses pesos sinápticos.

A IBM tem estado na vanguarda do design chips analógicos que imita computação cerebral. Um avanço veio em 2016, quando introduziram um chip baseado em um material fascinante normalmente encontrado em CDs regraváveis. O material muda seu estado físico e muda de forma de uma sopa pegajosa para estruturas semelhantes a cristal quando eletrocutado – semelhante a um 0 e 1 digital.

Aqui está a chave: o chip também pode existir em estado híbrido. Em outras palavras, semelhante a uma sinapse biológica, a sinapse artificial pode codificar uma infinidade de pesos diferentes – não apenas binários – permitindo acumular vários cálculos sem ter que mover um único bit de dados.

Jekyll e Hyde

O novo estudo baseou-se em trabalhos anteriores, utilizando também materiais de mudança de fase. Os componentes básicos são “blocos de memória”. Cada um está repleto de milhares de materiais de mudança de fase em uma estrutura de grade. Os ladrilhos comunicam-se facilmente entre si.

Cada bloco é controlado por um controlador local programável, permitindo que a equipe ajuste o componente – semelhante a um neurônio – com precisão. O chip armazena ainda centenas de comandos em sequência, criando uma espécie de caixa preta que permite que eles se aprofundem e analisem seu desempenho.

No geral, o chip continha 35 milhões de estruturas de memória de mudança de fase. As conexões totalizaram 45 milhões de sinapses – muito longe do cérebro humano, mas muito impressionantes em um chip de 14 nanômetros.

O chip analógico inspirado no cérebro da IBM visa tornar a inteligência de dados PlatoBlockchain mais sustentável. Pesquisa vertical. Ai. — *Um chip AI analógico de 14 nm na mão de um pesquisador. Crédito da imagem: Ryan Lavine para IBM*

Esses números entorpecentes representam um problema para a inicialização do chip de IA: há simplesmente muitos parâmetros para serem pesquisados. A equipe abordou o problema com o que equivale a um jardim de infância de IA, pré-programando pesos sinápticos antes do início dos cálculos. (É como temperar uma nova panela de ferro fundido antes de cozinhar com ela.)

Eles “adaptaram suas técnicas de treinamento de rede tendo em mente os benefícios e limitações do hardware” e, em seguida, definiram os pesos para obter os resultados mais ideais, explicou Wang, que não esteve envolvido no estudo.

Funcionou. Em um teste inicial, o chip realizou prontamente 12.4 trilhões de operações por segundo para cada watt de potência. O consumo de energia é “dezenas ou até centenas de vezes maior do que o das CPUs e GPUs mais poderosas”, disse Wang.

O chip acertou em cheio um processo computacional central subjacente a redes neurais profundas com apenas alguns componentes de hardware clássicos nos blocos de memória. Em contraste, os computadores tradicionais precisam de centenas ou milhares de transistores (uma unidade básica que realiza cálculos).

Fale da cidade

Em seguida, a equipe desafiou o chip para duas tarefas de reconhecimento de fala. Cada um enfatizou uma faceta diferente do chip.

O primeiro teste foi a velocidade quando desafiado com um banco de dados relativamente pequeno. Usando o Comandos de fala do Google banco de dados, a tarefa exigia que o chip de IA identificasse 12 palavras-chave em um conjunto de aproximadamente 65,000 clipes de milhares de pessoas falando 30 palavras curtas (“pequeno” é relativo no universo de aprendizagem profunda). Ao usar um benchmark aceito—MLPerf— o chip funcionou sete vezes mais rápido do que no trabalho anterior.

O chip também brilhou quando desafiado por um grande banco de dados, Librispeech. O corpus contém mais de 1,000 horas de leitura de fala em inglês, comumente usada para treinar IA para análise de fala e transcrição automática de fala para texto.

No geral, a equipe usou cinco chips para codificar mais de 45 milhões de pesos usando dados de 140 milhões de dispositivos de mudança de fase. Quando comparado ao hardware convencional, o chip foi aproximadamente 14 vezes mais eficiente em termos energéticos – processando quase 550 amostras a cada segundo por watt de consumo de energia – com uma taxa de erro um pouco superior a 9%.

Embora impressionantes, os chips analógicos ainda estão engatinhando. Eles mostram “uma enorme promessa no combate aos problemas de sustentabilidade associados à IA”, disse Wang, mas o caminho a seguir requer a eliminação de mais alguns obstáculos.

Um fator é refinar o design da própria tecnologia de memória e dos componentes que a cercam – ou seja, como o chip é disposto. O novo chip da IBM ainda não contém todos os elementos necessários. A próxima etapa crítica é integrar tudo em um único chip, mantendo sua eficácia.

Do lado do software, também precisaremos de algoritmos que se adaptem especificamente aos chips analógicos e de software que traduza prontamente o código em uma linguagem que as máquinas possam entender. À medida que esses chips se tornam cada vez mais viáveis comercialmente, o desenvolvimento de aplicações dedicadas manterá vivo o sonho de um futuro de chips analógicos.

“Levou décadas para moldar os ecossistemas computacionais nos quais CPUs e GPUs operam com tanto sucesso”, disse Wang. “E provavelmente levará anos para estabelecer o mesmo tipo de ambiente para a IA analógica.”

Crédito de imagem: Ryan Lavine para IBM