As redes neurais artificiais aprendem melhor quando passam algum tempo sem aprender nada

“O cérebro fica muito ocupado quando dormimos, repetindo o que aprendemos durante o dia”, disse Maxim Bazhenov, PhD, professor de medicina e pesquisador do sono na Escola de Medicina da Universidade da Califórnia em San Diego. “O sono ajuda a reorganizar as memórias e apresentá-las da maneira mais eficiente.”

Em trabalhos publicados anteriormente, Bazhenov e colegas relataram como o sono constrói a memória racional, a capacidade de lembrar associações arbitrárias ou indiretas entre objetos, pessoas ou eventos, e protege contra o esquecimento de memórias antigas.

As redes neurais artificiais aproveitam a arquitetura do cérebro humano para melhorar inúmeras tecnologias e sistemas, desde ciência básica e medicina até finanças e mídias sociais. De certa forma, alcançaram um desempenho sobre-humano, como a velocidade computacional, mas falham num aspecto fundamental: quando as redes neurais artificiais aprendem sequencialmente, a nova informação substitui a informação anterior, um fenómeno chamado esquecimento catastrófico.

“Em contraste, o cérebro humano aprende continuamente e incorpora novos dados no conhecimento existente”, disse Bazhenov, “e normalmente aprende melhor quando um novo treino é intercalado com períodos de sono para consolidação da memória”.

Escrevendo na edição de 18 de novembro de 2022 da Biologia Computacional PLOS, o autor sênior Bazhenov e colegas discutem como os modelos biológicos podem ajudar a mitigar a ameaça do esquecimento catastrófico em redes neurais artificiais, aumentando sua utilidade em um espectro de interesses de pesquisa.

Os cientistas usaram redes neurais com picos que imitam artificialmente os sistemas neurais naturais: em vez de a informação ser comunicada continuamente, ela é transmitida como eventos discretos (picos) em determinados momentos.

Eles descobriram que quando as redes de spiking eram treinadas para uma nova tarefa, mas com períodos off-line ocasionais que imitavam o sono, o esquecimento catastrófico era mitigado. Tal como acontece com o cérebro humano, disseram os autores do estudo, o “sono” das redes permitiu-lhes reproduzir memórias antigas sem utilizar explicitamente dados de treino antigos.

As memórias são representadas no cérebro humano por padrões de peso sináptico – a força ou amplitude de uma conexão entre dois neurônios.

“Quando aprendemos novas informações”, disse Bazhenov, “os neurônios disparam em uma ordem específica e isso aumenta as sinapses entre eles. Durante o sono, os padrões de picos aprendidos durante o estado de vigília são repetidos espontaneamente. É chamado de reativação ou repetição.

“A plasticidade sináptica, a capacidade de ser alterada ou moldada, ainda está presente durante o sono e pode aumentar ainda mais os padrões de peso sináptico que representam a memória, ajudando a prevenir o esquecimento ou a permitir a transferência de conhecimento de tarefas antigas para novas”.

Quando Bazhenov e colegas aplicaram esta abordagem às redes neurais artificiais, descobriram que ela ajudou as redes a evitar o esquecimento catastrófico.

“Isso significava que essas redes poderiam aprender continuamente, como humanos ou animais. Compreender como o cérebro humano processa informações durante o sono pode ajudar a aumentar a memória em seres humanos. Aumentar os ritmos do sono pode levar a uma melhor memória.

“Em outros projetos, usamos modelos de computador para desenvolver estratégias ótimas para aplicar estímulos durante o sono, como tons auditivos, que aumentam os ritmos do sono e melhoram o aprendizado. Isso pode ser particularmente importante quando a memória não é ideal, como quando a memória diminui com o envelhecimento ou em algumas condições como a doença de Alzheimer”.

Os coautores incluem: Ryan Golden e Jean Erik Delanois, ambos da UC San Diego; e Pavel Sanda, Instituto de Ciência da Computação da Academia Tcheca de Ciências.