Las redes neuronales artificiales aprenden mejor cuando pasan tiempo sin aprender nada

"El cerebro está muy ocupado cuando dormimos, repitiendo lo que hemos aprendido durante el día", dijo Maxim Bazhenov, PhD, profesor de medicina e investigador del sueño en la Facultad de Medicina de la Universidad de California en San Diego. "El sueño ayuda a reorganizar los recuerdos y los presenta de la manera más eficiente".

En trabajos publicados anteriormente, Bazhenov y sus colegas informaron cómo el sueño desarrolla la memoria racional, la capacidad de recordar asociaciones arbitrarias o indirectas entre objetos, personas o eventos, y protege contra el olvido de viejos recuerdos.

Las redes neuronales artificiales aprovechan la arquitectura del cerebro humano para mejorar numerosas tecnologías y sistemas, desde la ciencia básica y la medicina hasta las finanzas y las redes sociales. En cierto modo, han logrado un rendimiento sobrehumano, como la velocidad computacional, pero fallan en un aspecto clave: cuando las redes neuronales artificiales aprenden secuencialmente, la nueva información sobrescribe la anterior, un fenómeno llamado olvido catastrófico.

"Por el contrario, el cerebro humano aprende continuamente e incorpora nuevos datos al conocimiento existente", dijo Bazhenov, "y normalmente aprende mejor cuando el nuevo entrenamiento se intercala con períodos de sueño para consolidar la memoria".

En la edición del 18 de noviembre de 2022 de Biología Computacional PLOS, El autor principal Bazhenov y sus colegas analizan cómo los modelos biológicos pueden ayudar a mitigar la amenaza de un olvido catastrófico en las redes neuronales artificiales, aumentando su utilidad en un espectro de intereses de investigación.

Los científicos utilizaron redes neuronales de picos que imitan artificialmente los sistemas neuronales naturales: en lugar de que la información se comunique continuamente, se transmite como eventos discretos (picos) en ciertos momentos.

Descubrieron que cuando las redes de activación se entrenaban en una nueva tarea, pero con períodos ocasionales fuera de línea que imitaban el sueño, se mitigaba el olvido catastrófico. Al igual que el cerebro humano, dijeron los autores del estudio, el "dormir" de las redes les permitió reproducir viejos recuerdos sin utilizar explícitamente datos de entrenamiento antiguos.

Los recuerdos están representados en el cerebro humano por patrones de peso sináptico: la fuerza o amplitud de una conexión entre dos neuronas.

“Cuando aprendemos nueva información”, dijo Bazhenov, “las neuronas se activan en un orden específico y esto aumenta las sinapsis entre ellas. Durante el sueño, los patrones de picos aprendidos durante nuestro estado de vigilia se repiten espontáneamente. Se llama reactivación o repetición.

“La plasticidad sináptica, la capacidad de ser alterada o moldeada, todavía está presente durante el sueño y puede mejorar aún más los patrones de peso sináptico que representan la memoria, lo que ayuda a prevenir el olvido o permite la transferencia de conocimientos de tareas antiguas a nuevas”.

Cuando Bazhenov y sus colegas aplicaron este enfoque a las redes neuronales artificiales, descubrieron que ayudaba a las redes a evitar olvidos catastróficos.

“Significaba que estas redes podían aprender continuamente, como los humanos o los animales. Comprender cómo el cerebro humano procesa la información durante el sueño puede ayudar a aumentar la memoria en los seres humanos. Aumentar los ritmos del sueño puede conducir a una mejor memoria.

“En otros proyectos, utilizamos modelos informáticos para desarrollar estrategias óptimas para aplicar estimulación durante el sueño, como tonos auditivos, que mejoran los ritmos del sueño y mejoran el aprendizaje. Esto puede ser particularmente importante cuando la memoria no es óptima, como cuando la memoria disminuye con el envejecimiento o en algunas condiciones como la enfermedad de Alzheimer".

Los coautores incluyen: Ryan Golden y Jean Erik Delanois, ambos en UC San Diego; y Pavel Sanda, Instituto de Ciencias de la Computación de la Academia Checa de Ciencias.