Les réseaux de neurones artificiels apprennent mieux lorsqu’ils passent du temps à ne pas apprendre du tout

"Le cerveau est très occupé lorsque nous dormons, répétant ce que nous avons appris pendant la journée", a déclaré Maxim Bazhenov, PhD, professeur de médecine et chercheur sur le sommeil à la faculté de médecine de l'Université de Californie à San Diego. "Le sommeil aide à réorganiser les souvenirs et à les présenter de la manière la plus efficace."

Dans des travaux publiés précédemment, Bazhenov et ses collègues ont rapporté comment le sommeil construit une mémoire rationnelle, la capacité de se souvenir d'associations arbitraires ou indirectes entre des objets, des personnes ou des événements, et protège contre l'oubli de vieux souvenirs.

Les réseaux de neurones artificiels exploitent l’architecture du cerveau humain pour améliorer de nombreuses technologies et systèmes, depuis la science fondamentale et la médecine jusqu’à la finance et les médias sociaux. D’une certaine manière, ils ont atteint des performances surhumaines, comme la vitesse de calcul, mais ils échouent sur un aspect clé : lorsque les réseaux neuronaux artificiels apprennent de manière séquentielle, les nouvelles informations écrasent les informations précédentes, un phénomène appelé oubli catastrophique.

"En revanche, le cerveau humain apprend continuellement et intègre de nouvelles données aux connaissances existantes", a déclaré Bazhenov, "et il apprend généralement mieux lorsque le nouvel entraînement est entrecoupé de périodes de sommeil pour la consolidation de la mémoire."

Écrit dans le numéro du 18 novembre 2022 de Biologie computationnelle PLOS, l'auteur principal Bazhenov et ses collègues discutent de la manière dont les modèles biologiques peuvent aider à atténuer la menace d'oubli catastrophique dans les réseaux neuronaux artificiels, renforçant ainsi leur utilité dans un large éventail d'intérêts de recherche.

Les scientifiques ont utilisé des réseaux neuronaux à pointes qui imitent artificiellement les systèmes neuronaux naturels : au lieu que les informations soient communiquées en continu, elles sont transmises sous forme d'événements discrets (pointes) à certains moments.

Ils ont constaté que lorsque les réseaux de pointe étaient entraînés à une nouvelle tâche, mais avec des périodes hors ligne occasionnelles imitant le sommeil, les oublis catastrophiques étaient atténués. Comme pour le cerveau humain, ont déclaré les auteurs de l’étude, le « sommeil » des réseaux leur a permis de rejouer d’anciens souvenirs sans utiliser explicitement d’anciennes données d’entraînement.

Les souvenirs sont représentés dans le cerveau humain par des modèles de poids synaptique – la force ou l'amplitude d'une connexion entre deux neurones.

"Lorsque nous apprenons de nouvelles informations", a déclaré Bajenov, "les neurones se déclenchent dans un ordre spécifique, ce qui augmente les synapses entre eux. Pendant le sommeil, les schémas de pics appris pendant notre état d’éveil se répètent spontanément. C'est ce qu'on appelle la réactivation ou la relecture.

"La plasticité synaptique, la capacité d'être modifiée ou moulée, est toujours en place pendant le sommeil et elle peut encore améliorer les schémas de poids synaptiques qui représentent la mémoire, aidant à prévenir l'oubli ou à permettre le transfert de connaissances d'anciennes tâches vers de nouvelles."

Lorsque Bazhenov et ses collègues ont appliqué cette approche aux réseaux de neurones artificiels, ils ont constaté que cela aidait les réseaux à éviter un oubli catastrophique.

« Cela signifiait que ces réseaux pouvaient apprendre en permanence, comme les humains ou les animaux. Comprendre comment le cerveau humain traite les informations pendant le sommeil peut aider à augmenter la mémoire chez les sujets humains. L'augmentation des rythmes de sommeil peut conduire à une meilleure mémoire.

« Dans d'autres projets, nous utilisons des modèles informatiques pour développer des stratégies optimales pour appliquer la stimulation pendant le sommeil, comme les tonalités auditives, qui améliorent les rythmes du sommeil et améliorent l'apprentissage. Cela peut être particulièrement important lorsque la mémoire n'est pas optimale, comme lorsque la mémoire diminue avec le vieillissement ou dans certaines conditions comme la maladie d'Alzheimer.

Les co-auteurs incluent : Ryan Golden et Jean Erik Delanois, tous deux à l'UC San Diego ; et Pavel Sanda, Institut d'informatique de l'Académie tchèque des sciences.