Künstliche neuronale Netze lernen besser, wenn sie Zeit damit verbringen, überhaupt nicht zu lernen

„Das Gehirn ist sehr beschäftigt, wenn wir schlafen und wiederholt, was wir tagsüber gelernt haben“, sagte Maxim Bazhenov, PhD, Professor für Medizin und Schlafforscher an der University of California San Diego School of Medicine. „Schlaf hilft dabei, Erinnerungen neu zu ordnen und sie auf die effizienteste Weise zu präsentieren.“

In früheren veröffentlichten Arbeiten haben Bazhenov und Kollegen berichtet, wie Schlaf das rationale Gedächtnis aufbaut, die Fähigkeit, sich an willkürliche oder indirekte Assoziationen zwischen Objekten, Menschen oder Ereignissen zu erinnern, und vor dem Vergessen alter Erinnerungen schützt.

Künstliche neuronale Netze nutzen die Architektur des menschlichen Gehirns, um zahlreiche Technologien und Systeme zu verbessern, von Grundlagenwissenschaften und Medizin bis hin zu Finanzen und sozialen Medien. In mancher Hinsicht haben sie übermenschliche Leistungen erbracht, beispielsweise hinsichtlich der Rechengeschwindigkeit, doch in einem Schlüsselaspekt scheitern sie: Wenn künstliche neuronale Netze nacheinander lernen, überschreiben neue Informationen frühere Informationen, ein Phänomen, das als katastrophales Vergessen bezeichnet wird.

„Im Gegensatz dazu lernt das menschliche Gehirn kontinuierlich und integriert neue Daten in bestehendes Wissen“, sagte Bazhenov, „und es lernt normalerweise am besten, wenn neues Training mit Schlafphasen zur Gedächtnisfestigung verbunden wird.“

Schreiben in der Ausgabe vom 18. November 2022 von PLOS Computerbiologie, Der leitende Autor Bazhenov und Kollegen diskutieren, wie biologische Modelle dazu beitragen können, die Gefahr des katastrophalen Vergessens in künstlichen neuronalen Netzen zu mindern und ihren Nutzen für ein Spektrum von Forschungsinteressen zu steigern.

Die Wissenschaftler nutzten Spike-Neuronale Netze, die natürliche neuronale Systeme künstlich nachahmen: Informationen werden nicht kontinuierlich kommuniziert, sondern als diskrete Ereignisse (Spikes) zu bestimmten Zeitpunkten übertragen.

Sie fanden heraus, dass katastrophales Vergessen gemildert wurde, wenn die Spike-Netzwerke auf eine neue Aufgabe trainiert wurden, jedoch mit gelegentlichen Offline-Perioden, die den Schlaf nachahmten. Wie das menschliche Gehirn, so die Autoren der Studie, ermöglichte der „Schlaf“ den Netzwerken, alte Erinnerungen abzuspielen, ohne explizit alte Trainingsdaten zu verwenden.

Erinnerungen werden im menschlichen Gehirn durch Muster des synaptischen Gewichts dargestellt – der Stärke oder Amplitude einer Verbindung zwischen zwei Neuronen.

„Wenn wir neue Informationen erfahren“, sagte Bazhenov, „feuern Neuronen in einer bestimmten Reihenfolge und dies erhöht die Synapsen zwischen ihnen.“ Während des Schlafs wiederholen sich die im Wachzustand erlernten Spitzenmuster spontan. Man nennt es Reaktivierung oder Wiederholung.

„Synaptische Plastizität, die Fähigkeit, verändert oder geformt zu werden, ist auch im Schlaf vorhanden und kann die synaptischen Gewichtsmuster, die das Gedächtnis repräsentieren, weiter verbessern und dabei helfen, Vergessen zu verhindern oder den Wissenstransfer von alten zu neuen Aufgaben zu ermöglichen.“

Als Bazhenov und Kollegen diesen Ansatz auf künstliche neuronale Netze anwendeten, stellten sie fest, dass er den Netzen dabei half, katastrophales Vergessen zu vermeiden.

„Das bedeutete, dass diese Netzwerke kontinuierlich lernen konnten, wie Menschen oder Tiere. Das Verständnis, wie das menschliche Gehirn Informationen im Schlaf verarbeitet, kann dazu beitragen, das Gedächtnis menschlicher Probanden zu verbessern. Eine Verbesserung des Schlafrhythmus kann zu einem besseren Gedächtnis führen.

„In anderen Projekten entwickeln wir mithilfe von Computermodellen optimale Strategien für die Stimulation im Schlaf, beispielsweise durch Hörtöne, die den Schlafrhythmus verbessern und das Lernen verbessern. Dies kann besonders wichtig sein, wenn das Gedächtnis nicht optimal ist, beispielsweise wenn das Gedächtnis mit zunehmendem Alter nachlässt oder bei bestimmten Erkrankungen wie der Alzheimer-Krankheit.“

Zu den Co-Autoren gehören: Ryan Golden und Jean Erik Delanois, beide an der UC San Diego; und Pavel Sanda, Institut für Informatik der Tschechischen Akademie der Wissenschaften.