Kunstmatige neurale netwerken leren beter wanneer ze tijd doorbrengen met helemaal niet leren

“De hersenen zijn erg druk als we slapen en herhalen wat we gedurende de dag hebben geleerd”, zegt Maxim Bazhenov, PhD, hoogleraar geneeskunde en slaaponderzoeker aan de University of California San Diego School of Medicine. “Slaap helpt herinneringen te reorganiseren en presenteert ze op de meest efficiënte manier.”

In eerder gepubliceerd werk hebben Bazhenov en collega's gerapporteerd hoe slaap een rationeel geheugen opbouwt, het vermogen om willekeurige of indirecte associaties tussen objecten, mensen of gebeurtenissen te onthouden, en beschermt tegen het vergeten van oude herinneringen.

Kunstmatige neurale netwerken maken gebruik van de architectuur van het menselijk brein om talloze technologieën en systemen te verbeteren, van fundamentele wetenschap en geneeskunde tot financiën en sociale media. In sommige opzichten hebben ze bovenmenselijke prestaties bereikt, zoals rekensnelheid, maar ze falen op één belangrijk aspect: wanneer kunstmatige neurale netwerken opeenvolgend leren, overschrijft nieuwe informatie eerdere informatie, een fenomeen dat catastrofaal vergeten wordt genoemd.

“Het menselijk brein daarentegen leert voortdurend en integreert nieuwe gegevens in bestaande kennis,” zegt Bazhenov, “en het leert doorgaans het beste wanneer nieuwe training wordt afgewisseld met perioden van slaap voor geheugenconsolidatie.”

Schrijven in de uitgave van 18 november 2022 van PLOS Computationele Biologie, senior auteur Bazhenov en collega's bespreken hoe biologische modellen de dreiging van catastrofaal vergeten in kunstmatige neurale netwerken kunnen helpen verminderen, waardoor hun bruikbaarheid over een spectrum van onderzoeksinteresses wordt vergroot.

De wetenschappers gebruikten piekende neurale netwerken die op kunstmatige wijze natuurlijke neurale systemen nabootsen: in plaats van dat informatie continu wordt gecommuniceerd, wordt deze op bepaalde tijdstippen verzonden als afzonderlijke gebeurtenissen (spikes).

Ze ontdekten dat wanneer de pieknetwerken werden getraind in een nieuwe taak, maar met af en toe offline perioden die de slaap nabootsten, het catastrofale vergeten werd verzacht. Net als het menselijk brein, zeiden de auteurs van het onderzoek, stelde ‘slaap’ voor de netwerken hen in staat oude herinneringen opnieuw af te spelen zonder expliciet gebruik te maken van oude trainingsgegevens.

Herinneringen worden in het menselijk brein weergegeven door patronen van synaptisch gewicht: de sterkte of amplitude van een verbinding tussen twee neuronen.

“Als we nieuwe informatie leren,” zei Bazjenov, “vuren neuronen in een specifieke volgorde en dit vergroot de synapsen tussen hen. Tijdens de slaap worden de piekpatronen die we tijdens onze wakkere toestand hebben geleerd, spontaan herhaald. Het heet reactivering of herhaling.

"Synaptische plasticiteit, het vermogen om te worden veranderd of gevormd, is nog steeds op zijn plaats tijdens de slaap en het kan de synaptische gewichtspatronen die het geheugen vertegenwoordigen verder verbeteren, waardoor vergeten wordt voorkomen of kennisoverdracht van oude naar nieuwe taken mogelijk wordt."

Toen Bazhenov en collega's deze aanpak toepasten op kunstmatige neurale netwerken, ontdekten ze dat dit de netwerken hielp catastrofaal vergeten te voorkomen.

“Het betekende dat deze netwerken continu konden leren, net als mensen of dieren. Begrijpen hoe het menselijk brein informatie tijdens de slaap verwerkt, kan het geheugen bij menselijke proefpersonen helpen vergroten. Het verbeteren van het slaapritme kan leiden tot een beter geheugen.

“In andere projecten gebruiken we computermodellen om optimale strategieën te ontwikkelen om stimulatie toe te passen tijdens de slaap, zoals auditieve tonen, die het slaapritme verbeteren en het leren verbeteren. Dit kan met name belangrijk zijn wanneer het geheugen niet optimaal is, zoals wanneer het geheugen afneemt bij veroudering of bij bepaalde aandoeningen zoals de ziekte van Alzheimer.”

Co-auteurs zijn onder meer: ​​Ryan Golden en Jean Erik Delanois, beiden bij UC San Diego; en Pavel Sanda, Instituut voor Computerwetenschappen van de Tsjechische Academie van Wetenschappen.