Kunstige neurale netværk lærer bedre, når de bruger tid på slet ikke at lære

"Hjernen har meget travlt, når vi sover, og gentager det, vi har lært i løbet af dagen," sagde Maxim Bazhenov, PhD, professor i medicin og søvnforsker ved University of California San Diego School of Medicine. "Søvn hjælper med at omorganisere minder og præsentere dem på den mest effektive måde."

I tidligere publicerede værker har Bazhenov og kolleger rapporteret, hvordan søvn opbygger rationel hukommelse, evnen til at huske vilkårlige eller indirekte associationer mellem objekter, mennesker eller begivenheder og beskytter mod at glemme gamle minder.

Kunstige neurale netværk udnytter den menneskelige hjernes arkitektur til at forbedre adskillige teknologier og systemer, fra grundlæggende videnskab og medicin til finansiering og sociale medier. På nogle måder har de opnået overmenneskelig ydeevne, såsom beregningshastighed, men de fejler i ét nøgleaspekt: ​​Når kunstige neurale netværk lærer sekventielt, overskriver ny information tidligere information, et fænomen kaldet katastrofal forglemmelse.

"I modsætning hertil lærer den menneskelige hjerne kontinuerligt og inkorporerer nye data i eksisterende viden," sagde Bazhenov, "og den lærer typisk bedst, når ny træning er sammenflettet med perioder med søvn for at konsolidere hukommelsen."

Skriver i 18. november 2022-udgaven af PLOS Computational Biology, seniorforfatter Bazhenov og kolleger diskuterer, hvordan biologiske modeller kan hjælpe med at afbøde truslen om katastrofal forglemmelse i kunstige neurale netværk, hvilket øger deres anvendelighed på tværs af et spektrum af forskningsinteresser.

Forskerne brugte spiking neurale netværk, der kunstigt efterligner naturlige neurale systemer: I stedet for at information bliver kommunikeret kontinuerligt, transmitteres den som diskrete hændelser (spidser) på bestemte tidspunkter.

De fandt ud af, at når spidsnetværkene blev trænet i en ny opgave, men med lejlighedsvise off-line perioder, der efterlignede søvn, blev katastrofal glemsel afbødet. Ligesom den menneskelige hjerne, sagde studieforfatterne, tillod "søvn" for netværkene dem at afspille gamle minder uden eksplicit at bruge gamle træningsdata.

Erindringer er repræsenteret i den menneskelige hjerne ved mønstre af synaptisk vægt - styrken eller amplituden af ​​en forbindelse mellem to neuroner.

"Når vi lærer ny information," sagde Bazhenov, "brander neuroner i bestemt rækkefølge, og det øger synapserne mellem dem. Under søvn gentages de spidsmønstre, vi lærte under vores vågne tilstand, spontant. Det kaldes reaktivering eller replay.

"Synaptisk plasticitet, evnen til at blive ændret eller støbt, er stadig på plads under søvn, og det kan yderligere forbedre synaptiske vægtmønstre, der repræsenterer hukommelsen, og hjælper med at forhindre at glemme eller til at muliggøre overførsel af viden fra gamle til nye opgaver."

Da Bazhenov og kolleger anvendte denne tilgang til kunstige neurale netværk, fandt de ud af, at det hjalp netværkene med at undgå katastrofal forglemmelse.

"Det betød, at disse netværk kunne lære kontinuerligt, som mennesker eller dyr. At forstå, hvordan menneskets hjerne behandler information under søvn, kan hjælpe med at øge hukommelsen hos mennesker. Forøgelse af søvnrytmer kan føre til bedre hukommelse.

"I andre projekter bruger vi computermodeller til at udvikle optimale strategier til at anvende stimulation under søvn, såsom auditive toner, der forbedrer søvnrytmerne og forbedrer indlæringen. Dette kan være særligt vigtigt, når hukommelsen ikke er optimal, såsom når hukommelsen falder ved aldring eller under visse tilstande som Alzheimers sygdom."

Medforfattere omfatter: Ryan Golden og Jean Erik Delanois, begge ved UC San Diego; og Pavel Sanda, Institut for Datalogi ved Det Tjekkiske Videnskabsakademi.