Kunstige nevrale nettverk lærer bedre når de bruker tid på å ikke lære i det hele tatt

"Hjernen er veldig opptatt når vi sover, og gjentar det vi har lært i løpet av dagen," sa Maxim Bazhenov, PhD, professor i medisin og søvnforsker ved University of California San Diego School of Medicine. "Søvn hjelper til med å omorganisere minner og presentere dem på den mest effektive måten."

I tidligere publiserte arbeider har Bazhenov og kolleger rapportert hvordan søvn bygger rasjonelt minne, evnen til å huske vilkårlige eller indirekte assosiasjoner mellom objekter, mennesker eller hendelser, og beskytter mot å glemme gamle minner.

Kunstige nevrale nettverk utnytter arkitekturen til den menneskelige hjernen for å forbedre en rekke teknologier og systemer, fra grunnleggende vitenskap og medisin til finans og sosiale medier. På noen måter har de oppnådd overmenneskelig ytelse, for eksempel beregningshastighet, men de mislykkes i ett nøkkelaspekt: ​​Når kunstige nevrale nettverk lærer sekvensielt, overskriver ny informasjon tidligere informasjon, et fenomen som kalles katastrofal glemsel.

"Derimot lærer den menneskelige hjernen kontinuerlig og inkorporerer nye data i eksisterende kunnskap," sa Bazhenov, "og den lærer vanligvis best når ny trening er sammenflettet med perioder med søvn for å konsolidere hukommelsen."

Skriver i 18. november 2022-utgaven av PLOS beregningsbiologi, seniorforfatter Bazhenov og kolleger diskuterer hvordan biologiske modeller kan bidra til å dempe trusselen om katastrofal glemsel i kunstige nevrale nettverk, og øke deres nytte på tvers av et spekter av forskningsinteresser.

Forskerne brukte piggende nevrale nettverk som kunstig etterligner naturlige nevrale systemer: I stedet for at informasjon blir kommunisert kontinuerlig, blir den overført som diskrete hendelser (spikes) på bestemte tidspunkter.

De fant ut at når spikenettverkene ble trent på en ny oppgave, men med sporadiske off-line perioder som etterlignet søvn, ble katastrofal glemsel dempet. I likhet med den menneskelige hjernen, sa studieforfatterne, tillot "søvn" for nettverkene dem å spille av gamle minner uten eksplisitt å bruke gamle treningsdata.

Minner er representert i den menneskelige hjernen ved mønstre av synaptisk vekt - styrken eller amplituden til en forbindelse mellom to nevroner.

"Når vi lærer ny informasjon," sa Bazhenov, "fyr nevroner i spesifikk rekkefølge, og dette øker synapsene mellom dem. Under søvn gjentas spikingsmønstrene som er lært under vår våken tilstand spontant. Det kalles reaktivering eller replay.

"Synaptisk plastisitet, evnen til å endres eller støpes, er fortsatt på plass under søvn, og det kan ytterligere forbedre synaptiske vektmønstre som representerer minnet, og bidra til å forhindre glemsel eller å muliggjøre overføring av kunnskap fra gamle til nye oppgaver."

Da Bazhenov og kollegene brukte denne tilnærmingen på kunstige nevrale nettverk, fant de ut at det hjalp nettverkene til å unngå katastrofal glemsel.

"Det betydde at disse nettverkene kunne lære kontinuerlig, som mennesker eller dyr. Å forstå hvordan menneskehjernen behandler informasjon under søvn kan bidra til å øke hukommelsen hos mennesker. Øke søvnrytmer kan føre til bedre hukommelse.

"I andre prosjekter bruker vi datamodeller for å utvikle optimale strategier for å bruke stimulering under søvn, for eksempel auditive toner, som forbedrer søvnrytmer og forbedrer læring. Dette kan være spesielt viktig når hukommelsen ikke er optimal, for eksempel når hukommelsen avtar ved aldring eller under noen tilstander som Alzheimers sykdom."

Medforfattere inkluderer: Ryan Golden og Jean Erik Delanois, begge ved UC San Diego; og Pavel Sanda, Institutt for informatikk ved det tsjekkiske vitenskapsakademiet.