Umetne nevronske mreže se učijo bolje, če porabijo čas, da se sploh ne učijo

"Ko spimo, so možgani zelo zaposleni in ponavljajo, kar smo se čez dan naučili," je povedal dr. Maxim Bazhenov, profesor medicine in raziskovalec spanja na Medicinski fakulteti Univerze Kalifornije v San Diegu. "Spanje pomaga reorganizirati spomine in jih predstavi na najbolj učinkovit način."

V prejšnjem objavljenem delu so Bazhenov in sodelavci poročali, kako spanje gradi racionalni spomin, sposobnost zapomniti si poljubne ali posredne povezave med predmeti, ljudmi ali dogodki ter ščiti pred pozabljanjem starih spominov.

Umetne nevronske mreže izkoriščajo arhitekturo človeških možganov za izboljšanje številnih tehnologij in sistemov, od osnovne znanosti in medicine do financ in družbenih medijev. Na nek način so dosegli nadčloveško zmogljivost, kot je računalniška hitrost, vendar jim ne uspe v enem ključnem vidiku: ko se umetne nevronske mreže učijo zaporedno, nove informacije prepišejo prejšnje informacije, pojav, ki se imenuje katastrofalno pozabljanje.

"Nasprotno pa se človeški možgani nenehno učijo in vključujejo nove podatke v obstoječe znanje," je dejal Bazhenov, "in se običajno najbolje učijo, ko se novo usposabljanje prepleta z obdobji spanja za utrjevanje spomina."

Pisanje v številki 18. novembra 2022 Računalniška biologija PLOS, višji avtor Bazhenov in njegovi sodelavci razpravljajo o tem, kako lahko biološki modeli pomagajo ublažiti nevarnost katastrofalne pozabe v umetnih nevronskih mrežah, kar povečuje njihovo uporabnost v spektru raziskovalnih interesov.

Znanstveniki so uporabili nevronske mreže s konicami, ki umetno posnemajo naravne nevronske sisteme: namesto da bi se informacije sporočale neprekinjeno, se prenašajo kot diskretni dogodki (koni) ob določenih časovnih točkah.

Ugotovili so, da se je katastrofalno pozabljanje ublažilo, ko so bila omrežja, ki so se vrtela, usposobljena za novo nalogo, vendar z občasnimi obdobji brez povezave, ki so posnemala spanje. Tako kot človeški možgani, so povedali avtorji študije, jim je "spanje" za omrežja omogočilo predvajanje starih spominov brez izrecne uporabe starih podatkov o usposabljanju.

Spomini so v človeških možganih predstavljeni z vzorci sinaptične teže - močjo ali amplitudo povezave med dvema nevronoma.

»Ko izvemo nove informacije,« je dejal Bazhenov, »se nevroni sprožijo v določenem vrstnem redu in to poveča sinapse med njimi. Med spanjem se spontano ponavljajo vzorci trkanja, ki smo se jih naučili v budnem stanju. Imenuje se reaktivacija ali ponovitev.

"Sinaptična plastičnost, zmožnost spreminjanja ali oblikovanja, je še vedno prisotna med spanjem in lahko dodatno okrepi sinaptične vzorce teže, ki predstavljajo spomin, pomaga preprečiti pozabljanje ali omogočiti prenos znanja s starih na nove naloge."

Ko so Bazhenov in sodelavci ta pristop uporabili za umetne nevronske mreže, so ugotovili, da je omrežjem pomagalo preprečiti katastrofalno pozabljanje.

»To je pomenilo, da se lahko ta omrežja nenehno učijo, kot ljudje ali živali. Razumevanje, kako človeški možgani obdelujejo informacije med spanjem, lahko pomaga povečati spomin pri ljudeh. Povečanje ritmov spanja lahko privede do boljšega spomina.

»V drugih projektih uporabljamo računalniške modele za razvoj optimalnih strategij za uporabo stimulacije med spanjem, kot so zvočni toni, ki izboljšajo ritem spanja in izboljšajo učenje. To je lahko še posebej pomembno, kadar spomin ni optimalen, na primer, ko spomin upada s staranjem ali v nekaterih stanjih, kot je Alzheimerjeva bolezen.

Soavtorji so: Ryan Golden in Jean Erik Delanois, oba na UC San Diego; in Pavel Sanda, Inštitut za računalništvo Češke akademije znanosti.