Rețelele neuronale artificiale învață mai bine atunci când petrec timpul fără a învăța deloc

„Creierul este foarte ocupat când dormim, repetând ceea ce am învățat în timpul zilei”, a spus Maxim Bazhenov, dr., profesor de medicină și cercetător în domeniul somnului la Universitatea din California San Diego, Școala de Medicină. „Somnul ajută la reorganizarea amintirilor și le prezintă în cel mai eficient mod.”

În lucrările publicate anterioare, Bazhenov și colegii săi au raportat cum somnul construiește memoria rațională, capacitatea de a-și aminti asocierile arbitrare sau indirecte între obiecte, oameni sau evenimente și protejează împotriva uitării amintirilor vechi.

Rețelele neuronale artificiale folosesc arhitectura creierului uman pentru a îmbunătăți numeroase tehnologii și sisteme, de la știința de bază și medicină la finanțe și rețelele sociale. În anumite privințe, au atins performanțe supraomenești, cum ar fi viteza de calcul, dar eșuează într-un aspect cheie: atunci când rețelele neuronale artificiale învață secvenţial, informațiile noi suprascrie informațiile anterioare, un fenomen numit uitare catastrofală.

„În contrast, creierul uman învață continuu și încorporează date noi în cunoștințele existente”, a spus Bazhenov, „și de obicei învață cel mai bine atunci când noul antrenament este intercalat cu perioade de somn pentru consolidarea memoriei”.

Scriind în numărul din 18 noiembrie 2022 al PLOS Biologie Computațională, Autorul principal Bazhenov și colegii lor discută despre modul în care modelele biologice pot ajuta la atenuarea amenințării uitării catastrofale în rețelele neuronale artificiale, sporindu-le utilitatea într-un spectru de interese de cercetare.

Oamenii de știință au folosit rețele neuronale care imită artificial sistemele neuronale naturale: în loc ca informațiile să fie comunicate continuu, acestea sunt transmise ca evenimente discrete (picuri) în anumite momente de timp.

Ei au descoperit că atunci când rețelele de creștere au fost antrenate pentru o nouă sarcină, dar cu perioade ocazionale de off-line care imitau somnul, uitarea catastrofală a fost atenuată. La fel ca creierul uman, au spus autorii studiului, „somnul” pentru rețele le-a permis să reia amintiri vechi fără a utiliza în mod explicit datele vechi de antrenament.

Amintirile sunt reprezentate în creierul uman prin modele de greutate sinaptică - puterea sau amplitudinea unei conexiuni între doi neuroni.

„Când aflăm informații noi”, a spus Bazhenov, „neuronii se declanșează într-o anumită ordine și acest lucru crește sinapsele dintre ei. În timpul somnului, tiparele învățate în timpul stării noastre de veghe se repetă spontan. Se numește reactivare sau reluare.

„Plasticitatea sinaptică, capacitatea de a fi modificată sau modelată, este încă în vigoare în timpul somnului și poate îmbunătăți și mai mult tiparele de greutate sinaptică care reprezintă memoria, ajutând la prevenirea uitării sau pentru a permite transferul de cunoștințe de la sarcini vechi la noi.”

Când Bazhenov și colegii au aplicat această abordare rețelelor neuronale artificiale, au descoperit că a ajutat rețelele să evite uitarea catastrofală.

„A însemnat că aceste rețele ar putea învăța continuu, precum oamenii sau animalele. Înțelegerea modului în care creierul uman procesează informațiile în timpul somnului poate ajuta la creșterea memoriei subiecților umani. Creșterea ritmurilor de somn poate duce la o memorie mai bună.

„În alte proiecte, folosim modele computerizate pentru a dezvolta strategii optime de aplicare a stimulării în timpul somnului, cum ar fi tonurile auditive, care îmbunătățesc ritmurile de somn și îmbunătățesc învățarea. Acest lucru poate fi deosebit de important atunci când memoria nu este optimă, cum ar fi atunci când memoria scade odată cu îmbătrânirea sau în unele afecțiuni precum boala Alzheimer.

Co-autorii includ: Ryan Golden și Jean Erik Delanois, ambii la UC San Diego; și Pavel Sanda, Institutul de Informatică al Academiei Cehe de Științe.