Le reti neurali artificiali imparano meglio quando trascorrono il tempo senza apprendere affatto

"Il cervello è molto impegnato quando dormiamo, ripetendo ciò che abbiamo imparato durante il giorno", ha detto Maxim Bazhenov, PhD, professore di medicina e ricercatore sul sonno presso la School of Medicine dell'Università della California a San Diego. "Il sonno aiuta a riorganizzare i ricordi e li presenta nel modo più efficiente."

In lavori precedentemente pubblicati, Bazhenov e colleghi hanno riferito come il sonno costruisca la memoria razionale, la capacità di ricordare associazioni arbitrarie o indirette tra oggetti, persone o eventi e protegga dal dimenticare vecchi ricordi.

Le reti neurali artificiali sfruttano l’architettura del cervello umano per migliorare numerose tecnologie e sistemi, dalla scienza e medicina di base alla finanza e ai social media. In un certo senso, hanno raggiunto prestazioni sovrumane, come la velocità di calcolo, ma falliscono in un aspetto chiave: quando le reti neurali artificiali apprendono in sequenza, le nuove informazioni sovrascrivono quelle precedenti, un fenomeno chiamato oblio catastrofico.

“Al contrario, il cervello umano apprende continuamente e incorpora nuovi dati nella conoscenza esistente”, ha affermato Bazhenov, “e in genere apprende meglio quando il nuovo allenamento è intervallato da periodi di sonno per il consolidamento della memoria”.

Scrivendo nel numero del 18 novembre 2022 di Biologia computazionale PLOS, L'autore senior Bazhenov e colleghi discutono di come i modelli biologici possano aiutare a mitigare la minaccia di un oblio catastrofico nelle reti neurali artificiali, aumentando la loro utilità in uno spettro di interessi di ricerca.

Gli scienziati hanno utilizzato reti neurali a picchi che imitano artificialmente i sistemi neurali naturali: invece di comunicare continuamente, le informazioni vengono trasmesse come eventi discreti (picchi) in determinati punti temporali.

Hanno scoperto che quando le reti picchiate venivano addestrate a un nuovo compito, ma con periodi offline occasionali che imitavano il sonno, l’oblio catastrofico veniva mitigato. Come il cervello umano, hanno affermato gli autori dello studio, il “sonno” delle reti ha permesso loro di riprodurre vecchi ricordi senza utilizzare esplicitamente i vecchi dati di allenamento.

I ricordi sono rappresentati nel cervello umano da modelli di peso sinaptico – la forza o l’ampiezza di una connessione tra due neuroni.

“Quando apprendiamo nuove informazioni”, ha detto Bazhenov, “i neuroni si attivano in un ordine specifico e questo aumenta le sinapsi tra di loro. Durante il sonno, gli schemi di picchi appresi durante il nostro stato di veglia si ripetono spontaneamente. Si chiama riattivazione o replay.

"La plasticità sinaptica, la capacità di essere alterata o modellata, è ancora presente durante il sonno e può migliorare ulteriormente i modelli di peso sinaptico che rappresentano la memoria, aiutando a prevenire l'oblio o a consentire il trasferimento di conoscenze da compiti vecchi a nuovi".

Quando Bazhenov e colleghi hanno applicato questo approccio alle reti neurali artificiali, hanno scoperto che aiutava le reti a evitare un dimenticatoio catastrofico.

“Significava che queste reti potevano apprendere continuamente, come gli esseri umani o gli animali. Comprendere come il cervello umano elabora le informazioni durante il sonno può aiutare ad aumentare la memoria nei soggetti umani. Aumentare i ritmi del sonno può portare a una memoria migliore.

“In altri progetti, utilizziamo modelli computerizzati per sviluppare strategie ottimali per applicare la stimolazione durante il sonno, come i toni uditivi, che migliorano i ritmi del sonno e migliorano l'apprendimento. Questo può essere particolarmente importante quando la memoria non è ottimale, come quando la memoria diminuisce con l'invecchiamento o in alcune condizioni come il morbo di Alzheimer”.

I coautori includono: Ryan Golden e Jean Erik Delanois, entrambi presso l'UC San Diego; e Pavel Sanda, Istituto di informatica dell'Accademia ceca delle scienze.