Sztuczne sieci neuronowe uczą się lepiej, gdy spędzają czas w ogóle się nie ucząc

„Mózg jest bardzo zajęty, kiedy śpimy, powtarzając to, czego nauczyliśmy się w ciągu dnia” – powiedział dr Maxim Bazhenov, profesor medycyny i badacz snu w Szkole Medycznej Uniwersytetu Kalifornijskiego w San Diego. „Sen pomaga reorganizować wspomnienia i przedstawia je w najbardziej efektywny sposób”.

W poprzedniej opublikowanej pracy Bazhenov i współpracownicy opisali, jak sen buduje racjonalną pamięć, zdolność zapamiętywania dowolnych lub pośrednich skojarzeń między obiektami, ludźmi lub zdarzeniami oraz chroni przed zapominaniem starych wspomnień.

Sztuczne sieci neuronowe wykorzystują architekturę ludzkiego mózgu do ulepszania wielu technologii i systemów, od nauk podstawowych i medycyny po finanse i media społecznościowe. Pod pewnymi względami osiągnęły nadludzką wydajność, na przykład prędkość obliczeniową, ale zawiodły w jednym kluczowym aspekcie: gdy sztuczne sieci neuronowe uczą się sekwencyjnie, nowe informacje zastępują poprzednie, co nazywa się katastrofalnym zapominaniem.

„W przeciwieństwie do tego ludzki mózg uczy się w sposób ciągły i włącza nowe dane do istniejącej wiedzy” – powiedział Bazhenov – „i zazwyczaj uczy się najlepiej, gdy nowy trening przeplata się z okresami snu w celu konsolidacji pamięci”.

Pisząc w numerze miesięcznika z 18 listopada 2022 r Biologia obliczeniowa PLOS, starszy autor Bazhenov i współpracownicy omawiają, w jaki sposób modele biologiczne mogą pomóc złagodzić ryzyko katastrofalnego zapomnienia w sztucznych sieciach neuronowych, zwiększając ich użyteczność w szerokim spektrum zainteresowań badawczych.

Naukowcy wykorzystali impulsowe sieci neuronowe, które sztucznie naśladują naturalne systemy neuronowe: zamiast informacji przesyłanych w sposób ciągły, są one przesyłane w postaci dyskretnych zdarzeń (skoków) w określonych punktach czasowych.

Odkryli, że kiedy sieci impulsowe zostały przeszkolone do nowego zadania, ale z okazjonalnymi okresami wyłączenia z sieci imitującymi sen, ryzyko katastrofalnego zapominania zostało złagodzone. Autorzy badania twierdzą, że podobnie jak ludzki mózg, „sen” pozwala sieciom odtwarzać stare wspomnienia bez bezpośredniego korzystania ze starych danych treningowych.

Wspomnienia są reprezentowane w ludzkim mózgu za pomocą wzorców masy synaptycznej – siły lub amplitudy połączenia między dwoma neuronami.

„Kiedy zdobywamy nowe informacje” – powiedział Bazhenov – „neurony uruchamiają się w określonej kolejności, co zwiększa liczbę synaps między nimi. Podczas snu wzorce wzrostu wyuczone w stanie czuwania powtarzają się spontanicznie. Nazywa się to reaktywacją lub powtórką.

„Plastyczność synaptyczna, czyli zdolność do zmian i formowania, nadal istnieje podczas snu i może jeszcze bardziej ulepszyć wzorce masy synaptycznej reprezentujące pamięć, pomagając zapobiegać zapominaniu lub umożliwiając transfer wiedzy ze starych do nowych zadań”.

Kiedy Bazhenov i współpracownicy zastosowali to podejście do sztucznych sieci neuronowych, odkryli, że pomogło to sieciom uniknąć katastrofalnego w skutkach zapomnienia.

„Oznaczało to, że sieci te mogły uczyć się w sposób ciągły, podobnie jak ludzie czy zwierzęta. Zrozumienie, w jaki sposób ludzki mózg przetwarza informacje podczas snu, może pomóc w poprawie pamięci u ludzi. Poprawa rytmu snu może prowadzić do lepszej pamięci.

„W innych projektach wykorzystujemy modele komputerowe do opracowania optymalnych strategii stosowania stymulacji podczas snu, takich jak dźwięki słuchowe, które poprawiają rytm snu i usprawniają naukę. Może to być szczególnie ważne, gdy pamięć nie jest optymalna, na przykład gdy pamięć pogarsza się wraz z wiekiem lub w niektórych stanach, takich jak choroba Alzheimera.

Współautorami są: Ryan Golden i Jean Erik Delanois, obaj z Uniwersytetu Kalifornijskiego w San Diego; oraz Pavel Sanda z Instytutu Informatyki Czeskiej Akademii Nauk.