Искусственные нейронные сети обучаются лучше, когда они вообще не учатся.

«Когда мы спим, мозг очень занят, повторяя то, что мы узнали в течение дня», — говорит Максим Баженов, доктор философии, профессор медицины и исследователь сна в Медицинской школе Калифорнийского университета в Сан-Диего. «Сон помогает реорганизовать воспоминания и представляет их наиболее эффективным способом».

В предыдущей опубликованной работе Баженов и его коллеги сообщили, как сон формирует рациональную память, способность запоминать произвольные или косвенные ассоциации между объектами, людьми или событиями, а также защищает от забывания старых воспоминаний.

Искусственные нейронные сети используют архитектуру человеческого мозга для улучшения многочисленных технологий и систем, от фундаментальной науки и медицины до финансов и социальных сетей. В каком-то смысле им удалось достичь сверхчеловеческой производительности, например, скорости вычислений, но они терпят неудачу в одном ключевом аспекте: когда искусственные нейронные сети обучаются последовательно, новая информация перезаписывает предыдущую — явление, называемое катастрофическим забыванием.

«Напротив, человеческий мозг постоянно учится и включает новые данные в существующие знания», — сказал Баженов, — «и обычно он учится лучше всего, когда новое обучение чередуется с периодами сна для консолидации памяти».

Статья в номере журнала от 18 ноября 2022 г. PLOS Вычислительная биология, Старший автор Баженов и его коллеги обсуждают, как биологические модели могут помочь смягчить угрозу катастрофического забывания в искусственных нейронных сетях, повышая их полезность в широком спектре исследовательских интересов.

Ученые использовали импульсные нейронные сети, которые искусственно имитируют естественные нейронные системы: вместо непрерывной передачи информации она передается в виде дискретных событий (спайков) в определенные моменты времени.

Они обнаружили, что когда импульсные сети были обучены выполнению новой задачи, но с редкими периодами отключения от сети, имитирующими сон, катастрофическое забывание было смягчено. Как и человеческий мозг, говорят авторы исследования, «сон» для сетей позволил им воспроизвести старые воспоминания без явного использования старых обучающих данных.

Воспоминания представлены в человеческом мозге моделями синаптического веса — силы или амплитуды связи между двумя нейронами.

«Когда мы изучаем новую информацию, — сказал Баженов, — нейроны срабатывают в определенном порядке, и это увеличивает количество синапсов между ними. Во время сна импульсные паттерны, усвоенные во время бодрствования, спонтанно повторяются. Это называется реактивацией или повторением.

«Синаптическая пластичность, способность изменяться или формироваться, все еще сохраняется во время сна, и она может еще больше усилить паттерны синаптического веса, которые представляют память, помогая предотвратить забывание или обеспечить передачу знаний от старых задач к новым».

Когда Баженов и его коллеги применили этот подход к искусственным нейронным сетям, они обнаружили, что он помогает сетям избежать катастрофического забывания.

«Это означало, что эти сети могли непрерывно учиться, как люди или животные. Понимание того, как человеческий мозг обрабатывает информацию во время сна, может помочь улучшить память у людей. Увеличение ритмов сна может привести к улучшению памяти.

«В других проектах мы используем компьютерные модели для разработки оптимальных стратегий применения стимуляции во время сна, например звуковых сигналов, которые улучшают ритмы сна и улучшают обучение. Это может быть особенно важно, когда память неоптимальна, например, когда память ухудшается с возрастом или при некоторых состояниях, таких как болезнь Альцгеймера».

Среди соавторов: Райан Голден и Жан Эрик Делануа, оба из Калифорнийского университета в Сан-Диего; и Павел Санда, Институт компьютерных наук Чешской академии наук.