Штучні нейронні мережі навчаються краще, коли вони взагалі не навчаються

«Коли ми спимо, мозок дуже зайнятий, повторюючи те, що ми навчилися протягом дня», — сказав Максим Баженов, доктор філософії, професор медицини та дослідник сну в Медичній школі Каліфорнійського університету в Сан-Дієго. «Сон допомагає реорганізувати спогади та представляє їх у найефективніший спосіб».

У попередній опублікованій роботі Баженов і його колеги повідомили, як сон формує раціональну пам'ять, здатність запам'ятовувати довільні або непрямі асоціації між об'єктами, людьми або подіями, і захищає від забуття старих спогадів.

Штучні нейронні мережі використовують архітектуру людського мозку для вдосконалення багатьох технологій і систем, від фундаментальної науки й медицини до фінансів і соціальних мереж. У певному сенсі вони досягли надлюдської продуктивності, наприклад, швидкості обчислень, але вони зазнали невдачі в одному ключовому аспекті: коли штучні нейронні мережі навчаються послідовно, нова інформація перезаписує попередню інформацію, явище, яке називається катастрофічним забуванням.

«На відміну від цього, людський мозок безперервно вчиться і включає нові дані в наявні знання, — сказав Баженов, — і зазвичай він навчається найкраще, коли нове навчання перемежовується періодами сну для консолідації пам’яті».

Пише у номері від 18 листопада 2022 року Обчислювальна біологія PLOS, Старший автор Баженов і його колеги обговорюють, як біологічні моделі можуть допомогти пом’якшити загрозу катастрофічного забування в штучних нейронних мережах, підвищуючи їхню корисність у спектрі наукових інтересів.

Вчені використовували імпульсні нейронні мережі, які штучно імітують природні нейронні системи: замість того, щоб інформація передавалася постійно, вона передається у вигляді окремих подій (спайків) у певні моменти часу.

Вони виявили, що коли мережі, що викликають спалахи, тренувалися виконувати нове завдання, але з періодичними періодами офлайн, які імітували сон, катастрофічне забування було пом’якшене. Як і людський мозок, кажуть автори дослідження, «сон» для мереж дозволяв їм відтворювати старі спогади без явного використання старих тренувальних даних.

Спогади представлені в мозку людини шаблонами синаптичної ваги — силою або амплітудою зв’язку між двома нейронами.

«Коли ми дізнаємося нову інформацію, — сказав Баженов, — нейрони спрацьовують у певному порядку, і це збільшує синапси між ними. Під час сну шаблони спалахів, засвоєні під час неспання, спонтанно повторюються. Це називається повторною активацією або відтворенням.

«Синаптична пластичність, здатність змінюватися або формуватися, все ще діє під час сну, і це може ще більше посилити синаптичні вагові моделі, які представляють пам’ять, допомагаючи запобігти забуттю або уможливити перенесення знань зі старих завдань на нові».

Коли Баженов і його колеги застосували цей підхід до штучних нейронних мереж, вони виявили, що це допомогло мережам уникнути катастрофічного забування.

«Це означало, що ці мережі можуть постійно навчатися, як люди чи тварини. Розуміння того, як людський мозок обробляє інформацію під час сну, може допомогти покращити пам’ять людей. Збільшення ритму сну може призвести до кращої пам’яті.

«В інших проектах ми використовуємо комп’ютерні моделі для розробки оптимальних стратегій застосування стимуляції під час сну, наприклад слухових тонів, які покращують ритми сну та покращують навчання. Це може бути особливо важливо, коли пам’ять неоптимальна, наприклад, коли пам’ять погіршується з віком або при деяких станах, таких як хвороба Альцгеймера».

Серед співавторів: Раян Голден і Жан Ерік Делануа, обидва з Каліфорнійського університету в Сан-Дієго; та Павел Санда, Інститут комп’ютерних наук Чеської академії наук.