人工神经网络在花时间完全不学习时会学得更好

“当我们睡觉时，大脑非常忙碌，重复我们白天学到的东西，”加州大学圣地亚哥分校医学院的医学教授兼睡眠研究员马克西姆·巴热诺夫博士说。 “睡眠有助于重组记忆并以最有效的方式呈现它们。”

在之前发表的研究中，巴热诺夫及其同事报道了睡眠如何建立理性记忆，即记住物体、人或事件之间任意或间接关联的能力，并防止忘记旧记忆。

人工神经网络利用人脑的架构来改进从基础科学和医学到金融和社交媒体的众多技术和系统。在某些方面，它们实现了超人的性能，例如计算速度，但它们在一个关键方面失败了：当人工神经网络顺序学习时，新信息会覆盖以前的信息，这种现象称为灾难性遗忘。

巴热诺夫说：“相比之下，人脑会不断学习，并将新数据融入现有知识中，而且当新训练与巩固记忆的睡眠时间交织在一起时，它通常学得最好。”

撰文于 18 年 2022 月 XNUMX 日号 PLOS 计算生物学， 资深作者 Bazhenov 及其同事讨论了生物模型如何帮助减轻人工神经网络中灾难性遗忘的威胁，从而提高其在一系列研究兴趣中的实用性。

科学家们使用人工模仿自然神经系统的尖峰神经网络：信息不是连续传达的，而是在某些时间点作为离散事件（尖峰）传输。

他们发现，当尖峰网络接受一项新任务的训练，但偶尔有模仿睡眠的离线时间时，灾难性遗忘就会减轻。研究作者表示，就像人脑一样，网络的“睡眠”使它们能够重播旧记忆，而无需明确使用旧训练数据。

人脑中的记忆通过突触权重模式（两个神经元之间连接的强度或幅度）来表示。

巴热诺夫说：“当我们学习新信息时，神经元会按照特定的顺序放电，这会增加它们之间的突触。在睡眠期间，我们在清醒状态下学到的尖峰模式会自发地重复。这称为重新激活或重播。

“突触可塑性，即改变或塑造的能力，在睡眠期间仍然存在，它可以进一步增强代表记忆的突触权重模式，有助于防止遗忘或实现知识从旧任务转移到新任务。”

当巴热诺夫和同事将这种方法应用于人工神经网络时，他们发现它有助于网络避免灾难性遗忘。

“这意味着这些网络可以像人类或动物一样不断学习。了解人脑在睡眠期间如何处理信息有助于增强人类受试者的记忆力。提高睡眠节奏可以提高记忆力。

“在其他项目中，我们使用计算机模型来开发在睡眠期间施加刺激的最佳策略，例如听觉音调，以增强睡眠节律并改善学习。 当记忆力不佳时，例如当记忆力因衰老而下降或在某些情况下（例如阿尔茨海默病）时，这一点可能尤其重要。”

合著者包括：Ryan Golden 和 Jean Erik Delanois，均来自加州大学圣地亚哥分校；和 Pavel Sanda，捷克科学院计算机科学研究所。