人工ニューラル ネットワークは、まったく学習しない時間を費やすと、よりよく学習します

「私たちが眠っているとき、脳は非常に忙しく、日中に学んだことを繰り返しています」とカリフォルニア大学サンディエゴ医学部の医学教授で睡眠研究者のマキシム・バジェノフ博士は言う。 「睡眠は記憶を再編成し、最も効率的な方法で記憶を提示するのに役立ちます。」

以前に出版された研究で、バジェノフらは、睡眠がどのように合理的記憶、つまり物体、人、出来事の間の任意または間接的な関連性を記憶する能力を構築し、古い記憶を忘れないようにする方法を報告している。

人工ニューラル ネットワークは、人間の脳のアーキテクチャを活用して、基礎科学や医学から金融やソーシャル メディアに至るまで、数多くのテクノロジーやシステムを改善します。ある意味では、計算速度などの超人的なパフォーマンスを達成しましたが、重要な点で失敗しています。それは、人工ニューラル ネットワークが逐次的に学習すると、新しい情報が以前の情報を上書きするという、壊滅的な忘却と呼ばれる現象です。

「対照的に、人間の脳は継続的に学習し、新しいデータを既存の知識に組み込んでいきます。通常、記憶を定着させるために新しいトレーニングを睡眠時間に挟むと、最も効果的に学習できます。」とバジェノフ氏は述べています。

』18年2022月XNUMX日号に執筆 PLOS計算生物学、 主著者のバジェノフ氏らは、生物学的モデルが人工ニューラルネットワークにおける壊滅的な忘却の脅威を軽減し、研究対象の範囲全体でその有用性を高めるのにどのように役立つのかについて議論します。

科学者らは、自然のニューラル システムを人工的に模倣するスパイク ニューラル ネットワークを使用しました。つまり、情報は継続的に伝達されるのではなく、特定の時点で離散的なイベント (スパイク) として伝達されます。

研究者らは、スパイキングネットワークを新しいタスクで訓練し、睡眠を模倣したオフライン期間を時折設けると、壊滅的な物忘れが軽減されることを発見した。研究著者らによれば、人間の脳と同様に、ネットワークも「スリープ」することで、古いトレーニングデータを明示的に使用せずに古い記憶を再生できるようになったという。

人間の脳では、記憶はシナプスの重み、つまり 2 つのニューロン間の接続の強さまたは振幅のパターンによって表されます。

「新しい情報を学ぶと、ニューロンが特定の順序で発火し、ニューロン間のシナプスが増加します」とバジェノフ氏は述べた。睡眠中、起きているときに学習したスパイク パターンが自発的に繰り返されます。それは再アクティブ化またはリプレイと呼ばれます。

「変化または形成される能力であるシナプス可塑性は、睡眠中も維持されており、記憶を表すシナプスの重みパターンをさらに強化し、忘れを防止したり、古いタスクから新しいタスクへの知識の伝達を可能にすることができます。」

Bazhenov らはこのアプローチを人工ニューラル ネットワークに適用したところ、ネットワークが壊滅的な忘却を避けるのに役立つことがわかりました。

「これは、これらのネットワークが人間や動物と同じように継続的に学習できることを意味します。人間の脳が睡眠中にどのように情報を処理するかを理解することは、被験者の記憶力を増強するのに役立ちます。睡眠リズムを改善すると、記憶力が向上します。

「他のプロジェクトでは、コンピュータ モデルを使用して、睡眠リズムを強化し、学習を改善する聴覚音などの睡眠中に刺激を与えるための最適な戦略を開発しています。 これは、加齢やアルツハイマー病などの病気で記憶力が低下する場合など、記憶力が最適でない場合に特に重要になる可能性があります。」

共著者には、Ryan Golden 氏と Jean Erik Delanois 氏、どちらもカリフォルニア大学サンディエゴ校、とチェコ科学アカデミーのコンピューターサイエンス研究所の Pavel Sanda 氏。