인공 신경망은 전혀 학습하지 않고 시간을 보낼 때 더 잘 학습합니다.

캘리포니아 대학교 샌디에고 의과대학의 의학 교수이자 수면 연구자인 Maxim Bazhenov 박사는 “우리가 잠을 잘 때 뇌는 매우 바빠서 낮에 배운 것을 반복합니다.”라고 말했습니다. "수면은 기억을 재구성하고 가장 효율적인 방법으로 제시하는 데 도움이 됩니다."

이전에 출판된 연구에서 Bazhenov와 동료들은 수면이 어떻게 사물, 사람 또는 사건 사이의 임의적이거나 간접적인 연관을 기억하는 능력인 합리적인 기억을 구축하고 오래된 기억을 잊어버리지 않도록 보호하는지 보고했습니다.

인공 신경망은 인간 두뇌의 구조를 활용하여 기초 과학, 의학부터 금융, 소셜 미디어에 이르기까지 수많은 기술과 시스템을 개선합니다. 어떤 면에서는 계산 속도와 같은 초인적인 성능을 달성했지만 한 가지 핵심 측면에서 실패합니다. 인공 신경망이 순차적으로 학습할 때 새로운 정보가 이전 정보를 덮어쓰는데, 이를 재앙적 망각이라고 하는 현상입니다.

Bazhenov는 "반면 인간의 뇌는 지속적으로 학습하고 새로운 데이터를 기존 지식에 통합하며 일반적으로 기억 강화를 위해 수면 기간과 새로운 훈련을 병행할 때 가장 잘 학습합니다."라고 말했습니다.

18년 2022월 XNUMX일호에 글 쓰기 PLOS 전산 생물학, 수석 저자 Bazhenov와 동료들은 생물학적 모델이 인공 신경망에서 치명적인 망각의 위협을 완화하고 다양한 연구 관심 분야에서 유용성을 높이는 데 어떻게 도움이 될 수 있는지 논의합니다.

과학자들은 자연 신경 시스템을 인위적으로 모방하는 스파이킹 신경 네트워크를 사용했습니다. 즉, 정보가 지속적으로 전달되는 대신 특정 시점에 개별 이벤트(스파이크)로 전송됩니다.

그들은 스파이킹 네트워크가 새로운 작업에 대해 훈련을 받았을 때 가끔 수면을 흉내내는 오프라인 기간이 있을 때 치명적인 망각이 완화된다는 것을 발견했습니다. 연구 저자들은 인간의 뇌와 마찬가지로 네트워크의 "수면"을 통해 오래된 훈련 데이터를 명시적으로 사용하지 않고도 오래된 기억을 재생할 수 있다고 말했습니다.

기억은 인간의 뇌에서 시냅스 가중치(두 뉴런 사이 연결의 강도 또는 진폭) 패턴으로 표현됩니다.

Bazhenov는 "우리가 새로운 정보를 배울 때 뉴런은 특정한 순서로 활성화되고 이로 인해 뉴런 사이의 시냅스가 증가합니다."라고 Bazhenov는 말했습니다. 잠자는 동안 깨어 있는 동안 학습된 스파이크 패턴이 자연스럽게 반복됩니다. 이를 재활성화 또는 재생이라고 합니다.

"변경되거나 변형될 수 있는 능력인 시냅스 가소성은 수면 중에도 여전히 존재하며 기억을 나타내는 시냅스 가중치 패턴을 더욱 강화하여 잊어버리는 것을 방지하거나 이전 작업에서 새로운 작업으로 지식을 이전할 수 있도록 도와줍니다."

Bazhenov와 동료들은 이 접근 방식을 인공 신경망에 적용했을 때 네트워크가 치명적인 망각을 피하는 데 도움이 된다는 것을 발견했습니다.

“이것은 이러한 네트워크가 인간이나 동물처럼 지속적으로 학습할 수 있다는 것을 의미했습니다. 수면 중에 인간의 두뇌가 정보를 처리하는 방법을 이해하면 인간 피험자의 기억력을 높이는 데 도움이 될 수 있습니다. 수면 리듬을 강화하면 기억력이 향상될 수 있습니다.

“다른 프로젝트에서는 컴퓨터 모델을 사용하여 수면 리듬을 강화하고 학습을 향상시키는 청각 신호와 같이 수면 중에 자극을 적용하는 최적의 전략을 개발합니다. 이는 노화 또는 알츠하이머병과 같은 일부 상태에서 기억력이 감소하는 경우와 같이 기억력이 최적화되지 않은 경우에 특히 중요할 수 있습니다.”

공동 저자로는 UC San Diego의 Ryan Golden과 Jean Erik Delanois; Pavel Sanda, 체코 과학 아카데미 컴퓨터 과학 연구소.