Mạng lưới thần kinh nhân tạo học tốt hơn khi chúng dành thời gian không học gì cả

Maxim Bazhenov, Tiến sĩ, giáo sư y khoa và là nhà nghiên cứu về giấc ngủ tại Trường Y thuộc Đại học California San Diego, cho biết: “Bộ não rất bận rộn khi chúng ta ngủ, lặp lại những gì chúng ta đã học trong ngày. “Giấc ngủ giúp sắp xếp lại ký ức và trình bày chúng theo cách hiệu quả nhất.”

Trong công trình được xuất bản trước đây, Bazhenov và các đồng nghiệp đã báo cáo cách giấc ngủ xây dựng trí nhớ hợp lý, khả năng ghi nhớ các mối liên hệ tùy ý hoặc gián tiếp giữa các đồ vật, con người hoặc sự kiện và bảo vệ khỏi việc quên đi những ký ức cũ.

Mạng lưới thần kinh nhân tạo tận dụng kiến ​​trúc của bộ não con người để cải thiện nhiều công nghệ và hệ thống, từ khoa học cơ bản và y học đến tài chính và truyền thông xã hội. Ở một khía cạnh nào đó, chúng đã đạt được hiệu suất siêu phàm, chẳng hạn như tốc độ tính toán, nhưng chúng thất bại ở một khía cạnh quan trọng: Khi mạng lưới thần kinh nhân tạo học theo tuần tự, thông tin mới sẽ ghi đè lên thông tin trước đó, một hiện tượng gọi là sự lãng quên thảm khốc.

Bazhenov cho biết: “Ngược lại, bộ não con người học liên tục và kết hợp dữ liệu mới vào kiến ​​thức hiện có, và nó thường học tốt nhất khi quá trình đào tạo mới xen kẽ với thời gian ngủ để củng cố trí nhớ”.

Viết trên số ra ngày 18 tháng 2022 năm XNUMX của tạp chí Sinh học tính toán PLOS, tác giả cấp cao Bazhenov và các đồng nghiệp thảo luận về cách các mô hình sinh học có thể giúp giảm thiểu mối đe dọa của sự quên lãng thảm khốc trong mạng lưới thần kinh nhân tạo, nâng cao tiện ích của chúng trên nhiều lợi ích nghiên cứu.

Các nhà khoa học đã sử dụng mạng nơ-ron hình gai bắt chước một cách nhân tạo các hệ thống thần kinh tự nhiên: Thay vì thông tin được truyền liên tục, nó được truyền dưới dạng các sự kiện riêng biệt (gai) tại một số thời điểm nhất định.

Họ phát hiện ra rằng khi các mạng tăng đột biến được huấn luyện về một nhiệm vụ mới, nhưng thỉnh thoảng có những khoảng thời gian ngoại tuyến bắt chước giấc ngủ, thì sự quên lãng nghiêm trọng đã được giảm thiểu. Các tác giả nghiên cứu cho biết, giống như bộ não con người, mạng “ngủ” cho phép chúng phát lại những ký ức cũ mà không cần sử dụng dữ liệu huấn luyện cũ một cách rõ ràng.

Ký ức được thể hiện trong não người bằng các mô hình trọng lượng khớp thần kinh - cường độ hoặc biên độ của sự kết nối giữa hai tế bào thần kinh.

Bazhenov cho biết: “Khi chúng ta tìm hiểu thông tin mới, các tế bào thần kinh hoạt động theo thứ tự cụ thể và điều này làm tăng các khớp thần kinh giữa chúng. Trong khi ngủ, các mô hình tăng vọt học được trong trạng thái thức của chúng ta được lặp lại một cách tự nhiên. Nó được gọi là kích hoạt lại hoặc phát lại.

“Tính dẻo của khớp thần kinh, khả năng bị thay đổi hoặc uốn nắn, vẫn còn trong khi ngủ và nó có thể tăng cường hơn nữa các mô hình trọng lượng của khớp thần kinh đại diện cho trí nhớ, giúp ngăn ngừa sự lãng quên hoặc cho phép chuyển kiến ​​thức từ nhiệm vụ cũ sang nhiệm vụ mới.”

Khi Bazhenov và các đồng nghiệp áp dụng phương pháp này vào mạng nơ-ron nhân tạo, họ nhận thấy rằng nó giúp mạng tránh được thảm họa quên lãng.

“Điều đó có nghĩa là những mạng này có thể học hỏi liên tục, giống như con người hoặc động vật. Hiểu cách bộ não con người xử lý thông tin trong khi ngủ có thể giúp tăng cường trí nhớ ở con người. Tăng cường nhịp điệu giấc ngủ có thể dẫn đến trí nhớ tốt hơn.

“Trong các dự án khác, chúng tôi sử dụng các mô hình máy tính để phát triển các chiến lược tối ưu nhằm áp dụng kích thích trong khi ngủ, chẳng hạn như âm thanh thính giác, giúp tăng cường nhịp điệu giấc ngủ và cải thiện khả năng học tập. Điều này có thể đặc biệt quan trọng khi trí nhớ không ở trạng thái tối ưu, chẳng hạn như khi trí nhớ suy giảm khi về già hoặc trong một số tình trạng như bệnh Alzheimer.”

Các đồng tác giả bao gồm: Ryan Golden và Jean Erik Delanois, cả hai đều tại UC San Diego; và Pavel Sanda, Viện Khoa học Máy tính thuộc Viện Hàn lâm Khoa học Séc.