شبکه‌های عصبی مصنوعی زمانی بهتر یاد می‌گیرند که زمانی را صرف یادگیری نکنند

ماکسیم باژنوف، دکترای پزشکی، استاد پزشکی و محقق خواب در دانشکده پزشکی سن دیگو دانشگاه کالیفرنیا، گفت: «مغز هنگام خواب بسیار مشغول است و آنچه را که در طول روز آموخته‌ایم تکرار می‌کند. "خواب به سازماندهی مجدد خاطرات کمک می کند و آنها را به کارآمدترین راه نشان می دهد."

در کارهای منتشر شده قبلی، باژنوف و همکارانش گزارش کرده‌اند که چگونه خواب باعث ایجاد حافظه منطقی، توانایی به خاطر سپردن ارتباط‌های خودسرانه یا غیرمستقیم بین اشیا، افراد یا رویدادها می‌شود و از فراموش کردن خاطرات قدیمی محافظت می‌کند.

شبکه‌های عصبی مصنوعی از معماری مغز انسان برای بهبود فناوری‌ها و سیستم‌های متعدد، از علوم پایه و پزشکی گرفته تا امور مالی و رسانه‌های اجتماعی استفاده می‌کنند. از برخی جهات، آنها به عملکرد مافوق بشری، مانند سرعت محاسباتی دست یافته‌اند، اما در یک جنبه کلیدی شکست می‌خورند: وقتی شبکه‌های عصبی مصنوعی به‌طور متوالی یاد می‌گیرند، اطلاعات جدید اطلاعات قبلی را بازنویسی می‌کنند، پدیده‌ای که فراموشی فاجعه‌بار نامیده می‌شود.

باژنوف گفت: «در مقابل، مغز انسان به طور مداوم یاد می‌گیرد و داده‌های جدید را در دانش موجود گنجانده است، و معمولاً زمانی بهترین یادگیری را می‌گیرد که تمرینات جدید با دوره‌های خواب برای تثبیت حافظه ترکیب شود.»

در حال نوشتن در شماره 18 نوامبر 2022 زیست شناسی محاسباتی PLOS، نویسنده ارشد Bazhenov و همکارانش در مورد اینکه چگونه مدل‌های بیولوژیکی ممکن است به کاهش خطر فراموشی فاجعه‌آمیز در شبکه‌های عصبی مصنوعی کمک کنند و کاربرد آنها را در طیفی از علایق تحقیقاتی افزایش دهند، بحث می‌کنند.

دانشمندان از شبکه‌های عصبی spiking استفاده کردند که به‌طور مصنوعی سیستم‌های عصبی طبیعی را تقلید می‌کنند: به‌جای اینکه اطلاعات به‌طور مداوم ارتباط برقرار کنند، به‌صورت رویدادهای گسسته (خوشه‌ها) در مقاطع زمانی خاص منتقل می‌شوند.

آنها دریافتند که وقتی شبکه‌های spiking برای یک کار جدید آموزش داده می‌شوند، اما با دوره‌های گاه به گاه خارج از خط که شبیه خواب است، فراموشی فاجعه‌بار کاهش می‌یابد. به گفته نویسندگان این مطالعه، مانند مغز انسان، «خواب» برای شبکه‌ها به آن‌ها اجازه می‌دهد تا خاطرات قدیمی را بدون استفاده صریح از داده‌های آموزشی قدیمی پخش کنند.

خاطرات در مغز انسان با الگوهای وزن سیناپسی - قدرت یا دامنه ارتباط بین دو نورون - نشان داده می شوند.

باژنوف گفت: "وقتی اطلاعات جدیدی یاد می گیریم، نورون ها به ترتیب خاصی شلیک می کنند و این باعث افزایش سیناپس ها بین آنها می شود. در طول خواب، الگوهای نوک تیز آموخته شده در حالت بیداری ما به طور خود به خود تکرار می شوند. به آن فعال سازی مجدد یا پخش مجدد می گویند.

پلاستیسیته سیناپسی، ظرفیت تغییر یا قالب‌گیری، هنوز در طول خواب وجود دارد و می‌تواند الگوهای وزن سیناپسی را که نشان‌دهنده حافظه هستند، افزایش دهد و به جلوگیری از فراموشی یا انتقال دانش از کارهای قدیمی به کارهای جدید کمک کند.

وقتی باژنوف و همکارانش این رویکرد را برای شبکه‌های عصبی مصنوعی به کار بردند، دریافتند که به شبکه‌ها کمک می‌کند از فراموشی فاجعه‌بار جلوگیری کنند.

«به این معنی بود که این شبکه‌ها می‌توانستند به طور مداوم یاد بگیرند، مانند انسان‌ها یا حیوانات. درک اینکه چگونه مغز انسان اطلاعات را در طول خواب پردازش می کند می تواند به تقویت حافظه در افراد انسانی کمک کند. افزایش ریتم خواب می تواند به حافظه بهتر منجر شود.

در پروژه‌های دیگر، ما از مدل‌های رایانه‌ای برای توسعه استراتژی‌های بهینه برای اعمال تحریک در طول خواب، مانند صداهای شنیداری، استفاده می‌کنیم که ریتم خواب را افزایش داده و یادگیری را بهبود می‌بخشد. این ممکن است به ویژه در مواردی که حافظه بهینه نیست، مانند زمانی که حافظه در پیری کاهش می‌یابد یا در برخی شرایط مانند بیماری آلزایمر، مهم باشد.

نویسندگان مشترک عبارتند از: رایان گلدن و ژان اریک دلانوا، هر دو در UC San Diego. و پاول ساندا، موسسه علوم کامپیوتر آکادمی علوم چک.