درک اینکه چگونه مغز اطلاعات مکانی را سازماندهی می کند و به آن دسترسی پیدا می کند - جایی که ما هستیم، آنچه در اطراف وجود دارد، چگونه به آنجا برسیم - یک چالش عالی باقی مانده است. این فرآیند شامل یادآوری یک شبکه کامل از حافظه ها و داده های فضایی ذخیره شده از ده ها میلیارد نورون است که هر کدام به هزاران نورون دیگر متصل هستند. عصب شناسان عناصر کلیدی مانند سلول های شبکه، نورون هایی که مکان ها را ترسیم می کنند. اما عمیق‌تر رفتن دشوار خواهد بود: اینطور نیست که محققان بتوانند برش‌هایی از ماده خاکستری انسان را حذف کرده و مطالعه کنند تا ببینند چگونه خاطرات مبتنی بر مکان از تصاویر، صداها و بوها جریان می‌یابند و به یکدیگر متصل می‌شوند.
هوش مصنوعی راه دیگری را ارائه می‌کند. برای سال‌ها، دانشمندان علوم اعصاب از انواع بسیاری از شبکه‌های عصبی - موتورهایی که اکثر برنامه‌های یادگیری عمیق را نیرو می‌دهند - برای مدل‌سازی شلیک نورون‌ها در مغز استفاده کرده‌اند. در کار اخیر، محققان نشان داده اند که هیپوکامپ، ساختاری از مغز که برای حافظه حیاتی است، اساساً نوع خاصی از شبکه عصبی است که به عنوان یک شبکه عصبی شناخته می شود. ترانسفورماتور، در لباس مبدل. مدل جدید آنها اطلاعات مکانی را به‌گونه‌ای ردیابی می‌کند که به موازات عملکرد درونی مغز است. آنها موفقیت چشمگیری دیده اند.
این واقعیت که ما می‌دانیم این مدل‌های مغز معادل ترانسفورماتور هستند به این معنی است که مدل‌های ما بسیار بهتر عمل می‌کنند و آموزش آنها آسان‌تر است. جیمز ویتینگتون، یک عصب شناس شناختی که زمان خود را بین دانشگاه استنفورد و آزمایشگاه تقسیم می کند تیم بهرنز در دانشگاه آکسفورد
مطالعات انجام شده توسط Whittington و دیگران نشان می دهد که ترانسفورماتورها می توانند توانایی مدل های شبکه عصبی را برای تقلید از انواع محاسبات انجام شده توسط سلول های شبکه و سایر بخش های مغز بهبود بخشند. ویتینگتون گفت، چنین مدل‌هایی می‌توانند درک ما را از نحوه عملکرد شبکه‌های عصبی مصنوعی و به احتمال زیاد، نحوه انجام محاسبات در مغز تقویت کنند.
گفت: "ما در تلاش برای بازسازی مغز نیستیم." دیوید ها، یک دانشمند کامپیوتر در Google Brain که روی مدل های ترانسفورماتور نیز کار می کند. اما آیا می توانیم مکانیزمی ایجاد کنیم که بتواند کاری را که مغز انجام می دهد انجام دهد؟
ترانسفورماتورها برای اولین بار پنج سال پیش به عنوان روشی جدید برای پردازش زبان توسط هوش مصنوعی ظاهر شدند. آنها سس مخفی در برنامه های تکمیل جملات سرفصل مانند هستند برت و GPT-3، که می‌تواند متن آهنگ قانع‌کننده ایجاد کند، غزل‌های شکسپیر را بسازد و خود را به نمایندگی از خدمات مشتری جعل کند.
ترانسفورماتورها با استفاده از مکانیزمی به نام خود توجهی کار می کنند که در آن هر ورودی - یک کلمه، یک پیکسل، یک عدد در یک دنباله - همیشه به هر ورودی دیگر متصل است. (شبکه‌های عصبی دیگر ورودی‌ها را فقط به ورودی‌های دیگر متصل می‌کنند.) اما در حالی که ترانسفورماتورها برای کارهای زبانی طراحی شده‌اند، از آن زمان در کارهای دیگری مانند طبقه‌بندی تصاویر - و اکنون مدل‌سازی مغز، سرآمد بوده‌اند.
در سال 2020، گروهی به رهبری سپ هوکرایتریک دانشمند کامپیوتر در دانشگاه یوهانس کپلر لینز در اتریش، از یک ترانسفورماتور برای بازسازی یک مدل قدرتمند و طولانی مدت از بازیابی حافظه به نام شبکه هاپفیلد استفاده کرد. این شبکه ها برای اولین بار 40 سال پیش توسط جان هاپفیلد، فیزیکدان پرینستون معرفی شدند، از یک قانون کلی پیروی می کنند: نورون هایی که در همان زمان فعال هستند، ارتباطات قوی با یکدیگر ایجاد می کنند.
هوکرایتر و همکارانش با اشاره به اینکه محققان به دنبال مدل‌های بهتری برای بازیابی حافظه بوده‌اند، ارتباطی بین نحوه بازیابی حافظه‌ها توسط شبکه‌های هاپفیلد و نحوه عملکرد ترانسفورماتورها مشاهده کردند. آنها شبکه هاپفیلد را ارتقا دادند و اساساً آن را به یک ترانسفورماتور تبدیل کردند. ویتینگتون گفت که این تغییر به مدل اجازه داد تا خاطرات بیشتری را به دلیل اتصالات موثرتر ذخیره و بازیابی کند. خود هاپفیلد به همراه دیمیتری کروتوف در آزمایشگاه هوش مصنوعی واتسون MIT-IBM ثابت کردند که شبکه هاپفیلد مبتنی بر ترانسفورماتور از نظر بیولوژیکی قابل قبول است.
سپس، در اوایل سال جاری، ویتینگتون و بهرنز به تغییر بیشتر رویکرد هوکرایتر کمک کردند و ترانسفورماتور را طوری اصلاح کردند که به جای اینکه خاطرات را به عنوان یک دنباله خطی تلقی کند - مانند رشته ای از کلمات در یک جمله - آنها را به عنوان مختصاتی در فضاهای با ابعاد بالاتر رمزگذاری کرد. آن «پیچش»، همانطور که محققان آن را نامیدند، عملکرد مدل را در وظایف علوم اعصاب بیشتر بهبود بخشید. آنها همچنین نشان دادند که این مدل از نظر ریاضی معادل مدل‌های الگوهای شلیک سلول شبکه‌ای است که عصب‌شناسان در اسکن‌های fMRI مشاهده می‌کنند.
کاسول بری، عصب‌شناس در دانشگاه کالج لندن، می‌گوید: «سلول‌های شبکه‌ای این نوع ساختار هیجان‌انگیز، زیبا، منظم و با الگوهای خیره‌کننده‌ای دارند که بعید است به‌طور تصادفی ظاهر شوند. کار جدید نشان داد که چگونه ترانسفورماتورها دقیقاً همان الگوهای مشاهده شده در هیپوکامپ را تکرار می کنند. آنها متوجه شدند که یک ترانسفورماتور می تواند بفهمد که بر اساس حالت های قبلی کجاست و چگونه حرکت می کند، و به روشی که در مدل های سنتی سلول های شبکه کلید می خورد.
کار اخیر دیگر نشان می دهد که ترانسفورماتورها می توانند درک ما را از سایر عملکردهای مغز نیز ارتقا دهند. سال گذشته، مارتین شریمپ، عصب شناس محاسباتی در موسسه فناوری ماساچوست، 43 مدل شبکه عصبی مختلف را تجزیه و تحلیل کرد برای اینکه ببینند آنها چقدر اندازه‌گیری‌های فعالیت عصبی انسان را که توسط fMRI و الکتروکورتیکوگرافی گزارش شده بود، پیش‌بینی کردند. او دریافت که ترانسفورماتورها شبکه های عصبی پیشرو و پیشرفته فعلی هستند که تقریباً تمام تغییرات موجود در تصویربرداری را پیش بینی می کنند.
و ها، همراه با دانشمند کامپیوتر یوجین تانگ، اخیراً مدلی طراحی کرده است که می تواند عمداً مقادیر زیادی داده را از طریق یک ترانسفورماتور به روشی تصادفی و نامرتب ارسال کند و تقلید کند که چگونه بدن انسان مشاهدات حسی را به مغز منتقل می کند. ترانسفورماتور آنها، مانند مغز ما، می تواند با موفقیت یک جریان نامنظم اطلاعات را مدیریت کند.
تانگ می‌گوید: «شبکه‌های عصبی برای پذیرش یک ورودی خاص به سختی متصل می‌شوند. اما در زندگی واقعی، مجموعه داده ها اغلب به سرعت تغییر می کنند و بیشتر هوش مصنوعی هیچ راهی برای تنظیم ندارند. ما می‌خواستیم معماری‌ای را آزمایش کنیم که بتواند خیلی سریع با آن سازگار شود.»
علی‌رغم این نشانه‌های پیشرفت، Behrens ترانسفورماتورها را تنها گامی به سوی مدل دقیق مغز می‌داند - نه پایان کار. او گفت: "من باید در اینجا یک عصب شناس بدبین باشم." من فکر نمی‌کنم که ترانسفورماتورها در نهایت همان چیزی باشند که ما در مورد زبان در مغز فکر می‌کنیم، حتی اگر بهترین مدل جملات فعلی را داشته باشند.»
«آیا این کارآمدترین مبنای برای پیش‌بینی در مورد اینکه کجا هستم و آنچه در آینده خواهم دید، این است؟ اگر صادقانه بگویم، برای گفتن خیلی زود است.»
شریمف همچنین خاطرنشان کرد که حتی ترانسفورماتورهای با بهترین عملکرد نیز محدود هستند، به عنوان مثال برای کلمات و عبارات کوتاه به خوبی کار می کنند، اما برای کارهای زبانی در مقیاس بزرگتر مانند داستان گفتن کار نمی کنند.
شریمپف گفت: "احساس من این است که این معماری، این ترانسفورماتور، شما را در فضای مناسب برای درک ساختار مغز قرار می دهد و می تواند با آموزش بهبود یابد." "این یک مسیر خوب است، اما این زمینه بسیار پیچیده است."
