ההבנה כיצד המוח מארגן וניגש למידע מרחבי - היכן אנו נמצאים, מה נמצא מעבר לפינה, כיצד להגיע לשם - נותרה אתגר מעולה. התהליך כולל החזרת רשת שלמה של זיכרונות ונתונים מרחביים מאוחסנים מעשרות מיליארדי נוירונים, כל אחד מחובר לאלפי אחרים. מדעני מוח זיהו אלמנטים מרכזיים כגון תאי רשת, נוירונים שממפים מיקומים. אבל העמקה יותר תתגלה כבעייתית: זה לא כאילו חוקרים יכולים להסיר ולחקור פרוסות של חומר אפור אנושי כדי לראות כיצד זיכרונות מבוססי מיקום של תמונות, צלילים וריחות זורמים ומתחברים זה לזה.
בינה מלאכותית מציעה דרך נוספת פנימה. במשך שנים, מדעני מוח רתמו סוגים רבים של רשתות עצביות - המנועים המפעילים את רוב יישומי הלמידה העמוקה - למודל של ירי של נוירונים במוח. בעבודות אחרונות, חוקרים הראו שההיפוקמפוס, מבנה של המוח קריטי לזיכרון, הוא בעצם סוג מיוחד של רשת עצבית, המכונה שנאי, בתחפושת. המודל החדש שלהם עוקב אחר מידע מרחבי באופן המקביל לפעולה הפנימית של המוח. הם ראו הצלחה יוצאת דופן.
"העובדה שאנחנו יודעים שהמודלים האלה של המוח שקולים לשנאי פירושה שהמודלים שלנו מתפקדים הרבה יותר וקלים יותר לאימון", אמר ג'יימס וויטינגטון, מדען מוח קוגניטיבי שמחלק את זמנו בין אוניברסיטת סטנפורד והמעבדה של טים ברנס באוניברסיטת אוקספורד.
מחקרים של וויטינגטון ואחרים מרמזים ששנאים יכולים לשפר מאוד את יכולתם של מודלים של רשתות עצביות לחקות את סוגי החישובים המבוצעים על ידי תאי רשת וחלקים אחרים של המוח. מודלים כאלה יכולים לדחוף את ההבנה שלנו לגבי אופן הפעולה של רשתות עצביות מלאכותיות, וסביר אפילו יותר, כיצד מתבצעים חישובים במוח, אמר וויטינגטון.
"אנחנו לא מנסים ליצור מחדש את המוח," אמר דוד הא, מדען מחשבים ב-Google Brain שעובד גם על דגמי שנאים. "אבל האם אנחנו יכולים ליצור מנגנון שיכול לעשות את מה שהמוח עושה?"
רובוטריקים הופיעו לראשונה לפני חמש שנים כדרך חדשה עבור AI לעבד שפה. הם הרוטב הסודי באותן תוכניות משימות משפטים תופסות כותרות כמו ברט ו-GPT-3, שיכול ליצור מילות שיר משכנעות, לחבר סונטות שייקספיריות ולהתחזות לנציגי שירות לקוחות.
רובוטריקים עובדים באמצעות מנגנון שנקרא קשב עצמי, שבו כל קלט - מילה, פיקסל, מספר ברצף - מחובר תמיד לכל קלט אחר. (רשתות עצביות אחרות מחברות כניסות רק לכניסות מסוימות אחרות.) אבל בעוד ששנאים תוכננו למשימות שפה, מאז הם הצטיינו במשימות אחרות כמו סיווג תמונות - ועכשיו, מודלים של המוח.
בשנת 2020, קבוצה בראשות ספ הוכריטר, מדען מחשבים מאוניברסיטת יוהנס קפלר לינץ באוסטריה, השתמש בשנאי כדי לעצב מחדש מודל רב עוצמה וותיק של אחזור זיכרון שנקרא רשת הופפילד. הרשתות הללו, שהוצגו לראשונה לפני 40 שנה על ידי הפיזיקאי פרינסטון ג'ון הופפילד, עוקבות אחר כלל כללי: נוירונים פעילים בו זמנית בונים קשרים חזקים זה עם זה.
הוכרייטר ומשתפי הפעולה שלו, שציינו כי חוקרים חיפשו מודלים טובים יותר של אחזור זיכרון, ראו קשר בין האופן שבו רשתות הופפילד משחזרות זיכרונות לבין האופן שבו שנאים מבצעים תשומת לב. הם שדרגו את רשת הופפילד, ובעצם הפכו אותה לשנאי. השינוי הזה אפשר למודל לאחסן ולשחזר יותר זיכרונות בגלל קשרים יעילים יותר, אמר וויטינגטון. הופפילד עצמו, יחד עם דמיטרי קרוטוב במעבדת MIT-IBM Watson AI, הוכיחו שרשת הופפילד מבוססת שנאים היא סבירה מבחינה ביולוגית.
לאחר מכן, מוקדם יותר השנה, וויטינגטון ובהרנס עזרו לצבוט עוד יותר את הגישה של הוכריטר, ושינו את השנאי כך שבמקום להתייחס לזיכרונות כרצף ליניארי - כמו מחרוזת מילים במשפט - הוא קידד אותם כקואורדינטות במרחבים בעלי ממדים גבוהים יותר. ה"טוויסט", כפי שכינו זאת החוקרים, שיפר עוד יותר את ביצועי המודל במשימות של מדעי המוח. הם גם הראו שהמודל שווה ערך מתמטית למודלים של דפוסי ירי תאי הרשת שמדעני מוח רואים בסריקות fMRI.
"לתאי רשת יש סוג כזה של מבנה מרגש, יפה ורגיל, ועם דפוסים בולטים שספק אם יופיעו באקראי", אמר קאסוול בארי, מדען מוח מאוניברסיטת קולג' בלונדון. העבודה החדשה הראתה כיצד שנאים משכפלים בדיוק את אותם דפוסים שנצפו בהיפוקמפוס. "הם זיהו ששנאי יכול להבין היכן הוא מבוסס על מצבים קודמים וכיצד הוא מועבר, ובאופן המותאם למודלים מסורתיים של תאי רשת."
עבודות אחרונות אחרות מצביעות על כך ששנאים יכולים לקדם את ההבנה שלנו גם לגבי תפקודי מוח אחרים. בשנה שעברה, מרטין שרימפף, מדען מוח חישובי במכון הטכנולוגי של מסצ'וסטס, ניתח 43 מודלים שונים של רשתות עצביות כדי לראות כמה טוב הם חזו מדידות של פעילות עצבית אנושית כפי שדווחו על ידי fMRI ואלקטרוקורטיקוגרפיה. רובוטריקים, הוא מצא, הם הרשתות העצביות המובילות והמתקדמות ביותר, המנבאות כמעט את כל השונות שנמצאה בהדמיה.
והא, יחד עם מדען מחשבים עמית יוג'ין טאנג, תכנן לאחרונה מודל שיכול לשלוח בכוונה כמויות גדולות של נתונים דרך שנאי בצורה אקראית, לא מסודרת, המחקה את האופן שבו גוף האדם מעביר תצפיות חושיות למוח. השנאי שלהם, כמו המוח שלנו, יכול להתמודד בהצלחה עם זרימת מידע מופרעת.
"רשתות עצביות מחוברות בכבלים כדי לקבל קלט מסוים", אמר טאנג. אבל בחיים האמיתיים, מערכי נתונים משתנים לעתים קרובות במהירות, ולרוב ה-AI אין דרך להתאים. "רצינו להתנסות בארכיטקטורה שיכולה להסתגל מהר מאוד."
למרות סימני ההתקדמות הללו, ברנס רואה בשנאים רק צעד לקראת מודל מדויק של המוח - לא סוף המסע. "אני חייב להיות מדען מוח סקפטי כאן", אמר. "אני לא חושב ששנאים יהיו בסופו של דבר איך שאנחנו חושבים על שפה במוח, למשל, למרות שיש להם את המודל העדכני הטוב ביותר של משפטים."
"האם זה הבסיס היעיל ביותר לביצוע תחזיות לגבי היכן אני נמצא ומה אראה בהמשך? אם אני כנה, מוקדם מדי לדעת," אמר בארי.
גם שרמפף ציין שאפילו השנאים בעלי הביצועים הטובים ביותר הם מוגבלים, והם עובדים היטב עבור מילים וביטויים קצרים, למשל, אך לא עבור משימות שפה בקנה מידה גדול יותר כמו לספר סיפורים.
"התחושה שלי היא שהארכיטקטורה הזו, השנאי הזה, מכניסה אותך למרחב הנכון כדי להבין את מבנה המוח, וניתן לשפר אותה בעזרת אימון", אמר שרימפף. "זהו כיוון טוב, אבל התחום סופר מורכב".
