כבר עשור, רבות ממערכות הבינה המלאכותית המרשימות ביותר נלמדות באמצעות מלאי עצום של נתונים מסומנים. תמונה עשויה להיות מתויגת "חתול טאבי" או "חתול נמר", למשל, כדי "לאמן" רשת עצבית מלאכותית להבחין נכון בין טאבי לנמר. האסטרטגיה הייתה מוצלחת להפליא וגם לקויה עד כדי כך.
הכשרה "מפוקחת" כזו דורשת נתונים מסומנים בעמל על ידי בני אדם, והרשתות הנוירוניות נוקטות לעתים קרובות קיצורי דרך, ולומדות לשייך את התוויות למידע מינימלי ולעתים שטחי. לדוגמה, רשת עצבית עשויה להשתמש בנוכחות של דשא כדי לזהות תמונה של פרה, מכיוון שפרות מצולמים בדרך כלל בשדות.
"אנחנו מגדלים דור של אלגוריתמים שהם כמו תואר ראשון [ש] לא הגיעו לכיתה כל הסמסטר ואז בלילה שלפני הגמר, הם דוחסים", אמר אלכסיי אפרוס, מדען מחשבים באוניברסיטת קליפורניה, ברקלי. "הם לא באמת לומדים את החומר, אבל הם מצליחים היטב במבחן."
עבור חוקרים המעוניינים בהצטלבות של אינטליגנציה של בעלי חיים ומכונות, יתר על כן, "למידה מפוקחת" זו עשויה להיות מוגבלת במה שהיא יכולה לחשוף על מוחות ביולוגיים. בעלי חיים - כולל בני אדם - לא משתמשים במערכי נתונים מסומנים כדי ללמוד. לרוב, הם חוקרים את הסביבה בעצמם, ובכך הם זוכים להבנה עשירה וחזקה של העולם.
כעת, כמה מדעני מוח חישוביים החלו לחקור רשתות עצביות שהוכשרו עם נתונים מועטים או ללא נתונים מסומנים על ידי אדם. אלגוריתמים אלה של "למידה בפיקוח עצמי" הוכיחו את עצמם כמוצלחים מאוד דוגמנות שפה אנושית ולאחרונה, זיהוי תמונה. בעבודה האחרונה, מודלים חישוביים של מערכות הראייה והשמיעה של יונקים שנבנו באמצעות מודלים של למידה בפיקוח עצמי הראו התאמה קרובה יותר לתפקוד המוח מאשר עמיתיהם הלומדים בפיקוח. לכמה מדעני מוח, נראה כאילו הרשתות המלאכותיות מתחילות לחשוף כמה מהשיטות האמיתיות שהמוח שלנו משתמש בהן כדי ללמוד.
פיקוח לקוי
מודלים מוחיים בהשראת רשתות עצבים מלאכותיות הגיעו לבגרות לפני כעשר שנים, בערך באותו זמן שרשת עצבים בשם אלכסנט חוללה מהפכה במשימה של סיווג תמונות לא ידועות. רשת זו, כמו כל הרשתות העצביות, הייתה עשויה משכבות של נוירונים מלאכותיים, יחידות חישוביות היוצרות קשרים זו לזו שיכולים להשתנות בחוזק, או ב"משקל". אם רשת עצבית לא מצליחה לסווג תמונה בצורה נכונה, אלגוריתם הלמידה מעדכן את משקלי הקשרים בין הנוירונים כדי להפחית את הסיכוי לסיווג השגוי הזה בסבב האימון הבא. האלגוריתם חוזר על תהליך זה פעמים רבות עם כל תמונות האימון, מכוון משקלים, עד ששיעור השגיאות של הרשת נמוך באופן מקובל.
בערך באותו זמן, מדעני מוח פיתחו את המודלים החישוביים הראשונים של מערכת הראייה של הפרימטים, באמצעות רשתות עצביות כמו AlexNet וממשיכיה. האיחוד נראה מבטיח: כאשר הראו לקופים ורשתות עצבים מלאכותיות אותן תמונות, למשל, הפעילות של הנוירונים האמיתיים והנוירונים המלאכותיים הראתה התכתבות מסקרנת. מודלים מלאכותיים של זיהוי שמיעה וריחות הגיעו בעקבותיהם.
אבל ככל שהתחום התקדם, החוקרים הבינו את המגבלות של הכשרה בפיקוח. לדוגמה, בשנת 2017, לאון גאטיס, מדען מחשבים דאז באוניברסיטת טובינגן בגרמניה, ועמיתיו צילמו תמונה של פורד דגם T, ואז הציבו תבנית עור נמר על פני התמונה, ויצרו תמונה מוזרה אך ניתנת לזיהוי בקלות. . רשת עצבים מלאכותית מובילה סיווגה נכון את התמונה המקורית כדגם T, אך ראתה את התמונה שהשתנתה כנמר. הוא התקבע על המרקם ולא הבין את הצורה של מכונית (או נמר, לצורך העניין).
אסטרטגיות למידה בפיקוח עצמי נועדו למנוע בעיות כאלה. בגישה זו, בני אדם אינם מתייגים את הנתונים. במקום זאת, "התוויות מגיעות מהנתונים עצמם", אמר פרידמן זנקה, מדען מוח חישובי במכון פרידריך מישר למחקר ביו-רפואי בבאזל, שוויץ. אלגוריתמים בפיקוח עצמי יוצרים בעצם פערים בנתונים ומבקשים מהרשת העצבית למלא את החסר. במודל שפה כביכול גדול, למשל, אלגוריתם האימון יראה לרשת העצבית את המילים הראשונות של משפט ויבקש ממנה לחזות את המילה הבאה. כאשר מאומן עם קורפוס עצום של טקסט שליקט מהאינטרנט, המודל נראה לומד המבנה התחבירי של השפה, המפגין יכולת לשונית מרשימה - הכל ללא תוויות חיצוניות או פיקוח.
מאמץ דומה מתנהל בראייה ממוחשבת. בסוף 2021, קיימינג הוא ועמיתים חשפו את "מקודד אוטומטי במסכה", אשר בונה על א טכניקה חלוץ על ידי הצוות של Efros בשנת 2016. אלגוריתם הלמידה בפיקוח עצמי מסווה תמונות באופן אקראי, ומטשטש כמעט שלושה רבעים מכל אחת. המקודד האוטומטי המסווה הופך את החלקים הבלתי מוסווים לייצוגים סמויים - תיאורים מתמטיים דחוסים המכילים מידע חשוב על אובייקט. (במקרה של תמונה, הייצוג הסמוי עשוי להיות תיאור מתמטי הלוכד, בין היתר, את הצורה של אובייקט בתמונה.) לאחר מכן מפענח ממיר את הייצוגים הללו בחזרה לתמונות מלאות.
אלגוריתם הלמידה בפיקוח עצמי מאמן את שילוב המקודד-מפענח להפוך תמונות מסכות לגרסאות המלאות שלהן. כל הבדל בין התמונות האמיתיות לאלו המשוחזרות מוחזר למערכת כדי לעזור לה ללמוד. תהליך זה חוזר על עצמו עבור קבוצה של תמונות אימון עד ששיעור השגיאות של המערכת נמוך במידה מתאימה. בדוגמה אחת, כאשר מקודד אוטומטי רעול פנים מאומן הוצגה תמונה שלא נראתה בעבר של אוטובוס שכמעט 80% ממנו מעורפל, המערכת שיחזרה בהצלחה את מבנה האוטובוס.
"זו תוצאה מאוד מאוד מרשימה", אמר אפרוס.
נראה שהייצוגים הסמויים שנוצרו במערכת כמו זו מכילים מידע עמוק יותר ממה שאסטרטגיות קודמות יכולות לכלול. המערכת עשויה ללמוד את הצורה של מכונית, למשל - או נמר - ולא רק את הדפוסים שלהם. "וזה באמת הרעיון הבסיסי של למידה בפיקוח עצמי - אתה בונה את הידע שלך מלמטה למעלה", אמר אפרוס. אין דחיסה של הרגע האחרון כדי לעבור מבחנים.
מוחות בפיקוח עצמי
במערכות כגון זו, כמה מדעני מוח רואים הדים לאופן שבו אנו לומדים. "אני חושב שאין ספק ש-90% ממה שהמוח עושה הוא למידה בפיקוח עצמי", אמר בלייק ריצ'רדס, מדען מוח חישובי באוניברסיטת מקגיל ובמילה, המכון לבינה מלאכותית של קוויבק. חושבים שמוחות ביולוגיים מנבאים ללא הרף, למשל, את מיקומו העתידי של אובייקט בזמן שהוא נע, או את המילה הבאה במשפט, בדיוק כפי שאלגוריתם למידה בפיקוח עצמי מנסה לחזות את הפער בתמונה או בקטע של טקסט. וגם מוחות לומדים מהטעויות שלהם בעצמם - רק חלק קטן מהמשוב של המוח שלנו מגיע ממקור חיצוני שאומר, בעצם, "תשובה שגויה".
לדוגמה, קחו בחשבון את מערכות הראייה של בני אדם ופרימטים אחרים. אלו הן השיטות הנחקרות ביותר מבין כל מערכות החישה של בעלי חיים, אך מדעני מוח נאבקו להסביר מדוע הן כוללות שני מסלולים נפרדים: זרם הראייה הגחון, שאחראי על זיהוי עצמים ופנים, וזרם הראייה הגבי, המעבד תנועה (ה" מה" ו"איפה", בהתאמה).
ריצ'רדס והצוות שלו יצרו מודל בפיקוח עצמי שרומז על תשובה. הֵם מְאוּמָן AI ששילב שתי רשתות עצביות שונות: הראשונה, שנקראת ארכיטקטורת ResNet, תוכננה לעיבוד תמונות; השנייה, המכונה רשת חוזרת, יכולה לעקוב אחר רצף של קלטות קודמות כדי לבצע תחזיות לגבי הקלט הצפוי הבא. כדי לאמן את הבינה המלאכותית המשולבת, הצוות התחיל עם רצף של, למשל, 10 פריימים מתוך סרטון ונתן ל-ResNet לעבד אותם אחד אחד. הרשת החוזרת אז חזתה את הייצוג הסמוי של המסגרת ה-11, תוך שהיא לא מתאימה רק ל-10 הפריימים הראשונים. אלגוריתם הלמידה בפיקוח עצמי השווה את החיזוי לערך בפועל והורה לרשתות העצבים לעדכן את משקלן כדי לשפר את החיזוי.
הצוות של ריצ'רדס גילה שבינה מלאכותית מאומנת עם ResNet אחת טובה בזיהוי אובייקטים, אבל לא בקטגוריית תנועה. אבל כאשר הם פיצלו את ResNet הבודד לשניים, ויצרו שני מסלולים (מבלי לשנות את המספר הכולל של נוירונים), ה-AI פיתח ייצוגים לאובייקטים באחד ולתנועה באחר, מה שאיפשר סיווג במורד הזרם של המאפיינים הללו - בדיוק כפי שהמוח שלנו כנראה לַעֲשׂוֹת.
כדי לבחון את הבינה המלאכותית עוד יותר, הצוות הראה לה קבוצה של סרטונים שחוקרים ממכון אלן למדעי המוח בסיאטל הראו בעבר לעכברים. כמו לפרימטים, לעכברים יש אזורי מוח המתמחים לתמונות סטטיות ולתנועה. חוקרי אלן תיעדו את הפעילות העצבית בקליפת המוח החזותית של העכבר בזמן שהחיות צפו בסרטונים.
גם כאן הצוות של ריצ'רדס מצא קווי דמיון באופן שבו הגיבו הבינה המלאכותית והמוח החי לסרטונים. במהלך האימון, אחד המסלולים ברשת העצבים המלאכותית הפך דומה יותר לאזורי הגחון המזהים אובייקטים של מוחו של העכבר, והמסלול השני הפך דומה לאזורי הגב הממוקדים בתנועה.
התוצאות מצביעות על כך שלמערכת הראייה שלנו יש שני מסלולים מיוחדים מכיוון שהם עוזרים לחזות את העתיד החזותי, אמר ריצ'רדס; מסלול אחד אינו מספיק טוב.
מודלים של מערכת השמיעה האנושית מספרים סיפור דומה. ביוני, צוות בראשות ז'אן רמי קינג, מדען מחקר ב-Meta AI, אימן בינה מלאכותית בשם Wav2Vec 2.0, המשתמשת ברשת עצבית כדי להפוך אודיו לייצוגים סמויים. החוקרים מסווים חלק מהייצוגים הללו, אשר ניזונים לאחר מכן לרשת עצבית נוספת הנקראת שנאי. במהלך האימון, השנאי חוזה את המידע המסווה. בתהליך ה-AI כולו לומד להפוך צלילים לייצוגים סמויים - שוב, אין צורך בתוויות. הצוות השתמש בכ-600 שעות של נתוני דיבור כדי לאמן את הרשת, "שזה בערך מה שילד יקבל בשנתיים הראשונות של ניסיון", אמר קינג.
לאחר שהמערכת הוכשרה, החוקרים השמיעו לה קטעים של ספרי שמע באנגלית, צרפתית ומנדרינית. לאחר מכן השוו החוקרים את הביצועים של הבינה המלאכותית מול נתונים של 412 אנשים - שילוב של דוברי שפת אם של שלוש השפות שהאזינו לאותן קטעי אודיו בזמן שהמוח שלהם צולם בסורק fMRI. קינג אמר כי הרשת העצבית שלו והמוח האנושי, למרות תמונות fMRI רועשות וברזולוציה נמוכה, "לא רק מתואמים זה עם זה, אלא הם מתואמים בצורה שיטתית": הפעילות בשכבות המוקדמות של הבינה המלאכותית מתיישרת עם הפעילות. בקליפת השמיעה הראשונית, בעוד שהפעילות של השכבות העמוקות ביותר של הבינה המלאכותית מתיישרת עם הפעילות בשכבות הגבוהות יותר במוח, במקרה זה הקורטקס הפרה-פרונטלי. "זה באמת נתונים יפים," אמר ריצ'רדס. "זה לא חד משמעי, אבל [זו] עוד ראיה משכנעת המצביעה על כך שאכן, הדרך שבה אנו לומדים שפה היא במידה רבה על ידי ניסיון לחזות את הדברים הבאים שייאמרו."
פתולוגיות לא נרפאות
לא כולם משוכנעים. ג'וש מק'דרמוט, מדען מוח חישובי במכון הטכנולוגי של מסצ'וסטס, עבד על מודלים של ראייה ותפיסה שמיעתית תוך שימוש בלמידה מפוקחת וגם בפיקוח עצמי. המעבדה שלו עיצבה את מה שהוא מכנה "מטאמרים", אותות אודיו וחזותיים מסונתזים שבעיני אדם הם רק רעש בלתי ניתן לבירור. עם זאת, לרשת עצבית מלאכותית, מטאמרים נראים שלא ניתן להבחין בהם מאותות אמיתיים. זה מצביע על כך שהייצוגים שנוצרים בשכבות העמוקות של הרשת העצבית, אפילו עם למידה בפיקוח עצמי, אינם תואמים לייצוגים במוח שלנו. גישות למידה בפיקוח עצמי אלו "הן התקדמות במובן זה שאתה מסוגל ללמוד ייצוגים שיכולים לתמוך בהתנהגויות זיהוי רבות מבלי להזדקק לכל התוויות הללו", אמר מקדרמוט. "אבל עדיין יש להם הרבה מהפתולוגיות של דוגמניות בפיקוח."
גם האלגוריתמים עצמם צריכים יותר עבודה. לדוגמה, ב-Wav2Vec 2.0 של Meta AI, ה-AI חוזה ייצוגים סמויים רק עבור צליל בשווי של כמה עשרות אלפיות שניות - פחות זמן ממה שנדרש להשמיע רעש מובחן מבחינה תפיסתית, שלא לדבר על מילה. "יש הרבה דברים שצריך לעשות כדי לעשות משהו דומה למה שהמוח עושה", אמר קינג.
הבנה אמיתית של תפקוד המוח תדרוש יותר מאשר למידה בפיקוח עצמי. ראשית, המוח מלא בקשרי משוב, בעוד שלמודלים הנוכחיים יש מעט קשרים כאלה, אם בכלל. שלב הבא ברור יהיה להשתמש בלמידה בפיקוח עצמי כדי לאמן רשתות שחוזרות על עצמן - תהליך קשה - ולראות כיצד הפעילות ברשתות כאלה משתווה לפעילות מוחית אמיתית. הצעד המכריע הנוסף יהיה להתאים את הפעילות של נוירונים מלאכותיים במודלים של למידה בפיקוח עצמי לפעילות של נוירונים ביולוגיים בודדים. "אני מקווה שבעתיד, התוצאות [שלנו] יאושרו גם בהקלטות של תא בודד", אמר קינג.
אם קווי הדמיון הנצפים בין מוחות ומודלים של למידה בפיקוח עצמי מתקיימים עבור משימות חושיות אחרות, זו תהיה אינדיקציה חזקה עוד יותר לכך שכל הקסם שהמוח שלנו מסוגל לו דורש למידה בפיקוח עצמי בצורה כלשהי. "אם אנו מוצאים קווי דמיון שיטתיים בין מערכות שונות בתכלית, זה [יעיד] שאולי אין כל כך הרבה דרכים לעבד מידע בצורה חכמה", אמר קינג. "לפחות, זו סוג של ההשערה היפה שהיינו רוצים לעבוד איתה."
