מבוא
תתחיל לדבר עם אלי פאבליק על העבודה שלה - מחפשת ראיות להבנה בתוך מודלים של שפה גדולה (LLMs) - והיא עלולה להישמע כאילו היא צוחקת על זה. הביטוי "גלי ביד" הוא אהוב, ואם היא מזכירה "משמעות" או "היגיון", הוא יבוא לרוב עם ציטוטים בולטים באוויר. זו רק הדרך של פבליק לשמור על עצמה כנה. כמדעת מחשבים שלומדת מודלים של שפות באוניברסיטת בראון וב-Google DeepMind, היא יודעת שאימוץ השפה הטבעית המובנית היא הדרך היחידה לקחת אותה ברצינות. "זוהי דיסציפלינה מדעית - והיא קצת מרושלת", אמרה.
דיוק וניואנסים התקיימו במקביל בעולמה של פבליק מאז גיל ההתבגרות, כאשר היא נהנתה ממתמטיקה ומדעים "אבל תמיד הזדהתה כטיפוס יותר יצירתי". כתואר ראשון, היא קיבלה תארים בכלכלה ובביצועי סקסופון לפני שעשתה דוקטורט במדעי המחשב, תחום שבו היא עדיין מרגישה כמו אאוטסיידר. "יש הרבה אנשים ש[חושבים] שמערכות חכמות ייראו הרבה כמו קוד מחשב: מסודר ונוח כמו הרבה מערכות [אנחנו] טובים בהבנה", אמרה. "אני פשוט מאמין שהתשובות מסובכות. אם יש לי פתרון פשוט, אני די בטוח שהוא שגוי. ואני לא רוצה לטעות."
מפגש מקרי עם מדען מחשבים שעבד במקרה בעיבוד שפה טבעית הוביל את פאבליק להתחיל בעבודת הדוקטורט שלה בלימוד כיצד מחשבים יכולים לקודד סמנטיקה, או משמעות בשפה. "אני חושבת שזה שרט גירוד מסוים," היא אמרה. "זה צולל לתוך הפילוסופיה, וזה מתאים להרבה מהדברים שאני עובד עליהם כרגע." כעת, אחד מתחומי המחקר העיקריים של פבליק מתמקד ב"ביסוס" - השאלה האם המשמעות של מילים תלויה בדברים הקיימים ללא תלות בשפה עצמה, כגון תפיסות חושיות, אינטראקציות חברתיות, או אפילו מחשבות אחרות. מודלים של שפה מאומנים לחלוטין על טקסט, ולכן הם מספקים פלטפורמה פורה לבחינה כיצד ביסוס חשוב למשמעות. אבל השאלה עצמה מעסיקה בלשנים והוגים אחרים במשך עשרות שנים.
"אלה לא רק בעיות 'טכניות'", אמר פאבליק. "השפה היא כל כך ענקית שבעיניי זה מרגיש כאילו היא מקיפה הכל."
Quanta דיברתי עם פאבליק על הפיכת מדע מהפילוסופיה, על המשמעות של "משמעות" ועל החשיבות של תוצאות לא-סקסיות. הראיון תמצה ונערך למען הבהירות.
מבוא
מה המשמעות של "הבנה" או "משמעות", אמפירית? מה, ספציפית, אתה מחפש?
כשהתחלתי את תוכנית המחקר שלי בבראון, החלטנו שמשמעות כרוכה במושגים בדרך כלשהי. אני מבין שזו מחויבות תיאורטית שלא כולם עושים, אבל זה נראה אינטואיטיבי. אם אתה משתמש במילה "תפוח" בפירוש תפוח, אתה צריך את המושג של תפוח. זה חייב להיות דבר, בין אם אתה משתמש במילה כדי להתייחס אליו או לא. זו המשמעות של "יש משמעות": צריך להיות המושג, משהו שאתה משמיע.
אני רוצה למצוא מושגים במודל. אני רוצה משהו שאוכל לתפוס בתוך הרשת העצבית, עדות לכך שיש דבר שמייצג "תפוח" באופן פנימי, שמאפשר להתייחס אליו באופן עקבי באותה מילה. כי נראה שיש מבנה פנימי שאינו אקראי ושרירותי. אתה יכול למצוא את הגושים הקטנים האלה של פונקציות מוגדרות היטב שעושות משהו בצורה מהימנה.
התמקדתי באפיון המבנה הפנימי הזה. איזו צורה יש לזה? זה יכול להיות תת-קבוצה של המשקולות בתוך הרשת העצבית, או איזושהי פעולה אלגברית ליניארית על המשקולות האלה, איזושהי הפשטה גיאומטרית. אבל זה צריך למלא תפקיד סיבתי [בהתנהגות המודל]: הוא מחובר לכניסות האלה אבל לא לאלה, ולפלטים האלה ולא לאלה.
זה מרגיש כמו משהו שאתה יכול להתחיל לקרוא לו "משמעות". זה על להבין איך למצוא את המבנה הזה וליצור מערכות יחסים, כך שברגע שנקבל את הכל במקום, נוכל ליישם את זה על שאלות כמו "האם זה יודע מה המשמעות של 'תפוח'?"
האם מצאת דוגמאות למבנה הזה?
כן, אחד תוצאה כרוך כאשר מודל שפה מאחזר פיסת מידע. אם תשאלו את הדוגמנית, "מהי בירת צרפת", הוא צריך לומר "פריז", ו"מהי בירת פולין" צריך להחזיר "ורשה". זה יכול מאוד בקלות לשנן את כל התשובות האלה, והן יכולות להיות מפוזרות מסביב [בתוך המודל] - אין סיבה אמיתית שיהיה צורך בקשר בין הדברים האלה.
במקום זאת, מצאנו מקום קטן במודל שבו הוא בעצם מרתיח את החיבור הזה לכדי וקטור קטן אחד. אם תוסיף אותו ל"מהי בירת צרפת", הוא יחזיר את "פריז"; ואותו וקטור, אם תשאלו "מהי בירת פולין", יחזיר את "ורשה". זה כמו הווקטור השיטתי הזה של "אחזר-עיר-בירה".
זה ממצא ממש מרגש כי נראה כאילו [המודל] מרתיח את המושגים הקטנים האלה ואז מיישם עליהם אלגוריתמים כלליים. ולמרות שאנו בוחנים את השאלות באמת [פשוטות] אלו, מדובר במציאת עדויות לחומרי הגלם הללו שהמודל משתמש בהם. במקרה זה, יהיה קל יותר להתחמק עם שינון - במובנים רבים, זה מה שהרשתות הללו נועדו לעשות. במקום זאת, הוא מפרק [מידע] לחתיכות ו"סיבות" לגביו. ואנחנו מקווים שככל שנמציא עיצובים ניסיוניים טובים יותר, אולי נמצא משהו דומה לסוגים מסובכים יותר של מושגים.
מבוא
איך הארקה קשורה לייצוגים הללו?
הדרך שבה בני אדם לומדים שפה מבוססת על המון קלט לא לשוני: התחושות הגופניות שלך, הרגשות שלך, אם אתה רעב, מה שלא יהיה. זה נחשב ממש חשוב למשמעות.
אבל יש מושגים אחרים של הארקה שקשורים יותר לייצוגים פנימיים. יש מילים שאינן קשורות בבירור לעולם הפיזי, אך עדיין יש להן משמעות. מילה כמו "דמוקרטיה" היא דוגמה מועדפת. זה דבר בראש שלך: אני יכול לחשוב על דמוקרטיה בלי לדבר על זה. אז הבסיס יכול להיות מהשפה לדבר הזה, הייצוג הפנימי הזה.
אבל אתה טוען שגם דברים שהם יותר חיצוניים, כמו צבע, עדיין עשויים להיות מעוגנים לייצוגים "רעיוניים" פנימיים, מבלי להסתמך על תפיסות. איך זה יעבוד?
ובכן, למודל שפה אין עיניים, נכון? זה לא "יודע" שום דבר על צבעים. אז אולי [זה תופס] משהו כללי יותר, כמו הבנת היחסים ביניהם. אני יודע שכשאני משלב כחול ואדום, אני מקבל סגול; סוגים אלה של יחסים יכולים להגדיר את המבנה הפנימי הזה.
אנו יכולים לתת דוגמאות של צבע ל-LLM באמצעות קודי RGB [מחרוזות של מספרים המייצגות צבעים]. אם אתה אומר "בסדר, הנה אדום," ונותן לו את קוד ה-RGB עבור אדום, ו"הנה כחול", עם קוד ה-RGB עבור כחול, ואז אומר "תגיד לי מה זה סגול", זה אמור ליצור את קוד ה-RGB עבור סָגוֹל. מיפוי זה אמור להוות אינדיקציה טובה לכך שהמבנה הפנימי שיש למודל הוא קולי - חסרים לו התפיסות [לצבע], אבל המבנה הרעיוני קיים.
מה שמסובך הוא ש[הדגם] יכול פשוט לשנן קודי RGB, שנמצאים בכל נתוני האימון שלו. אז "סובבנו" את כל הצבעים [הרחק מערכי ה-RGB האמיתיים שלהם]: היינו אומרים ל-LLM שהמילה "צהוב" קשורה לקוד RGB עבור ירוק, וכן הלאה. המודל פעל היטב: כאשר ביקשת ירוק, הוא ייתן לך את הגרסה המסובבת של קוד RGB. זה מצביע על כך שיש איזושהי עקביות לייצוגים הפנימיים שלו לצבע. זה ליישם ידע על יחסיהם, לא רק שינון.
זה כל העניין של הארקה. מיפוי שם על גבי צבע הוא שרירותי. זה יותר על היחסים ביניהם. אז זה היה מרגש.
מבוא
כיצד יכולות השאלות הנשמעות הפילוסופיות הללו להיות מדעיות?
לאחרונה למדתי על ניסוי מחשבתי: מה אם האוקיינוס נסחף אל החול ו[כשהוא] נסוג לאחור, הדפוסים ייצרו שיר? האם לשיר יש משמעות? זה נראה סופר מופשט, ואתה יכול לנהל את הדיון הפילוסופי הארוך הזה.
הדבר הנחמד במודלים של שפה הוא שאנחנו לא צריכים ניסוי מחשבתי. זה לא כמו, "בתיאוריה, האם דבר כזה או אחר יהיה אינטליגנטי?" זה רק: האם הדבר הזה אינטליגנטי? זה הופך להיות מדעי ואמפירי.
לפעמים אנשים מזלזלים; יש את "תוכים סטוכסטיים"גישה. אני חושב שזה [נובע מ] פחד שאנשים יחתמו יותר מדי מודיעין לדברים האלה - מה שאנחנו כן רואים. וכדי לתקן את זה, אנשים אומרים, "לא, הכל זוועה. זה עשן ומראות".
זה קצת חוסר שירות. הגענו למשהו די מרגש ודי חדש, וכדאי להבין אותו לעומק. זו הזדמנות ענקית שאסור לפסוח עליה כי אנחנו מודאגים מפירוש יתר של הדגמים.
ברור שאתה"גם יצרתי מחקר להפריך בדיוק סוג כזה של פרשנות יתר.
העבודה ההיא, שבה אנשים מצאו את כל "היוריסטיקות הרדודות" שמודלים ניצלו [כדי לחקות הבנה] - אלה היו מאוד בסיסיות להתבגרותי כמדען. אבל זה מסובך. זה כאילו, אל תכריז על ניצחון מוקדם מדי. יש קצת ספקנות או פרנויה [בי] לכך שהערכה נעשתה כמו שצריך, אפילו כזו שאני יודע שתכננתי בקפידה רבה!
אז זה חלק מהעניין: לא לטעון יתר על המידה. חלק נוסף הוא שאם אתה מתמודד עם המערכות הללו [מודל שפה], אתה יודע שהן אינן ברמת האדם - הדרך שבה הם פותרים דברים אינה אינטליגנטית כפי שהיא נראית.
מבוא
כשכל כך הרבה מהשיטות והמונחים הבסיסיים עומדים לדיון בתחום הזה, איך בכלל מודדים הצלחה?
מה שאני חושב שאנחנו מחפשים, כמדענים, הוא תיאור מדויק ומובן של האדם של מה שאכפת לנו ממנו - אינטליגנציה, במקרה הזה. ואז אנחנו מצרפים מילים שיעזרו לנו להגיע לשם. אנחנו צריכים סוג של אוצר מילים עובד.
אבל זה קשה, כי אז אתה יכול להיכנס לקרב הסמנטיקה הזה. כשאנשים אומרים "האם יש לזה משמעות: כן או לא?" אני לא יודע. אנחנו מנתבים את השיחה לדבר הלא נכון.
מה שאני מנסה להציע הוא תיאור מדויק של ההתנהגויות שדאגנו להסביר. וזה סוג של מחלוקת בנקודה הזאת אם אתה רוצה לקרוא לזה "משמעות" או "ייצוג" או כל אחת מהמילים הטעונות האלה. הנקודה היא שיש תיאוריה או מודל מוצע על השולחן - בואו נעריך את זה.
מבוא
אז איך מחקר על מודלים של שפה יכול להתקדם לגישה ישירה יותר?
סוגי השאלות העמוקות שבאמת הייתי רוצה להיות מסוגל לענות עליהן - מהן אבני היסוד של אינטליגנציה? איך נראית האינטליגנציה האנושית? איך נראית אינטליגנציה של דוגמניות? - חשובים באמת. אבל אני חושב שהדברים שצריכים לקרות בעשר השנים הבאות הוא לא מאוד סקסי.
אם ברצוננו להתמודד עם הייצוגים [הפנימיים] הללו, אנו זקוקים לשיטות למציאתם - שיטות מבוססות מבחינה מדעית. אם זה נעשה בצורה הנכונה, החומר המתודולוגי הזה ברמה נמוכה וסופר בתוך העשבים לא יספק כותרות. אבל זה הדברים החשובים באמת שיאפשרו לנו לענות נכון על השאלות העמוקות הללו.
בינתיים, הדגמים ימשיכו להשתנות. אז הולכים להיות הרבה דברים שאנשים ימשיכו לפרסם כאילו זה "פריצת הדרך", אבל זה כנראה לא. בעיניי, זה מרגיש מוקדם מדי להגיע לפריצות דרך גדולות.
אנשים לומדים את המשימות הפשוטות האלה, כמו לשאול [מודל שפה להשלמת] "ג'ון נתן משקה ל_______", ולנסות לראות אם כתוב "ג'ון" או "מרי". אין לזה תחושה של תוצאה שמסבירה אינטליגנציה. אבל אני באמת מאמין שהכלים שבהם אנו משתמשים כדי לתאר את בעיית התחת המשעממת הזו חיוניים כדי לענות על השאלות העמוקות על אינטליגנציה.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://www.quantamagazine.org/does-ai-know-what-an-apple-is-she-aims-to-find-out-20240425/
- :יש ל
- :הוא
- :לֹא
- :איפה
- ][עמ'
- $ למעלה
- 10
- a
- יכול
- אודות
- בנוגע לזה
- תקציר
- הפשטה
- חֶשְׁבּוֹן
- למעשה
- להוסיף
- AI
- מטרות
- AIR
- אלגוריתמים
- תעשיות
- להתיר
- מאפשר
- גם
- תמיד
- an
- מעוגן
- ו
- אחר
- לענות
- מענה
- תשובות
- כל
- דבר
- תפוח עץ
- החל
- מריחה
- גישה
- שרירותי
- ARE
- אזורים
- לטעון
- סביב
- AS
- לשאול
- לשאול
- המשויך
- At
- לצרף
- רָחוֹק
- בחזרה
- בסיסי
- בעיקרון
- קרב
- BE
- כי
- הופך להיות
- היה
- לפני
- התנהגות
- התנהגויות
- תאמינו
- מוטב
- בֵּין
- גָדוֹל
- קצת
- אבני
- כָּחוֹל
- הפסקות
- פריצת דרך
- פריצות דרך
- חום
- בִּניָן
- אבל
- by
- שיחה
- CAN
- יכול לקבל
- הון
- לוכדת
- אשר
- מקרה
- מסוים
- סיכוי
- משתנה
- בהירות
- קוד
- קודים
- צֶבַע
- לשלב
- איך
- מגיע
- מחויבות
- להשלים
- מסובך
- המחשב
- מדעי מחשב
- מחשבים
- מושג
- מושגים
- רעיוני
- מחובר
- הקשר
- נחשב
- באופן עקבי
- בנוחות
- שיחה
- לתקן
- צורה נכונה
- יכול
- קורס
- יְצִירָתִי
- כיום
- נתונים
- עסקה
- דיון
- עשרות שנים
- החליט
- עמוק
- באופן מעמיק
- Deepmind
- לְהַגדִיר
- למסור
- דמוקרטיה
- תלוי
- לתאר
- תיאור
- מעוצב
- עיצובים
- ישיר
- משמעת
- do
- עושה
- לא
- עשה
- לא
- מטה
- לִשְׁתוֹת
- הרוויחו
- קל יותר
- כלכלה
- לצאת לדרך
- מחבק
- רגשות
- מקיף
- פְּגִישָׁה
- לַחֲלוּטִין
- חיוני
- להקים
- להעריך
- הערכה
- אֲפִילוּ
- כולם
- הכל
- עדות
- בדיוק
- דוגמה
- דוגמאות
- מרגש
- להתקיים
- לְנַסוֹת
- ניסיוני
- המסביר
- מסביר
- מנצל
- היכרות
- חיצוני
- עיניים
- חביב
- פחד
- מרגיש
- מרגיש
- שדה
- מציאת
- fits
- מתמקד
- התמקדות
- בעד
- טופס
- מצא
- היסוד
- צרפת
- החל מ-
- פורה
- כֵּיף
- פונקציה
- נתן
- כללי
- ליצור
- נוצר
- לקבל
- לתת
- הולך
- טוב
- לתפוס
- ירוק
- מקורקע
- לקרות
- קרה
- קשה
- יש
- ראש
- כותרות
- לעזור
- לה
- מכה
- יָשָׁר
- לקוות
- איך
- איך
- HTTPS
- עצום
- בן אנוש
- האינטליגנציה האנושית
- בני אדם
- רעב
- i
- מזוהה
- if
- חשיבות
- חשוב
- in
- באופן עצמאי
- סִימָן
- מידע
- הטמון
- קלט
- תשומות
- במקום
- מוֹדִיעִין
- אינטליגנטי
- יחסי גומלין
- פנימי
- כלפי פנים
- ראיון אישי
- אל תוך
- אינטואיטיבי
- כרוך
- IT
- שֶׁלָה
- עצמו
- jpg
- רק
- שמור
- שמירה
- סוג
- סוגים
- לדעת
- ידע
- יודע
- שפה
- גָדוֹל
- לִלמוֹד
- למד
- הוביל
- כמו
- קווים
- קְצָת
- LLM
- ארוך
- נראה
- נראה כמו
- הסתכלות
- מגרש
- מגזין
- עושה
- עשייה
- רב
- מיפוי
- מתמטיקה
- עניינים
- אולי
- me
- אומר
- משמעות
- אומר
- למדוד
- אזכורים
- שיטות
- יכול
- אכפת לי
- חסר
- מודל
- מודלים
- יותר
- המהלך
- my
- שם
- טבעי
- עיבוד שפה טבעית
- צורך
- צרכי
- רשת
- רשתות
- עצבי
- רשת עצבית
- חדש
- הבא
- נחמד
- לא
- עַכשָׁיו
- ניואנס
- מספרים
- ים
- of
- הַצָעָה
- לעתים קרובות
- on
- פעם
- ONE
- רק
- עַל גַבֵּי
- מבצע
- הזדמנות
- or
- אחר
- הַחוּצָה
- פלטים
- יותר
- חלק
- דפוסי
- אֲנָשִׁים
- ביצועים
- ביצעתי
- פילוסופיה
- גופני
- לְחַבֵּר
- חתיכות
- מקום
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- לְשַׂחֵק
- נקודה
- פולין
- צורך
- יפה
- יְסוֹדִי
- כנראה
- בעיה
- בעיות
- תהליך
- מיוצר
- תָכְנִית
- מוּצָע
- לספק
- הוצאה לאור
- קוונטמגזין
- שאלה
- שאלות
- דַי
- ציטוטים
- אקראי
- חי
- לְלֹא קוֹשִׁי
- ממשי
- להבין
- בֶּאֱמֶת
- טעם
- לאחרונה
- Red
- להתייחס
- מכונה
- יחסים
- מערכות יחסים
- הסתמכות
- לייצג
- נציגות
- מייצג
- מחקר
- תוצאה
- תוצאות
- לַחֲזוֹר
- RGB
- תקין
- תפקיד
- ניתוב
- אמר
- אותו
- חול
- לומר
- אומר
- פזור
- מדע
- מדעי
- מַדְעָן
- מדענים
- לִרְאוֹת
- נראה
- נראה
- סמנטיקה
- תחושות
- ברצינות
- היא
- צריך
- דומה
- פָּשׁוּט
- since
- ספקנות
- קטן
- עשן
- So
- חֶברָתִי
- פִּתָרוֹן
- פותר
- כמה
- משהו
- בקרוב
- קול
- במיוחד
- התחלה
- החל
- עוד
- מִבְנֶה
- לומד
- הצלחה
- כזה
- מציע
- סוּפֶּר
- בטוח
- מערכות
- שולחן
- לקחת
- מדבר
- משימות
- לספר
- מונחים
- טֶקסט
- זֶה
- השמיים
- עיר הבירה
- שֶׁלָהֶם
- אותם
- אז
- תיאורטי
- התאוריה
- שם.
- אלה
- הֵם
- דבר
- דברים
- לחשוב
- הוגים
- זֶה
- אלה
- אם כי?
- מחשבה
- ל
- טון
- גַם
- כלים
- לקראת
- מְאוּמָן
- הדרכה
- מנסה
- סוג
- הבנה
- אוניברסיטה
- us
- להשתמש
- באמצעות
- ערכים
- גרסה
- מאוד
- ניצחון
- רוצה
- היה
- דֶרֶך..
- דרכים
- we
- טוֹב
- מוגדר היטב
- היו
- מה
- כלשהו
- מתי
- אם
- אשר
- מי
- כל
- יצטרך
- עם
- בתוך
- לְלֹא
- Word
- מילים
- תיק עבודות
- עובד
- עוֹלָם
- מודאג
- ראוי
- היה
- היה נותן
- טעות
- שנים
- כן
- עוד
- אתה
- זפירנט