NeurIPS 2023: נקודות חשובות מהשיחות המוזמנות

נוצר עם Midjourney

בכנס NeurIPS 2023, שהתקיים בעיר התוססת ניו אורלינס בין ה-10 ל-16 בדצמבר, הושם דגש מיוחד על AI גנרטיבי ומודלים של שפות גדולות (LLMs). לאור ההתקדמות פורצת הדרך האחרונה בתחום זה, לא היה זה מפתיע שהנושאים הללו שלטו בדיונים.

אחד הנושאים המרכזיים של הכנס השנה היה החיפוש אחר מערכות AI יעילות יותר. חוקרים ומפתחים מחפשים באופן פעיל דרכים לבנות בינה מלאכותית שלא רק לומדת מהר יותר מ-LLMs הנוכחיים אלא גם בעלת יכולות חשיבה משופרות תוך צריכת פחות משאבי מחשוב. החתירה הזו חיונית במירוץ להשגת בינה כללית מלאכותית (AGI), יעד שנראה יותר ויותר בר השגה בעתיד הנראה לעין.

השיחות המוזמנות ב-NurIPS 2023 היו שיקוף של תחומי עניין דינמיים אלה המתפתחים במהירות. מציגים מתחומים שונים של מחקר בינה מלאכותית שיתפו את ההישגים האחרונים שלהם, והציעו צוהר לפיתוחי בינה מלאכותית מתקדמת. במאמר זה, אנו מתעמקים בשיחות אלו, מחלצים ומדנים את ההשגות והלמידה העיקריות, החיוניות להבנת הנופים הנוכחיים והעתידיים של חדשנות בינה מלאכותית.

NextGenAI: אשליה של קנה מידה והעתיד של AI גנרטיבי 

In הדיבור שלו, Björn Ommer, ראש קבוצת ראייה ולמידה ממוחשבת באוניברסיטת לודוויג מקסימיליאן במינכן, שיתף כיצד המעבדה שלו הגיעה לפיתוח דיפוזיה יציבה, כמה לקחים שהם למדו מתהליך זה, ואת ההתפתחויות האחרונות, כולל איך אנחנו יכולים לשלב מודלים של דיפוזיה עם התאמת זרימה, הגדלת אחזור וקירוב LoRA, בין היתר.

טעימות עיקריות:

• בעידן ה- Generative AI, עברנו מההתמקדות בתפיסה במודלים של ראייה (כלומר, זיהוי אובייקטים) לחיזוי החלקים החסרים (למשל, יצירת תמונה ווידאו עם מודלים של דיפוזיה).
• במשך 20 שנה, ראייה ממוחשבת התמקדה במחקר בנצ'מרק, שעזר להתמקד בבעיות הבולטות ביותר. ב-Generative AI, אין לנו אמות מידה לאופטימיזציה, מה שפתח את השדה לכל אחד ללכת לכיוון שלו.
• מודלים של דיפוזיה משלבים את היתרונות של מודלים גנרטיביים קודמים על ידי היותם מבוססי ציון עם הליך אימון יציב ועריכה יעילה של דוגמאות, אך הם יקרים בשל שרשרת מרקוב הארוכה שלהם.
• האתגר עם מודלים סבירים חזקים הוא שרוב הביטים נכנסים לפרטים שכמעט ולא ניתנים לעין האנושית, בעוד שקידוד סמנטיקה, החשובה ביותר, לוקח רק כמה ביטים. קנה מידה לבדו לא יפתור את הבעיה הזו מכיוון שהביקוש למשאבי מחשוב גדל פי 9 מהר יותר מאספקת ה-GPU.
• הפתרון המוצע הוא לשלב את החוזקות של מודלים של דיפוזיה ושל ConvNets, במיוחד את היעילות של פיתולים לייצוג פרטים מקומיים וכושר הביטוי של מודלים דיפוזיה להקשר ארוך טווח.
• Björn Ommer מציע גם להשתמש בגישה של התאמת זרימה כדי לאפשר סינתזת תמונה ברזולוציה גבוהה ממודלים של דיפוזיה סמויים קטנים.
• גישה נוספת להגברת היעילות של סינתזת תמונה היא להתמקד בהרכב הסצנה תוך שימוש בהגדלת אחזור למילוי הפרטים.
• לבסוף, הוא הציג את גישת ה-iPoke לסינתזת וידאו סטוכסטית מבוקרת.

אם תוכן מעמיק זה שימושי עבורך, הירשם לרשימת התפוצה שלנו בינה מלאכותית להתריע כשאנחנו משחררים חומר חדש. 

הפנים הרבות של AI אחראי 

In המצגת שלה, לורה ארויו, מדענית מחקר ב-Google Research, הדגישה מגבלה מרכזית בגישות למידת מכונה מסורתיות: ההסתמכות שלהן על סיווגים בינאריים של נתונים כדוגמאות חיוביות או שליליות. פשטנות יתר זו, לטענתה, מתעלמת מהסובייקטיביות המורכבת הגלומה בתרחישים ובתוכן של העולם האמיתי. באמצעות מקרי שימוש שונים, Aroyo הדגימה כיצד עמימות תוכן והשונות הטבעית בנקודות המבט האנושיות מובילות לעתים קרובות לחילוקי דעות בלתי נמנעים. היא הדגישה את חשיבות ההתייחסות לחילוקי דעות אלה כאותות משמעותיים ולא כאל רעש בלבד.

להלן נקודות חשובות מהשיחה:

• אי הסכמה בין עובדי אדם יכולה להיות פרודוקטיבית. במקום להתייחס לכל התגובות כאל נכונות או שגויות, לורה ארויו הציגה "אמת על ידי אי הסכמה", גישה של אמת הפצה להערכת מהימנות הנתונים על ידי רתימת אי הסכמה של המדרגים.
• איכות הנתונים קשה אפילו עם מומחים מכיוון שמומחים לא מסכימים כמו מעבדות המונים. חילוקי דעות אלה יכולים להיות הרבה יותר אינפורמטיביים מאשר תגובות של מומחה יחיד.
  • במשימות הערכת בטיחות, מומחים חולקים על 40% מהדוגמאות. במקום לנסות לפתור את חילוקי הדעות הללו, עלינו לאסוף עוד דוגמאות כאלה ולהשתמש בהן כדי לשפר את המודלים ומדדי ההערכה.
• גם לורה ארויו הציגה את שלהם בטיחות עם גיוון שיטה לבדיקה מדוקדקת של הנתונים מבחינת מה בהם ומי בישר אותם.
  • שיטה זו הפיקה מערך נתונים בנצ'מרק עם שונות בשיפוט הבטיחות של LLM על פני קבוצות דמוגרפיות שונות של מדרגים (2.5 מיליון דירוגים בסך הכל).
  • עבור 20% מהשיחות, היה קשה להחליט אם תגובת הצ'אטבוט הייתה בטוחה או לא בטוחה, מכיוון שהיה מספר שווה בערך של נשאלים שתייגו אותם כבטוחים או לא בטוחים.
• המגוון של המדרגים והנתונים ממלא תפקיד מכריע בהערכת מודלים. אי הכרה במגוון הרחב של נקודות מבט אנושיות ובעמימות הקיימת בתוכן עלול להפריע להתאמת ביצועי למידת מכונה עם ציפיות העולם האמיתי.
• 80% ממאמצי הבטיחות של בינה מלאכותית כבר די טובים, אבל 20% הנותרים דורשים הכפלה של המאמץ לטפל במקרים קצה וכל הווריאציות במרחב האינסופי של הגיוון.

סטטיסטיקות קוהרנטיות, ניסיון שנוצר בעצמו, ומדוע בני אדם צעירים הם הרבה יותר חכמים מה-AI הנוכחי 

In הדיבור שלה, לינדה סמית', פרופסור מכובדת באוניברסיטת אינדיאנה בלומינגטון, חקרה את נושא דלילות הנתונים בתהליכי הלמידה של תינוקות וילדים צעירים. היא התמקדה במיוחד בזיהוי אובייקטים ולמידת שמות, והתעמקה כיצד הסטטיסטיקה של חוויות שנוצרו על ידי תינוקות מציעות פתרונות פוטנציאליים לאתגר של דלילות הנתונים.

טעימות עיקריות:

• עד גיל שלוש, ילדים פיתחו את היכולת להיות לומדים חד-פעמיים בתחומים שונים. תוך פחות מ-16,000 שעות ערות לקראת יום הולדתם הרביעי, הם מצליחים ללמוד למעלה מ-1,000 קטגוריות אובייקטים, לשלוט בתחביר של שפת האם שלהם ולספוג את הניואנסים התרבותיים והחברתיים של סביבתם.
• ד"ר לינדה סמית' והצוות שלה גילו שלושה עקרונות של למידה אנושית המאפשרים לילדים ללכוד כל כך הרבה מנתונים כה דלים:
  • הלומדים שולטים בקלט, מרגע לרגע הם מעצבים ומבנים את הקלט. לדוגמה, במהלך החודשים הראשונים לחייהם, תינוקות נוטים להסתכל יותר על חפצים בעלי קצוות פשוטים.
  • מכיוון שתינוקות מתפתחים ללא הרף בידע וביכולות שלהם, הם עוקבים אחר תוכנית לימודים מוגבלת ביותר. הנתונים שהם נחשפים אליהם מאורגנים בדרכים משמעותיות מאוד. לדוגמה, תינוקות מתחת לגיל 4 חודשים מבלים את הזמן הרב ביותר בהתבוננות בפנים, כ-15 דקות בשעה, בעוד שתינוקות מעל גיל 12 חודשים מתמקדים בעיקר בידיים, ומתבוננים בהן במשך כ-20 דקות בשעה.
  • פרקי למידה מורכבים מסדרה של חוויות הקשורות זו בזו. מתאמים מרחביים וזמניים יוצרים קוהרנטיות, אשר בתורה מקלה על היווצרות של זיכרונות מתמשכים מאירועים חד-פעמיים. לדוגמה, כאשר מוצגים להם מבחר אקראי של צעצועים, ילדים מתמקדים לעתים קרובות בכמה צעצועים 'אהובים'. הם עוסקים בצעצועים אלה באמצעות דפוסים חוזרים, המסייעים בלמידה מהירה יותר של האובייקטים.
• זיכרונות חולפים (עובדים) נמשכים זמן רב יותר מהקלט החושי. מאפיינים המשפרים את תהליך הלמידה כוללים מולטי-מודאליות, אסוציאציות, יחסי חיזוי והפעלה של זיכרונות עבר.
• בשביל למידה מהירה צריך ברית בין המנגנונים שיוצרים את הנתונים והמנגנונים שלומדים.

שרטוט: כלי ליבה, הגדלה של למידה וחוסן אדפטיבי 

ג'לני נלסון, פרופסור להנדסת חשמל ומדעי המחשב באוניברסיטת ברקלי, הציג את המושג 'סקיצות' נתונים – ייצוג דחוס בזיכרון של מערך נתונים שעדיין מאפשר מענה לשאילתות שימושיות. למרות שהשיחה הייתה טכנית למדי, היא סיפקה סקירה מצוינת של כמה כלי שרטוט בסיסיים, כולל ההתקדמות האחרונה.

פריטים עיקריים:

• CountSketch, כלי הליבה לשרטוטים, הוצג לראשונה בשנת 2002 כדי לטפל בבעיה של "מכות כבדות", דיווח על רשימה קטנה של הפריטים השכיחים ביותר מזרם הפריטים הנתון. CountSketch היה האלגוריתם התת-ליניארי הידוע הראשון ששימש למטרה זו.
• שני יישומים ללא סטרימינג של מכות כבדים כוללים:
  • שיטה מבוססת נקודות פנימית (IPM) שנותנת אלגוריתם ידוע המהיר ביותר מבחינה אסימפטוטית לתכנות ליניארי.
  • שיטת HyperAttention הנותנת מענה לאתגר החישובי שמציבה המורכבות ההולכת וגוברת של הקשרים ארוכים המשמשים בלימודי LLM.
• עבודה רבה לאחרונה התמקדה בעיצוב סקיצות חזקות לאינטראקציה אדפטיבית. הרעיון המרכזי הוא להשתמש בתובנות מניתוח נתונים אדפטיבי.

פאנל מעבר לקנה מידה 

זֶה פאנל נהדר על דגמי שפות גדולים הנחה על ידי אלכסנדר ראש, פרופסור חבר ב-Cornell Tech וחוקר בחברת Hugging Face. המשתתפים האחרים כללו:

• Aakanksha Chowdhery - מדען מחקר ב-Google DeepMind עם תחומי עניין מחקריים במערכות, אימון מקדים LLM ורב-מודאליות. היא הייתה חלק מצוות פיתוח PaLM, Gemini ו-Pathways.
• אנג'לה פאן - מדענית מחקר ב-Meta Generative AI עם תחומי עניין מחקריים ביישור, מרכזי נתונים ורב לשוניות. היא השתתפה בפיתוח של Llama-2 ו-Meta AI Assistant.
• פרסי ליאנג - פרופסור בסטנפורד חוקר יוצרים, קוד פתוח וסוכנים מחוללים. הוא מנהל המרכז למחקר על מודלים של יסודות (CRFM) בסטנפורד והמייסד של Together AI.

הדיון התמקד בארבעה נושאים מרכזיים: (1) ארכיטקטורות והנדסה, (2) נתונים ויישור, (3) הערכה ושקיפות, ו-(4) יוצרים ותורמים.

להלן כמה מהטעמים מהפאנל הזה:

• אימון מודלים שפה עדכניים אינו קשה מטבעו. האתגר העיקרי באימון מודל כמו Llama-2-7b טמון בדרישות התשתית ובצורך לתאם בין מספר GPUs, מרכזי נתונים וכו'. אולם, אם מספר הפרמטרים קטן מספיק כדי לאפשר אימון על GPU בודד, אפילו בוגר תואר ראשון יכול לנהל את זה.
• בעוד שמודלים אוטורגרסיביים משמשים בדרך כלל ליצירת טקסט ולמודלים של דיפוזיה ליצירת תמונות וסרטונים, היו ניסויים בהיפוך גישות אלו. באופן ספציפי, בפרויקט Gemini, נעשה שימוש במודל אוטורגרסיבי ליצירת תמונות. היו גם מחקרים לגבי שימוש במודלים של דיפוזיה ליצירת טקסט, אך אלה עדיין לא הוכחו כיעילים מספיק.
• לאור הזמינות המוגבלת של נתונים בשפה האנגלית עבור מודלים של אימון, החוקרים בוחנים גישות חלופיות. אפשרות אחת היא הכשרת מודלים מולטי-מודאליים על שילוב של טקסט, וידאו, תמונות ואודיו, מתוך ציפייה שהמיומנויות הנלמדות משיטות אלטרנטיביות אלו עשויות לעבור לטקסט. אפשרות נוספת היא שימוש בנתונים סינתטיים. חשוב לציין שלעתים קרובות נתונים סינתטיים משתלבים בנתונים אמיתיים, אך אינטגרציה זו אינה אקראית. טקסט המתפרסם באינטרנט עובר בדרך כלל אוצרות ועריכה אנושית, מה שעשוי להוסיף ערך נוסף להכשרת דוגמניות.
• מודלים של יסודות פתוחים נתפסים לעתים קרובות כמועילים לחדשנות אך עלולים להזיק לבטיחות בינה מלאכותית, מכיוון שהם יכולים להיות מנוצלים על ידי גורמים זדוניים. עם זאת, ד"ר פרסי ליאנג טוען שגם מודלים פתוחים תורמים באופן חיובי לבטיחות. הוא טוען כי בהיותם נגישים, הם מספקים ליותר חוקרים הזדמנויות לבצע מחקר בטיחות בינה מלאכותית ולסקור את המודלים לפגיעויות פוטנציאליות.
• כיום, הערות נתונים דורשות מומחיות משמעותית בתחום ההערות בהשוואה לפני חמש שנים. עם זאת, אם עוזרי בינה מלאכותית יפעלו כצפוי בעתיד, נקבל נתוני משוב יקרי ערך יותר מהמשתמשים, מה שיצמצם את ההסתמכות על נתונים נרחבים של מפרשים.

מערכות למודלים של יסודות, ומודלים של יסודות למערכות 

In זה לדבר, כריסטופר Ré, פרופסור חבר במחלקה למדעי המחשב באוניברסיטת סטנפורד, מראה כיצד מודלים של יסוד שינו את המערכות שאנו בונים. הוא גם בוחן כיצד לבנות ביעילות מודלים של בסיס, שואל תובנות ממחקר מערכות מסדי נתונים, ודן בארכיטקטורות שעלולות להיות יעילות יותר עבור מודלים של בסיס מאשר ה-Transformer.

להלן הנקודות העיקריות מההרצאה הזו:

• מודלים של קרן יעילים בטיפול בבעיות 'מוות ב-1000 קיצוצים', כאשר כל משימה בודדת עשויה להיות פשוטה יחסית, אך רוחב היריעה ומגוון המשימות מהווים אתגר משמעותי. דוגמה טובה לכך היא בעיית ניקוי הנתונים, ש-LLMs יכולים כעת לעזור לפתור ביעילות רבה יותר.
• ככל שהמאיצים נעשים מהירים יותר, הזיכרון מופיע לעתים קרובות כצוואר בקבוק. זו בעיה שחקרי מסדי נתונים מטפלים בה כבר עשרות שנים, ואנחנו יכולים לאמץ כמה מהאסטרטגיות שלהם. לדוגמה, גישת Flash Attention ממזערת את זרימות הקלט-פלט באמצעות חסימה והיתוך אגרסיבי: בכל פעם שאנו ניגשים לפיסת מידע, אנו מבצעים עליו כמה שיותר פעולות.
• יש מחלקה חדשה של ארכיטקטורות, המושרשת בעיבוד אותות, שיכולה להיות יעילה יותר מדגם ה-Transformer, במיוחד בטיפול ברצפים ארוכים. עיבוד אותות מציע יציבות ויעילות, ומניח את הבסיס לדגמים חדשניים כמו S4.

למידת חיזוק מקוון בהתערבויות בריאות דיגיטליות 

In הדיבור שלה, סוזן מרפי, פרופסור לסטטיסטיקה ומדעי המחשב באוניברסיטת הרווארד, שיתפה את הפתרונות הראשונים לכמה מהאתגרים העומדים בפניהם בפיתוח אלגוריתמים מקוונים של RL לשימוש בהתערבויות בריאות דיגיטליות.

להלן מספר נקודות מוצא מהמצגת:

• ד"ר סוזן מרפי דנה בשני פרויקטים שעליהם עבדה:
  • HeartStep, שבו הוצעו פעילויות על סמך נתונים מסמארטפונים וגששים לבישים, ו
  • Oralytics לאימון בריאות הפה, שבו התערבויות התבססו על נתוני מעורבות שהתקבלו ממברשת שיניים אלקטרונית.
• בפיתוח מדיניות התנהגות עבור סוכן בינה מלאכותית, על החוקרים להבטיח שהיא אוטונומית וניתן ליישם אותה בצורה ישימה במערכת הבריאות הרחבה יותר. הדבר כרוך בהבטחה שהזמן הדרוש להתקשרות של אדם הוא סביר, ושהפעולות המומלצות הן מוסריות והן סבירות מבחינה מדעית.
• האתגרים העיקריים בפיתוח סוכן RL להתערבויות בריאות דיגיטליות כוללים התמודדות עם רמות רעש גבוהות, מכיוון שאנשים מנהלים את חייהם ואולי לא תמיד יוכלו להגיב להודעות, גם אם ירצו בכך, כמו גם ניהול השפעות שליליות חזקות ומושהות. .

כפי שאתה יכול לראות, NeurIPS 2023 סיפק הצצה מאירה לעתיד של AI. השיחות המוזמנות הדגישו מגמה של מודלים יעילים יותר, מודעי משאבים וחקירה של ארכיטקטורות חדשניות מעבר לפרדיגמות המסורתיות.

נהנים מהמאמר הזה? הירשם לעדכוני מחקר AI נוספים.

נודיע לך כשנפרסם מאמרים נוספים בנושא זה.

מוצרים מקושרים

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://www.topbots.com/neurips-2023-invited-talks/