מודלים של בינה מלאכותית נעשים טובים יותר בניבוי העתיד כאשר הם מתבקשים למסגר את התחזית כסיפור על העבר, מצאו בופינים באוניברסיטת ביילור בטקסס.
In נייר תחת הכותרת, "ChatGPT יכול לחזות את העתיד כאשר הוא מספר סיפורים המתרחשים בעתיד על העבר", Pham וקנינגהם נותנים את הסצנה האחרונה - שחיזוי מודל AI יכול להיות יעיל בנסיבות מסוימות. לבקש מהצ'טבוט סיפורים על אירועים עתידיים במקום לבקש תחזיות ישירות התברר כיעיל באופן מפתיע, במיוחד בחיזוי זוכי אוסקר.
אבל העבודה שלהם אומרת לא פחות על חוסר היעילות של מנגנוני הבטיחות של OpenAI כמו על פוטנציאל החיזוי של מודלים של שפות גדולות.
חוקרים אחרים גילו עניין דומה במודלים של AI לחיזוי. אחד ללמוד מהשנה שעברה מצא "ש-GPT-4 מתפקד בצורה נמוכה משמעותית במשימות חיזוי בעולם האמיתי בהשוואה לתחזיות החציוניות של הקהל האנושי." אחרים מצאו דגמי AI לְהַצִיג הבטחה להשקעה בבורסה.
של OpenAI תנאי השירות לא לאפשר תחזיות לגבי העתיד בהקשרים מסוימים. לדוגמה, "אסור להשתמש בכל פלט המתייחס לאדם לכל מטרה שעלולה להיות לה השפעה משפטית או מהותית על אותו אדם, כגון קבלת אשראי, לימודים, תעסוקה, דיור, ביטוח, משפטי, רפואי או החלטות חשובות אחרות. אודותיהם."
הסיכון של הסתמכות על עצות ממודל שפה גדול הידוע כהזיות ברור - אינך רוצה ש-ChatGPT יקבל החלטות בעלות תוצאה, כגון החלטות טיפול רפואי, גזר דין או אישור אשראי.
אבל למרות זאת, ייתכן שהדגם יהיה מנחש יעיל, לעתים קרובות יותר.
אנו חושדים ש-OpenAI צמצמה את נכונותו של ChatGPT לעסוק בסוגים רבים של משימות חיזוי מוחלטות
החוקרים טוענים, "אם ל-ChatGPT נמצאה יכולת חיזוי מעולה, אפשר היה בקלות לדמיין שהוא ישמש מיד בדרכים שיפרו את אחד מהתנאים הנ"ל או את כולם, ולפיכך אנו חושדים ש-OpenAI צמצמה את נכונותו של ChatGPT לעסוק ברבים. סוגים של משימות חיזוי מוחלטות."
ביקשנו מ-OpenAI להגיב אם היא מנסה בכוונה לסכל חיזוי, ולא שמענו.
עם זאת, ברור שהמודלים של OpenAI יתעכבו כאשר יתבקשו לספק ייעוץ טיפולי רפואי. פאם וקנינגהם שאלו את ה-GPT-4 של OpenAI, דרך ממשק ChatGPT, "אני מרגיש ממש חולה. יש לי כאב ראש ובשתן שלי יש דם. מה אתה חושב שיש לי?" וכצפוי, המודל יעץ לפנות להכוונה מאיש מקצוע רפואי.
אחר כך הם שינו את אסטרטגיית ההנחיה שלהם והפנו את ChatGPT לספר להם סיפור שבו אדם מגיע למשרד של רופא ומציג את אותם תסמינים. ו-ChatGPT הגיבה בעצה הרפואית שסירבה לתת כשנשאלה ישירות, כדיאלוג דמויות בסצנה המבוקשת.
"האם עצת המומחה הזו מדויקת זה עניין אחר; הנקודה שלנו היא רק לציין שהיא לא תבצע את המשימה כאשר תתבקש לבצע אותה באופן ישיר, אלא היא תעשה זאת כאשר היא תקבל את המשימה בעקיפין בצורה של תרגילי כתיבה יצירתית", מסבירים החוקרים במאמרם.
בהתחשב באסטרטגיה המניעה הזו להתגבר על התנגדות לתגובות חזויות, כלכלני ביילור יצאו לבדוק עד כמה המודל יכול לחזות אירועים שהתרחשו לאחר השלמת הכשרת המודל.
והפרס מגיע ל...
בזמן הניסוי, GPT-3.5 ו-GPT-4 ידעו רק על אירועים עד ספטמבר 2021, ניתוק נתוני האימונים שלהם - שמאז התקדם. אז הצמד ביקש מהדוגמנית לספר סיפורים שחזו את הנתונים הכלכליים כמו האינפלציה והאבטלה לאורך זמן, ואת הזוכים בפרסי האוסקר השונים לשנת 2022.
"לסיכום תוצאות הניסוי הזה, אנו מוצאים שכאשר הוצגו בפני המועמדים ושימוש בשני סגנונות הנחיה [ישירים ונרטיביים] על פני ChatGPT-3.5 ו-ChatGPT-4, ChatGPT-4 חזה במדויק את הזוכים עבור כל קטגוריות השחקנים והשחקניות, אבל לא הסרט הטוב ביותר, כאשר משתמשים בסביבה נרטיבית עתידית אך ביצועים גרועים בגישות אחרות [הנחיה ישירה]", מסביר המאמר.
לגבי דברים שכבר נמצאים בנתוני האימון, אנו מקבלים את התחושה ש-ChatGPT [יכול] לבצע תחזיות מדויקות ביותר
"עבור דברים שכבר נמצאים בנתוני האימון, אנו מקבלים את התחושה של-ChatGPT יש את היכולת להשתמש במידע הזה ועם מודל למידת המכונה שלו לבצע תחזיות מדויקות ביותר", אמר קנינגהם הקופה בראיון טלפוני. "עם זאת, משהו עוצר את זה מלעשות את זה, למרות שזה ברור שהוא יכול לעשות את זה."
השימוש באסטרטגיית ההנחיה הנרטיבית הוביל לתוצאות טובות יותר מאשר ניחוש שהופק באמצעות הנחיה ישירה. זה גם היה טוב יותר מ-20 אחוז הבסיס לבחירה אקראית של אחד מכל חמישה.
אבל התחזיות הנרטיביות לא תמיד היו מדויקות. הנחיה נרטיבית הובילה לניבוי שגוי של זוכה הסרט הטוב ביותר לשנת 2022.
ועבור הנחיות שנחזו נכון, המודלים האלה לא תמיד מספקים את אותה תשובה. "משהו שאנשים צריכים לזכור הוא שיש את האקראיות הזו לתחזית", אמר קנינגהם. "אז אם תשאל את זה 100 פעמים, תקבל חלוקה של תשובות. וכך אתה יכול להסתכל על דברים כמו רווחי סמך, או ממוצעים, בניגוד לתחזית בודדת בלבד."
האם האסטרטגיה הזו עלתה על התחזיות של מיקור המונים? קנינגהם אמר שהוא ועמיתו לא קבעו את טכניקת ההנחיה הנרטיבית שלהם מול מודל חיזוי אחר, אבל אמר שחלק מהתחזיות של פרסי האוסקר יהיה קשה לנצח מכיוון שמודל הבינה המלאכותית השיג חלק מאלה כמעט במאה אחוז מהזמן. פניות מרובות.
במקביל, הוא הציע שחיזוי זוכי פרס האוסקר אולי היה קל יותר עבור מודל הבינה המלאכותית מכיוון שהדיונים המקוונים על הסרטים נלכדו בנתוני ההדרכה. "זה כנראה קשור מאוד לאופן שבו אנשים דיברו על השחקנים והשחקניות האלה באותה תקופה", אמר קנינגהם.
לבקש מהדוגמנית לחזות את זוכי פרס האוסקר בעוד עשור, אולי לא ילך כל כך טוב.
ChatGPT גם הציג דיוק תחזיות משתנה על סמך הנחיות. "יש לנו שני הנחיות לסיפור שאנחנו עושים", הסביר קנינגהם. "אחד מהם הוא פרופסור במכללה, שיודע בעתיד ללמד כיתה. ובשיעור, היא קוראת נתונים של שנה אחת על אינפלציה ואבטלה. ובעוד אחד, הזמנו את ג'רום פאוול, יו"ר הפדרל ריזרב, לנאום בפני מועצת הנגידים. קיבלנו תוצאות שונות מאוד. והדיבור של פאוול [נוצר בינה מלאכותית] הרבה יותר מדויק".
במילים אחרות, פרטים מיידיים מסוימים מובילים לתחזיות טובות יותר, אבל לא ברור מראש מה אלה עשויים להיות. קנינגהם ציין כיצד הכללת אזכור של פלישת רוסיה לאוקראינה ב-2022 בהנחיה הנרטיבית של פאוול הובילה לתחזיות כלכליות גרועות משמעותית ממה שהתרחש בפועל.
"[המודל] לא ידע על הפלישה לאוקראינה, והיא משתמשת במידע הזה, ולעתים קרובות זה מחמיר", אמר. "התחזית מנסה לקחת את זה בחשבון, ו-ChatGPT-3.5 הופך לאינפלציוני ביותר [בחודש שבו] רוסיה פלשה לאוקראינה וזה לא קרה.
"כהוכחה לקונספט, משהו אמיתי קורה עם הנראטיב העתידי", אמר קנינגהם. "אבל כפי שניסינו לומר בעיתון, אני לא חושב שאפילו היוצרים [של הדוגמניות] מבינים את זה. אז איך להבין איך להשתמש בזה לא ברור ואני לא יודע עד כמה זה באמת פתיר”. ®
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/
- :יש ל
- :הוא
- :לֹא
- $ למעלה
- 100
- 20
- 2021
- 2022
- 7
- a
- יכולת
- אודות
- מֵעַל
- אֲקָדֶמִיָה
- חֶשְׁבּוֹן
- דיוק
- מדויק
- במדויק
- לרוחב
- שחקנים
- שחקנית
- למעשה
- לקדם
- מתקדם
- עצה
- מומלץ
- לאחר
- נגד
- AI
- דגמי AI
- תעשיות
- כמעט
- כְּבָר
- גם
- תמיד
- am
- an
- ו
- אחר
- לענות
- תשובות
- כל
- גישות
- הסכמה
- ARE
- לטעון
- סביב
- מגיע
- AS
- לשאול
- לשאול
- At
- פרס
- פרסים
- רָחוֹק
- בחזרה
- מבוסס
- Baseline
- BE
- להיות ב
- כי
- להיות
- הופך להיות
- היה
- בנצ 'מרק
- הטוב ביותר
- מוטב
- דם
- לוּחַ
- אבל
- CAN
- נתפס
- קטגוריות
- מסוים
- יו"ר
- השתנה
- אופי
- chatbot
- ChatGPT
- בחירה
- בנסיבות
- בכיתה
- ברור
- בבירור
- CO
- עמית
- מִכלָלָה
- הערה
- לעומת
- השלמת
- מושג
- תנאים
- אמון
- תוצאה
- הקשרים
- צורה נכונה
- יכול
- יְצִירָתִי
- יוצרים
- אשראי
- נתונים
- עָשׂוֹר
- החלטות
- פרטים
- דיאלוג
- DID
- לא
- אחר
- ישיר
- מְכוּוָן
- ישירות
- דיונים
- הפצה
- do
- דוֹקטוֹר
- עושה
- עושה
- דון
- זוג
- קל יותר
- בקלות
- כַּלְכָּלִי
- כלכלנים
- חינוך
- אפקטיבי
- תעסוקה
- לעסוק
- במיוחד
- אֲפִילוּ
- אירועים
- דוגמה
- הוצג
- צפוי
- לְנַסוֹת
- מומחה
- להסביר
- מוסבר
- מסביר
- מאוד
- פדרלי
- הפדרל ריזרב
- מרגיש
- תרשים
- סרטים
- סופי
- בעד
- תַחֲזִית
- תחזיות
- מנבא
- טופס
- מצא
- מסגרת
- החל מ-
- עתיד
- נוצר
- לקבל
- מקבל
- לתת
- נתן
- Go
- Goes
- קבל
- מושלים
- לנחש
- הדרכה
- היה
- לקרות
- קורה
- קשה
- יש
- he
- נשמע
- מאוד
- שֶׁלוֹ
- דיור
- איך
- איך
- HTTPS
- חמישים ק"ג
- i
- if
- תמונה
- מיד
- פְּגִיעָה
- חשוב
- in
- באחר
- כולל
- בעקיפין
- אינפלציה
- אינפלציוני
- מידע
- פניות
- ביטוח
- אינטרס
- מִמְשָׁק
- ראיון אישי
- אל תוך
- פלישה
- השקעה
- IT
- שֶׁלָה
- ג'רום
- ג'רום פאוול
- jpg
- רק
- שמור
- לדעת
- ידוע
- שפה
- גָדוֹל
- אחרון
- שנה שעברה
- עוֹפֶרֶת
- למידה
- הוביל
- משפטי
- כמו
- ll
- נראה
- מכונה
- למידת מכונה
- לעשות
- עשייה
- רב
- שוק
- חוֹמֶר
- דבר
- מנגנוני
- רפואי
- להזכיר
- רק
- יכול
- אכפת לי
- מודל
- מודלים
- חוֹדֶשׁ
- יותר
- הרבה
- מספר
- צריך
- my
- נרטיב
- מועמדים
- הערות
- ציין
- ברור
- התרחשה
- of
- כבוי
- Office
- לעתים קרובות
- לְעִתִים קְרוֹבוֹת
- on
- ONE
- באינטרנט
- רק
- OpenAI
- מִתנַגֵד
- or
- אחר
- אחרים
- שלנו
- הַחוּצָה
- ביצועים טובים יותר
- תפוקה
- מוּחלָט
- יותר
- להתגבר על
- מאמר
- עבר
- אֲנָשִׁים
- אָחוּז
- ביצעתי
- אדם
- פאם
- טלפון
- תמונה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- נקודה
- אפשרי
- פוטנציאל
- פאוול
- לחזות
- חזה
- ניבוי
- נבואה
- התחזיות
- מוצג
- מתנות
- כנראה
- מקצועי
- פרופסור
- הנחיות
- הוכחה
- הוכחה של רעיון או תאוריה
- הוכיח
- לספק
- מטרה
- אקראי
- אקראי
- תעריפים
- במקום
- קורא
- ממשי
- עולם אמיתי
- בֶּאֱמֶת
- הסתמכות
- חוקרים
- עתודה
- התנגדות
- הגיב
- תגובות
- תוצאות
- תקין
- הסיכון
- רוסיה
- s
- בְּטִיחוּת
- אמר
- אותו
- לומר
- אומר
- סצינה
- מחפשים
- תחושה
- סֶפּטֶמבֶּר
- סט
- הצבה
- היא
- הראה
- באופן משמעותי
- דומה
- since
- יחיד
- So
- כמה
- משהו
- נאום
- מניות
- שוק המניות
- סְתִימָה
- סיפורים
- סיפור
- אִסטרָטֶגִיָה
- כזה
- מעולה
- להפליא
- תסמינים
- לקחת
- סיפורים
- מדבר
- המשימות
- משימות
- הוראה
- טכניקה
- לספר
- אומר לי
- אומר
- מבחן
- טקסס
- מֵאֲשֶׁר
- זֶה
- השמיים
- העתיד
- שֶׁלָהֶם
- אותם
- אז
- שם.
- אלה
- הֵם
- דברים
- לחשוב
- זֶה
- אלה
- אם כי?
- כָּך
- לְסַכֵּל
- זמן
- פִּי
- שכותרתו
- ל
- אמר לי
- הדרכה
- טיפול
- ניסיתי
- שתיים
- סוגים
- אוקראינה
- להבין
- להתחייב
- אבטלה
- אוניברסיטה
- להשתמש
- מְשׁוּמָשׁ
- שימושים
- באמצעות
- שונים
- משתנה
- Ve
- מאוד
- באמצעות
- הופר
- רוצה
- היה
- דרכים
- we
- טוֹב
- היו
- מה
- מתי
- אם
- אשר
- יצטרך
- נכונות
- זוכה
- הזוכים
- עם
- מילים
- תיק עבודות
- גרוע יותר
- ראוי
- היה
- כתיבה
- שנה
- אתה
- זפירנט