מדענים יצרו את 'OpinionGPT' כדי לחקור הטיה אנושית מפורשת - ואתה יכול לבדוק זאת בעצמך

מדענים יצרו את 'OpinionGPT' כדי לחקור הטיה אנושית מפורשת - ואתה יכול לבדוק זאת בעצמך

חותמת זמן: 8 בספטמבר 2023 4:42

צוות חוקרים מ-Humboldt-Universitat zu Berlin פיתח מודל גדול של בינה מלאכותית של שפה, עם ההבחנה של כוונון מכוון ליצירת פלטים עם הטיה מפורשת.

הדגם של הצוות, המכונה OpinionGPT, הוא גרסה מכווננת של Llama 2 של Meta, מערכת בינה מלאכותית הדומה ביכולתה ל-ChatGPT של OpenAI או לקלוד 2 של Anthropic.

באמצעות תהליך שנקרא כוונון עדין מבוסס הוראה, OpinionGPT יכול לכאורה להגיב להנחיות כאילו היה נציג של אחת מ-11 קבוצות הטיה: אמריקאי, גרמני, אמריקה הלטינית, מזרח תיכוני, נער, מישהו מעל גיל 30, אדם מבוגר , גבר, אישה, ליברל או שמרן.

OpinionGPT שוכלל על קורפוס של נתונים שמקורם בקהילות "AskX", הנקראות subreddits, ב-Reddit. דוגמאות ל-subreddits אלה יכללו "שאל אישה" ו"שאל אמריקאי".

הצוות התחיל במציאת subreddits הקשורים ל-11 ההטיות הספציפיות ומשיכת 25 אלף הפוסטים הפופולריים ביותר מכל אחד מהם. לאחר מכן הם שמרו רק על הפוסטים שעמדו בסף המינימלי להצבעות בעד, לא הכילו ציטוט משובץ והיו מתחת ל-80 מילים.

עם מה שנשאר, נראה כאילו השתמשו ב- גישה דומה ל-Anthropic Constitutional AI. במקום ליצור דגמים חדשים לגמרי כדי לייצג כל תווית הטיה, הם בעצם כוונו עדין את הדגם הבודד של 7 מיליארד פרמטרים של Llama2 עם ערכות הוראות נפרדות לכל הטיה צפויה.

מידע נוסף: לשימוש ב-AI במדיה חברתית יש פוטנציאל להשפיע על סנטימנט ההצבעה

התוצאה, המבוססת על המתודולוגיה, הארכיטקטורה והנתונים מְתוּאָר במאמר המחקר של הצוות הגרמני, נראה כי היא מערכת בינה מלאכותית שמתפקדת יותר כמחולל סטריאוטיפים מאשר כלי לחקר הטיה בעולם האמיתי.

בשל אופי הנתונים שהמודל שוכלל, והקשר המפוקפק של הנתונים הללו לתוויות המגדירות אותו, OpinionGPT לא בהכרח מפיקה טקסט שמתיישר עם כל הטיה ניתנת למדידה בעולם האמיתי. זה פשוט מוציא טקסט המשקף את ההטיה של הנתונים שלו.

החוקרים עצמם מכירים בחלק מהמגבלות שהדבר מציב על המחקר שלהם, וכותבים:

"לדוגמה, יש להבין טוב יותר את התגובות של "אמריקאים" בתור 'אמריקאים שמפרסמים ב-Reddit', או אפילו 'אמריקאים שמפרסמים ב-subreddit המסוים הזה'. באופן דומה, יש להבין את 'גרמנים' כ'גרמנים שמפרסמים ב-subreddit הספציפי הזה' וכו'."

אפשר לחדד עוד יותר את האזהרות האלה כדי לומר שהפוסטים מגיעים מ"אנשים הטוענים שהם אמריקאים שמפרסמים ב-subreddit הספציפי הזה", מכיוון שאין שום אזכור בעיתון של בדיקה אם הפוסטרים שמאחורי פוסט נתון הם למעשה מייצגים של הקבוצה הדמוגרפית או ההטיה שהם טוענים שהם.

המחברים ממשיכים ומצהירים שהם מתכוונים לחקור מודלים שמתארים עוד יותר את הדמוגרפיה (כלומר: גרמנית ליברלית, גרמנית שמרנית).

נראה כי התפוקות שניתנו על ידי OpinionGPT משתנות בין ייצוג הטיה הניתנת להוכחה לבין שונות מאוד מהנורמה שנקבעה, מה שמקשה להבחין בכדאיותה ככלי למדידה או גילוי הטיה ממשית.

מדענים יצרו את 'OpinionGPT' כדי לחקור הטיה אנושית מפורשת - ואתה יכול לבדוק זאת בעצמך PlatoBlockchain Data Intelligence. חיפוש אנכי. איי.
מקור: צילום מסך, טבלה 2: Haller et. אל., 2023

לפי OpinionGPT, כפי שמוצג בתמונה לעיל, למשל, אמריקה הלטינית מוטה כלפי כדורסל להיות הספורט האהוב עליהם.

מחקר אמפירי, לעומת זאת, ברור מצביע על שכדורגל (שנקרא גם כדורגל במדינות מסוימות) ובייסבול הם ענפי הספורט הפופולריים ביותר לפי צפייה והשתתפות ברחבי אמריקה הלטינית.

אותה טבלה גם מראה ש-OpinionGPT מציגה "כדור מים" כספורט המועדף עליה כאשר מקבלים הוראה לתת "תגובה של נער", תשובה שנראית סטטיסטית לא סביר להיות נציג של רוב בני 13-19 ברחבי העולם.

אותו דבר לגבי הרעיון שהאוכל האהוב על אמריקאי ממוצע הוא "גבינה". מצאנו עשרות סקרים באינטרנט שטוענים שפיצה והמבורגרים הם המאכלים האהובים על אמריקה, אבל לא מצאנו אף סקר או מחקר אחד שטען שהמנה מספר אחת של האמריקאים היא פשוט גבינה.

בעוד ש-OpinionGPT עשוי להיות לא מתאים לחקר הטיה אנושית ממשית, זה יכול להיות שימושי ככלי לחקר הסטריאוטיפים הטבועים במאגרי מסמכים גדולים, כגון סומדיטים בודדים או ערכות אימון בינה מלאכותית.

למי שסקרן, החוקרים עשו את OpinionGPT זמין מקוון לבדיקה ציבורית. עם זאת, על פי האתר, משתמשים עתידיים צריכים להיות מודעים לכך ש"תוכן שנוצר יכול להיות שקרי, לא מדויק או אפילו מגונה".

בול זמן:

עוד מ Cointelegraph