מודלים גדולים של שפה יכולים לשקר לך - הפרופסור הזה רוצה שתדע מתי הם יודעים - מועצת מנהיגות הטכנולוגיה ההמונית

דבר עם כמעט כל אחד - כל אדם אנושי, כלומר - והשיחה שלך תיתקל במה מליהי אליחני מכנה "חיכוכים בריאים", רגעים שבהם המטרה שלך בשיחה נתקלת בזו של בן הזוג, רגעים שדורשים הבהרה, מייצרים בלבול או מובילים לחוסר הסכמה.

לא כך עם דגמי שפה גדולים.

אליחני, עוזר פרופסור במכללת חורי למדעי המחשב באוניברסיטת Northeastern, אומר שלמודלים של שפות גדולות כמו ChatGPT יש בעיה רצינית בוודאות.

הפרויקט החדש של אליחני, הנקרא חיכוך למתן אחריות בעסקאות שיחה (FACT), הוא שיתוף פעולה בין אוניברסיטת Northeastern, אוניברסיטת אילינוי אורבנה-שמפיין ואוניברסיטת דרום קליפורניה.

פרויקט FACT ממומן באמצעות מענק חקר בינה מלאכותית דרך הסוכנות לפרויקטים מתקדמים של Defense Research, מטרתו לפתח כלי בינה מלאכותית שקופים ושוויוניים יותר.

"אחד הדברים שהופכים את התקשורת האנושית לכלי פורה", אומר אליחני, "הוא העובדה שאנו מייצגים את חוסר הוודאות שלנו בדיבור שלנו, בטון שלנו. שמנו את זה בהבעת הפנים שלנו".

החיכוכים הבריאים הנובעים מאי ודאות בתקשורת בין אדם לאדם עוזרים לשמור על מגוון דעות ונקודות מבט, היא ממשיכה.

אבל מודלים גדולים של שפה (או LLMs) אינם מעוניינים להביע את חוסר הוודאות שלהם, וכתוצאה מכך, מה שאליקאני מכנה "התנהגויות סיקופנטיות". מודלים של שפות גדולות "רוצים למקסם את שביעות הרצון" של המשתמש שלהם, היא אומרת, ו"לעולם אל תכניס שום חיכוך בשיחה, בין אם [המודל] בטוח" בהצהרותיו או לא.

בעיות נוספות מתעוררות עם מודלים של שפה גדולים באמצעות נטייתם להזיות. לימודי תואר שני "ממציאים עובדות. הם טובים מאוד בלשכנע אנשים בעובדות מומצאות".

למרות הבעיות הללו, אליחני גם אומר שבני אדם נוטים להסתמך יתר על המידה על ה"עובדות" שנוצרו על ידי מודלים אלה של בינה מלאכותית, ש"עשויות להמציא עובדות כדי לשמח אותך".

חלק ממה שתורם להסתמכות יתר של משתמשים על LLMs הם "ההתנהגויות הדמויות של בני אדם", היא אומרת. "זה יעשה מניפולציה על ההכרה שלנו."

נראה שגם מודלים של שפה גדולים מייצרים את התגובות שלהם באופן מיידי, גורם נוסף שגורם למשתמשים להניח נכונות. "קשה לנו, מדעני הבינה המלאכותית, לומר לאנשים, 'כן, זה קוהרנטי. כן, זה מהיר. כן, זה מתכוונן לסגנון שלך. אבל זה הוזה'", אומר אליחני.

במסגרת המענק החדש שלהם, אליחני והצוות שלה יעצבו כלים שידגימו את רמות הוודאות של LLM מחזיק בהצהרה שהוא משמיע ויכניסו חיכוכים בריאים לשיחות אנושיות-AI.

"איך נוכל לחזות ולנסח את האמון של המערכת?" שואל אליחני. אם מודל AI הוא "בטוח רק ב-2%, הוא צריך להחצין את זה."

"אחת המטרות העיקריות של המחקר היא ליצור מודל של אי-ודאות, להחצין אי-ודאות" וללמד את ה-LLMs כיצד לתאר את אי-הוודאות הזו בשיחת אדם-AI. זה עשוי להופיע בממשק של משתמש כציון אחוזון של ודאות המודל, או שהמודל עשוי לשקף אי ודאות בתגובות שלו בצורה אנושית יותר.

לדוגמה, אליחני מדמיין מצב שבו מטופל עשוי לשאול מודל שפה גדול שאלה על בריאותו. הדור הנוכחי של LLMs ינסה לספק תשובה, גם אם תשובה זו עשויה להתברר כמסוכנת. אליחני מקווה לבנות מודלים שיוכלו לומר, "'אני לא יודע. אתה צריך להתקשר לאחות שלך'".

"חוסן הוא המפתח לאחריות ב-AI", אומר אליחני. נכון לעכשיו, מקובל ש-LLM מגיב עם תשובה אחת לשאילתה בזמן השאלה ותשובה שונה לחלוטין כמה דקות לאחר מכן.

כשזה מגיע לתכנון AI שהוא גם בטוח וגם אחראי, למערכות AI קודמות שעשויות לעזור במשימות פשוטות "לא הייתה גישה לחבורה של מערכי נתונים אחרים", אומר אליחני, "והם לא יכלו לומר דברים שעלולים להיות מסוכנים. , כי זה לא היה בנתונים שלהם".

בדיוק מה שמערכי הנתונים האלה כוללים - או לא כוללים - הם המפתח להתגברות על ההטיות שמציגות LLMs כלפי "הטיות מגדריות, אך גם עדינות יותר, כגון קבוצות פנימה לעומת חוץ והטיות קוגניטיביות שונות המשתקפות במודלים [בשפה גדולה]".

כעת, אליחני מקווה לעצב דגמים שיתנו שירות לאנשים עם "מחירים והעדפות שונות", היא אומרת.

"אנחנו לא רוצים להמשיך לבנות מערכות עבור האוכלוסייה שיש לנו עליה נתונים, אבל אנחנו חושבים על מי אנחנו משאירים מאחור, ואיך נוכל לעצור את הפער העצום הזה של אי-שוויון במקום להחמיר אותו?" היא שואלת. "המטרה של המעבדה שלי היא להתקדם לכיוון הזה."

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://www.mtlc.co/large-language-models-can-lie-to-you-this-professor-wants-you-to-know-when-they-do/