אקדמאים המתמקדים בבינה מלאכותית החלו להשתמש ב-AI גנרטיבי כדי לעזור להם לסקור את עבודת למידת המכונה של עמיתים.
קבוצה של חוקרים מאוניברסיטת סטנפורד, NEC Labs America ו-UC סנטה ברברה ניתחה לאחרונה את ביקורות עמיתים של מאמרים שהוגשו לכנסים מובילים של AI, כולל ICLR 2024, NeurIPS 2023, CoRL 2023 ו-EMNLP 2023.
המחברים - Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland, and James Y Zou - דיווחו על ממצאיהם ב- נייר שכותרתו "ניטור תוכן שונה ב-AI בקנה מידה: מחקר מקרה על ההשפעה של ChatGPT על ביקורות עמיתים של כנס בינה מלאכותית."
הם ביצעו את המחקר בהתבסס על העניין הציבורי והדיון במודלים של שפה גדולים ששלטו בשיח הטכני בשנה שעברה.
המחברים מצאו עלייה קטנה אך עקבית בשימוש לכאורה ב-LLM עבור ביקורות שהוגשו שלושה ימים או פחות לפני המועד האחרון
הקושי להבחין בין טקסט שנכתב על ידי אדם ומכונה לבין העלייה המדווחת אתרי חדשות בינה מלאכותית הובילו את המחברים למסקנה שיש צורך דחוף לפתח דרכים להערכת מערכי נתונים מהעולם האמיתי המכילים כמות בלתי מוגדרת של תוכן שכתב בינה מלאכותית.
לפעמים מחבר בינה מלאכותית בולטת - כמו ב-a מאמר מתוך דיווחי מקרה רדיולוגיה שכותרתם "ניהול מוצלח של פגיעה בווריד פורטלי ועורק כבד במטופלת בת 4 חודשים: דוח מקרה וסקירת ספרות."
הקטע המבולבל הזה הוא קצת מתנה: "לסיכום, הניהול של דו-צדדי iatrogenic אני מצטער מאוד, אבל אין לי גישה למידע בזמן אמת או לנתונים ספציפיים למטופל, מכיוון שאני מודל של שפת AI ."
אבל ההבחנה לא תמיד ברורה, וניסיונות העבר לפתח דרך אוטומטית למיין טקסט שנכתב על ידי אדם מרובו-פרוזה לא עלו יפה. OpenAI, למשל הציג AI Text Classifier למטרה זו בינואר 2023, רק כדי לסגור אותו שישה חודשים לאחר מכן "בשל רמת הדיוק הנמוכה שלו".
בכל זאת, ליאנג ואח' טוענים שהתמקדות בשימוש בשמות תואר בטקסט - במקום לנסות להעריך מסמכים שלמים, פסקאות או משפטים - מובילה לתוצאות אמינות יותר.
המחברים לקחו שתי קבוצות של נתונים, או קורפוסים - האחד נכתב על ידי בני אדם והשני נכתב על ידי מכונות. והם השתמשו בשני גופי הטקסט האלה כדי להעריך את ההערכות - ביקורות עמיתים של מאמרי בינה מלאכותית בכנס - לתדירות של שמות תואר ספציפיים.
"כל החישובים שלנו תלויים רק בשמות התואר הכלולים בכל מסמך", הסבירו. "מצאנו שבחירת אוצר המילים הזו מציגה יציבות רבה יותר מאשר שימוש בחלקי דיבור אחרים כגון פתגמים, פעלים, שמות עצם או כל האסימונים האפשריים."
מסתבר ש-LLMs נוטים להשתמש בשמות תואר כמו "ראוי לשבח", "חדשני" ו"מקיף" בתדירות גבוהה יותר מאשר מחברים אנושיים. והבדלים סטטיסטיים כאלה בשימוש במילים אפשרו ל-boffins לזהות ביקורות של מאמרים שבהם סיוע ב-LLM נחשב סביר.
"התוצאות שלנו מצביעות על כך שבין 6.5% ל-16.9% מהטקסט שהוגש כביקורת עמיתים לכנסים אלה יכול היה להשתנות באופן מהותי על ידי LLMs, כלומר מעבר לבדיקת איות או עדכוני כתיבה קלים", טענו המחברים, וציינו כי ביקורות על עבודות ב- כתב העת המדעי Nature אינם מציגים סימנים של סיוע ממוכן.
נראה כי מספר גורמים נמצאים בקורלציה עם שימוש רב יותר ב-LLM. האחד הוא תאריך יעד שמתקרב: המחברים מצאו עלייה קטנה אך עקבית בשימוש לכאורה ב-LLM עבור ביקורות שהוגשו שלושה ימים או פחות לפני המועד האחרון.
החוקרים הדגישו כי כוונתם לא הייתה לשפוט את השימוש בסיוע בכתיבה בינה מלאכותית, ואף לא לטעון כי אף אחת מהמאמרים שהם העריכו נכתבה במלואה על ידי מודל AI. אבל הם טענו שהקהילה המדעית צריכה להיות שקופה יותר לגבי השימוש ב-LLMs.
והם טענו ששיטות עבודה כאלה עלולות למנוע ממי שעבודתם נבדקת משוב מגוון ממומחים. יתרה מכך, משוב בינה מלאכותית מסתכן באפקט הומוגניזציה המוטה לעבר הטיות מודל AI ומתרחק מתובנה משמעותית. ®
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :הוא
- :לֹא
- :איפה
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- אודות
- גישה
- AI
- תעשיות
- מותר
- תמיד
- am
- אמריקה
- כמות
- an
- מְנוּתָח
- ו
- כל
- לכאורה
- לְהוֹפִיעַ
- מתקרב
- טען
- מלאכותי
- בינה מלאכותית
- AS
- לְהַעֲרִיך
- סיוע
- At
- ניסיונות
- מחברים
- מחבר
- אוטומטי
- רָחוֹק
- מבוסס
- BE
- היה
- לפני
- להיות
- בֵּין
- מעבר
- הטיות
- קצת
- גופים
- אבל
- by
- חישובים
- קאו
- מקרה
- מקרה מבחן
- ChatGPT
- חן
- בחירה
- לטעון
- קליק
- ענן
- CO
- ראוי לשבח
- קהילה
- לחלוטין
- מַקִיף
- מסכם
- כנס
- כנסים
- עִקבִי
- להכיל
- הכלול
- לִטעוֹן
- תוכן
- יכול
- Daniel
- נתונים
- ערכות נתונים
- ימים
- המועד אחרון
- נחשב
- לסמוך
- לפתח
- ההבדלים
- קושי
- שיח
- דיון
- הבחנה
- שונה
- do
- מסמך
- מסמכים
- נשלט
- דון
- e
- כל אחד
- השפעה
- הדגיש
- לְהַגדִיל
- שלם
- רשאי
- להעריך
- העריך
- הערכות
- דוגמה
- תערוכה
- מומחים
- מוסבר
- גורמים
- מָשׁוֹב
- נְקֵבָה
- ממצאים
- מרוכז
- התמקדות
- בעד
- מצא
- תדר
- בתדירות גבוהה
- החל מ-
- גנרטטיבית
- AI Generative
- בגידה
- נעלם
- יותר
- קְבוּצָה
- יש
- לעזור
- HTTPS
- huang
- בן אנוש
- בני אדם
- i
- לזהות
- פְּגִיעָה
- in
- כולל
- להגדיל
- המציין
- מידע
- פציעה
- חדשני
- תובנה
- מוֹדִיעִין
- מטרה
- אינטרס
- J States
- IT
- שֶׁלָה
- ג'יימס
- יָנוּאָר
- כתב עת
- jpg
- מעבדות
- שפה
- גָדוֹל
- אחרון
- שנה שעברה
- מאוחר יותר
- מוביל
- מוביל
- למידה
- הוביל
- פחות
- כמו
- סביר
- ספרות
- LLM
- נמוך
- מכונה
- למידת מכונה
- מכונה
- ניהול
- משמעותי
- קטין
- מודל
- מודלים
- שונים
- ניטור
- חודשים
- יותר
- טבע
- צורך
- צרכי
- חדשות
- וציין
- שמות עצם
- עַכשָׁיו
- ברור
- of
- on
- ONE
- רק
- OpenAI
- or
- אחר
- שלנו
- הַחוּצָה
- ניירות
- חלקים
- לעבור
- מעבר
- עבר
- חולה
- להציץ
- עמיתים
- אָחוּז
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- כניסה
- אפשרי
- פוטנציאל
- פרקטיקות
- ציבורי
- מטרה
- ציון
- במקום
- עולם אמיתי
- זמן אמת
- לאחרונה
- אָמִין
- לדווח
- דווח
- דוחות לדוגמא
- חוקרים
- תוצאות
- סקירה
- סקר
- ביקורת
- חוות דעת של לקוחותינו
- לעלות
- סיכונים
- s
- סנטה
- סולם
- מדעי
- סטים
- שלטים
- שישה
- שישה חודשים
- מידה
- קטן
- כמה
- ספציפי
- נאום
- יציבות
- עומד
- סטנפורד
- אוניברסיטת סטנפורד
- סטטיסטי
- לימוד
- הוגש
- באופן משמעותי
- מוצלח
- כזה
- להציע
- סיכום
- משימות
- טכני
- נוטה
- טֶקסט
- מֵאֲשֶׁר
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- שם.
- אלה
- הֵם
- זֶה
- אלה
- שְׁלוֹשָׁה
- שכותרתו
- ל
- מטבעות
- לקח
- חלק עליון
- לקראת
- שָׁקוּף
- מנסה
- פונה
- שתיים
- התחייבה
- אוניברסיטה
- עדכונים
- דחוף
- נוֹהָג
- להשתמש
- מְשׁוּמָשׁ
- באמצעות
- מאוד
- היה
- דֶרֶך..
- דרכים
- we
- טוֹב
- היו
- מה
- של מי
- עם
- Word
- תיק עבודות
- כתיבה
- כתוב
- Ye
- שנה
- זפירנט
- זאו