פיזיקאים תיאורטיים עושים עבודה טובה כשבודקים מאמרים מדעיים, אך נוטים להתרשם יותר מהמשמעות של מחקר חדש מאשר מהקפדנות שבה הוא בוצע. זו ההצעה הפרובוקטיבית של מחקר חדש בוצע על ידי חוקרים בבריטניה ובפולין הבוחן את המהימנות של סקירת עמיתים בפיזיקה תיאורטית.
ביקורת עמיתים כוללת שליחת מאמרי מחקר לשופטים חיצוניים בלתי תלויים כדי להחליט אם מאמר אמין מבחינה מדעית ומתאים לכתב העת שאליו הוא הוגש. למרות היותו חלק מרכזי במדע במשך מאות שנים, אקדמאים מעטים מאומנים בביקורת עמיתים, וראיות אנקדוטיות מצביעות על כך שחילוקי דעות בין סוקרים בודדים לגבי מאמר הם שכיחים.
"בעולם אידיאלי, כל הסוקרים היו מעריכים כל הגשה בדיוק מושלם ומקבלים החלטה מושלמת", אומר מייק תלוול, מדען נתונים מאוניברסיטת שפילד, שביצע את המחקר. אבל בהתחשב בעובדה ששום עבודה לא יכולה להיות מושלמת בכל המדדים המשמשים לשיפוט איכות המאמר, סוקרים עושים את מה ש-Thelwall מכנה "שיחת שיפוט" לגבי המידה שבה מאמר משיג רמה מקובלת.
שלושת מרכיבי הליבה של איכות המשמשים לשפוט מאמר הם מקוריות, קפדנות ומשמעות. עם זאת, תלוול אומר שאיש לא בדק קודם לכן אם הסוקרים שופטים את המדדים הללו ביעילות, למרות שהם, למשל, חלק מההנחיות למעריכים בבריטניה מסגרת מצוינות מחקרית.
מקבלי החלטות
תלוול ופיזיקאי יאנוש הוליסט מהאוניברסיטה הטכנולוגית של ורשה ניתחו לכן את ציוני הסוקרים ב-505 מאמרי תיאוריה שפורסמו ב SciPost פיזיקה - כתב עת שמתרגל ביקורת עמיתים פתוחה. הצמד בחר להתמקד בפיזיקה תיאורטית מכיוון שלדבריהם מדובר בתרחיש המתאים ביותר לביקורת עמיתים, בכך שהסוקרים צריכים להיות בעלי סיכוי גבוה יותר להבין את כל ההיבטים של הגשה נתונה מאשר בתחומי מדע אחרים.
לכל מאמר במחקר היו לפחות שני סוקרים ניקוד והניתוח חשף מידה "מתונה" של הסכמה בין הסוקרים בכל שלושת מדדי המפתח. "התוצאות לא אמורות לגרום לדאגות כלל עבור SciPost פיזיקה - הסוקרים שלהם עושים עבודה מצוינת", אומר תלוול.
עם זאת, הוא חושש שכתבי עת המפרסמים מחקרים בתחומים שבהם קשה יותר לבודקים בודדים להכריע בשיקול דעת, עשויים לקבל שיעורי הסכמה נמוכים בהרבה עבור סוקרים. "לפי חוק הממוצעים, [הם עלולים] נוטים לקבל החלטות רעות לעתים קרובות באופן מתון עקב בחירה חסרת מזל של סוקרים", הוא אומר. המחברים מציעים שנושא כזה עשוי להיות ממוזער באמצעות פיקוח עריכה, הנחיות טובות יותר ושיפור הכשרת סוקרים.
ביקורת עמיתים תחת אור הזרקורים
המחקר בדק גם אילו מדדי האיכות נוטים להיות מדורגים זהים על ידי סוקרים בודדים. התוצאות מצביעות על כך - לפחות בפיזיקה תיאורטית - שופטים נוטים לדרג קפדנות נמוכה יותר. משמעות הדבר היא שיכול להיות קשה יותר לפרסם את מה שטלוול מכנה "מחקר מקורי קפדני ביותר", אך קל יותר לקבל "מחקר מקורי משמעותי".
למעשה, פיזיקאים תיאורטיים השואפים ליצור עבודה משמעותית עשויים להפיק תועלת מהתמקדות ברעיונות מקוריים במקום לייצר ראיות ממצות לתמיכה בעבודתם, מציעים המחברים. "כמובן, אנחנו צריכים את כל סוגי המחקר ואם כולם יוותרו על רעיונות קפדניים זה יהיה אסון למדע", מזהיר תלוול.
סטפן תורנר, פיזיקאי מהאוניברסיטה הרפואית של וינה שלא היה מעורב במחקר אבל ביצע מחקרים על סקירת עמיתים, אומר שהמחקר מעניין. "הנתונים הגולמיים מצביעים על כך שהסוקרים עקביים להפליא כמעט בכל הקטגוריות", הוא אומר. "ביותר מ-400 מתוך 505 מקרים, הם אינם שונים כלל או ביחידת ניקוד אחת. אני בטוח שלמדענים רבים יש את התחושה הסובייקטיבית שדו"חות השופטים שונים לעתים קרובות יותר מזה".
עם זאת, תורנר מוסיף כי מחקר עתידי יכול להשוות את התוצאות עם, למשל, מודלים התייחסות שבהם מאמרים הוקצו אקראית לשופטים.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. רכב / רכבים חשמליים, פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- BlockOffsets. מודרניזציה של בעלות על קיזוז סביבתי. גישה כאן.
- מקור: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- a
- אודות
- AC
- אקדמאים
- קביל
- מקובל
- דיוק
- משיגה
- מוסיף
- הסכם
- תעשיות
- גם
- am
- an
- אנליזה
- ו
- מתאים
- ARE
- אזורים
- מאמר
- היבטים
- שהוקצה
- At
- מחברים
- רע
- BE
- כי
- היה
- להיות
- תועלת
- מוטב
- בֵּין
- אבל
- by
- שיחות
- CAN
- נשא
- מקרים
- קטגוריות
- לגרום
- מֶרכָּזִי
- בָּדוּק
- בחירה
- בחר
- Common
- לְהַשְׁווֹת
- רכיבים
- המחשב
- מסך מחשב
- עִקבִי
- ליבה
- יכול
- קורס
- לִיצוֹר
- מְהֵימָן
- נתונים
- מדען נתונים
- להחליט
- החלטה
- החלטות
- תואר
- למרות
- נבדלים
- אסון
- do
- עושה
- ראוי
- כל אחד
- קל יותר
- עריכה
- יעילות
- להעריך
- אֲפִילוּ
- כולם
- עדות
- בחינות
- דוגמה
- אקסלנס
- מצוין
- חיצוני
- עובדה
- מעטים
- שדות
- ממצאים
- להתמקד
- התמקדות
- בעד
- מסגרת
- החל מ-
- עתיד
- יצירת
- לקבל
- נתן
- נותן
- זכוכית
- טוב
- עבודה טובה
- הנחיות
- היה
- קשה
- יש
- he
- אולם
- HTTPS
- מאות
- i
- אידאל
- רעיונות
- if
- תמונה
- התרשמנו
- משופר
- in
- באחר
- עצמאי
- להצביע
- בנפרד
- מידע
- מעניין
- אל תוך
- מעורב
- סוגיה
- IT
- עבודה
- כתב עת
- jpg
- שופט
- מפתח
- חוק
- הכי פחות
- רמה
- סביר
- נראה
- להוריד
- לעשות
- רב
- max-width
- מאי..
- אומר
- אמצעים
- רפואי
- מדדים
- יכול
- מודלים
- בִּמְתִינוּת
- יותר
- הרבה
- צורך
- חדש
- לא
- of
- לעתים קרובות
- on
- ONE
- לפתוח
- or
- מְקוֹרִי
- מְקוֹרִיוּת
- אחר
- הַחוּצָה
- יותר
- מֶחדָל
- מאמר
- ניירות
- חלק
- להציץ
- פיסיקה
- עולם הפיזיקה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- פולין
- לְמַעֲשֶׂה
- לְהַעֲדִיף
- קוֹדֶם
- לפרסם
- לאור
- הוצאה לאור
- איכות
- לדרג
- מדורג
- תעריפים
- במקום
- חי
- אמינות
- דוחות לדוגמא
- מחקר
- חוקרים
- תוצאות
- גילה
- סקירה
- ביקורת
- קַפְּדָנִי
- אותו
- לומר
- אומר
- מדע
- מדעי
- מַדְעָן
- מדענים
- ציון
- מניה
- מסך
- שליחה
- צריך
- משמעות
- משמעותי
- קול
- מחקרים
- לימוד
- כְּנִיעָה
- הוגש
- כזה
- להציע
- מציע
- תמיכה
- בטוח
- טכנולוגיה
- מֵאֲשֶׁר
- זֶה
- השמיים
- החוק
- בריטניה
- שֶׁלָהֶם
- תיאורטי
- התאוריה
- לכן
- אלה
- הֵם
- זֶה
- אם כי?
- שְׁלוֹשָׁה
- תמונה ממוזערת
- ל
- מְאוּמָן
- נָכוֹן
- שתיים
- סוגים
- Uk
- תחת
- להבין
- יחידה
- אוניברסיטה
- מְשׁוּמָשׁ
- באמצעות
- ורשה
- היה
- we
- היו
- מה
- מתי
- אשר
- מי
- יצטרך
- עם
- תיק עבודות
- עוֹלָם
- היה
- שנים
- זפירנט