Фізики-теоретики добре виконують свою роботу, коли рецензують наукові статті, але, як правило, більше їх вражає важливість нових досліджень, а не ретельність, з якою вони були проведені. Це провокаційна пропозиція нового дослідження проведений дослідниками з Великобританії та Польщі, який перевіряє надійність експертної оцінки в теоретичній фізиці.
Експертне рецензування передбачає надсилання дослідницьких статей незалежним зовнішнім рецензентам для визначення того, чи стаття є науково достовірною та чи підходить для журналу, до якого вона була подана. Незважаючи на те, що це була центральна частина науки протягом сотень років, небагато науковців навчаються рецензуванням, і неофіційні дані свідчать про те, що розбіжності між окремими рецензентами щодо статті є звичайним явищем.
«В ідеальному світі всі рецензенти оцінили б кожну заявку з ідеальною точністю та винесли б ідеальне рішення», — каже Майк Телуол, дослідник даних з Університету Шеффілда, який проводив дослідження. Але враховуючи, що жодна робота не може бути ідеальною за всіма показниками, які використовуються для оцінки якості статті, рецензенти роблять те, що Thelwall називає «судженням» щодо того, наскільки стаття досягає прийнятного рівня.
Трьома основними компонентами якості, які використовуються для оцінки статті, є оригінальність, строгість і значущість. Проте Телуол каже, що раніше ніхто не перевіряв, чи рецензенти оцінюють ці показники ефективно, хоча вони, наприклад, є частиною інструкцій для оцінювачів у Великій Британії. Концепція досконалості досліджень.
Ті що приймають рішення
Телуол і фізик Януш Голист Тому Варшавського технологічного університету проаналізовано оцінки рецензентів у 505 теоретичних роботах, опублікованих у Фізика SciPost — журнал, який практикує відкрите рецензування. Дует вирішив зосередитися на теоретичній фізиці, тому що, на їхню думку, це найкращий сценарій для експертної оцінки, оскільки рецензенти мають більше розуміти всі аспекти даної статті, ніж в інших галузях науки.
Кожна стаття в дослідженні мала принаймні двох рецензентів, і аналіз виявив «помірний» ступінь згоди між рецензентами за всіма трьома ключовими показниками. «Результати не повинні викликати занепокоєння Фізика SciPost — їхні рецензенти роблять чудову роботу», — каже Телуол.
Однак він стурбований тим, що журнали, які публікують дослідження в галузях, де окремим рецензентам важче зробити обґрунтоване судження, можуть мати набагато нижчий рівень згоди для рецензентів. «Згідно із законом середніх величин, [вони можуть] помірно часто приймати неправильні рішення через невдалий вибір рецензентів», — каже він. Автори припускають, що така проблема може бути зведена до мінімуму за допомогою редакційного контролю, кращих інструкцій і вдосконалення навчання рецензентів.
Рецензування під прожекторами
Дослідження також розглядало, які з показників якості, як правило, однаково оцінюються окремими рецензентами. Результати показують, що — принаймні в теоретичній фізиці — судді, як правило, мають нижчу оцінку суворості. Це означає, що може бути важче опублікувати те, що Thelwall називає «дуже ретельним оригінальним дослідженням», але легше отримати «важливе оригінальне дослідження».
Насправді, фізики-теоретики, які прагнуть створити важливу роботу, можуть отримати вигоду від зосередження на оригінальних ідеях, а не від створення вичерпних доказів на підтримку своєї роботи, вважають автори. «Звичайно, нам потрібні всі типи досліджень, і якщо всі відмовляться від чітких ідей, це буде катастрофою для науки», — застерігає Телуол.
Стефан Тернер, фізик з Віденського медичного університету, який не брав участі в дослідженні, але проводив дослідження в рамках експертної оцінки, каже, що дослідження цікаве. «Необроблені дані показують, що рецензенти надзвичайно послідовні практично в усіх категоріях», — каже він. «У понад 400 із 505 випадків вони не відрізняються взагалі або на одну одиницю. Я впевнений, що багато вчених мають суб’єктивне відчуття, що звіти суддів частіше відрізняються».
Проте Тернер додає, що майбутні дослідження можуть порівняти результати, скажімо, з еталонними моделями, в яких роботи випадковим чином призначалися рецензентам.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
- джерело: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- : має
- :є
- : ні
- :де
- $UP
- a
- МЕНЮ
- AC
- вчені
- прийнятний
- прийнятий
- точність
- Досягає
- Додає
- Угода
- ВСІ
- Також
- am
- an
- аналіз
- та
- відповідний
- ЕСТЬ
- області
- стаття
- аспекти
- призначений
- At
- authors
- поганий
- BE
- оскільки
- було
- буття
- користь
- Краще
- між
- але
- by
- Виклики
- CAN
- carried
- випадків
- категорії
- Викликати
- центральний
- перевірено
- вибір
- вибрав
- загальний
- порівняти
- Компоненти
- комп'ютер
- екран комп "ютера
- послідовний
- Core
- може
- Курс
- створювати
- достовірний
- дані
- вчений даних
- вирішувати
- рішення
- рішення
- Ступінь
- Незважаючи на
- відрізняються
- катастрофа
- do
- справи
- два
- кожен
- легше
- Редакційний
- фактично
- оцінювати
- Навіть
- все
- докази
- Обстежує
- приклад
- Перевага
- відмінно
- зовнішній
- факт
- кілька
- Поля
- знайти
- знахідки
- Сфокусувати
- фокусування
- для
- Рамки
- від
- майбутнє
- породжує
- отримати
- даний
- дає
- скло
- добре
- хороша робота
- керівні вказівки
- було
- важче
- Мати
- he
- Однак
- HTTPS
- Сотні
- i
- ідеальний
- ідеї
- if
- зображення
- вражений
- поліпшений
- in
- В інших
- незалежний
- вказувати
- індивідуальний
- інформація
- цікавий
- в
- залучений
- питання
- IT
- робота
- журнал
- JPG
- суддя
- ключ
- закон
- найменш
- рівень
- Ймовірно
- подивився
- знизити
- зробити
- багато
- макс-ширина
- Може..
- засоби
- заходи
- медичний
- Метрика
- може бути
- Моделі
- помірно
- більше
- багато
- Необхідність
- Нові
- немає
- of
- часто
- on
- ONE
- відкрити
- or
- оригінал
- оригінальність
- Інше
- з
- над
- Нагляд
- Папір
- документи
- частина
- однолітка
- ідеальний
- Фізика
- Світ фізики
- plato
- Інформація про дані Платона
- PlatoData
- Польща
- практично
- надавати перевагу
- раніше
- публікувати
- опублікований
- Видавничий
- якість
- ранжувати
- ранг
- ставки
- швидше
- Сировина
- надійність
- Звіти
- дослідження
- Дослідники
- результати
- Показали
- огляд
- рецензування
- суворий
- то ж
- say
- говорить
- наука
- науковий
- вчений
- Вчені
- рахунок
- рахунок
- Екран
- відправка
- Повинен
- значення
- значний
- Звучати
- Дослідження
- Вивчення
- уявлення
- представлений
- такі
- пропонувати
- Запропонує
- підтримка
- Переконайтеся
- Технологія
- ніж
- Що
- Команда
- закон
- Великобританія
- їх
- теоретичний
- теорія
- отже
- Ці
- вони
- це
- хоча?
- три
- слайдами
- до
- навчений
- правда
- два
- Типи
- Uk
- при
- розуміти
- блок
- університет
- використовуваний
- через
- Варшава
- було
- we
- були
- Що
- коли
- який
- ВООЗ
- волі
- з
- Work
- світ
- б
- років
- зефірнет