Az elméleti fizikusok jó munkát végeznek a tudományos közlemények szakértői lektorálásakor, de inkább az új kutatások jelentősége nyűgözi le őket, semmint a szigorúság, amellyel azokat elvégezték. Ez a provokatív javaslat egy új tanulmányról brit és lengyel kutatók végezték el, amely a szakértői értékelés megbízhatóságát vizsgálja az elméleti fizikában.
A szakértői értékelés magában foglalja a kutatási dokumentumok elküldését független, külső referenseknek, hogy eldöntsék, egy cikk tudományosan hiteles-e és megfelelő-e a folyóirat számára, amelyhez benyújtották. Annak ellenére, hogy több száz éve központi szerepet játszott a tudományban, kevés akadémikus képzett szakértői értékelésben, és anekdotikus bizonyítékok arra utalnak, hogy gyakoriak az egyes bírálók közötti nézeteltérések a dolgozattal kapcsolatban.
„Egy ideális világban minden bíráló tökéletes pontossággal értékelne minden egyes beadványt, és tökéletes döntést hozna” – mondja Mike Thelwall, a Sheffieldi Egyetem adatkutatója, aki a vizsgálatot végezte. Ám tekintettel arra, hogy egyetlen munka sem lehet tökéletes a dolgozat minőségének megítélésére használt összes mérőszám tekintetében, a lektorok Thelwall által „ítéletnek” nevezik azt, hogy egy cikk milyen mértékben ér el elfogadható szintet.
A minőség három alapvető összetevője egy papír megítéléséhez az eredetiség, a szigorúság és a jelentőség. Thelwall azonban azt mondja, hogy korábban senki sem ellenőrizte, hogy a bírálók hatékonyan ítélik-e meg ezeket a mutatókat, pedig például az Egyesült Királyság értékelőire vonatkozó irányelvek részét képezik. Kutatási Kiválósági Keretrendszer.
Döntés hozó
Thelwall és a fizikus Janusz Hołyst A Varsói Műszaki Egyetem munkatársa ezért a ben megjelent 505 elméleti dolgozat bírálói pontszámait elemezte SciPost fizika — nyílt szakértői értékelést gyakorló folyóirat. A páros úgy döntött, hogy az elméleti fizikára összpontosít, mert szerintük ez a legjobb forgatókönyv a szakértői értékeléshez, mivel a bírálóknak nagyobb valószínűséggel kell érteniük egy adott beadvány minden aspektusát, mint a tudomány más területein.
A tanulmányban minden egyes dolgozatnak legalább két pontozó értékelője volt, és az elemzés „mérsékelt” fokú egyetértést mutatott ki a bírálók között mindhárom kulcsfontosságú mérőszám tekintetében. „Az eredmények nem okozhatnak aggodalmat SciPost fizika – lektoraik kiváló munkát végeznek” – mondja Thelwall.
Ugyanakkor aggodalmát fejezi ki amiatt, hogy azok a folyóiratok, amelyek olyan területeken publikálnak kutatásokat, ahol az egyes lektorok nehezebben tudnak megalapozott döntést hozni, sokkal alacsonyabb egyetértési arányt kaphatnak a bírálók körében. „Az átlagok törvénye értelmében [lehet], hogy a bírálók szerencsétlen megválasztása miatt gyakran rossz döntéseket hoznak” – mondja. A szerzők azt javasolják, hogy ez a probléma minimálisra csökkenthető szerkesztői felügyelet, jobb iránymutatások és továbbfejlesztés révén bíráló képzés.
Peer review reflektorfényben
A tanulmány azt is megvizsgálta, hogy a minőségi mérőszámok közül melyeket szokták azonosnak minősíteni az egyes véleményezők. Az eredmények arra utalnak, hogy – legalábbis az elméleti fizikában – a játékvezetők általában alacsonyabbra értékelik a szigort. Ez azt jelenti, hogy nehezebb lehet közzétenni azt, amit Thelwall „nagyon szigorú eredeti tanulmánynak” nevez, de könnyebb elfogadni egy „jelentős eredeti tanulmányt”.
Valójában a jelentős munka létrehozására törekvő elméleti fizikusok számára előnyös lehet, ha az eredeti ötletekre összpontosítanak, ahelyett, hogy kimerítő bizonyítékokat állítanának elő munkájuk alátámasztására, javasolják a szerzők. „Természetesen mindenféle kutatásra szükségünk van, és ha mindenki feladja a szigorú ötleteket, az katasztrófa lesz a tudomány számára” – figyelmeztet Thelwall.
Stefan Thurner, a Bécsi Orvostudományi Egyetem fizikusa, aki nem vett részt a vizsgálatban, de végzett szakértői értékelést, azt mondja, hogy a tanulmány érdekes. „A nyers adatok azt mutatják, hogy a bírálók figyelemreméltóan következetesek gyakorlatilag minden kategóriában” – mondja. „400 esetből több mint 505-ban egyáltalán nem, vagy egy pontegységgel különböznek egymástól. Biztos vagyok benne, hogy sok tudósnak az a szubjektív érzése, hogy a bírói jelentések ennél gyakrabban térnek el egymástól.
Thurner azonban hozzáteszi, hogy a jövőbeli kutatások összehasonlíthatják az eredményeket például referenciamodellekkel, amelyekben a dolgozatokat véletlenszerűen osztották ki a játékvezetőkhöz.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Autóipar / elektromos járművek, Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- BlockOffsets. A környezetvédelmi ellentételezési tulajdon korszerűsítése. Hozzáférés itt.
- Forrás: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- :van
- :is
- :nem
- :ahol
- $ UP
- a
- Rólunk
- AC
- tudósok
- elfogadható
- elfogadott
- pontosság
- ér
- Hozzáteszi
- Megállapodás
- Minden termék
- Is
- am
- an
- elemzés
- és a
- megfelelő
- VANNAK
- területek
- cikkben
- szempontok
- kijelölt
- At
- szerzők
- Rossz
- BE
- mert
- óta
- hogy
- haszon
- Jobb
- között
- de
- by
- kéri
- TUD
- végrehajtott
- esetek
- kategóriák
- Okoz
- központi
- ellenőrzött
- választás
- választotta
- Közös
- összehasonlítani
- alkatrészek
- számítógép
- számítógép képernyőjén
- következetes
- Mag
- tudott
- Tanfolyam
- teremt
- hihető
- dátum
- adattudós
- dönt
- döntés
- határozatok
- Fok
- Ellenére
- különbözik
- katasztrófa
- do
- Ennek
- két
- minden
- könnyebb
- Szerkesztőségi
- hatékonyan
- értékelni
- Még
- mindenki
- bizonyíték
- megvizsgálja
- példa
- Kiváló
- kiváló
- külső
- tény
- kevés
- Fields
- Találjon
- leletek
- Összpontosít
- összpontosítás
- A
- Keretrendszer
- ból ből
- jövő
- generáló
- kap
- adott
- ad
- üveg
- jó
- jó munkát
- irányelvek
- kellett
- nehezebb
- Legyen
- he
- azonban
- HTTPS
- Több száz
- i
- ideális
- ötletek
- if
- kép
- lenyűgözött
- javított
- in
- Más
- független
- jelez
- egyéni
- információ
- érdekes
- bele
- részt
- kérdés
- IT
- Munka
- folyóirat
- jpg
- bíró
- Kulcs
- Törvény
- legkevésbé
- szint
- Valószínű
- nézett
- alacsonyabb
- csinál
- sok
- max-width
- Lehet..
- eszközök
- intézkedések
- orvosi
- Metrics
- esetleg
- modellek
- mérsékelten
- több
- sok
- Szükség
- Új
- nem
- of
- gyakran
- on
- ONE
- nyitva
- or
- eredeti
- eredetiség
- Más
- ki
- felett
- Felügyelet
- Papír
- papírok
- rész
- egyenrangú
- tökéletes
- Fizika
- Fizika Világa
- Plató
- Platón adatintelligencia
- PlatoData
- Lengyelország
- gyakorlatilag
- jobban szeret
- korábban
- közzétesz
- közzétett
- Kiadás
- világítás
- rangsorban
- rangsorolt
- Az árak
- Inkább
- Nyers
- megbízhatóság
- Jelentések
- kutatás
- kutatók
- Eredmények
- Revealed
- Kritika
- felülvizsgálata
- szigorú
- azonos
- azt mondják
- azt mondja,
- Tudomány
- tudományos
- Tudós
- tudósok
- pontszám
- pontozás
- Képernyő
- elküldés
- kellene
- jelentőség
- jelentős
- hang
- tanulmányok
- Tanulmány
- benyújtása
- benyújtott
- ilyen
- javasol
- javasolja,
- támogatás
- biztos
- Technológia
- mint
- hogy
- A
- törvény
- Az Egyesült Királyságban
- azok
- elméleti
- elmélet
- ebből adódóan
- Ezek
- ők
- ezt
- bár?
- három
- miniatűr
- nak nek
- kiképzett
- igaz
- kettő
- típusok
- Uk
- alatt
- megért
- egység
- egyetemi
- használt
- keresztül
- Varsó
- volt
- we
- voltak
- Mit
- amikor
- ami
- WHO
- lesz
- val vel
- Munka
- világ
- lenne
- év
- zephyrnet