Teoretiska fysiker gör ett bra jobb när de granskar vetenskapliga artiklar, men de tenderar att bli mer imponerade av betydelsen av ny forskning snarare än rigoriteten med vilken den utfördes. Det är det provocerande förslaget av en ny studie utförd av forskare i Storbritannien och Polen som undersöker tillförlitligheten av peer review i teoretisk fysik.
Peer review innebär att man skickar forskningsartiklar till oberoende, externa referenter för att avgöra om en artikel är vetenskapligt trovärdig och lämplig för den tidskrift som den har skickats till. Trots att det har varit en central del av vetenskapen i hundratals år, är få akademiker utbildade i peer review, och anekdotiska bevis tyder på att meningsskiljaktigheter mellan enskilda granskare om en artikel är vanliga.
"I en idealisk värld skulle alla granskare utvärdera varje inlämning med perfekt noggrannhet och göra ett perfekt beslut", säger Mike Thelwall, en dataforskare från University of Sheffield, som genomförde studien. Men med tanke på att inget arbete kan vara perfekt i alla de mått som används för att bedöma en tidnings kvalitet, gör recensenter vad Thelwall kallar "ett bedömningssamtal" om i vilken utsträckning en artikel når en acceptabel nivå.
De tre kärnkomponenterna för kvalitet som används för att bedöma ett papper är originalitet, rigoritet och betydelse. Thelwall säger dock att ingen tidigare hade kontrollerat om granskare bedömer dessa mätvärden effektivt, även om de till exempel är en del av riktlinjerna för bedömare i Storbritanniens Research Excellence Framework.
Beslutsfattare
Thelwall och fysiker Janusz Hołyst vid Warszawas tekniska universitet analyserade därför granskarpoäng i 505 teoriuppsatser publicerade i SciPost-fysik — en tidskrift som utövar öppen peer review. Duon valde att fokusera på teoretisk fysik eftersom de säger att det är det bästa scenariet för peer review, i och med att granskare borde vara mer benägna att förstå alla aspekter av en given inlämning än inom andra vetenskapsområden.
Varje papper i studien hade minst två betygsgranskare och analysen avslöjade en "måttlig" grad av överensstämmelse mellan granskarna på alla tre nyckelmåtten. "Resultaten bör inte orsaka några bekymmer alls för SciPost-fysik – deras recensenter gör ett utmärkt jobb, säger Thelwall.
Han oroar sig dock för att tidskrifter som publicerar forskning inom områden där det är svårare för enskilda granskare att göra en sund bedömning kan ha mycket lägre avtalsgrad för granskare. "I enlighet med lagen om medelvärden kan [de] tendera att fatta dåliga beslut måttligt ofta på grund av ett olyckligt val av granskare", säger han. Författarna föreslår att ett sådant problem kan minimeras via redaktionell tillsyn, bättre riktlinjer och förbättras granskarutbildning.
Peer review i rampljuset
Studien tittade också på vilka av kvalitetsmåtten som tenderar att rankas på samma sätt av enskilda granskare. Resultaten tyder på att - åtminstone inom teoretisk fysik - domare tenderar att rangordna rigor lägre. Det betyder att det kan vara svårare att publicera vad Thelwall kallar en "mycket rigorös originalstudie", men lättare att få en "signifikant originalstudie" accepterad.
Faktum är att teoretiska fysiker som strävar efter att skapa betydande arbete kan dra nytta av att fokusera på ursprungliga idéer snarare än att generera uttömmande bevis för att stödja deras arbete, föreslår författarna. "Vi behöver naturligtvis alla typer av forskning och om alla ger upp på rigorösa idéer kommer det att vara en katastrof för vetenskapen", varnar Thelwall.
Stefan Thurner, en fysiker från det medicinska universitetet i Wien som inte var inblandad i studien men som har genomfört studier av peer review, säger att studien är intressant. "Rådata indikerar att granskarna är anmärkningsvärt konsekventa i praktiskt taget alla kategorier", säger han. "I mer än 400 av 505 fall skiljer de sig inte alls eller med en poängenhet. Jag är säker på att många forskare har den subjektiva känslan att domarrapporter skiljer sig oftare än så.”
Thurner tillägger dock att framtida forskning skulle kunna jämföra resultaten med till exempel referensmodeller där uppsatser slumpmässigt tilldelades referenter.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Fordon / elbilar, Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- BlockOffsets. Modernisera miljökompensation ägande. Tillgång här.
- Källa: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- : har
- :är
- :inte
- :var
- $UPP
- a
- Om Oss
- AC
- akademiker
- godtagbart
- accepterade
- noggrannhet
- uppnår
- Lägger
- Avtal
- Alla
- också
- am
- an
- analys
- och
- lämpligt
- ÄR
- områden
- Artikeln
- aspekter
- delad
- At
- Författarna
- Badrum
- BE
- därför att
- varit
- Där vi får lov att vara utan att konstant prestera,
- fördel
- Bättre
- mellan
- men
- by
- Samtal
- KAN
- genom
- fall
- kategorier
- Orsak
- centrala
- kontrollerade
- val
- valde
- Gemensam
- jämföra
- komponenter
- dator
- datorskärm
- konsekvent
- Kärna
- kunde
- Kurs
- skapa
- trovärdig
- datum
- datavetare
- beslutar
- Beslutet
- beslut
- Examen
- Trots
- skilja sig
- katastrof
- do
- gör
- grund
- varje
- lättare
- Ledare
- effektivt
- utvärdera
- Även
- alla
- bevis
- undersöker
- exempel
- Excellence
- utmärkt
- extern
- Faktum
- få
- Fält
- hitta
- fynd
- Fokus
- fokusering
- För
- Ramverk
- från
- framtida
- generera
- skaffa sig
- ges
- ger
- glas
- god
- bra jobb
- riktlinjer
- hade
- hårdare
- Har
- he
- Men
- HTTPS
- Hundratals
- i
- idealisk
- idéer
- if
- bild
- imponerad
- förbättras
- in
- I andra
- oberoende
- indikerar
- individuellt
- informationen
- intressant
- in
- involverade
- fråga
- IT
- Jobb
- tidskriften
- jpg
- Domaren
- Nyckel
- Lag
- t minst
- Nivå
- sannolikt
- såg
- lägre
- göra
- många
- max-bredd
- Maj..
- betyder
- åtgärder
- medicinsk
- Metrics
- kanske
- modeller
- lagom
- mer
- mycket
- Behöver
- Nya
- Nej
- of
- Ofta
- on
- ONE
- öppet
- or
- ursprungliga
- originalitet
- Övriga
- ut
- över
- Tillsyn
- Papper
- papper
- del
- jämlikar
- perfekt
- Fysik
- Fysikvärlden
- plato
- Platon Data Intelligence
- PlatonData
- Polen
- praktiskt taget
- föredra
- tidigare
- publicera
- publicerade
- publicering
- kvalitet
- rangordna
- rankad
- rates
- snarare
- Raw
- tillförlitlighet
- Rapport
- forskning
- forskare
- Resultat
- avslöjade
- översyn
- reviewing
- rigorös
- Samma
- säga
- säger
- Vetenskap
- vetenskaplig
- Forskare
- vetenskapsmän
- göra
- poäng
- screen
- skicka
- skall
- signifikans
- signifikant
- ljud
- studier
- Läsa på
- underkastelse
- lämnats
- sådana
- föreslå
- Föreslår
- stödja
- säker
- Teknologi
- än
- den där
- Smakämnen
- lagen
- Storbritannien
- deras
- teoretiska
- Teorin
- därför
- Dessa
- de
- detta
- fastän?
- tre
- miniatyr
- till
- tränad
- sann
- två
- typer
- Uk
- under
- förstå
- enhet
- universitet
- Begagnade
- via
- Warszawa
- var
- we
- były
- Vad
- när
- som
- VEM
- kommer
- med
- Arbete
- världen
- skulle
- år
- zephyrnet