Teoretiske fysikere gjør en god jobb når fagfellevurderer vitenskapelige artikler, men har en tendens til å bli mer imponert over betydningen av ny forskning i stedet for strengheten den ble utført med. Det er det provoserende forslaget av en ny studie utført av forskere i Storbritannia og Polen som undersøker påliteligheten av fagfellevurdering i teoretisk fysikk.
Fagfellevurdering innebærer å sende forskningsartikler til uavhengige, eksterne referenter for å avgjøre om en artikkel er vitenskapelig troverdig og passende for tidsskriftet den er sendt til. Til tross for at de har vært en sentral del av vitenskapen i hundrevis av år, er få akademikere trent i fagfellevurdering, og anekdotiske bevis tyder på at uenigheter mellom individuelle anmeldere om en artikkel er vanlig.
"I en ideell verden vil alle anmeldere evaluere hver innsending med perfekt nøyaktighet og gi en perfekt avgjørelse," sier Mike Thelwall, en dataforsker fra University of Sheffield, som utførte studien. Men gitt at intet arbeid kan være perfekt i alle beregningene som brukes til å bedømme en artikkels kvalitet, gjør anmeldere det Thelwall kaller "en vurderingssamtale" om i hvilken grad en artikkel oppnår et akseptabelt nivå.
De tre kjernekomponentene av kvalitet som brukes til å bedømme et papir er originalitet, strenghet og betydning. Thelwall sier imidlertid at ingen tidligere hadde sjekket om anmeldere bedømmer disse beregningene effektivt, selv om de for eksempel er en del av retningslinjene for bedømmere i Storbritannias Research Excellence Framework.
Beslutningstakere
Thelwall og fysiker Janusz Hołyst ved Warszawa teknologiske universitet analyserte derfor anmelderscore i 505 teoriartikler publisert i SciPost fysikk — et tidsskrift som praktiserer åpen fagfellevurdering. Duoen valgte å fokusere på teoretisk fysikk fordi de sier det er best-case-scenario for fagfellevurdering, ved at det er mer sannsynlig at anmeldere forstår alle aspekter ved en gitt innlevering enn på andre områder av vitenskapen.
Hver artikkel i studien hadde minst to poenggivende anmeldere, og analysen avslørte en "moderat" grad av enighet mellom anmeldere på alle tre nøkkelberegningene. «Resultatene bør ikke forårsake noen bekymringer i det hele tatt SciPost fysikk – anmelderne deres gjør en utmerket jobb, sier Thelwall.
Han bekymrer seg imidlertid for at tidsskrifter som publiserer forskning på felt der det er vanskeligere for individuelle anmeldere å gjøre en forsvarlig vurdering, kan ha mye lavere avtalefrekvens for anmeldere. "I henhold til loven om gjennomsnitt, kan [de] ha en tendens til å ta dårlige beslutninger moderat ofte på grunn av et uheldig valg av anmeldere," sier han. Forfatterne foreslår at slike problemer kan minimeres via redaksjonelt tilsyn, bedre retningslinjer og forbedres anmelderopplæring.
Fagfellevurdering under søkelyset
Studien så også på hvilke av kvalitetsmålene som har en tendens til å bli rangert likt av individuelle anmeldere. Resultatene tyder på at - i det minste i teoretisk fysikk - dommere har en tendens til å rangere strenghet lavere. Dette betyr at det kan være vanskeligere å publisere det Thelwall kaller en "svært streng originalstudie", men lettere å få akseptert en "betydelig originalstudie".
Faktisk kan teoretiske fysikere som streber etter å skape betydelig arbeid ha nytte av å fokusere på originale ideer i stedet for å generere uttømmende bevis for å støtte arbeidet deres, foreslår forfatterne. "Selvfølgelig trenger vi alle typer forskning, og hvis alle gir opp strenge ideer vil det være en katastrofe for vitenskapen," advarer Thelwall.
Stefan Thurner, en fysiker fra det medisinske universitetet i Wien som ikke var involvert i studien, men som har utført studier av fagfellevurdering, sier at studien er interessant. "Rådataene indikerer at anmelderne er bemerkelsesverdig konsistente i praktisk talt alle kategorier," sier han. «I mer enn 400 av 505 tilfeller skiller de seg ikke i det hele tatt eller med én poengsum. Jeg er sikker på at mange forskere har den subjektive følelsen av at dommerrapporter avviker oftere enn det.»
Thurner legger imidlertid til at fremtidig forskning kan sammenligne resultatene med for eksempel referansemodeller der artikler ble tilfeldig tildelt dommere.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Bil / elbiler, Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- BlockOffsets. Modernisering av eierskap for miljøkompensasjon. Tilgang her.
- kilde: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- : har
- :er
- :ikke
- :hvor
- $OPP
- a
- Om oss
- AC
- akademikere
- akseptabelt
- akseptert
- nøyaktighet
- oppnår
- Legger
- Avtale
- Alle
- også
- am
- an
- analyse
- og
- hensiktsmessig
- ER
- områder
- Artikkel
- aspekter
- tildelt
- At
- forfattere
- dårlig
- BE
- fordi
- vært
- være
- nytte
- Bedre
- mellom
- men
- by
- Samtaler
- CAN
- gjennomført
- saker
- kategorier
- Årsak
- sentral
- sjekket
- valg
- valgte
- Felles
- sammenligne
- komponenter
- datamaskin
- dataskjerm
- konsistent
- Kjerne
- kunne
- Kurs
- skape
- troverdig
- dato
- dataforsker
- bestemme
- avgjørelse
- avgjørelser
- Grad
- Til tross for
- avvike
- katastrofe
- do
- gjør
- to
- hver enkelt
- enklere
- Redaksjonell
- effektivt
- evaluere
- Selv
- alle
- bevis
- undersøker
- eksempel
- Excellence
- utmerket
- utvendig
- Faktisk
- Noen få
- Felt
- Finn
- funn
- Fokus
- fokusering
- Til
- Rammeverk
- fra
- framtid
- genererer
- få
- gitt
- gir
- glass
- god
- Godt jobbet
- retningslinjer
- HAD
- hardere
- Ha
- he
- Men
- HTTPS
- Hundrevis
- i
- ideell
- Ideer
- if
- bilde
- imponert
- forbedret
- in
- I andre
- uavhengig
- indikerer
- individuelt
- informasjon
- interessant
- inn
- involvert
- utstedelse
- IT
- Jobb
- journal
- jpg
- dømme
- nøkkel
- Law
- minst
- Nivå
- Sannsynlig
- så
- lavere
- gjøre
- mange
- max bredde
- Kan..
- midler
- målinger
- medisinsk
- Metrics
- kunne
- modeller
- moderat
- mer
- mye
- Trenger
- Ny
- Nei.
- of
- ofte
- on
- ONE
- åpen
- or
- original
- originalitet
- Annen
- ut
- enn
- oppsyn
- Papir
- papirer
- del
- likemann
- perfekt
- Fysikk
- Fysikkens verden
- plato
- Platon Data Intelligence
- PlatonData
- Polen
- praktisk talt
- trekker
- tidligere
- publisere
- publisert
- Publisering
- kvalitet
- rangerer
- rangert
- priser
- heller
- Raw
- pålitelighet
- Rapporter
- forskning
- forskere
- Resultater
- Avslørt
- anmeldelse
- gjennomgå
- streng
- samme
- sier
- sier
- Vitenskap
- vitenskapelig
- Forsker
- forskere
- Resultat
- scoring
- Skjerm
- sending
- bør
- betydning
- signifikant
- Lyd
- studier
- Studer
- innsending
- innsendt
- slik
- foreslår
- foreslår
- støtte
- sikker
- Teknologi
- enn
- Det
- De
- loven
- Storbritannia
- deres
- teoretiske
- teori
- derfor
- Disse
- de
- denne
- selv om?
- tre
- thumbnail
- til
- trent
- sant
- to
- typer
- Uk
- etter
- forstå
- enhet
- universitet
- brukt
- av
- Warszawa
- var
- we
- var
- Hva
- når
- hvilken
- HVEM
- vil
- med
- Arbeid
- verden
- ville
- år
- zephyrnet