Teoretiske fysikere gør et godt stykke arbejde, når de peer reviewer videnskabelige artikler, men er tilbøjelige til at være mere imponerede over betydningen af ny forskning frem for den stringens, hvormed den blev udført. Det er det provokerende forslag af en ny undersøgelse udført af forskere i Storbritannien og Polen, der undersøger pålideligheden af peer review i teoretisk fysik.
Peer review indebærer at sende forskningsartikler til uafhængige, eksterne referenter for at afgøre, om en artikel er videnskabeligt troværdig og passende for det tidsskrift, den er blevet indsendt til. På trods af at have været en central del af videnskaben i hundreder af år, er få akademikere uddannet i peer review, og anekdotiske beviser tyder på, at uenigheder mellem individuelle anmeldere om et papir er almindelige.
"I en ideel verden ville alle anmeldere evaluere hver indsendelse med perfekt nøjagtighed og give en perfekt beslutning," siger Mike Thelwall, en dataforsker fra University of Sheffield, som udførte undersøgelsen. Men i betragtning af at intet arbejde kan være perfekt i alle de målinger, der bruges til at bedømme et papirs kvalitet, foretager anmeldere det, Thelwall kalder "et dømmende opkald" om, i hvilket omfang en artikel opnår et acceptabelt niveau.
De tre kernekomponenter af kvalitet, der bruges til at bedømme et papir, er originalitet, stringens og betydning. Thelwall siger dog, at ingen tidligere havde tjekket, om anmeldere bedømmer disse målinger effektivt, selvom de for eksempel er en del af retningslinjerne for bedømmere i Storbritanniens Research Excellence Framework.
Beslutningstagere
Thelwall og fysiker Janusz Hołyst fra Warszawa University of Technology analyserede derfor anmelderscore i 505 teoriartikler udgivet i SciPost Fysik — et tidsskrift, der praktiserer åben peer review. Duoen valgte at fokusere på teoretisk fysik, fordi de siger, at det er det bedste scenarie for peer review, idet det er mere sandsynligt, at anmeldere forstår alle aspekter af en given aflevering end inden for andre videnskabsområder.
Hvert papir i undersøgelsen havde mindst to scorende anmeldere, og analysen afslørede en "moderat" grad af overensstemmelse mellem anmelderne på alle tre nøglemålinger. "Resultaterne burde ikke give anledning til bekymring overhovedet SciPost Fysik - deres anmeldere gør et fremragende stykke arbejde," siger Thelwall.
Han er dog bekymret for, at tidsskrifter, der publicerer forskning inden for områder, hvor det er sværere for individuelle anmeldere at foretage en sund bedømmelse, kan have meget lavere aftalerater for anmeldere. "Ifølge gennemsnitsloven kan [de] have tendens til at træffe dårlige beslutninger moderat ofte på grund af et uheldigt valg af anmeldere," siger han. Forfatterne foreslår, at et sådant problem kan minimeres via redaktionelt tilsyn, bedre retningslinjer og forbedres anmelderuddannelse.
Peer review under søgelyset
Undersøgelsen så også på, hvilke af kvalitetsmålingerne, der har tendens til at blive rangeret ens af individuelle anmeldere. Resultaterne tyder på, at - i hvert fald i teoretisk fysik - har dommere en tendens til at rangere strenghed lavere. Det betyder, at det kunne være sværere at offentliggøre, hvad Thelwall kalder en "meget streng original undersøgelse", men lettere at få en "betydelig original undersøgelse" accepteret.
Faktisk kan teoretiske fysikere, der stræber efter at skabe væsentligt arbejde, drage fordel af at fokusere på originale ideer i stedet for at generere udtømmende beviser til støtte for deres arbejde, foreslår forfatterne. "Selvfølgelig har vi brug for alle typer forskning, og hvis alle giver op på stringente ideer, vil det være en katastrofe for videnskaben," advarer Thelwall.
Stefan Thurner, en fysiker fra det medicinske universitet i Wien, som ikke var involveret i undersøgelsen, men som har udført undersøgelser af peer review, siger, at undersøgelsen er interessant. "Rådata indikerer, at anmelderne er bemærkelsesværdigt konsistente i praktisk talt alle kategorier," siger han. "I mere end 400 ud af 505 tilfælde adskiller de sig slet ikke eller med én scoreenhed. Jeg er sikker på, at mange videnskabsmænd har den subjektive fornemmelse af, at dommerrapporter afviger oftere end som så."
Thurner tilføjer dog, at fremtidig forskning kunne sammenligne resultaterne med f.eks. referencemodeller, hvor artikler blev tilfældigt tildelt til dommere.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Automotive/elbiler, Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- BlockOffsets. Modernisering af miljømæssig offset-ejerskab. Adgang her.
- Kilde: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- :har
- :er
- :ikke
- :hvor
- $OP
- a
- Om
- AC
- akademikere
- acceptabel
- accepteret
- nøjagtighed
- opnår
- Tilføjer
- Aftale
- Alle
- også
- am
- an
- analyse
- ,
- passende
- ER
- områder
- artikel
- aspekter
- tildelt
- At
- forfattere
- Bad
- BE
- fordi
- været
- være
- gavner det dig
- Bedre
- mellem
- men
- by
- Opkald
- CAN
- gennemføres
- tilfælde
- kategorier
- Årsag
- central
- afkrydset
- valg
- valgte
- Fælles
- sammenligne
- komponenter
- computer
- computer skærm
- konsekvent
- Core
- kunne
- Kursus
- skabe
- troværdig
- data
- dataforsker
- beslutte
- beslutning
- afgørelser
- Degree
- Trods
- afvige
- katastrofe
- do
- gør
- grund
- hver
- lettere
- Editorial
- effektivt
- evaluere
- Endog
- alle
- bevismateriale
- undersøger
- eksempel
- Excellence
- fremragende
- ekstern
- Faktisk
- få
- Fields
- Finde
- fund
- Fokus
- fokusering
- Til
- Framework
- fra
- fremtiden
- generere
- få
- given
- giver
- glas
- godt
- godt arbejde
- retningslinjer
- havde
- hårdere
- Have
- he
- Men
- HTTPS
- Hundreder
- i
- ideal
- ideer
- if
- billede
- imponeret
- forbedret
- in
- I andre
- uafhængig
- angiver
- individuel
- oplysninger
- interessant
- ind
- involverede
- spørgsmål
- IT
- Job
- tidsskrift
- jpg
- dommer
- Nøgle
- Lov
- mindst
- Niveau
- Sandsynlig
- kiggede
- lavere
- lave
- mange
- max-bredde
- Kan..
- midler
- foranstaltninger
- medicinsk
- Metrics
- måske
- modeller
- moderat
- mere
- meget
- Behov
- Ny
- ingen
- of
- tit
- on
- ONE
- åbent
- or
- original
- originalitet
- Andet
- ud
- i løbet af
- Tilsyn
- Papir
- papirer
- del
- peer
- perfekt
- Fysik
- Fysik verden
- plato
- Platon Data Intelligence
- PlatoData
- Polen
- praktisk
- foretrække
- tidligere
- offentliggøre
- offentliggjort
- Publicering
- kvalitet
- rangerer
- rangeret
- priser
- hellere
- Raw
- pålidelighed
- Rapporter
- forskning
- forskere
- Resultater
- Revealed
- gennemgå
- gennemgå
- stringent
- samme
- siger
- siger
- Videnskab
- videnskabelig
- Videnskabsmand
- forskere
- score
- scoring
- Skærm
- afsendelse
- bør
- betydning
- signifikant
- Lyd
- undersøgelser
- Studere
- indsendelse
- indsendt
- sådan
- tyder
- foreslår
- support
- sikker
- Teknologier
- end
- at
- loven
- UK
- deres
- teoretisk
- teori
- derfor
- Disse
- de
- denne
- selvom?
- tre
- thumbnail
- til
- uddannet
- sand
- to
- typer
- Uk
- under
- forstå
- enhed
- universitet
- anvendte
- via
- Warszawa
- var
- we
- var
- Hvad
- hvornår
- som
- WHO
- vilje
- med
- Arbejde
- world
- ville
- år
- zephyrnet