Teoretični fiziki dobro opravijo svoje delo pri strokovnem ocenjevanju znanstvenih člankov, vendar jih ponavadi bolj navduši pomen novih raziskav kot strogost, s katero so bile izvedene. To je provokativen predlog nove študije izvedli raziskovalci v Združenem kraljestvu in na Poljskem, ki preučuje zanesljivost strokovnih pregledov v teoretični fiziki.
Strokovni pregled vključuje pošiljanje raziskovalnih člankov neodvisnim, zunanjim sodnikom, da se odločijo, ali je članek znanstveno verodostojen in primeren za revijo, v katero je bil poslan. Čeprav je osrednji del znanosti že več sto let, je le malo akademikov usposobljenih za medsebojno recenziranje in nezanesljivi dokazi kažejo, da so nesoglasja med posameznimi recenzenti glede prispevka pogosta.
»V idealnem svetu bi vsi ocenjevalci vsako oddajo ocenili s popolno natančnostjo in sprejeli popolno odločitev,« pravi Mike Thelwall, podatkovni znanstvenik z Univerze v Sheffieldu, ki je izvedel študijo. Toda glede na to, da nobeno delo ne more biti popolno v vseh metrikah, ki se uporabljajo za presojo kakovosti prispevka, recenzenti naredijo, kar Thelwall imenuje "presoja" o tem, v kolikšni meri članek doseže sprejemljivo raven.
Tri glavne komponente kakovosti, ki se uporabljajo za presojo prispevka, so izvirnost, strogost in pomen. Vendar Thelwall pravi, da nihče prej ni preveril, ali pregledovalci te meritve ocenjujejo učinkovito, čeprav so na primer del smernic za ocenjevalce v Združenem kraljestvu. Okvir raziskovalne odličnosti.
Tisti, ki odločajo
Thelwall in fizik Janusz Hołyst Univerze za tehnologijo v Varšavi je zato analiziral ocene recenzentov v 505 teoretskih člankih, objavljenih v SciPost fizika — revija, ki izvaja odprto strokovno recenzijo. Dvojec se je odločil, da se osredotoči na teoretično fiziko, ker pravita, da je to najboljši scenarij za medsebojno ocenjevanje, saj bi bilo bolj verjetno, da bodo recenzenti razumeli vse vidike dane predložitve kot na drugih področjih znanosti.
Vsak članek v študiji je imel vsaj dva ocenjevalca, analiza pa je pokazala "zmerno" stopnjo strinjanja med recenzenti glede vseh treh ključnih meritev. »Rezultati ne bi smeli vzbujati nobenih skrbi SciPost fizika — njihovi recenzenti opravljajo odlično delo,« pravi Thelwall.
Vendar pa ga skrbi, da imajo revije, ki objavljajo raziskave na področjih, kjer je posameznim recenzentom težje dati zdravo presojo, veliko nižje stopnje strinjanja recenzentov. »Po zakonu povprečja [lahko] zmerno pogosto sprejemajo slabe odločitve zaradi nesrečne izbire recenzentov,« pravi. Avtorji predlagajo, da bi bilo takšno težavo mogoče zmanjšati z uredniškim nadzorom, boljšimi smernicami in izboljšavo usposabljanje recenzentov.
Strokovna ocena pod žarometi
Študija je preučila tudi, katera merila kakovosti posamezni ocenjevalci ponavadi enako uvrščajo. Rezultati kažejo, da sodniki – vsaj v teoretični fiziki – strogost ocenjujejo nižje. To pomeni, da bi bilo težje objaviti, kar Thelwall imenuje "zelo stroga izvirna študija", lažje pa je sprejeti "pomembno izvirno študijo".
Pravzaprav bi lahko teoretični fiziki, ki si prizadevajo ustvariti pomembno delo, imeli koristi od osredotočanja na izvirne ideje, namesto da bi ustvarili izčrpne dokaze v podporo svojemu delu, predlagajo avtorji. »Seveda potrebujemo vse vrste raziskav in če bodo vsi obupali nad strogimi idejami, bo to katastrofa za znanost,« opozarja Thelwall.
Stefan Thurner, fizik z Medicinske univerze na Dunaju, ki ni bil vključen v študijo, je pa izvedel študije strokovnih pregledov, pravi, da je študija zanimiva. "Neobdelani podatki kažejo, da so ocenjevalci izjemno dosledni v praktično vseh kategorijah," pravi. »V več kot 400 od 505 primerov se sploh ne razlikujejo ali pa se razlikujejo za eno točkovalno enoto. Prepričan sem, da imajo številni znanstveniki subjektivni občutek, da se sodniška poročila pogosteje razlikujejo.”
Thurner pa dodaja, da bi prihodnje raziskave lahko primerjale rezultate z, recimo, referenčnimi modeli, v katerih so bili dokumenti naključno dodeljeni sodnikom.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Avtomobili/EV, Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- BlockOffsets. Posodobitev okoljskega offset lastništva. Dostopite tukaj.
- vir: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- :ima
- : je
- :ne
- :kje
- $GOR
- a
- O meni
- AC
- akademiki
- sprejemljiv
- sprejeta
- natančnost
- Dosega
- Dodaja
- Sporazum
- vsi
- Prav tako
- am
- an
- Analiza
- in
- primerno
- SE
- območja
- članek
- vidiki
- dodeljena
- At
- Avtorji
- Slab
- BE
- ker
- bilo
- počutje
- koristi
- Boljše
- med
- vendar
- by
- poziva
- CAN
- prenašal
- primeri
- kategorije
- Vzrok
- Osrednji
- preverjeno
- izbira
- izbral
- Skupno
- primerjate
- deli
- računalnik
- računalniški ekran
- dosledno
- Core
- bi
- Tečaj
- ustvarjajo
- verodostojno
- datum
- podatkovni znanstvenik
- odloča
- Odločitev
- odločitve
- Stopnja
- Kljub
- se razlikujejo
- katastrofa
- do
- tem
- 2
- vsak
- lažje
- Uredništvo
- učinkovito
- oceniti
- Tudi
- vsi
- dokazi
- Pregleduje
- Primer
- Odličnost
- odlično
- zunanja
- Dejstvo
- Nekaj
- Področja
- Najdi
- najdbe
- Osredotočite
- osredotoča
- za
- Okvirni
- iz
- Prihodnost
- ustvarjajo
- dobili
- dana
- daje
- steklo
- dobro
- dobro delo
- Smernice
- imel
- težje
- Imajo
- he
- Vendar
- HTTPS
- Stotine
- i
- idealen
- Ideje
- if
- slika
- navdušeni
- izboljšalo
- in
- V drugi
- Neodvisni
- Navedite
- individualna
- Podatki
- Zanimivo
- v
- vključeni
- vprašanje
- IT
- Job
- Revija
- jpg
- Sodnik
- Ključne
- zakon
- vsaj
- Stopnja
- Verjeten
- Pogledal
- nižje
- Znamka
- več
- max širine
- Maj ..
- pomeni
- ukrepe
- medicinski
- Meritve
- morda
- modeli
- zmerno
- več
- veliko
- Nimate
- Novo
- št
- of
- pogosto
- on
- ONE
- odprite
- or
- izvirno
- izvirnost
- Ostalo
- ven
- več
- Nadzor
- Papir
- članki
- del
- peer
- popolna
- Fizika
- Svet fizike
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Poljska
- praktično
- raje
- prej
- objavijo
- objavljeno
- Založništvo
- kakovost
- uvrstitev
- uvrstitev
- Cene
- precej
- Surovi
- zanesljivost
- Poročila
- Raziskave
- raziskovalci
- Rezultati
- Razkrito
- pregleda
- pregledovanje
- strog
- Enako
- pravijo,
- pravi
- Znanost
- znanstveno
- Znanstvenik
- Znanstveniki
- rezultat
- točkovanje
- Zaslon
- pošiljanja
- shouldnt
- Pomen
- pomemben
- zvok
- Študije
- študija
- predložitev
- predložen
- taka
- predlagajte
- Predlaga
- podpora
- Preverite
- Tehnologija
- kot
- da
- O
- zakon
- UK
- njihove
- Teoretični
- Teorija
- zato
- te
- jih
- ta
- čeprav?
- 3
- thumbnail
- do
- usposobljeni
- Res
- dva
- Vrste
- Uk
- pod
- razumeli
- Enota
- univerza
- Rabljeni
- preko
- Varšava
- je
- we
- so bili
- Kaj
- kdaj
- ki
- WHO
- bo
- z
- delo
- svet
- bi
- let
- zefirnet