Teoreettiset fyysikot tekevät hyvää työtä tieteellisten julkaisujen vertaisarvioinnissa, mutta he ovat yleensä vaikuttuneita enemmän uuden tutkimuksen merkityksestä kuin sen suorittamisen ankaruudesta. Se on provosoiva ehdotus uudesta tutkimuksesta Iso-Britannian ja Puolan tutkijoiden suorittama tutkimus, jossa tutkitaan teoreettisen fysiikan vertaisarvioinnin luotettavuutta.
Vertaisarviointi tarkoittaa tutkimuspapereiden lähettämistä riippumattomille ulkopuolisille arvioinneille, jotta he voivat päättää, onko artikkeli tieteellisesti uskottava ja sopiva sille lehdelle, jolle se on lähetetty. Huolimatta siitä, että se on ollut keskeinen osa tiedettä satojen vuosien ajan, harvat tutkijat ovat koulutettuja vertaisarviointiin, ja anekdoottiset todisteet viittaavat siihen, että yksittäisten arvioijien väliset erimielisyydet paperista ovat yleisiä.
"Ihanteellisessa maailmassa kaikki arvioijat arvioisivat jokaisen toimituksen täydellisellä tarkkuudella ja tekisivät täydellisen päätöksen", sanoo Mike Thelwall, datatieteilijä Sheffieldin yliopistosta, joka teki tutkimuksen. Mutta koska mikään teos ei voi olla täydellinen kaikissa paperin laadun arvioinnissa käytetyissä mittareissa, arvioijat tekevät Thelwallin kutsuman "tuomion" siitä, missä määrin artikkeli saavuttaa hyväksyttävän tason.
Paperin arvioinnissa käytetyt kolme keskeistä laatutekijää ovat omaperäisyys, kurinalaisuus ja merkitys. Thelwall sanoo kuitenkin, että kukaan ei ollut aiemmin tarkistanut, arvioivatko arvioijat tehokkaasti näitä mittareita, vaikka ne ovat esimerkiksi osa arvioijien ohjeita Yhdistyneessä kuningaskunnassa. Tutkimuksen huippuosaamista koskeva viitekehys.
Päätöksentekijät
Thelwall ja fyysikko Janusz Hołyst Varsovan teknillisen yliopiston tutkija analysoi arvioijan arvosanat 505 teoriajulkaisussa, jotka julkaistiin vuonna SciPost-fysiikka — avointa vertaisarviointia harjoittava lehti. Kaksikko päätti keskittyä teoreettiseen fysiikkaan, koska he sanovat, että se on paras tapausskenaario vertaisarviointiin, koska arvioijien pitäisi todennäköisemmin ymmärtää tietyn esityksen kaikki näkökohdat kuin muilla tieteenaloilla.
Jokaisella tutkimuksen paperilla oli vähintään kaksi pisteytysarvioijaa, ja analyysi paljasti "kohtalaisen" yksimielisyyden arvioijien välillä kaikissa kolmessa keskeisessä mittarissa. "Tulosten ei pitäisi aiheuttaa mitään huolta SciPost-fysiikka – Heidän arvioijansa tekevät erinomaista työtä, Thelwall sanoo.
Hän on kuitenkin huolissaan siitä, että lehdet, jotka julkaisevat tutkimusta aloilla, joilla yksittäisten arvioijien on vaikeampi tehdä järkevää arviota, saattavat olla paljon alhaisempia arvioijien suostumuksella. "Keskiarvolain mukaan [heillä voi] olla tapana tehdä huonoja päätöksiä kohtalaisen usein epäonnisten arvioijien valinnan vuoksi", hän sanoo. Kirjoittajat ehdottavat, että tällainen ongelma voitaisiin minimoida toimituksellisen valvonnan, parempien ohjeiden ja parantamisen avulla arvioijan koulutus.
Vertaisarviointi valokeilassa
Tutkimuksessa tarkasteltiin myös, mitkä laatumittauksista yksittäiset arvioijat yleensä arvostelevat samoja. Tulokset viittaavat siihen, että - ainakin teoreettisessa fysiikassa - erotuomareilla on taipumus arvostaa ankaruutta alemmas. Tämä tarkoittaa, että voisi olla vaikeampaa julkaista Thelwallin kutsumaa "erittäin tiukkaa alkuperäistä tutkimusta", mutta helpompi saada "merkittävä alkuperäinen tutkimus" hyväksytyksi.
Itse asiassa teoreettiset fyysikot, jotka pyrkivät luomaan merkittävää työtä, saattavat hyötyä keskittymisestä alkuperäisiin ideoihin sen sijaan, että tuottaisivat tyhjentäviä todisteita työnsä tueksi, kirjoittajat ehdottavat. "Tietenkin tarvitsemme kaikenlaista tutkimusta, ja jos kaikki luopuvat tiukoista ajatuksista, se on katastrofi tieteelle", Thelwall varoittaa.
Stefan Thurner, Wienin lääketieteellisen yliopiston fyysikko, joka ei ollut mukana tutkimuksessa, mutta on tehnyt vertaisarviointia koskevia tutkimuksia, sanoo tutkimuksen olevan mielenkiintoinen. "Raakadata osoittaa, että arvioijat ovat huomattavan johdonmukaisia käytännössä kaikissa luokissa", hän sanoo. ”Yli 400:ssa tapauksesta 505:stä ne eivät eroa lainkaan tai eroavat yhden pistemäärän verran. Olen varma, että monilla tiedemiehillä on subjektiivinen käsitys siitä, että erotuomariraportit eroavat useammin."
Thurner lisää kuitenkin, että tulevassa tutkimuksessa tuloksia voitaisiin verrata esimerkiksi referenssimalleihin, joissa paperit jaettiin satunnaisesti tuomareille.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. Autot / sähköautot, hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- BlockOffsets. Ympäristövastuun omistuksen nykyaikaistaminen. Pääsy tästä.
- Lähde: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- :on
- :On
- :ei
- :missä
- $ YLÖS
- a
- Meistä
- AC
- tutkijoita
- hyväksyttävä
- hyväksytty
- tarkkuus
- päästään
- Lisää
- sopimus
- Kaikki
- Myös
- am
- an
- analyysi
- ja
- sopiva
- OVAT
- alueet
- artikkeli
- näkökohdat
- osoitettu
- At
- Tekijät
- Huono
- BE
- koska
- ollut
- ovat
- hyödyttää
- Paremmin
- välillä
- mutta
- by
- Puhelut
- CAN
- kuljettaa
- tapauksissa
- luokat
- Aiheuttaa
- keskeinen
- tarkistettu
- valinta
- valitsi
- Yhteinen
- verrata
- osat
- tietokone
- tietokoneen näyttö
- johdonmukainen
- Ydin
- voisi
- Kurssi
- luoda
- uskottava
- tiedot
- tietojen tutkija
- päättää
- päätös
- päätökset
- Aste
- Huolimatta
- erota
- katastrofi
- do
- tekee
- kaksi
- kukin
- helpompaa
- Pääkirjoitus
- tehokkaasti
- arvioida
- Jopa
- jokainen
- näyttö
- tutkii
- esimerkki
- Erinomaisuus
- erinomainen
- ulkoinen
- tosiasia
- harvat
- Fields
- Löytää
- löydöt
- Keskittää
- tarkennus
- varten
- Puitteet
- alkaen
- tulevaisuutta
- tuottaa
- saada
- tietty
- antaa
- lasi-
- hyvä
- hyvä työ
- suuntaviivat
- HAD
- kovemmin
- Olla
- he
- Kuitenkin
- HTTPS
- Sadat
- i
- ihanteellinen
- ideoita
- if
- kuva
- vaikuttunut
- parani
- in
- Muilla
- itsenäinen
- osoittaa
- henkilökohtainen
- tiedot
- mielenkiintoinen
- tulee
- osallistuva
- kysymys
- IT
- Job
- päiväkirja
- jpg
- tuomari
- avain
- Laki
- vähiten
- Taso
- Todennäköisesti
- Katsoin
- alentaa
- tehdä
- monet
- max-width
- Saattaa..
- välineet
- toimenpiteet
- lääketieteellinen
- Metrics
- ehkä
- mallit
- kohtalaisen
- lisää
- paljon
- Tarve
- Uusi
- Nro
- of
- usein
- on
- ONE
- avata
- or
- alkuperäinen
- omaperäisyys
- Muut
- ulos
- yli
- erehdys
- Paperi
- paperit
- osa
- vertainen
- täydellinen
- Fysiikka
- Fysiikan maailma
- Platon
- Platonin tietotieto
- PlatonData
- Puola
- käytännössä
- mieluummin
- aiemmin
- julkaista
- julkaistu
- Julkaiseminen
- laatu
- sijoitus
- sijoittui
- Hinnat
- pikemminkin
- raaka
- luotettavuus
- Raportit
- tutkimus
- Tutkijat
- tulokset
- Revealed
- arviot
- tarkistetaan
- tiukka
- sama
- sanoa
- sanoo
- tiede
- tieteellinen
- Tiedemies
- tutkijat
- pisteet
- pisteytys
- Näytön
- lähettäminen
- shouldnt
- merkitys
- merkittävä
- kuulostaa
- opinnot
- tutkimus
- jättämisestä
- toimitettu
- niin
- ehdottaa
- Ehdottaa
- tuki
- varma
- Elektroniikka
- kuin
- että
- -
- laki
- UK
- heidän
- teoreettinen
- teoria
- siksi
- Nämä
- ne
- tätä
- vaikka?
- kolmella
- thumbnail
- että
- koulutettu
- totta
- kaksi
- tyypit
- Uk
- varten
- ymmärtää
- yksikkö
- yliopisto
- käytetty
- kautta
- Varsova
- oli
- we
- olivat
- Mitä
- kun
- joka
- KUKA
- tulee
- with
- Referenssit
- maailman-
- olisi
- vuotta
- zephyrnet