I fisici teorici svolgono un buon lavoro durante la revisione paritaria di articoli scientifici, ma tendono a essere più colpiti dal significato della nuova ricerca piuttosto che dal rigore con cui è stata condotta. Questo è il suggerimento provocatorio di un nuovo studio condotto da ricercatori nel Regno Unito e in Polonia che esamina l’affidabilità della revisione tra pari nella fisica teorica.
La peer review prevede l’invio di documenti di ricerca a revisori esterni indipendenti per decidere se un articolo è scientificamente credibile e appropriato per la rivista a cui è stato sottoposto. Nonostante rappresenti una parte centrale della scienza da centinaia di anni, pochi accademici sono formati nella revisione tra pari e prove aneddotiche suggeriscono che i disaccordi tra i singoli revisori su un articolo sono comuni.
"In un mondo ideale, tutti i revisori valuterebbero ogni proposta con assoluta precisione e prenderebbero una decisione perfetta", afferma Mike Thelwall, un data scientist dell'Università di Sheffield, che ha condotto lo studio. Ma dato che nessun lavoro può essere perfetto in tutti i parametri utilizzati per giudicare la qualità di un articolo, i revisori fanno quello che Thelwall definisce “un giudizio” sulla misura in cui un articolo raggiunge un livello accettabile.
I tre componenti fondamentali della qualità utilizzati per giudicare un articolo sono originalità, rigore e significato. Tuttavia, Thelwall afferma che nessuno aveva verificato in precedenza se i revisori giudicassero questi parametri in modo efficace, anche se fanno parte, ad esempio, delle linee guida per i valutatori nel Regno Unito. Quadro di eccellenza della ricerca.
Decisori
Thelwall e il fisico Janusz Hołyst dell'Università della Tecnologia di Varsavia ha quindi analizzato i punteggi dei revisori in 505 articoli teorici pubblicati in Fisica SciPost - una rivista che pratica la revisione tra pari aperta. I due hanno scelto di concentrarsi sulla fisica teorica perché sostengono che sia lo scenario migliore per la revisione tra pari, in quanto i revisori dovrebbero avere maggiori probabilità di comprendere tutti gli aspetti di una determinata proposta rispetto ad altre aree della scienza.
Ogni articolo dello studio aveva almeno due revisori con punteggio e l’analisi ha rivelato un grado “moderato” di accordo tra i revisori su tutti e tre i parametri chiave. “I risultati non dovrebbero destare alcuna preoccupazione Fisica SciPost – i loro revisori stanno facendo un ottimo lavoro”, afferma Thelwall.
Tuttavia, teme che le riviste che pubblicano ricerche in campi in cui è più difficile per i singoli revisori esprimere un giudizio valido potrebbero avere tassi di consenso molto più bassi per i revisori. "Secondo la legge delle medie, [potrebbero] tendere a prendere decisioni sbagliate moderatamente spesso a causa di una scelta sfortunata dei revisori", afferma. Gli autori suggeriscono che tale problema potrebbe essere ridotto al minimo attraverso una supervisione editoriale, migliori linee guida e migliorato formazione dei revisori.
Revisione tra pari sotto i riflettori
Lo studio ha anche esaminato quali misure di qualità tendono ad essere classificate allo stesso modo dai singoli revisori. I risultati suggeriscono che, almeno nella fisica teorica, gli arbitri tendono a classificare il rigore più in basso. Ciò significa che potrebbe essere più difficile pubblicare quello che Thelwall definisce uno “studio originale altamente rigoroso”, ma più facile ottenere l’accettazione di uno “studio originale significativo”.
In effetti, i fisici teorici che cercano di creare un lavoro significativo potrebbero trarre vantaggio dal concentrarsi su idee originali piuttosto che produrre prove esaustive a sostegno del loro lavoro, suggeriscono gli autori. “Naturalmente abbiamo bisogno di tutti i tipi di ricerca e se tutti rinunciassero a idee rigorose sarebbe un disastro per la scienza”, avverte Thelwall.
Stefano Thurner, un fisico dell'Università di Medicina di Vienna che non è stato coinvolto nello studio ma ha effettuato studi di peer review, ritiene che lo studio sia interessante. "I dati grezzi indicano che i revisori sono straordinariamente coerenti praticamente in tutte le categorie", afferma. “In più di 400 casi su 505, non differiscono affatto o per un'unità di punteggio. Sono sicuro che molti scienziati hanno la sensazione soggettiva che i rapporti degli arbitri differiscano più spesso di così”.
Thurner aggiunge, tuttavia, che la ricerca futura potrebbe confrontare i risultati, ad esempio, con modelli di riferimento in cui gli articoli venivano assegnati in modo casuale ai revisori.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Automobilistico/VE, Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- BlockOffset. Modernizzare la proprietà della compensazione ambientale. Accedi qui.
- Fonte: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- :ha
- :È
- :non
- :Dove
- $ SU
- a
- WRI
- AC
- accademici
- accettabile
- accettato
- precisione
- Realizza
- Aggiunge
- Accordo
- Tutti
- anche
- am
- an
- .
- ed
- opportuno
- SONO
- aree
- articolo
- aspetti
- addetto
- At
- gli autori
- Vasca
- BE
- perché
- stato
- essendo
- beneficio
- Meglio
- fra
- ma
- by
- Bandi
- Materiale
- svolta
- casi
- categoria
- Causare
- centrale
- controllato
- scegliere
- ha scelto
- Uncommon
- confrontare
- componenti
- computer
- schermo del computer
- coerente
- Nucleo
- potuto
- Portata
- creare
- credibile
- dati
- scienziato di dati
- decide
- decisione
- decisioni
- Laurea
- Nonostante
- differire
- disastro
- do
- fare
- dovuto
- ogni
- più facile
- Editoriale
- in maniera efficace
- valutare
- Anche
- tutti
- prova
- esamina
- esempio
- Eccellenza
- eccellente
- esterno
- fatto
- pochi
- campi
- Trovate
- trova
- Focus
- messa a fuoco
- Nel
- Contesto
- da
- futuro
- la generazione di
- ottenere
- dato
- dà
- vetro.
- buono
- buon lavoro
- linee guida
- ha avuto
- Più forte
- Avere
- he
- Tuttavia
- HTTPS
- centinaia
- i
- ideale
- idee
- if
- Immagine
- impressionato
- migliorata
- in
- In altre
- studente indipendente
- indicare
- individuale
- informazioni
- interessante
- ai miglioramenti
- coinvolto
- problema
- IT
- Lavoro
- rivista
- jpg
- giudice
- Le
- Legge
- meno
- Livello
- probabile
- guardò
- inferiore
- make
- molti
- max-width
- Maggio..
- si intende
- analisi
- medicale
- Metrica
- forza
- modelli
- moderatamente
- Scopri di più
- molti
- Bisogno
- New
- no
- of
- di frequente
- on
- ONE
- aprire
- or
- i
- originalità
- Altro
- su
- ancora
- svista
- Carta
- documenti
- parte
- pera
- perfetta
- Fisica
- Mondo della fisica
- Platone
- Platone Data Intelligence
- PlatoneDati
- Polonia
- in pratica
- preferire
- in precedenza
- pubblicare
- pubblicato
- editoriale
- qualità
- classifica
- classificato
- piuttosto
- Crudo
- problemi di
- Report
- riparazioni
- ricercatori
- Risultati
- Rivelato
- recensioni
- revisione
- rigoroso
- stesso
- dire
- dice
- Scienze
- scientifico
- Scienziato
- scienziati
- Punto
- punteggio
- allo
- invio
- dovrebbero
- significato
- significativa
- Suono
- studi
- Studio
- sottomissione
- presentata
- tale
- suggerire
- suggerisce
- supporto
- sicuro
- Tecnologia
- di
- che
- Il
- la legge
- Regno Unito
- loro
- teorico
- teoria
- perciò
- Strumenti Bowman per analizzare le seguenti finiture:
- di
- questo
- anche se?
- tre
- miniature
- a
- allenato
- vero
- seconda
- Tipi di
- Uk
- per
- capire
- unità
- Università
- utilizzato
- via
- Varsavia
- Prima
- we
- sono stati
- Che
- quando
- quale
- OMS
- volere
- con
- Lavora
- mondo
- sarebbe
- anni
- zefiro