Les physiciens théoriciens font du bon travail lorsqu'ils évaluent des articles scientifiques, mais ont tendance à être plus impressionnés par l'importance des nouvelles recherches que par la rigueur avec laquelle elles ont été menées. C'est la suggestion provocatrice d'une nouvelle étude menée par des chercheurs au Royaume-Uni et en Pologne qui examine la fiabilité de l'examen par les pairs en physique théorique.
L'examen par les pairs consiste à envoyer des articles de recherche à des arbitres externes indépendants pour décider si un article est scientifiquement crédible et approprié pour la revue à laquelle il a été soumis. Bien qu'ils aient été un élément central de la science pendant des centaines d'années, peu d'universitaires sont formés à l'examen par les pairs, et des preuves anecdotiques suggèrent que les désaccords entre les examinateurs individuels au sujet d'un article sont courants.
"Dans un monde idéal, tous les examinateurs évalueraient chaque soumission avec une précision parfaite et rendraient une décision parfaite", déclare Mike Thelwall, un data scientist de l'Université de Sheffield, qui a réalisé l'étude. Mais étant donné qu'aucun travail ne peut être parfait dans toutes les mesures utilisées pour juger de la qualité d'un article, les critiques font ce que Thelwall appelle « un jugement » sur la mesure dans laquelle un article atteint un niveau acceptable.
Les trois composantes essentielles de la qualité utilisées pour juger un article sont l'originalité, la rigueur et l'importance. Cependant, Thelwall dit que personne n'avait auparavant vérifié si les examinateurs jugeaient ces mesures de manière efficace, même si elles font, par exemple, partie des lignes directrices pour les évaluateurs au Royaume-Uni. Cadre d'excellence en recherche.
Décideurs
Thelwall et physicien Janusz Holyst de l'Université de technologie de Varsovie a donc analysé les notes des examinateurs dans 505 articles théoriques publiés dans Physique SciPost — une revue qui pratique l'open peer review. Le duo a choisi de se concentrer sur la physique théorique car ils disent que c'est le meilleur scénario pour l'examen par les pairs, dans la mesure où les examinateurs devraient être plus susceptibles de comprendre tous les aspects d'une soumission donnée que dans d'autres domaines scientifiques.
Chaque article de l'étude comptait au moins deux examinateurs de notation et l'analyse a révélé un degré « modéré » d'accord entre les examinateurs sur les trois paramètres clés. "Les résultats ne devraient causer aucun souci pour Physique SciPost – leurs examinateurs font un excellent travail », déclare Thelwall.
Cependant, il craint que les revues publiant des recherches dans des domaines où il est plus difficile pour les évaluateurs individuels de porter un jugement éclairé puissent avoir des taux d'accord beaucoup plus faibles pour les évaluateurs. "Selon la loi des moyennes, [ils peuvent] avoir tendance à prendre de mauvaises décisions modérément souvent en raison d'un choix malchanceux d'examinateurs", dit-il. Les auteurs suggèrent que ce problème pourrait être minimisé via une surveillance éditoriale, de meilleures directives et une amélioration formation d'examinateur.
L'examen par les pairs sous le feu des projecteurs
L'étude a également examiné lesquelles des mesures de qualité ont tendance à être classées de la même manière par les examinateurs individuels. Les résultats suggèrent que - en physique théorique du moins - les arbitres ont tendance à classer la rigueur plus bas. Cela signifie qu'il pourrait être plus difficile de publier ce que Thelwall appelle une "étude originale très rigoureuse", mais plus facile de faire accepter une "étude originale significative".
En fait, les physiciens théoriciens qui s'efforcent de créer des travaux significatifs pourraient bénéficier de se concentrer sur des idées originales plutôt que de générer des preuves exhaustives pour étayer leurs travaux, suggèrent les auteurs. "Bien sûr, nous avons besoin de tous les types de recherche et si tout le monde abandonne des idées rigoureuses, ce sera un désastre pour la science", prévient Thelwall.
Stéphane Thurner, un physicien de l'Université médicale de Vienne qui n'a pas participé à l'étude mais a mené des études sur l'examen par les pairs, dit que l'étude est intéressante. "Les données brutes indiquent que les examinateurs sont remarquablement cohérents dans pratiquement toutes les catégories", dit-il. « Dans plus de 400 cas sur 505, ils ne diffèrent pas du tout ou d'une unité de score. Je suis sûr que de nombreux scientifiques ont le sentiment subjectif que les rapports des arbitres diffèrent plus souvent que cela. »
Thurner ajoute, cependant, que les recherches futures pourraient comparer les résultats avec, par exemple, des modèles de référence dans lesquels les articles étaient attribués au hasard à des arbitres.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Automobile / VE, Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- Décalages de bloc. Modernisation de la propriété des compensations environnementales. Accéder ici.
- La source: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- :possède
- :est
- :ne pas
- :où
- $UP
- a
- A Propos
- AC
- universitaires
- acceptable
- accepté
- précision
- Atteint
- Ajoute
- contrat
- Tous
- aussi
- am
- an
- selon une analyse de l’Université de Princeton
- et les
- approprié
- SONT
- domaines
- article
- aspects
- attribué
- At
- auteurs
- Mal
- BE
- car
- était
- va
- profiter
- Améliorée
- jusqu'à XNUMX fois
- mais
- by
- Appels
- CAN
- réalisée
- cas
- catégories
- Causes
- central
- vérifié
- le choix
- choisir
- Commun
- comparer
- composants électriques
- ordinateur
- écran d'ordinateur
- cohérent
- Core
- pourriez
- Cours
- engendrent
- crédible
- données
- Data Scientist
- décider
- décision
- décisions
- Degré
- Malgré
- différer
- catastrophe
- do
- faire
- deux
- chacun
- plus facilement
- Editorial
- de manière efficace
- évaluer
- Pourtant, la
- tout le monde
- preuve
- Examine
- exemple
- Excellence
- excellent
- externe
- fait
- few
- Des champs
- Trouvez
- trouve
- Focus
- mettant l'accent
- Pour
- Framework
- De
- avenir
- générateur
- obtenez
- donné
- donne
- en verre.
- Bien
- bon travail
- lignes directrices
- ait eu
- Plus fort
- Vous avez
- he
- Cependant
- HTTPS
- Des centaines
- i
- idéal
- et idées cadeaux
- if
- image
- impressionné
- amélioré
- in
- Dans d'autres
- indépendant
- indiquer
- individuel
- d'information
- intéressant
- développement
- impliqué
- aide
- IT
- Emploi
- Journal
- jpg
- juge
- ACTIVITES
- Droit applicable et juridiction compétente
- au
- Niveau
- Probable
- regardé
- baisser
- a prendre une
- de nombreuses
- largeur maximale
- Mai..
- veux dire
- les mesures
- médical
- Métrique
- pourrait
- numériques jumeaux (digital twin models)
- modérément
- PLUS
- beaucoup
- Besoin
- Nouveauté
- aucune
- of
- souvent
- on
- ONE
- ouvert
- or
- original
- originalité
- Autre
- ande
- plus de
- Surveillance
- Papier
- papiers
- partie
- par les pairs
- parfaite
- Physique
- Monde de la physique
- Platon
- Intelligence des données Platon
- PlatonDonnées
- Pologne
- pratiquement
- préfère
- précédemment
- publier
- publié
- Édition
- qualité
- classer
- classé
- Tarifs
- plutôt
- raw
- fiabilité
- Rapports
- un article
- chercheurs
- Résultats
- Révélé
- Avis
- examen
- rigoureux
- même
- dire
- dit
- Sciences
- sur une base scientifique
- Scientifique
- scientifiques
- But
- marquant
- pour écran
- envoi
- devrait
- importance
- significative
- Son
- études
- Étude
- Soumission
- soumis
- tel
- suggérer
- Suggère
- Support
- sûr
- Technologie
- que
- qui
- La
- la loi
- au Royaume-Uni
- leur
- théorique
- théorie
- donc
- Ces
- l'ont
- this
- bien que?
- trois
- thumbnail
- à
- qualifié
- oui
- deux
- types
- Uk
- sous
- comprendre
- unité
- université
- d'utiliser
- via
- Varsovie
- était
- we
- ont été
- Quoi
- quand
- qui
- WHO
- sera
- comprenant
- activités principales
- world
- pourra
- années
- zéphyrnet