Theoretische Physiker leisten gute Arbeit bei der Begutachtung wissenschaftlicher Arbeiten, sind aber eher von der Bedeutung neuer Forschungsergebnisse beeindruckt als von der Genauigkeit, mit der sie durchgeführt wurden. Das ist der provokante Vorschlag einer neuen Studie von Forschern im Vereinigten Königreich und in Polen durchgeführt und untersucht die Zuverlässigkeit von Peer-Reviews in der theoretischen Physik.
Beim Peer-Review werden Forschungsarbeiten an unabhängige, externe Gutachter geschickt, um zu entscheiden, ob ein Artikel wissenschaftlich glaubwürdig und für die Zeitschrift, bei der er eingereicht wurde, geeignet ist. Obwohl es seit Hunderten von Jahren ein zentraler Bestandteil der Wissenschaft ist, sind nur wenige Akademiker in der Begutachtung durch Fachkollegen ausgebildet, und vereinzelte Belege deuten darauf hin, dass Meinungsverschiedenheiten zwischen einzelnen Gutachtern über eine Arbeit häufig vorkommen.
„In einer idealen Welt würden alle Gutachter jede Einreichung mit absoluter Genauigkeit bewerten und eine perfekte Entscheidung treffen“, sagt er Mike Thelwall, ein Datenwissenschaftler der University of Sheffield, der die Studie durchgeführt hat. Angesichts der Tatsache, dass keine Arbeit in allen Maßstäben perfekt sein kann, die zur Beurteilung der Qualität einer Arbeit herangezogen werden, treffen Gutachter das, was Thelwall als „Urteil“ bezeichnet, darüber, inwieweit ein Artikel ein akzeptables Niveau erreicht.
Die drei Hauptkriterien für die Qualität einer Arbeit sind Originalität, Genauigkeit und Aussagekraft. Thelwall sagt jedoch, dass bisher niemand überprüft habe, ob Gutachter diese Kennzahlen effektiv beurteilen, obwohl sie beispielsweise Teil der Richtlinien für Gutachter im Vereinigten Königreich seien Rahmenwerk für Forschungsexzellenz.
Entscheidungsträger
Thelwall und Physiker Janusz Hołyst von der Technischen Universität Warschau analysierte daher die Gutachterbewertungen in 505 theoretischen Arbeiten, die in veröffentlicht wurden SciPost-Physik – eine Zeitschrift, die offenes Peer-Review praktiziert. Das Duo konzentrierte sich auf die theoretische Physik, da es ihrer Meinung nach das Best-Case-Szenario für die Begutachtung durch Fachkollegen sei, da Gutachter mit größerer Wahrscheinlichkeit alle Aspekte einer bestimmten Einreichung verstehen sollten als in anderen Bereichen der Wissenschaft.
Jede Arbeit in der Studie hatte mindestens zwei bewertende Gutachter und die Analyse ergab einen „mäßigen“ Grad der Übereinstimmung zwischen den Gutachtern bei allen drei Schlüsselkennzahlen. „Die Ergebnisse sollten überhaupt keinen Anlass zur Sorge geben SciPost-Physik – Ihre Gutachter leisten hervorragende Arbeit“, sagt Thelwall.
Er befürchtet jedoch, dass Zeitschriften, die Forschungsergebnisse in Bereichen veröffentlichen, in denen es für einzelne Gutachter schwieriger ist, ein fundiertes Urteil zu fällen, deutlich niedrigere Zustimmungsraten für Gutachter aufweisen könnten. „Nach dem Gesetz der Durchschnittswerte neigen sie möglicherweise dazu, mäßig häufig schlechte Entscheidungen zu treffen, weil die Auswahl der Gutachter unglücklich ist“, sagt er. Die Autoren schlagen vor, dass dieses Problem durch redaktionelle Aufsicht, bessere Richtlinien und Verbesserungen minimiert werden könnte Gutachterschulung.
Peer-Review im Rampenlicht
In der Studie wurde auch untersucht, welche Qualitätsmaßstäbe von einzelnen Gutachtern tendenziell gleich bewertet werden. Die Ergebnisse deuten darauf hin, dass Schiedsrichter – zumindest in der theoretischen Physik – dazu neigen, die Strenge niedriger einzustufen. Dies bedeutet, dass es schwieriger sein könnte, eine „sehr strenge Originalstudie“ zu veröffentlichen, wie Thelwall es nennt, aber einfacher, eine „signifikante Originalstudie“ akzeptiert zu bekommen.
Tatsächlich könnten theoretische Physiker, die bedeutende Arbeiten anstreben, davon profitieren, sich auf originelle Ideen zu konzentrieren, anstatt erschöpfende Beweise zur Untermauerung ihrer Arbeit zu sammeln, schlagen die Autoren vor. „Natürlich brauchen wir alle Arten von Forschung, und wenn alle auf strenge Ideen verzichten, wäre das eine Katastrophe für die Wissenschaft“, warnt Thelwall.
Stefan Thürner, ein Physiker der Medizinischen Universität Wien, der nicht an der Studie beteiligt war, aber Studien zum Peer-Review durchgeführt hat, sagt, die Studie sei interessant. „Die Rohdaten zeigen, dass die Gutachter in praktisch allen Kategorien bemerkenswert konsistent sind“, sagt er. „In mehr als 400 von 505 Fällen unterscheiden sie sich gar nicht oder nur um eine Punkteeinheit. Ich bin sicher, dass viele Wissenschaftler das subjektive Gefühl haben, dass Gutachterberichte häufiger voneinander abweichen.“
Thurner fügt jedoch hinzu, dass zukünftige Forschungen die Ergebnisse beispielsweise mit Referenzmodellen vergleichen könnten, bei denen Arbeiten zufällig Gutachtern zugewiesen wurden.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Automobil / Elektrofahrzeuge, Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- BlockOffsets. Modernisierung des Eigentums an Umweltkompensationen. Hier zugreifen.
- Quelle: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- :hast
- :Ist
- :nicht
- :Wo
- $UP
- a
- Über Uns
- AC
- Akademiker
- akzeptabel
- akzeptiert
- Genauigkeit
- Erreicht
- Fügt
- Zustimmung
- Alle
- ebenfalls
- am
- an
- Analyse
- und
- angemessen
- SIND
- Bereiche
- Artikel
- Aspekte
- zugewiesen
- At
- Autoren
- Badewanne
- BE
- weil
- war
- Sein
- Nutzen
- Besser
- zwischen
- aber
- by
- Aufrufe
- CAN
- durchgeführt
- Fälle
- Kategorien
- Verursachen
- Hauptgeschäftsstelle
- geprüft
- Wahl
- wählten
- gemeinsam
- vergleichen
- Komponenten
- Computer
- Computer-Bildschirm
- konsistent
- Kernbereich
- könnte
- Kurs
- erstellen
- glaubwürdig
- technische Daten
- Datenwissenschaftler
- entscheidet
- Entscheidung
- Entscheidungen
- Grad
- Trotz
- abweichen
- Katastrophe
- do
- Dabei
- zwei
- jeder
- einfacher
- Editorial
- effektiv
- bewerten
- Sogar
- jedermann
- Beweis
- Überprüft
- Beispiel
- Exzellenz
- Ausgezeichnet
- extern
- Tatsache
- wenige
- Felder
- Finden Sie
- findet
- Setzen Sie mit Achtsamkeit
- Fokussierung
- Aussichten für
- Unser Ansatz
- für
- Zukunft
- Erzeugung
- bekommen
- gegeben
- gibt
- Glas
- gut
- gute Arbeit
- Richtlinien
- hätten
- Schwerer
- Haben
- he
- aber
- HTTPS
- hunderte
- i
- ideal
- Ideen
- if
- Image
- beeindruckt
- verbessert
- in
- In anderen
- unabhängig
- zeigen
- Krankengymnastik
- Information
- interessant
- in
- beteiligt
- Problem
- IT
- Job
- Zeitschrift
- jpg
- Richter
- Wesentliche
- Recht
- am wenigsten
- Niveau
- wahrscheinlich
- sah
- senken
- um
- viele
- max-width
- Kann..
- Mittel
- Maßnahmen
- sowie medizinische
- Metrik
- könnte
- für
- in Maßen
- mehr
- viel
- Need
- Neu
- nicht
- of
- vorgenommen,
- on
- EINEM
- XNUMXh geöffnet
- or
- Original
- Originalität
- Andere
- übrig
- Aufsicht
- Papier
- Papiere
- Teil
- Peer
- perfekt
- Physik
- Physik-Welt
- Plato
- Datenintelligenz von Plato
- PlatoData
- Polen
- praktisch
- bevorzugen
- vorher
- veröffentlichen
- veröffentlicht
- Publishing
- Qualität
- Rang
- Platz
- Honorar
- lieber
- Roh
- Zuverlässigkeit
- Meldungen
- Forschungsprojekte
- Forscher
- Die Ergebnisse
- Revealed
- Überprüfen
- Überprüfung
- rigoros
- gleich
- sagt
- Wissenschaft
- wissenschaftlich
- Wissenschaftler
- Wissenschaftler
- Ergebnis
- Wertung
- Bildschirm
- Sendung
- sollte
- Bedeutung
- signifikant
- Klingen
- Es wurden Studien
- Studie
- Einreichung
- eingereicht
- so
- vorschlagen
- Schlägt vor
- Support
- sicher
- Technologie
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- das Gesetz
- Großbritannien
- ihr
- theoretisch
- Theorie
- deswegen
- Diese
- vom Nutzer definierten
- fehlen uns die Worte.
- obwohl?
- nach drei
- Daumennagel
- zu
- trainiert
- was immer dies auch sein sollte.
- XNUMX
- Typen
- Uk
- für
- verstehen
- Einheit
- Universität
- benutzt
- Warsaw
- wurde
- we
- waren
- Was
- wann
- welche
- WHO
- werden wir
- mit
- Arbeiten
- weltweit wie ausgehandelt und gekauft ausgeführt wird.
- würde
- Jahr
- Zephyrnet