Fizycy teoretyczni wykonują dobrą robotę, recenzując artykuły naukowe, ale zwykle są pod większym wrażeniem znaczenia nowych badań niż rygoru, z jakim je przeprowadzono. Taka jest prowokacyjna sugestia nowego badania przeprowadzony przez naukowców z Wielkiej Brytanii i Polski, który bada wiarygodność wzajemnej oceny w fizyce teoretycznej.
Recenzja polega na wysyłaniu artykułów naukowych do niezależnych, zewnętrznych recenzentów w celu podjęcia decyzji, czy artykuł jest naukowo wiarygodny i odpowiedni dla czasopisma, do którego został przesłany. Pomimo tego, że od setek lat stanowi centralną część nauki, niewielu naukowców jest przeszkolonych w zakresie recenzowania, a anegdotyczne dowody sugerują, że nieporozumienia między poszczególnymi recenzentami na temat artykułu są powszechne.
„W idealnym świecie wszyscy recenzenci oceniliby każde zgłoszenie z doskonałą dokładnością i podjęliby idealną decyzję” — mówi Mike'a Thelwalla, naukowiec zajmujący się danymi z University of Sheffield, który przeprowadził badanie. Ale biorąc pod uwagę, że żadna praca nie może być doskonała we wszystkich metrykach używanych do oceny jakości artykułu, recenzenci dokonują tego, co Thelwall nazywa „wezwaniem do osądu”, na temat stopnia, w jakim artykuł osiąga akceptowalny poziom.
Trzy podstawowe elementy jakości używane do oceny pracy to oryginalność, rygor i znaczenie. Jednak Thelwall mówi, że nikt wcześniej nie sprawdzał, czy recenzenci skutecznie oceniają te wskaźniki, mimo że są one na przykład częścią wytycznych dla asesorów w Wielkiej Brytanii Ramy doskonałości badawczej.
Decydenci
Thelwall i fizyk Janusza Hołysta Politechniki Warszawskiej przeanalizował zatem oceny recenzentów w 505 artykułach teoretycznych opublikowanych w r Fizyka SciPost — czasopismo stosujące zasady otwartej recenzji naukowej. Duet zdecydował się skupić na fizyce teoretycznej, ponieważ twierdzą, że jest to najlepszy scenariusz do recenzowania, ponieważ recenzenci powinni mieć większe szanse na zrozumienie wszystkich aspektów danego zgłoszenia niż w innych dziedzinach nauki.
Każdy artykuł w badaniu miał co najmniej dwóch oceniających recenzentów, a analiza wykazała „umiarkowany” stopień zgodności między recenzentami we wszystkich trzech kluczowych wskaźnikach. „Wyniki nie powinny budzić żadnych zmartwień Fizyka SciPost — ich recenzenci wykonują świetną robotę” — mówi Thelwall.
Martwi się jednak, że czasopisma publikujące badania w dziedzinach, w których poszczególnym recenzentom trudniej jest dokonać rozsądnej oceny, mogą mieć znacznie niższe wskaźniki zgody recenzentów. „Zgodnie z prawem średnich [mogą] podejmować złe decyzje średnio często z powodu niefortunnego wyboru recenzentów” – mówi. Autorzy sugerują, że taki problem można zminimalizować poprzez nadzór redakcyjny, lepsze wytyczne i ulepszenia szkolenie recenzentów.
Recenzja w centrum uwagi
W badaniu przyjrzano się również, które z mierników jakości są zwykle oceniane tak samo przez poszczególnych recenzentów. Wyniki sugerują, że — przynajmniej w fizyce teoretycznej — sędziowie mają tendencję do oceniania rygoru niżej. Oznacza to, że może być trudniej opublikować coś, co Thelwall nazywa „wysoce rygorystycznym oryginalnym badaniem”, ale łatwiej uzyskać akceptację „istotnego oryginalnego badania”.
W rzeczywistości fizycy teoretyczni dążący do stworzenia znaczącej pracy mogą odnieść korzyści ze skupienia się na oryginalnych pomysłach zamiast generowania wyczerpujących dowodów na poparcie swojej pracy, sugerują autorzy. „Oczywiście potrzebujemy wszelkiego rodzaju badań, a jeśli wszyscy zrezygnują z rygorystycznych pomysłów, będzie to katastrofa dla nauki”, ostrzega Thelwall.
Stefana Thurnera, fizyk z Uniwersytetu Medycznego w Wiedniu, który nie brał udziału w badaniu, ale przeprowadził badania w celu wzajemnej weryfikacji, mówi, że badanie jest interesujące. „Surowe dane wskazują, że recenzenci są niezwykle konsekwentni w praktycznie wszystkich kategoriach” – mówi. „W ponad 400 z 505 przypadków nie różnią się wcale lub o jedną jednostkę punktową. Jestem pewien, że wielu naukowców ma subiektywne odczucie, że opinie sędziów różnią się znacznie częściej”.
Thurner dodaje jednak, że przyszłe badania mogłyby porównać wyniki z, powiedzmy, modelami referencyjnymi, w których artykuły były losowo przydzielane recenzentom.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Motoryzacja / pojazdy elektryczne, Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Przesunięcia bloków. Modernizacja własności offsetu środowiskowego. Dostęp tutaj.
- Źródło: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- :ma
- :Jest
- :nie
- :Gdzie
- $W GÓRĘ
- a
- O nas
- AC
- naukowcy
- do przyjęcia
- zaakceptowany
- precyzja
- Osiąga
- Dodaje
- Umowa
- Wszystkie kategorie
- również
- am
- an
- analiza
- i
- właściwy
- SĄ
- obszary
- artykuł
- aspekty
- przydzielony
- At
- Autorzy
- Łazienka
- BE
- bo
- być
- jest
- korzyści
- Ulepsz Swój
- pomiędzy
- ale
- by
- Połączenia
- CAN
- prowadzone
- Etui
- kategorie
- Spowodować
- centralny
- w kratę
- wybór
- wybrał
- wspólny
- porównać
- składniki
- komputer
- ekran komputera
- zgodny
- rdzeń
- mógłby
- Kurs
- Stwórz
- wiarygodny
- dane
- naukowiec danych
- zdecydować
- decyzja
- Decyzje
- Stopień
- Mimo
- różnić się
- katastrofa
- do
- robi
- z powodu
- każdy
- łatwiej
- Zespół redakcyjny
- faktycznie
- oceniać
- Parzyste
- wszyscy
- dowód
- Bada
- przykład
- Doskonałość
- doskonała
- zewnętrzny
- fakt
- kilka
- Łąka
- Znajdź
- znajduje
- Skupiać
- skupienie
- W razie zamówieenia projektu
- Framework
- od
- przyszłość
- generujący
- otrzymać
- dany
- daje
- szkło
- dobry
- dobra praca
- wytyczne
- miał
- trudniej
- Have
- he
- Jednak
- HTTPS
- Setki
- i
- idealny
- pomysły
- if
- obraz
- Pod wrażeniem
- ulepszony
- in
- W innych
- niezależny
- wskazać
- indywidualny
- Informacja
- ciekawy
- najnowszych
- zaangażowany
- problem
- IT
- Praca
- dziennik
- jpg
- sędzia
- Klawisz
- Prawo
- najmniej
- poziom
- Prawdopodobnie
- wyglądał
- niższy
- robić
- wiele
- Maksymalna szerokość
- Może..
- znaczy
- środków
- medyczny
- Metryka
- może
- modele
- miernie
- jeszcze
- dużo
- Potrzebować
- Nowości
- Nie
- of
- często
- on
- ONE
- koncepcja
- or
- oryginalny
- oryginalność
- Inne
- na zewnątrz
- koniec
- Przeoczenie
- Papier
- Papiery
- część
- par
- doskonały
- Fizyka
- Świat Fizyki
- plato
- Analiza danych Platona
- PlatoDane
- Polska
- praktycznie
- woleć
- poprzednio
- publikować
- opublikowany
- Wydawniczy
- jakość
- rankingu
- w rankingu
- ceny
- raczej
- Surowy
- niezawodność
- Raporty
- Badania naukowe
- Badacze
- Efekt
- Ujawnił
- przeglądu
- recenzowanie
- rygorystyczny
- taki sam
- powiedzieć
- mówią
- nauka
- naukowy
- Naukowiec
- Naukowcy
- wynik
- punktacji
- Ekran
- wysyłanie
- powinien
- znaczenie
- znaczący
- Dźwięk
- badania naukowe
- Badanie
- uległość
- składane
- taki
- sugerować
- Wskazuje
- wsparcie
- pewnie
- Technologia
- niż
- że
- Połączenia
- prawo
- UK
- ich
- teoretyczny
- teoria
- w związku z tym
- Te
- one
- to
- chociaż?
- trzy
- miniatur
- do
- przeszkolony
- prawdziwy
- drugiej
- typy
- Uk
- dla
- zrozumieć
- jednostka
- uniwersytet
- używany
- przez
- Warszawa
- była
- we
- były
- Co
- jeśli chodzi o komunikację i motywację
- który
- KIM
- będzie
- w
- Praca
- świat
- by
- lat
- zefirnet