Các nhà vật lý lý thuyết làm rất tốt khi bình duyệt các bài báo khoa học, nhưng có xu hướng bị ấn tượng hơn bởi tầm quan trọng của nghiên cứu mới hơn là tính nghiêm ngặt mà nó được thực hiện. Đó là gợi ý khiêu khích của một nghiên cứu mới được thực hiện bởi các nhà nghiên cứu ở Anh và Ba Lan nhằm kiểm tra độ tin cậy của đánh giá ngang hàng trong vật lý lý thuyết.
Đánh giá ngang hàng liên quan đến việc gửi các tài liệu nghiên cứu đến các trọng tài độc lập, bên ngoài để quyết định xem một bài báo có đáng tin cậy về mặt khoa học và phù hợp với tạp chí mà nó đã được gửi hay không. Mặc dù là một phần trung tâm của khoa học trong hàng trăm năm, rất ít học giả được đào tạo về bình duyệt, và bằng chứng giai thoại cho thấy rằng những bất đồng giữa các cá nhân phê bình về một bài báo là phổ biến.
“Trong một thế giới lý tưởng, tất cả những người đánh giá sẽ đánh giá từng bài nộp với độ chính xác hoàn hảo và đưa ra quyết định hoàn hảo,” cho biết Mike Thelwall, một nhà khoa học dữ liệu từ Đại học Sheffield, người thực hiện nghiên cứu. Nhưng vì không có tác phẩm nào có thể hoàn hảo về tất cả các số liệu dùng để đánh giá chất lượng của một bài báo, nên những người đánh giá đưa ra cái mà Thelwall gọi là “một lời kêu gọi phán xét” về mức độ mà một bài báo đạt được mức độ chấp nhận được.
Ba thành phần cốt lõi của chất lượng được sử dụng để đánh giá một bài báo là tính độc đáo, tính chặt chẽ và ý nghĩa. Tuy nhiên, Thelwall nói rằng trước đây chưa có ai kiểm tra xem liệu người đánh giá có đánh giá các số liệu này một cách hiệu quả hay không, mặc dù chẳng hạn, chúng là một phần nguyên tắc dành cho người đánh giá ở Vương quốc Anh. Khung nghiên cứu xuất sắc.
Người ra quyết định
Thelwall và nhà vật lý Janusz Holyst do đó, Đại học Công nghệ Warsaw đã phân tích điểm của người đánh giá trong 505 bài báo lý thuyết được xuất bản trên tạp chí Khoa học sau Vật lý - một tạp chí thực hiện bình duyệt mở. Bộ đôi này chọn tập trung vào vật lý lý thuyết vì họ cho rằng đây là tình huống tốt nhất để bình duyệt, trong đó những người đánh giá sẽ có nhiều khả năng hiểu được tất cả các khía cạnh của một bài nộp nhất định hơn là trong các lĩnh vực khoa học khác.
Mỗi bài báo trong nghiên cứu đều có ít nhất hai người đánh giá chấm điểm và phân tích cho thấy mức độ đồng ý “vừa phải” giữa những người đánh giá về cả ba chỉ số chính. “Kết quả sẽ không gây lo lắng gì cho Khoa học sau Vật lý — những người đánh giá của họ đang làm việc rất xuất sắc,” Thelwall nói.
Tuy nhiên, ông lo ngại rằng các tạp chí xuất bản nghiên cứu trong các lĩnh vực mà cá nhân người đánh giá khó đưa ra đánh giá đúng đắn hơn có thể có tỷ lệ đồng ý thấp hơn nhiều đối với người đánh giá. Ông nói: “Theo quy luật trung bình, [họ có thể] có xu hướng đưa ra những quyết định tồi thường xuyên ở mức độ vừa phải do sự lựa chọn không may mắn của những người đánh giá”. Các tác giả cho rằng vấn đề như vậy có thể được giảm thiểu thông qua giám sát biên tập, hướng dẫn tốt hơn và cải thiện đào tạo người đánh giá.
Đánh giá ngang hàng dưới ánh đèn sân khấu
Nghiên cứu cũng xem xét thước đo chất lượng nào có xu hướng được các nhà đánh giá cá nhân xếp hạng giống nhau. Kết quả cho thấy rằng – ít nhất là trong vật lý lý thuyết – các trọng tài có xu hướng xếp hạng độ nghiêm ngặt thấp hơn. Điều này có nghĩa là có thể khó xuất bản cái mà Thelwall gọi là “nghiên cứu ban đầu có tính nghiêm ngặt cao” nhưng lại dễ dàng được “nghiên cứu ban đầu quan trọng” chấp nhận.
Trên thực tế, các nhà vật lý lý thuyết đang nỗ lực tạo ra công trình quan trọng có thể được hưởng lợi từ việc tập trung vào những ý tưởng ban đầu thay vì tạo ra bằng chứng đầy đủ để hỗ trợ công trình của họ, các tác giả gợi ý. Thelwall cảnh báo: “Tất nhiên, chúng ta cần tất cả các loại nghiên cứu và nếu mọi người từ bỏ những ý tưởng khắt khe thì đó sẽ là một thảm họa đối với khoa học”.
Stefan Thurner, một nhà vật lý từ Đại học Y Vienna, người không tham gia vào nghiên cứu nhưng đã thực hiện các nghiên cứu bình duyệt, cho biết nghiên cứu này rất thú vị. Ông nói: “Dữ liệu thô chỉ ra rằng những người đánh giá có sự nhất quán đáng chú ý trong hầu hết các hạng mục. “Trong hơn 400 trong số 505 trường hợp, chúng không khác nhau chút nào hoặc khác nhau một điểm. Tôi chắc chắn rằng nhiều nhà khoa học có cảm giác chủ quan rằng các báo cáo của trọng tài thường khác nhau hơn thế.”
Tuy nhiên, Thurner cho biết thêm rằng nghiên cứu trong tương lai có thể so sánh kết quả với các mô hình tham chiếu trong đó các bài báo được giao ngẫu nhiên cho người giới thiệu.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Ô tô / Xe điện, Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- BlockOffsets. Hiện đại hóa quyền sở hữu bù đắp môi trường. Truy cập Tại đây.
- nguồn: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- : có
- :là
- :không phải
- :Ở đâu
- $ LÊN
- a
- Giới thiệu
- AC
- học giả
- chấp nhận được
- chấp nhận
- chính xác
- Đạt được
- Thêm
- Hiệp định
- Tất cả
- Ngoài ra
- am
- an
- phân tích
- và
- thích hợp
- LÀ
- khu vực
- bài viết
- các khía cạnh
- giao
- At
- tác giả
- Bad
- BE
- bởi vì
- được
- được
- hưởng lợi
- Hơn
- giữa
- nhưng
- by
- Cuộc gọi
- CAN
- thực hiện
- trường hợp
- đố
- Nguyên nhân
- trung tâm
- đã kiểm tra
- sự lựa chọn
- chọn
- Chung
- so sánh
- các thành phần
- máy tính
- màn hình máy tính
- thích hợp
- Trung tâm
- có thể
- Khóa học
- tạo
- đáng tin
- dữ liệu
- nhà khoa học dữ liệu
- quyết định
- quyết định
- quyết định
- Bằng cấp
- Mặc dù
- khác nhau
- thiên tai
- do
- làm
- hai
- mỗi
- dễ dàng hơn
- Biên tập
- hiệu quả
- đánh giá
- Ngay cả
- mọi người
- bằng chứng
- Kiểm tra
- ví dụ
- Xuất sắc
- tuyệt vời
- ngoài
- thực tế
- vài
- Lĩnh vực
- Tìm kiếm
- tìm thấy
- Tập trung
- tập trung
- Trong
- Khung
- từ
- tương lai
- tạo ra
- được
- được
- cho
- ly
- tốt
- làm tốt lắm
- hướng dẫn
- có
- khó hơn
- Có
- he
- Tuy nhiên
- HTTPS
- Hàng trăm
- i
- lý tưởng
- ý tưởng
- if
- hình ảnh
- ấn tượng
- cải thiện
- in
- Mặt khác
- độc lập
- chỉ
- hệ thống riêng biệt,
- thông tin
- thú vị
- trong
- tham gia
- vấn đề
- IT
- Việc làm
- tạp chí
- jpg
- thẩm phán
- Key
- Luật
- ít nhất
- Cấp
- Có khả năng
- nhìn
- thấp hơn
- làm cho
- nhiều
- max-width
- Có thể..
- có nghĩa
- các biện pháp
- y khoa
- Metrics
- Might
- mô hình
- vừa phải
- chi tiết
- nhiều
- Cần
- Mới
- Không
- of
- thường
- on
- ONE
- mở
- or
- nguyên
- độc đáo
- Nền tảng khác
- ra
- kết thúc
- Giám sát
- Giấy
- giấy tờ
- một phần
- lê
- hoàn hảo
- Vật lý
- Thế giới vật lý
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Ba Lan
- thực tế
- thích hơn
- trước đây
- xuất bản
- công bố
- Xuất bản
- chất lượng
- xếp hạng
- xếp hạng
- Giá
- hơn
- Nguyên
- độ tin cậy
- Báo cáo
- nghiên cứu
- nhà nghiên cứu
- Kết quả
- Tiết lộ
- xem xét
- xem xét
- nghiêm ngặt
- tương tự
- nói
- nói
- Khoa học
- khoa học
- Nhà khoa học
- các nhà khoa học
- Điểm số
- ghi bàn
- Màn
- gửi
- nên
- ý nghĩa
- có ý nghĩa
- âm thanh
- nghiên cứu
- Học tập
- nộp hồ sơ
- trình
- như vậy
- đề nghị
- Gợi ý
- hỗ trợ
- chắc chắn
- Công nghệ
- hơn
- việc này
- Sản phẩm
- luật
- Anh
- cung cấp their dịch
- lý thuyết
- lý thuyết
- vì thế
- Kia là
- họ
- điều này
- Tuy nhiên?
- số ba
- thumbnail
- đến
- đào tạo
- đúng
- hai
- loại
- Uk
- Dưới
- hiểu
- đơn vị
- trường đại học
- đã sử dụng
- thông qua
- Warsaw
- là
- we
- là
- Điều gì
- khi nào
- cái nào
- CHÚNG TÔI LÀ
- sẽ
- với
- Công việc
- thế giới
- sẽ
- năm
- zephyrnet