Os físicos teóricos fazem um bom trabalho na revisão por pares de artigos científicos, mas tendem a ficar mais impressionados com a importância das novas pesquisas do que com o rigor com que foram realizadas. Essa é a sugestão provocativa de um novo estudo realizado por investigadores no Reino Unido e na Polónia que examina a fiabilidade da revisão por pares em física teórica.
A revisão por pares envolve o envio de artigos de pesquisa a revisores externos independentes para decidir se um artigo é cientificamente confiável e apropriado para o periódico ao qual foi submetido. Apesar de ser uma parte central da ciência há centenas de anos, poucos acadêmicos são treinados em revisão por pares, e evidências anedóticas sugerem que são comuns divergências entre revisores individuais sobre um artigo.
“Em um mundo ideal, todos os revisores avaliariam cada envio com perfeita precisão e tomariam uma decisão perfeita”, diz Mike Thelwall, cientista de dados da Universidade de Sheffield, que conduziu o estudo. Mas dado que nenhum trabalho pode ser perfeito em todas as métricas usadas para julgar a qualidade de um artigo, os revisores fazem o que Thelwall chama de “um julgamento” sobre até que ponto um artigo atinge um nível aceitável.
Os três componentes principais de qualidade usados para julgar um artigo são originalidade, rigor e significância. No entanto, Thelwall diz que ninguém tinha verificado anteriormente se os revisores avaliam estas métricas de forma eficaz, apesar de elas fazerem, por exemplo, parte das directrizes para avaliadores no Reino Unido. Quadro de Excelência em Pesquisa.
Tomadores de decisão
Thelwall e físico Janusz Holyst da Universidade de Tecnologia de Varsóvia, portanto, analisou as pontuações dos revisores em 505 artigos teóricos publicados em Física SciPost — um periódico que pratica revisão por pares aberta. A dupla optou por focar na física teórica porque dizem que é o melhor cenário para a revisão por pares, na medida em que os revisores deveriam ter maior probabilidade de compreender todos os aspectos de uma determinada submissão do que em outras áreas da ciência.
Cada artigo do estudo teve pelo menos dois revisores de pontuação e a análise revelou um grau “moderado” de concordância entre os revisores em todas as três métricas principais. “Os resultados não devem causar nenhuma preocupação para Física SciPost – seus revisores estão fazendo um excelente trabalho”, diz Thelwall.
No entanto, ele teme que os periódicos que publicam pesquisas em áreas onde é mais difícil para os revisores individuais fazerem um julgamento sólido possam ter taxas de concordância muito mais baixas para os revisores. “Pela lei das médias, [eles podem] tender a tomar decisões erradas com moderação e frequência devido a uma escolha infeliz dos revisores”, diz ele. Os autores sugerem que tal problema pode ser minimizado através de supervisão editorial, melhores diretrizes e melhores treinamento de revisores.
Revisão por pares sob os holofotes
O estudo também analisou quais das medidas de qualidade tendem a ser classificadas da mesma forma pelos revisores individuais. Os resultados sugerem que – pelo menos na física teórica – os árbitros tendem a classificar o rigor em níveis inferiores. Isto significa que poderá ser mais difícil publicar o que Thelwall chama de “estudo original altamente rigoroso”, mas mais fácil conseguir que um “estudo original significativo” seja aceite.
Na verdade, os físicos teóricos que se esforçam para criar trabalhos significativos podem beneficiar se se concentrarem em ideias originais, em vez de gerarem provas exaustivas para apoiar o seu trabalho, sugerem os autores. “É claro que precisamos de todos os tipos de investigação e se todos desistirem de ideias rigorosas, será um desastre para a ciência”, adverte Thelwall.
Stefan Thurner, um físico da Universidade Médica de Viena que não esteve envolvido no estudo, mas realizou estudos de revisão por pares, diz que o estudo é interessante. “Os dados brutos indicam que os revisores são notavelmente consistentes em praticamente todas as categorias”, diz ele. “Em mais de 400 dos 505 casos, eles não diferem em nada ou em uma unidade de pontuação. Tenho certeza de que muitos cientistas têm a sensação subjetiva de que os relatórios dos árbitros diferem com mais frequência do que isso.”
Thurner acrescenta, no entanto, que pesquisas futuras poderiam comparar os resultados com, digamos, modelos de referência em que os artigos fossem atribuídos aleatoriamente a revisores.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Automotivo / EVs, Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- BlockOffsets. Modernizando a Propriedade de Compensação Ambiental. Acesse aqui.
- Fonte: https://physicsworld.com/a/theorists-are-good-peer-reviewers-but-tend-to-prefer-significance-over-rigour-study-finds/
- :tem
- :é
- :não
- :onde
- $UP
- a
- Sobre
- AC
- acadêmicos
- aceitável
- aceito
- precisão
- Alcança
- Adiciona
- Acordo
- Todos os Produtos
- tb
- am
- an
- análise
- e
- apropriado
- SOMOS
- áreas
- artigo
- aspectos
- atribuído
- At
- autores
- Mau
- BE
- Porque
- sido
- ser
- beneficiar
- Melhor
- entre
- mas a
- by
- chamadas
- CAN
- transportado
- casos
- Categorias
- Causar
- central
- verificado
- escolha
- escolheu
- comum
- comparar
- componentes
- computador
- tela de computador
- consistente
- núcleo
- poderia
- Para
- crio
- credível
- dados,
- cientista de dados
- decidir
- decisão
- decisões
- Grau
- Apesar de
- diferir
- desastre
- do
- fazer
- dois
- cada
- mais fácil
- editorial
- efetivamente
- avaliar
- Mesmo
- todos
- evidência
- Examina
- exemplo
- Excelência
- excelente
- externo
- fato
- poucos
- Campos
- Encontre
- encontra
- Foco
- focando
- Escolha
- Quadro
- da
- futuro
- gerando
- ter
- dado
- dá
- vidro
- Bom estado, com sinais de uso
- bom trabalho
- orientações
- tinha
- mais duro
- Ter
- he
- Contudo
- HTTPS
- Centenas
- i
- ideal
- idéias
- if
- imagem
- Impressionado
- melhorado
- in
- Em outra
- de treinadores em Entrevista Motivacional
- indicam
- Individual
- INFORMAÇÕES
- interessante
- para dentro
- envolvido
- emitem
- IT
- Trabalho
- revista
- jpg
- juiz
- Chave
- Escritórios de
- mínimo
- Nível
- Provável
- olhou
- diminuir
- fazer
- muitos
- max-width
- Posso..
- significa
- medidas
- médico
- Métrica
- poder
- modelos
- moderadamente
- mais
- muito
- você merece...
- Novo
- não
- of
- frequentemente
- on
- ONE
- aberto
- or
- original
- originalidade
- Outros
- Fora
- Acima de
- Supervisão
- Papel
- papéis
- parte
- perscrutar
- perfeita
- Física
- Mundo da física
- platão
- Inteligência de Dados Platão
- PlatãoData
- Polônia
- praticamente
- preferir
- anteriormente
- publicar
- publicado
- Publishing
- qualidade
- classificar
- classificado
- Preços
- em vez
- Cru
- confiabilidade
- Relatórios
- pesquisa
- pesquisadores
- Resultados
- Revelado
- rever
- revendo
- rigoroso
- mesmo
- dizer
- diz
- Ciência
- científico
- Cientista
- cientistas
- Ponto
- marcar
- Peneira
- envio
- rede de apoio social
- significado
- periodo
- Parecer
- caso
- Estudo
- submissão
- apresentado
- tal
- sugerir
- Sugere
- ajuda
- certo
- Tecnologia
- do que
- que
- A
- a lei
- do Reino Unido
- deles
- teórico
- teoria
- assim sendo
- Este
- deles
- isto
- Apesar?
- três
- miniaturas
- para
- treinado
- verdadeiro
- dois
- tipos
- Uk
- para
- compreender
- unidade
- universidade
- usava
- via
- Varsóvia
- foi
- we
- foram
- O Quê
- quando
- qual
- QUEM
- precisarão
- de
- Atividades:
- mundo
- seria
- anos
- zefirnet