Cientistas levados a acreditar que resumos falsos escritos por ChatGPT eram reais

Republicado por Platão

seguidores: 0

Cientistas foram levados a acreditar que resumos falsos escritos por ChatGPT eram verdadeiros PlatoBlockchain Data Intelligence. Pesquisa vertical. Ai.

Os acadêmicos podem ser levados a acreditar que resumos científicos falsos gerados pelo ChatGPT são de artigos médicos reais publicados nos principais periódicos de pesquisa, de acordo com as pesquisas mais recentes.

Uma equipe de pesquisadores liderada pela Northwestern University usava a ferramenta de geração de texto, desenvolvida pela OpenAI, para produzir 50 resumos com base no título de um artigo científico real no estilo de cinco revistas médicas diferentes.

Quatro acadêmicos foram convocados para participar de um teste e foram divididos em dois grupos de dois. Um sorteio eletrônico foi usado para decidir se um resumo real ou falso gerado por IA foi entregue a um revisor em cada grupo. Se um pesquisador recebesse um resumo real, o segundo receberia um falso e vice-versa. Cada pessoa revisou 25 resumos científicos.

Os revisores conseguiram detectar 68% dos resumos falsos gerados por IA e 86% dos resumos originais de artigos reais. Em outras palavras, eles foram levados a pensar que 32% dos resumos escritos por IA eram reais e 14% dos resumos reais eram falsos.

Catherine Gao, primeira autora do estudo e médica e cientista especializada em pneumologia na Northwestern University, disse que mostra que o ChatGPT pode ser bastante convincente. “Nossos revisores sabiam que alguns dos resumos que estavam recebendo eram falsos, então ficaram muito desconfiados”, disse ela. dito em um comunicado.

“O fato de nossos revisores ainda perderem os gerados por IA 32 [por cento] das vezes significa que esses resumos são realmente bons. Suspeito que, se alguém se deparasse com um desses resumos gerados, não seria necessariamente capaz de identificá-lo como sendo escrito por IA.”

Grandes modelos de linguagem como o ChatGPT são treinados em grandes quantidades de texto extraídos da Internet. Eles aprendem a gerar texto prevendo quais palavras são mais prováveis de ocorrer em uma determinada frase e podem escrever uma sintaxe gramaticalmente precisa. Não é surpreendente que mesmo os acadêmicos possam ser levados a acreditar que resumos gerados por IA são reais. Modelos de linguagem grandes são bons para produzir texto com estrutura e padrões claros. Os resumos científicos geralmente seguem formatos semelhantes e podem ser bastante vagos.

“Nossos revisores comentaram que era surpreendentemente difícil diferenciar entre os resumos reais e falsos”, disse Gao. “Os resumos gerados pelo ChatGPT foram muito convincentes… ele até sabe o quão grande a coorte de pacientes deve ser quando inventa números.” Um resumo falso sobre hipertensão, por exemplo, descrevia um estudo com dezenas de milhares de participantes, enquanto um sobre varíola símia incluía um número menor de pacientes.

Foi surpreendentemente difícil diferenciar entre os resumos reais e falsos

Gao acredita que ferramentas como o ChatGPT tornarão mais fácil para as fábricas de papel, que lucram com a publicação de estudos, produzir artigos científicos falsos. “Se outras pessoas tentarem construir sua ciência a partir desses estudos incorretos, isso pode ser muito perigoso”, acrescentou ela.

No entanto, também há vantagens em usar essas ferramentas. Alexander Pearson, co-autor do estudo e professor associado de medicina na Universidade de Chicago, disse que eles poderiam ajudar cientistas ingleses não nativos a escrever melhor e compartilhar seu trabalho.

A IA é melhor na detecção de texto de máquina do que os humanos. o livre Detector de Saída GPT-2, por exemplo, foi capaz de adivinhar com mais de 50% de confiança que 33 de 50 artigos foram realmente gerados por um modelo de linguagem. Os pesquisadores acreditam que os envios de artigos devem ser executados por meio desses detectores e que os cientistas devem ser transparentes sobre o uso dessas ferramentas.

“Não utilizamos o ChatGPT na redação de nosso próprio resumo ou manuscrito, pois ainda não estão claros os limites sobre se isso é considerado aceitável pela comunidade acadêmica. Por exemplo, a Conferência Internacional sobre Machine Learning instituiu uma política proibindo seu uso, embora eles reconheçam que a discussão continua a evoluir e também esclareceram que está tudo bem em 'editar ou polir'”, disse Gao O registro.

“Houve grupos que começaram a usá-lo para ajudar a escrever, e alguns o incluíram como co-autor listado. Eu acho que pode ser bom usar o ChatGPT para escrever ajuda, mas quando isso for feito, é importante incluir uma divulgação clara de que o ChatGPT ajudou a escrever seções de um manuscrito. Dependendo do consenso da comunidade científica, podemos ou não usar LLMs para ajudar a escrever artigos no futuro.” ®