Los académicos centrados en la inteligencia artificial han empezado a utilizar la IA generativa para ayudarles a revisar el trabajo de aprendizaje automático de sus pares.
Un grupo de investigadores de la Universidad de Stanford, NEC Labs America y UC Santa Barbara analizaron recientemente las revisiones por pares de los artículos presentados en las principales conferencias de IA, incluidas ICLR 2024, NeurIPS 2023, CoRL 2023 y EMNLP 2023.
Los autores (Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland y James Y Zou) informaron sus hallazgos en un papel titulado "Monitoreo de contenido modificado por IA a escala: un estudio de caso sobre el impacto de ChatGPT en las revisiones por pares de conferencias de IA".
Llevaron a cabo el estudio basándose en el interés público y la discusión de los grandes modelos lingüísticos que dominaron el discurso técnico el año pasado.
Los autores encontraron un aumento pequeño pero constante en el uso aparente de LLM para las revisiones enviadas tres días o menos antes de la fecha límite.
La dificultad de distinguir entre texto escrito por humanos y por máquinas y el aumento reportado en Sitios web de noticias sobre IA llevó a los autores a concluir que existe una necesidad urgente de desarrollar formas de evaluar conjuntos de datos del mundo real que contienen una cantidad indeterminada de contenido escrito por IA.
A veces destaca la autoría de la IA, como en un de Radiology Case Reports titulado "Manejo exitoso de una lesión iatrogénica de la vena porta y la arteria hepática en una paciente de 4 meses: informe de un caso y revisión de la literatura".
Este pasaje confuso es un poco revelador: “En resumen, lo siento mucho por el manejo de la iatrogenia bilateral, pero no tengo acceso a información en tiempo real ni a datos específicos del paciente, ya que soy un modelo de lenguaje de IA. .”
Pero la distinción no siempre es obvia, y los intentos anteriores de desarrollar una forma automatizada de separar el texto escrito por humanos de la prosa robótica no han dado buenos resultados. OpenAI, por ejemplo introdujo un clasificador de texto AI para ese propósito en enero de 2023, solo para cerrarlo seis meses después”debido a su baja tasa de precisión."
Sin embargo, Liang et al Sostienen que centrarse en el uso de adjetivos en un texto, en lugar de intentar evaluar documentos, párrafos u oraciones completos, conduce a resultados más confiables.
Los autores tomaron dos conjuntos de datos, o corpus, uno escrito por humanos y el otro por máquinas. Y utilizaron estos dos cuerpos de texto para evaluar las evaluaciones (las revisiones por pares de los artículos de conferencias sobre IA) en cuanto a la frecuencia de adjetivos específicos.
“[T]odos nuestros cálculos dependen únicamente de los adjetivos contenidos en cada documento”, explicaron. "Descubrimos que esta elección de vocabulario muestra una mayor estabilidad que el uso de otras partes del discurso, como adverbios, verbos, sustantivos o todos los símbolos posibles".
Resulta que los LLM tienden a emplear adjetivos como "encomiable", "innovador" y "completo" con más frecuencia que los autores humanos. Y tales diferencias estadísticas en el uso de palabras han permitido a los expertos identificar revisiones de artículos en los que se considera probable la asistencia de un LLM.
Nube de palabras de los 100 adjetivos principales en comentarios de LLM, con el tamaño de fuente que indica la frecuencia (haga clic para ampliar)
"Nuestros resultados sugieren que entre el 6.5 por ciento y el 16.9 por ciento del texto enviado como revisión por pares a estas conferencias podría haber sido modificado sustancialmente por los LLM, es decir, más allá de la revisión ortográfica o actualizaciones menores de redacción", argumentaron los autores, señalando que las revisiones del trabajo en el La revista científica Nature no muestra signos de asistencia mecanizada.
Varios factores parecen estar correlacionados con un mayor uso de LLM. Uno es la fecha límite que se acerca: los autores encontraron un aumento pequeño pero constante en el uso aparente de LLM para revisiones enviadas tres días o menos antes de la fecha límite.
Los investigadores enfatizaron que su intención no era juzgar el uso de la asistencia de escritura de IA, ni afirmar que ninguno de los artículos que evaluaron fue escrito completamente mediante un modelo de IA. Pero argumentaron que la comunidad científica debe ser más transparente sobre el uso de los LLM.
Y sostuvieron que tales prácticas potencialmente privan a aquellos cuyo trabajo está siendo revisado de diversos comentarios de los expertos. Es más, la retroalimentación de la IA corre el riesgo de tener un efecto de homogeneización que sesgue hacia sesgos del modelo de IA y se aleje de información significativa. ®
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :es
- :no
- :dónde
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- Nuestra Empresa
- de la máquina
- AI
- Todos
- permitido
- hacerlo
- am
- America
- cantidad
- an
- analizo
- y
- cualquier
- aparente
- Aparecer
- que se acerca
- argumentó
- artificial
- inteligencia artificial
- AS
- evaluar
- Ayuda
- At
- Los intentos
- Autorzy
- Profesión de escritor
- Confirmación de Viaje
- lejos
- basado
- BE
- esto
- antes
- "Ser"
- entre
- Más allá de
- los prejuicios
- Poco
- cuerpos
- pero
- by
- cálculos
- cao
- case
- ejemplo
- ChatGPT
- chen
- manera?
- reclamo
- clic
- Soluciones
- CO
- recomendable
- vibrante e inclusiva
- completamente
- exhaustivo
- concluye
- Congreso
- conferencias
- consistente
- que no contengo
- contenida
- contender
- contenido
- podría
- Daniel
- datos
- conjuntos de datos
- Días
- juzgado
- depender
- desarrollar
- diferencias
- Dificultad
- discurso
- discusión
- distinción
- diverso
- do
- documento
- documentos
- dominado
- don
- e
- cada una
- efecto
- enfatizado
- ampliar
- Todo
- llamado
- evaluar
- evaluado
- evaluaciones
- ejemplo
- exhibir
- expertos
- explicado
- factores importantes
- realimentación
- hembra
- Los resultados
- centrado
- enfoque
- encontrado
- Frecuencia
- frecuentemente
- Desde
- generativo
- IA generativa
- sorteo
- pasado
- mayor
- Grupo procesos
- Tienen
- ayuda
- HTTPS
- huang
- humana
- Humanos
- i
- Identifique
- Impacto
- in
- Incluye
- aumente
- indicando
- información
- lesión
- originales
- penetración
- Intelligence
- Intención
- intereses
- ISN
- IT
- SUS
- james
- Enero
- revista
- jpg
- labs
- idioma
- large
- Apellidos
- El año pasado
- luego
- líder
- Prospectos
- aprendizaje
- LED
- menos
- como
- que otros
- literatura
- LLM
- Baja
- máquina
- máquina de aprendizaje
- Máquinas
- Management
- significativo
- menor de edad
- modelo
- modelos
- modificado
- monitoreo
- meses
- más,
- Naturaleza
- ¿ Necesita ayuda
- noticias
- señalando
- sustantivos
- ahora
- obvio
- of
- on
- ONE
- , solamente
- OpenAI
- or
- Otro
- nuestros
- salir
- papeles
- partes
- pass
- passage
- pasado
- paciente
- pares
- compañeros
- por ciento
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- Portal
- posible
- la posibilidad
- prácticas
- público
- propósito
- Rate
- más bien
- mundo real
- en tiempo real
- recientemente
- confianza
- reporte
- reportado
- Informes
- investigadores
- Resultados
- una estrategia SEO para aparecer en las búsquedas de Google.
- revisado
- la revisión
- Reseñas
- Subir
- riesgos
- s
- Santa
- Escala
- científico
- Sets
- Letreros y Pancartas
- SEIS
- Seis meses
- Tamaño
- chica
- algo
- soluciones y
- habla
- Estabilidad
- es la
- stanford
- Universidad de Stanford
- estadístico
- ESTUDIO
- Subido
- sustancialmente
- exitosos
- tal
- sugieren
- RESUMEN
- toma
- Técnico
- tender
- texto
- que
- esa
- La
- su
- Les
- Ahí.
- Estas
- ellos
- así
- aquellos
- Tres
- titulada
- a
- Tokens
- se
- parte superior
- hacia
- transparente
- tratando de
- se convierte
- dos
- emprendió
- universidad
- Actualizaciones
- urgente
- Uso
- utilizan el
- usado
- usando
- muy
- fue
- Camino..
- formas
- we
- WELL
- tuvieron
- ¿
- cuyo
- Palabra
- Actividades:
- la escritura
- escrito
- Ye
- año
- zephyrnet
- Zhao