Los trabajadores contratados a través de servicios de colaboración colectiva como Amazon Mechanical Turk están utilizando modelos de lenguaje grandes para completar sus tareas, lo que podría tener efectos negativos en los modelos de IA en el futuro.
Los datos son críticos para la IA. Los desarrolladores necesitan conjuntos de datos limpios y de alta calidad para crear sistemas de aprendizaje automático que sean precisos y confiables. Sin embargo, recopilar datos valiosos y de primer nivel puede ser tedioso. Las empresas a menudo recurren a plataformas de terceros como Amazon Mechanical Turk para instruir a grupos de trabajadores baratos para que realicen tareas repetitivas, como etiquetar objetos, describir situaciones, transcribir pasajes y anotar texto.
Su salida se puede limpiar y alimentar a un modelo para entrenarlo para reproducir ese trabajo en una escala automatizada mucho mayor.
Por lo tanto, los modelos de IA se construyen sobre la base del trabajo humano: personas que trabajan arduamente, proporcionando montañas de ejemplos de capacitación para sistemas de IA que las corporaciones pueden usar para ganar miles de millones de dólares.
Pero un experimento realizado por investigadores de la École polytechnique fédérale de Lausanne (EPFL) en Suiza concluyó que estos trabajadores colaborativos están utilizando sistemas de inteligencia artificial, como el chatbot ChatGPT de OpenAI, para realizar trabajos ocasionales en línea.
No se recomienda entrenar un modelo en su propia salida. Podríamos ver modelos de IA entrenados en datos generados no por personas, sino por otros modelos de IA, tal vez incluso los mismos modelos. Eso podría conducir a una calidad de salida desastrosa, más sesgo y otros efectos no deseados.
El experimento
Los académicos reclutaron a 44 siervos de Mechanical Turk para resumir los resúmenes de 16 trabajos de investigación médica, y estimaron que entre el 33 y el 46 por ciento de los pasajes de texto presentados por los trabajadores se generaron utilizando modelos de lenguaje grandes. A los trabajadores colectivos a menudo se les pagan salarios bajos: el uso de IA para generar respuestas automáticamente les permite trabajar más rápido y aceptar más trabajos para aumentar el salario.
El equipo suizo entrenó a un clasificador para predecir si las presentaciones de los turcos fueron generadas por humanos o por IA. Los académicos también registraron las pulsaciones de teclas de sus trabajadores para detectar si los siervos copiaron y pegaron texto en la plataforma, o si ellos mismos escribieron sus entradas. Siempre existe la posibilidad de que alguien use un chatbot y luego escriba manualmente el resultado, pero eso es poco probable, suponemos.
“Desarrollamos una metodología muy específica que funcionó muy bien para detectar texto sintético en nuestro escenario”, Manoel Ribeiro, coautor de el estudio y estudiante de doctorado en la EPFL, dijo El registro esta semana.
"Mientras que los métodos tradicionales intentan detectar texto sintético 'en cualquier contexto', nuestro enfoque se centra en detectar texto sintético en nuestro escenario específico".
El clasificador no es perfecto para identificar si alguien usó un sistema de inteligencia artificial o produjo su propio trabajo. Los académicos combinaron la salida de su clasificador con los datos de las pulsaciones de teclas para estar más seguros cuando alguien copiaba y pegaba de un bot o producía su propio material.
Los datos humanos son el estándar de oro, porque son los humanos los que nos importan
“Logramos validar nuestros resultados utilizando datos de pulsaciones de teclas que también recopilamos de MTurk”, nos dijo Ribeiro. "Por ejemplo, descubrimos que todos los textos que no fueron copiados y pegados fueron clasificados por nosotros como 'reales', lo que sugiere que hay pocos falsos positivos".
El código y los datos utilizados para ejecutar la prueba. se puede encontrar aquí, en GitHub.
Hay otra razón por la que es poco probable que el experimento sea una representación completamente justa de cuántos trabajadores realmente están usando IA para automatizar tareas de crowdsourcing. Los autores señalan que la tarea de resumen de texto se adapta bien a modelos de lenguaje grandes en comparación con otros tipos de trabajos, lo que significa que sus resultados pueden estar más sesgados hacia una mayor cantidad de trabajadores que utilizan herramientas como ChatGPT.
Su conjunto de datos de 46 respuestas de 44 trabajadores también es pequeño. A los trabajadores se les pagó $ 1 por cada resumen de texto, lo que, nuevamente, solo puede alentar el uso de IA.
Los modelos de lenguaje extenso empeorarán si se entrenan cada vez más en contenido falso generado por IA recopilado de plataformas de colaboración abierta, argumentaron los investigadores. Equipos como OpenAI mantienen exactamente cómo entrenan a sus últimos modelos en secreto, y es posible que no dependan en gran medida de cosas como Mechanical Turk, en todo caso. Dicho esto, muchos otros modelos pueden depender de trabajadores humanos, que a su vez pueden usar bots para generar datos de entrenamiento, lo cual es un problema.
Mechanical Turk, por ejemplo, se comercializa como un proveedor de "soluciones de etiquetado de datos para potenciar los modelos de aprendizaje automático".
“Los datos humanos son el estándar de oro, porque son los humanos los que nos importan, no los grandes modelos de lenguaje”, dijo Riberio. “Yo no tomaría un medicamento que solo fue probado en un modelo biológico de Drosophila”, dijo como ejemplo.
Las respuestas generadas por los modelos de IA actuales suelen ser bastante suaves o triviales y no captan la complejidad y diversidad de la creatividad humana, argumentaron los investigadores.
"A veces, lo que queremos estudiar con datos de colaboración colectiva es precisamente las formas en que los humanos son imperfectos", nos dijo Robert West, coautor del artículo y profesor asistente en la escuela de informática y ciencias de la comunicación de la EPFL.
A medida que la IA continúa mejorando, es probable que el trabajo colaborativo cambie. Riberio especuló que los grandes modelos de lenguaje podrían reemplazar a algunos trabajadores en tareas específicas. “Sin embargo, paradójicamente, los datos humanos pueden ser más valiosos que nunca y, por lo tanto, es posible que estas plataformas puedan implementar formas de evitar el uso de modelos de lenguaje grandes y garantizar que siga siendo una fuente de datos humanos”.
Quién sabe, tal vez los humanos incluso terminen colaborando con grandes modelos de lenguaje para generar respuestas también, agregó. ®
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- EVM Finanzas. Interfaz unificada para finanzas descentralizadas. Accede Aquí.
- Grupo de medios cuánticos. IR/PR amplificado. Accede Aquí.
- PlatoAiStream. Inteligencia de datos Web3. Conocimiento amplificado. Accede Aquí.
- Fuente: https://go.theregister.com/feed/www.theregister.com/2023/06/16/crowd_workers_bots_ai_training/
- :posee
- :es
- :no
- $ UP
- 16
- 7
- a
- Poder
- Nuestra Empresa
- enviados
- académica
- preciso
- adicional
- de nuevo
- AI
- Todos
- permite
- también
- hacerlo
- Amazon
- an
- y
- Otra
- cualquier
- enfoque
- somos
- argumentó
- artificial
- inteligencia artificial
- AS
- Legal
- At
- Autorzy
- automatizado
- Confirmación de Viaje
- automáticamente
- lejos
- BE
- porque
- "Ser"
- parcialidad
- miles de millones
- amable
- Bot
- los robots
- build
- construido
- pero
- by
- PUEDEN
- capturar
- servicios sociales
- a ciertos
- oportunidad
- el cambio
- chatterbot
- ChatGPT
- barato
- clasificado
- Cerrar
- CO
- Coautor
- código
- colaborar
- combinado
- Comunicación
- Empresas
- en comparación con
- completar
- completamente
- complejidad
- computadora
- Concluido
- llevado a cabo
- contenido
- contexto
- continúa
- Corporaciones
- podría
- creatividad
- crítico
- multitud
- datos
- conjuntos de datos
- desarrollado
- desarrolladores
- desastroso
- Diversidad
- do
- dólares
- cada una
- los efectos
- fomentar
- final
- garantizar
- estimado
- Incluso
- NUNCA
- exactamente
- ejemplo
- ejemplos
- experimento
- feria
- falso
- false
- más rápida
- Fed
- pocos
- centrado
- encontrado
- Desde
- futuras
- generar
- generado
- obtener
- GitHub
- Gold
- Gold Standard
- Tienen
- he
- fuertemente
- alta calidad
- más alto
- Cómo
- Sin embargo
- HTTPS
- humana
- Humanos
- i
- identificar
- if
- implementar
- mejorar
- in
- aumente
- cada vez más
- Intelligence
- dentro
- ISN
- IT
- SUS
- Empleo
- jpg
- Guardar
- etiquetado
- mano de obra
- idioma
- large
- mayores
- más reciente
- Lead
- aprendizaje
- como
- que otros
- conectado
- Baja
- máquina
- máquina de aprendizaje
- para lograr
- gestionado
- a mano
- muchos
- materiales
- Puede..
- sentido
- mecánico
- servicios
- la investigación médica
- medicina
- Metodología
- métodos
- podría
- modelo
- modelos
- más,
- mucho más
- ¿ Necesita ayuda
- negativas
- número
- objetos
- of
- a menudo
- on
- ONE
- en línea
- , solamente
- OpenAI
- or
- Otro
- nuestros
- salida
- EL DESARROLLADOR
- dinero
- Papel
- papeles
- fiesta
- Pagar
- Personas
- por ciento
- perfecto
- Realizar
- quizás
- plataforma
- Plataformas
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- Mucho
- Albercas
- industria
- Joyas Preciosas
- precisamente
- predecir
- evitar
- Problema
- producido
- Profesor
- proveedor
- proporcionando
- calidad
- real
- realmente
- razón
- recomendado
- confianza
- confiar
- permanece
- repetitivo
- reemplazar
- representación
- la investigación
- investigadores
- respuestas
- Resultados
- ROBERT
- Ejecutar
- s
- Said
- mismo
- Escala
- guión
- Escuela
- Ciencia:
- Secreto
- ver
- Servicios
- circunstancias
- chica
- Soluciones
- algo
- Alguien
- Fuente
- soluciones y
- estándar
- Estudiante
- ESTUDIO
- Envíos
- Subido
- tal
- Sugiere
- resumir
- RESUMEN
- suizo
- Suiza
- sintético
- te
- Todas las funciones a su disposición
- ¡Prepárate!
- Tarea
- tareas
- equipo
- test
- probado
- que
- esa
- La
- El futuro de las
- su
- Les
- sí mismos
- luego
- Ahí.
- Estas
- ellos
- cosas
- Código
- así
- esta semana
- a
- hoy
- demasiado
- hacia
- tradicional
- Entrenar
- entrenado
- Formación
- try
- GIRO
- tipos
- poco probable
- no deseado
- us
- Uso
- utilizan el
- usado
- usos
- usando
- generalmente
- VALIDAR
- Valioso
- muy
- vía
- salario
- quieres
- fue
- formas
- we
- semana
- WELL
- tuvieron
- West
- ¿
- cuando
- sean
- que
- mientras
- seguirá
- Actividades:
- trabajado
- los trabajadores.
- peor
- zephyrnet