Les travailleurs embauchés via des services de crowdsource comme Amazon Mechanical Turk utilisent de grands modèles de langage pour accomplir leurs tâches, ce qui pourrait avoir des répercussions négatives sur les modèles d'IA à l'avenir.
Les données sont essentielles pour l'IA. Les développeurs ont besoin d'ensembles de données propres et de haute qualité pour créer des systèmes d'apprentissage automatique précis et fiables. Cependant, la compilation de données précieuses et de premier ordre peut être fastidieuse. Les entreprises se tournent souvent vers des plates-formes tierces telles qu'Amazon Mechanical Turk pour demander à des groupes de travailleurs bon marché d'effectuer des tâches répétitives, telles que l'étiquetage d'objets, la description de situations, la transcription de passages et l'annotation de texte.
Leur sortie peut être nettoyée et introduite dans un modèle pour l'entraîner à reproduire ce travail à une échelle beaucoup plus grande et automatisée.
Les modèles d'IA sont donc construits sur le dos du travail humain : les gens travaillent dur, fournissant des montagnes d'exemples de formation pour les systèmes d'IA que les entreprises peuvent utiliser pour gagner des milliards de dollars.
Mais une expérience menée par des chercheurs de l'École polytechnique fédérale de Lausanne (EPFL) en Suisse a conclu que ces travailleurs externalisés utilisent des systèmes d'IA – comme le chatbot ChatGPT d'OpenAI – pour effectuer des petits boulots en ligne.
L'entraînement d'un modèle sur sa propre sortie n'est pas recommandé. Nous pourrions voir des modèles d'IA formés sur des données générées non pas par des personnes, mais par d'autres modèles d'IA - peut-être même les mêmes modèles. Cela pourrait entraîner une qualité de sortie désastreuse, davantage de biais et d'autres effets indésirables.
L'expérience
Les universitaires ont recruté 44 serfs mécaniques turcs pour résumer les résumés de 16 articles de recherche médicale et ont estimé que 33 à 46% des passages de texte soumis par les travailleurs étaient générés à l'aide de grands modèles de langage. Les travailleurs de la foule reçoivent souvent de bas salaires - l'utilisation de l'IA pour générer automatiquement des réponses leur permet de travailler plus rapidement et d'accepter plus d'emplois pour augmenter leur salaire.
L'équipe suisse a formé un classificateur pour prédire si les soumissions des Turkers étaient générées par l'homme ou par l'IA. Les universitaires ont également enregistré les frappes au clavier de leurs employés pour détecter si les serfs ont copié et collé du texte sur la plate-forme, ou ont tapé eux-mêmes leurs entrées. Il y a toujours la possibilité que quelqu'un utilise un chatbot et tape ensuite manuellement la sortie - mais c'est peu probable, nous supposons.
"Nous avons développé une méthodologie très spécifique qui a très bien fonctionné pour détecter le texte synthétique dans notre scénario", a déclaré Manoel Ribeiro, co-auteur de l'étude et doctorant à l'EPFL, raconte Le registre cette semaine.
"Alors que les méthodes traditionnelles tentent de détecter le texte synthétique" dans n'importe quel contexte ", notre approche se concentre sur la détection du texte synthétique dans notre scénario spécifique."
Le classificateur n'est pas parfait pour identifier si quelqu'un a utilisé un système d'IA ou produit son propre travail. Les universitaires ont combiné la sortie de leur classificateur avec les données de frappe pour être plus sûr lorsque quelqu'un a copié-collé à partir d'un bot ou produit son propre matériel.
Les données humaines sont l'étalon-or, car ce sont les humains qui nous intéressent
"Nous avons réussi à valider nos résultats en utilisant les données de frappe que nous avons également collectées auprès de MTurk", nous a déclaré Ribeiro. "Par exemple, nous avons constaté que tous les textes qui n'étaient pas copiés-collés étaient classés par nous comme 'vrais', ce qui suggère qu'il y a peu de faux positifs."
Le code et les données utilisés pour exécuter le test peuvent être trouvés ici, sur GitHub.
Il y a une autre raison pour laquelle il est peu probable que l'expérience soit une représentation tout à fait juste du nombre de travailleurs qui utilisent réellement l'IA pour automatiser les tâches de crowdsourcing. Les auteurs notent que la tâche de synthèse de texte est bien adaptée aux grands modèles de langage par rapport à d'autres types d'emplois, ce qui signifie que leurs résultats pourraient être plus biaisés vers un plus grand nombre de travailleurs utilisant des outils comme ChatGPT.
Leur ensemble de données de 46 réponses de 44 travailleurs est également petit. Les travailleurs ont été payés 1 $ pour chaque résumé de texte, ce qui, encore une fois, ne peut qu'encourager l'utilisation de l'IA.
Les grands modèles de langage vont s'aggraver s'ils sont de plus en plus entraînés sur de faux contenus générés par l'IA collectés à partir de plateformes de crowdsource, ont fait valoir les chercheurs. Des tenues comme OpenAI gardent exactement secrète la façon dont elles entraînent leurs derniers modèles et peuvent ne pas s'appuyer fortement sur des choses comme Mechanical Turk, voire pas du tout. Cela dit, de nombreux autres modèles peuvent s'appuyer sur des travailleurs humains, qui peuvent à leur tour utiliser des robots pour générer des données de formation, ce qui pose problème.
Mechanical Turk, pour sa part, est commercialisé en tant que fournisseur de "solutions d'étiquetage de données pour alimenter les modèles d'apprentissage automatique".
"Les données humaines sont l'étalon-or, car ce sont les humains qui nous intéressent, pas les grands modèles de langage", a déclaré Riberio. "Je ne prendrais pas un médicament qui n'a été testé que sur un modèle biologique de drosophile", a-t-il déclaré à titre d'exemple.
Les réponses générées par les modèles d'IA d'aujourd'hui sont généralement assez fades ou triviales, et ne reflètent pas la complexité et la diversité de la créativité humaine, ont fait valoir les chercheurs.
"Parfois, ce que nous voulons étudier avec des données crowdsourcées, ce sont précisément les façons dont les humains sont imparfaits", nous a expliqué Robert West, co-auteur de l'article et professeur assistant à la faculté d'informatique et de communication de l'EPFL.
À mesure que l'IA continue de s'améliorer, il est probable que le travail collaboratif changera. Riberio a émis l'hypothèse que de grands modèles de langage pourraient remplacer certains travailleurs à des tâches spécifiques. "Cependant, paradoxalement, les données humaines peuvent être plus précieuses que jamais et il se peut donc que ces plates-formes soient en mesure de mettre en œuvre des moyens d'empêcher l'utilisation d'un grand modèle de langage et de s'assurer qu'il reste une source de données humaines."
Qui sait – peut-être que les humains pourraient même finir par collaborer avec de grands modèles de langage pour générer également des réponses, a-t-il ajouté. ®
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- Financement EVM. Interface unifiée pour la finance décentralisée. Accéder ici.
- Groupe de médias quantiques. IR/PR amplifié. Accéder ici.
- PlatoAiStream. Intelligence des données Web3. Connaissance Amplifiée. Accéder ici.
- La source: https://go.theregister.com/feed/www.theregister.com/2023/06/16/crowd_workers_bots_ai_training/
- :possède
- :est
- :ne pas
- $UP
- 16
- 7
- a
- Capable
- A Propos
- résumés
- universitaires
- Avec cette connaissance vient le pouvoir de prendre
- ajoutée
- encore
- AI
- Tous
- permet
- aussi
- toujours
- Amazon
- an
- ainsi que le
- Une autre
- tous
- une approche
- SONT
- argumenté
- artificiel
- intelligence artificielle
- AS
- Assistante gérante
- At
- auteurs
- automatiser
- Automatisation
- automatiquement
- et
- BE
- car
- va
- biais
- milliards
- fade
- Bot
- les robots
- construire
- construit
- mais
- by
- CAN
- capturer
- les soins
- certaines
- Chance
- Change
- Chatbot
- ChatGPT
- pas cher
- classifié
- Fermer
- CO
- Coauteur
- code
- collaboration
- combiné
- Communication
- Sociétés
- par rapport
- complet
- complètement
- complexité
- ordinateur
- conclu
- menée
- contenu
- contexte
- continue
- Corporations
- pourriez
- notre créativité
- critique
- foule
- données
- ensembles de données
- développé
- mobiles
- catastrophique
- Diversité
- do
- dollars
- chacun
- les effets
- encourager
- fin
- assurer
- estimé
- Pourtant, la
- JAMAIS
- exactement
- exemple
- exemples
- expérience
- juste
- faux
- non
- plus rapide
- Fed
- few
- concentré
- Pour
- trouvé
- De
- avenir
- générer
- généré
- obtenez
- GitHub
- Or
- Gold standard
- Vous avez
- he
- fortement
- de haute qualité
- augmentation
- Comment
- Cependant
- HTTPS
- humain
- Les êtres humains
- i
- identifier
- if
- Mettre en oeuvre
- améliorer
- in
- Améliore
- de plus en plus
- Intelligence
- développement
- ISN
- IT
- SES
- Emplois
- jpg
- XNUMX éléments à
- l'étiquetage
- COUTURE
- langue
- gros
- plus importantes
- Nouveautés
- conduire
- apprentissage
- comme
- Probable
- Connecté
- Faible
- click
- machine learning
- a prendre une
- gérés
- manuellement
- de nombreuses
- Matériel
- Mai..
- sens
- mécanique
- médical
- la recherche médicale
- médecine
- Méthodologie
- méthodes
- pourrait
- modèle
- numériques jumeaux (digital twin models)
- PLUS
- beaucoup
- Besoin
- négatif
- nombre
- objets
- of
- souvent
- on
- ONE
- en ligne
- uniquement
- OpenAI
- or
- Autre
- nos
- sortie
- propre
- payé
- Papier
- papiers
- fête
- Payer
- Personnes
- pour cent
- parfaite
- Effectuer
- être
- plateforme
- Plateformes
- Platon
- Intelligence des données Platon
- PlatonDonnées
- Beaucoup
- Piscines
- power
- Precious
- précisément
- prévoir
- empêcher
- Problème
- Produit
- Professeur
- de voiture.
- aportando
- qualité
- réal
- vraiment
- raison
- recommandé
- fiable
- compter
- reste
- répétitif
- remplacer
- représentation
- un article
- chercheurs
- réponses
- Résultats
- ROBERT
- Courir
- s
- Saïd
- même
- Escaliers intérieurs
- scénario
- L'école
- Sciences
- secret
- sur le lien
- Services
- situations
- petit
- Solutions
- quelques
- Quelqu'un
- Identifier
- groupe de neurones
- Standard
- Étudiant
- Étude
- Soumission
- soumis
- tel
- Suggère
- résumé
- RÉSUMÉ
- environnement
- Suisse
- haute
- combustion propre
- Système
- Prenez
- Tâche
- tâches
- équipe
- tester
- examiné
- que
- qui
- La
- El futuro
- leur
- Les
- se
- puis
- Là.
- Ces
- l'ont
- des choses
- Troisièmement
- this
- cette semaine
- à
- aujourd'hui
- trop
- les outils
- vers
- traditionnel
- Train
- qualifié
- Formation
- Essai
- TOUR
- types
- improbable
- indésirable
- us
- Utilisation
- utilisé
- d'utiliser
- Usages
- en utilisant
- d'habitude
- VALIDER
- Précieux
- très
- via
- salaires
- souhaitez
- était
- façons
- we
- semaine
- WELL
- ont été
- Ouest
- Quoi
- quand
- que
- qui
- tout en
- sera
- comprenant
- activités principales
- travaillé
- ouvriers
- pire
- zéphyrnet