Werknemers die zijn ingehuurd via crowdsource-diensten zoals Amazon Mechanical Turk, gebruiken grote taalmodellen om hun taken uit te voeren, wat in de toekomst negatieve gevolgen kan hebben voor AI-modellen.
Gegevens zijn cruciaal voor AI. Ontwikkelaars hebben schone datasets van hoge kwaliteit nodig om machine learning-systemen te bouwen die nauwkeurig en betrouwbaar zijn. Het verzamelen van waardevolle, eersteklas gegevens kan echter vervelend zijn. Bedrijven wenden zich vaak tot platforms van derden, zoals Amazon Mechanical Turk, om pools van goedkope werknemers te instrueren om repetitieve taken uit te voeren, zoals het labelen van objecten, het beschrijven van situaties, het transcriberen van passages en het annoteren van tekst.
Hun uitvoer kan worden opgeschoond en in een model worden ingevoerd om het te trainen om dat werk op een veel grotere, geautomatiseerde schaal te reproduceren.
AI-modellen worden dus gebouwd op de rug van menselijke arbeid: mensen die zwoegen en bergen trainingsvoorbeelden bieden voor AI-systemen die bedrijven kunnen gebruiken om miljarden dollars te verdienen.
Maar een experiment uitgevoerd door onderzoekers van de École polytechnique fédérale de Lausanne (EPFL) in Zwitserland heeft geconcludeerd dat deze gecrowdsourcete werknemers AI-systemen gebruiken - zoals OpenAI's chatbot ChatGPT - om klusjes online uit te voeren.
Het trainen van een model op zijn eigen uitvoer wordt niet aanbevolen. We zouden kunnen zien dat AI-modellen worden getraind op gegevens die niet door mensen zijn gegenereerd, maar door andere AI-modellen - misschien zelfs dezelfde modellen. Dat kan leiden tot desastreuze outputkwaliteit, meer bias en andere ongewenste effecten.
Het experiment
De academici rekruteerden 44 mechanische Turkse lijfeigenen om de samenvattingen van 16 medische onderzoeksdocumenten samen te vatten, en schatten dat 33 tot 46 procent van de tekstpassages die door de arbeiders werden ingediend, werd gegenereerd met behulp van grote taalmodellen. Crowdwerkers krijgen vaak lage lonen. Door AI te gebruiken om automatisch reacties te genereren, kunnen ze sneller werken en meer banen aannemen om hun loon te verhogen.
Het Zwitserse team trainde een classifier om te voorspellen of inzendingen van de Turkers door mensen of door AI werden gegenereerd. De academici registreerden ook de toetsaanslagen van hun werknemers om te detecteren of de lijfeigenen tekst op het platform kopieerden en plakten, of hun invoer zelf typten. Er is altijd een kans dat iemand een chatbot gebruikt en vervolgens handmatig de uitvoer intypt - maar dat is onwaarschijnlijk, denken we.
"We hebben een zeer specifieke methodologie ontwikkeld die heel goed werkte voor het detecteren van synthetische tekst in ons scenario", zegt Manoel Ribeiro, co-auteur van de studie en een promovendus bij EPFL, vertelde Het register deze week.
"Terwijl traditionele methoden synthetische tekst 'in elke context' proberen te detecteren, is onze aanpak gericht op het detecteren van synthetische tekst in ons specifieke scenario."
De classificator is niet perfect in het identificeren of iemand een AI-systeem heeft gebruikt of zijn eigen werk heeft geproduceerd. De academici combineerden de output van hun classifier met de toetsaanslaggegevens om er zeker van te zijn wanneer iemand copy-paste van een bot of zijn eigen materiaal produceerde.
Menselijke gegevens zijn de gouden standaard, omdat het mensen zijn waar we om geven
"We zijn erin geslaagd onze resultaten te valideren met behulp van toetsaanslaggegevens die we ook van MTurk hebben verzameld", vertelde Ribeiro ons. “We constateerden bijvoorbeeld dat alle teksten die niet copy-paste waren door ons als ‘echt’ werden geclassificeerd, wat suggereert dat er weinig false positives zijn.”
De code en gegevens die zijn gebruikt om de test uit te voeren kan hier worden gevonden, op GitHub.
Er is nog een andere reden waarom het experiment waarschijnlijk geen volledig eerlijke weergave is van hoeveel werknemers werkelijk AI gebruiken om crowdsource-taken te automatiseren. De auteurs merken op dat de tekstsamenvattingstaak zeer geschikt is voor grote taalmodellen in vergelijking met andere soorten banen - wat betekent dat hun resultaten meer scheef kunnen liggen in de richting van een groter aantal werknemers die tools zoals ChatGPT gebruiken.
Hun dataset van 46 reacties van 44 werknemers is ook klein. De arbeiders kregen $ 1 voor elke tekstsamenvatting, wat opnieuw het gebruik van AI alleen maar kan aanmoedigen.
Grote taalmodellen zullen erger worden als ze steeds meer worden getraind op nep-inhoud die is gegenereerd door AI die is verzameld van crowdsource-platforms, betoogden de onderzoekers. Outfits zoals OpenAI houden precies geheim hoe ze hun nieuwste modellen trainen en vertrouwen mogelijk niet of nauwelijks op zaken als Mechanical Turk. Dat gezegd hebbende, veel andere modellen kunnen vertrouwen op menselijke werknemers, die op hun beurt bots kunnen gebruiken om trainingsgegevens te genereren, wat een probleem is.
Mechanical Turk wordt bijvoorbeeld op de markt gebracht als een leverancier van "oplossingen voor het labelen van gegevens om machine learning-modellen aan te drijven".
"Menselijke gegevens zijn de gouden standaard, omdat het om mensen gaat, niet om grote taalmodellen", zei Riberio. "Ik zou geen medicijn nemen dat alleen is getest in een biologisch model van Drosophila", zei hij als voorbeeld.
Reacties die door de huidige AI-modellen worden gegenereerd, zijn meestal vrij saai of triviaal en geven geen goed beeld van de complexiteit en diversiteit van menselijke creativiteit, betoogden de onderzoekers.
"Soms willen we met gecrowdsourcete gegevens precies de manieren bestuderen waarop mensen onvolmaakt zijn", vertelde Robert West, co-auteur van de paper en een assistent-professor aan de EPFL-school voor computer- en communicatiewetenschap.
Naarmate AI blijft verbeteren, is het waarschijnlijk dat gecrowdsourced werk zal veranderen. Riberio speculeerde dat grote taalmodellen sommige werknemers bij specifieke taken zouden kunnen vervangen. "Het is echter paradoxaal genoeg dat menselijke gegevens waardevoller kunnen zijn dan ooit en daarom kunnen deze platforms manieren implementeren om het gebruik van grote taalmodellen te voorkomen en ervoor te zorgen dat het een bron van menselijke gegevens blijft."
Wie weet, misschien werken mensen zelfs samen met grote taalmodellen om ook reacties te genereren, voegde hij eraan toe. ®
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- EVM Financiën. Uniforme interface voor gedecentraliseerde financiën. Toegang hier.
- Quantum Media Groep. IR/PR versterkt. Toegang hier.
- PlatoAiStream. Web3 gegevensintelligentie. Kennis versterkt. Toegang hier.
- Bron: https://go.theregister.com/feed/www.theregister.com/2023/06/16/crowd_workers_bots_ai_training/
- : heeft
- :is
- :niet
- $UP
- 16
- 7
- a
- in staat
- Over
- samenvattingen
- academici
- accuraat
- toegevoegd
- weer
- AI
- Alles
- toestaat
- ook
- altijd
- Amazone
- an
- en
- Nog een
- elke
- nadering
- ZIJN
- betoogde
- kunstmatig
- kunstmatige intelligentie
- AS
- Assistent
- At
- auteurs
- automatiseren
- geautomatiseerde
- webmaster.
- weg
- BE
- omdat
- wezen
- vooringenomenheid
- miljarden
- zacht
- Bot
- bots
- bouw
- bebouwd
- maar
- by
- CAN
- vangen
- verzorging
- zeker
- kans
- verandering
- Chatbot
- ChatGPT
- goedkoop
- geklasseerd
- Sluiten
- CO
- Co-auteur
- code
- samenwerken
- gecombineerde
- Communicatie
- Bedrijven
- vergeleken
- compleet
- compleet
- ingewikkeldheid
- computer
- gesloten
- uitgevoerd
- content
- verband
- blijft
- Bedrijven
- kon
- creativiteit
- kritisch
- menigte
- gegevens
- datasets
- ontwikkelde
- ontwikkelaars
- noodlottig
- Verscheidenheid
- do
- dollar
- elk
- duurt
- aanmoedigen
- einde
- verzekeren
- geschat
- Zelfs
- OOIT
- precies
- voorbeeld
- voorbeelden
- experiment
- eerlijk
- nep
- vals
- sneller
- Fed
- weinig
- gericht
- Voor
- gevonden
- oppompen van
- toekomst
- voortbrengen
- gegenereerde
- krijgen
- GitHub
- Tijdloos goud
- Gouden Standaard
- Hebben
- he
- hard
- hoogwaardige
- hoger
- Hoe
- Echter
- HTTPS
- menselijk
- Mensen
- i
- het identificeren van
- if
- uitvoeren
- verbeteren
- in
- Laat uw omzet
- in toenemende mate
- Intelligentie
- in
- isn
- IT
- HAAR
- Vacatures
- jpg
- Houden
- etikettering
- arbeid
- taal
- Groot
- groter
- laatste
- leiden
- leren
- als
- Waarschijnlijk
- ingelogd
- Laag
- machine
- machine learning
- maken
- beheerd
- handmatig
- veel
- materiaal
- Mei..
- betekenis
- mechanisch
- medisch
- medisch onderzoek
- geneeskunde
- Methodologie
- methoden
- macht
- model
- modellen
- meer
- veel
- Noodzaak
- negatief
- aantal
- objecten
- of
- vaak
- on
- EEN
- online.
- Slechts
- OpenAI
- or
- Overige
- onze
- uitgang
- het te bezitten.
- betaald
- Papier
- papieren
- feest
- Betaal
- Mensen
- procent
- Uitvoeren
- misschien
- platform
- platforms
- Plato
- Plato gegevensintelligentie
- PlatoData
- Overvloed
- Zwembaden
- energie
- Kostbaar
- Precies
- voorspellen
- voorkomen
- probleem
- geproduceerd
- Hoogleraar
- leverancier
- het verstrekken van
- kwaliteit
- vast
- werkelijk
- reden
- aanbevolen
- betrouwbaar
- vertrouwen
- stoffelijk overschot
- herhalende
- vervangen
- vertegenwoordiging
- onderzoek
- onderzoekers
- reacties
- Resultaten
- ROBERT
- lopen
- s
- Zei
- dezelfde
- Scale
- scenario
- School
- Wetenschap
- Geheim
- zien
- Diensten
- situaties
- Klein
- Oplossingen
- sommige
- Iemand
- bron
- specifiek
- standaard
- Student
- Studie
- Inzending
- ingediend
- dergelijk
- Stelt voor
- samenvatten
- OVERZICHT
- Zwitsers
- Zwitserland
- synthetisch
- system
- Systems
- Nemen
- Taak
- taken
- team
- proef
- getest
- neem contact
- dat
- De
- De toekomst
- hun
- Ze
- zich
- harte
- Er.
- Deze
- ze
- spullen
- Derde
- dit
- deze week
- naar
- vandaag
- ook
- tools
- in de richting van
- traditioneel
- Trainen
- getraind
- Trainingen
- proberen
- BEURT
- types
- onwaarschijnlijk
- ongewenste
- us
- Gebruik
- .
- gebruikt
- toepassingen
- gebruik
- doorgaans
- BEVESTIG
- waardevol
- zeer
- via
- loon
- willen
- was
- manieren
- we
- week
- GOED
- waren
- West
- Wat
- wanneer
- of
- welke
- en
- wil
- Met
- Mijn werk
- werkte
- werknemers
- erger
- zephyrnet