Arbeidere ansatt via crowdsource-tjenester som Amazon Mechanical Turk bruker store språkmodeller for å fullføre oppgavene sine – noe som kan ha negative konsekvenser for AI-modeller i fremtiden.
Data er avgjørende for AI. Utviklere trenger rene datasett av høy kvalitet for å bygge maskinlæringssystemer som er nøyaktige og pålitelige. Å kompilere verdifulle, førsteklasses data kan imidlertid være kjedelig. Bedrifter henvender seg ofte til tredjepartsplattformer som Amazon Mechanical Turk for å instruere grupper av billige arbeidere til å utføre repeterende oppgaver – som å merke objekter, beskrive situasjoner, transkribere passasjer og kommentere tekst.
Utgangen deres kan ryddes opp og mates inn i en modell for å trene den til å reprodusere det arbeidet i en mye større, automatisert skala.
AI-modeller er dermed bygget på ryggen av menneskelig arbeidskraft: mennesker som sliter unna, og gir fjell av treningseksempler for AI-systemer som bedrifter kan bruke til å tjene milliarder av dollar.
Men et eksperiment utført av forskere ved École polytechnique fédérale de Lausanne (EPFL) i Sveits har konkludert med at disse crowdsourcede arbeiderne bruker AI-systemer – som OpenAIs chatbot ChatGPT – for å utføre strøjobber på nettet.
Det anbefales ikke å trene en modell på egen produksjon. Vi kunne se AI-modeller bli trent på data generert ikke av mennesker, men av andre AI-modeller – kanskje til og med de samme modellene. Det kan føre til katastrofal utskriftskvalitet, mer skjevhet og andre uønskede effekter.
Eksperimentet
Akademikerne rekrutterte 44 Mechanical Turk livegne for å oppsummere sammendragene fra 16 medisinske forskningsartikler, og estimerte at 33 til 46 prosent av tekstene som ble sendt inn av arbeiderne ble generert ved hjelp av store språkmodeller. Publikumsarbeidere får ofte lave lønninger – ved å bruke AI til å generere svar automatisk kan de jobbe raskere og ta på seg flere jobber for å øke lønnen.
Det sveitsiske teamet trente en klassifiserer til å forutsi om bidrag fra tyrkerne var menneskelig eller AI-generert. Akademikerne logget også arbeidernes tastetrykk for å oppdage om livegne kopierte og limte inn tekst på plattformen, eller skrev inn sine oppføringer selv. Det er alltid en sjanse for at noen bruker en chatbot og deretter manuelt skriver inn utdataene – men det er usannsynlig, antar vi.
"Vi utviklet en veldig spesifikk metodikk som fungerte veldig bra for å oppdage syntetisk tekst i scenariet vårt," Manoel Ribeiro, medforfatter av studien og en PhD-student ved EPFL, fortalte Registeret denne uken.
"Mens tradisjonelle metoder prøver å oppdage syntetisk tekst "i enhver sammenheng", er vår tilnærming fokusert på å oppdage syntetisk tekst i vårt spesifikke scenario."
Klassifisereren er ikke perfekt til å identifisere om noen brukte et AI-system eller produserte sitt eget arbeid. Akademikerne kombinerte klassifisererens utgang med tastetrykkdataene for å være mer sikre når noen kopierte limte fra en bot eller produserte sitt eget materiale.
Menneskelige data er gullstandarden, fordi det er mennesker vi bryr oss om
"Vi klarte å validere resultatene våre ved å bruke tastetrykkdata vi også samlet inn fra MTurk," fortalte Ribeiro oss. "For eksempel fant vi ut at alle tekster som ikke var copy-pasted ble klassifisert av oss som "ekte", noe som tyder på at det er få falske positiver."
Koden og dataene som ble brukt til å kjøre testen finner du her, på GitHub.
Det er en annen grunn til at eksperimentet neppe er en helt rettferdig representasjon av hvor mange arbeidere som virkelig bruker AI for å automatisere crowdsource-oppgaver. Forfatterne bemerker at tekstoppsummeringsoppgaven er godt egnet for store språkmodeller sammenlignet med andre typer jobber – noe som betyr at resultatene deres kan være mer skjeve mot et høyere antall arbeidere som bruker verktøy som ChatGPT.
Datasettet deres med 46 svar fra 44 arbeidere er også lite. Arbeiderne ble betalt $1 for hvert tekstsammendrag, som igjen kan bare oppmuntre til bruk av AI.
Store språkmodeller vil bli verre hvis de i økende grad trenes på falskt innhold generert av AI samlet inn fra crowdsource-plattformer, hevdet forskerne. Antrekk som OpenAI holder nøyaktig hvordan de trener sine nyeste modeller en nær hemmelighet, og er kanskje ikke avhengig av ting som Mechanical Turk, om i det hele tatt. Når det er sagt, kan mange andre modeller stole på menneskelige arbeidere, som igjen kan bruke roboter for å generere treningsdata, noe som er et problem.
Mechanical Turk, for en, markedsføres som en leverandør av "datamerkingsløsninger for å drive maskinlæringsmodeller."
"Menneskelige data er gullstandarden, fordi det er mennesker vi bryr oss om, ikke store språkmodeller," sa Riberio. "Jeg ville ikke ta en medisin som bare ble testet i en biologisk modell av Drosophila," sa han som et eksempel.
Svar generert av dagens AI-modeller er vanligvis ganske blide eller trivielle, og fanger ikke kompleksiteten og mangfoldet av menneskelig kreativitet, hevdet forskerne.
"Noen ganger er det vi ønsker å studere med crowdsourced data nettopp måtene mennesker er ufullkomne på," fortalte Robert West, medforfatter av papiret og en assisterende professor ved EPFLs skole for data- og kommunikasjonsvitenskap.
Ettersom AI fortsetter å forbedre seg, er det sannsynlig at crowdsourced arbeid vil endre seg. Riberio spekulerte i at store språkmodeller kunne erstatte noen arbeidere ved spesifikke oppgaver. "Men paradoksalt nok kan menneskelige data være mer verdifulle enn noen gang, og det kan derfor hende at disse plattformene vil være i stand til å implementere måter å forhindre bruk av store språkmodeller og sikre at de forblir en kilde til menneskelige data."
Hvem vet - kanskje mennesker kan til og med ende opp med å samarbeide med store språkmodeller for å generere svar også, la han til. ®
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- EVM Finans. Unified Interface for desentralisert økonomi. Tilgang her.
- Quantum Media Group. IR/PR forsterket. Tilgang her.
- PlatoAiStream. Web3 Data Intelligence. Kunnskap forsterket. Tilgang her.
- kilde: https://go.theregister.com/feed/www.theregister.com/2023/06/16/crowd_workers_bots_ai_training/
- : har
- :er
- :ikke
- $OPP
- 16
- 7
- a
- I stand
- Om oss
- sammendrag
- akademikere
- nøyaktig
- la til
- en gang til
- AI
- Alle
- tillater
- også
- alltid
- Amazon
- an
- og
- En annen
- noen
- tilnærming
- ER
- argumentert
- kunstig
- kunstig intelligens
- AS
- Assistent
- At
- forfattere
- automatisere
- Automatisert
- automatisk
- borte
- BE
- fordi
- være
- Bias
- milliarder
- kjedelig
- Bot
- roboter
- bygge
- bygget
- men
- by
- CAN
- fangst
- hvilken
- viss
- sjanse
- endring
- chatbot
- ChatGPT
- billig
- klassifisert
- Lukke
- CO
- Medforfatter
- kode
- samarbeider
- kombinert
- Kommunikasjon
- Selskaper
- sammenlignet
- fullføre
- helt
- kompleksitet
- datamaskin
- konkluderte
- gjennomført
- innhold
- kontekst
- fortsetter
- Corporations
- kunne
- kreativitet
- kritisk
- mengde
- dato
- datasett
- utviklet
- utviklere
- katastrofal
- Mangfold
- do
- dollar
- hver enkelt
- effekter
- oppmuntre
- slutt
- sikre
- anslått
- Selv
- NOEN GANG
- nøyaktig
- eksempel
- eksempler
- eksperiment
- rettferdig
- forfalskning
- falsk
- raskere
- Fed
- Noen få
- fokuserte
- Til
- funnet
- fra
- framtid
- generere
- generert
- få
- GitHub
- Gull
- Gold Standard
- Ha
- he
- tungt
- høykvalitets
- høyere
- Hvordan
- Men
- HTTPS
- menneskelig
- Mennesker
- i
- identifisering
- if
- iverksette
- forbedre
- in
- Øke
- stadig
- Intelligens
- inn
- er n
- IT
- DET ER
- Jobb
- jpg
- Hold
- merking
- arbeidskraft
- Språk
- stor
- større
- siste
- føre
- læring
- i likhet med
- Sannsynlig
- logget
- Lav
- maskin
- maskinlæring
- gjøre
- fikk til
- manuelt
- mange
- materiale
- Kan..
- betyr
- mekanisk
- medisinsk
- medisinsk forskning
- medisin
- metodikk
- metoder
- kunne
- modell
- modeller
- mer
- mye
- Trenger
- negativ
- Antall
- gjenstander
- of
- ofte
- on
- ONE
- på nett
- bare
- OpenAI
- or
- Annen
- vår
- produksjon
- egen
- betalt
- Papir
- papirer
- parti
- Betale
- Ansatte
- prosent
- perfekt
- Utfør
- kanskje
- plattform
- Plattformer
- plato
- Platon Data Intelligence
- PlatonData
- Plenty
- pools
- makt
- Dyrebar
- nettopp
- forutsi
- forebygge
- Problem
- produsert
- Professor
- leverandør
- gi
- kvalitet
- ekte
- virkelig
- grunnen til
- anbefales
- pålitelig
- avhengige
- forblir
- repeterende
- erstatte
- representasjon
- forskning
- forskere
- svar
- Resultater
- ROBERT
- Kjør
- s
- Sa
- samme
- Skala
- scenario
- Skole
- Vitenskap
- Secret
- se
- Tjenester
- situasjoner
- liten
- Solutions
- noen
- Noen
- kilde
- spesifikk
- Standard
- Student
- Studer
- Innsendinger
- innsendt
- slik
- foreslår
- oppsummere
- SAMMENDRAG
- Sveitsiske
- sveits
- syntetisk
- system
- Systemer
- Ta
- Oppgave
- oppgaver
- lag
- test
- testet
- enn
- Det
- De
- Fremtiden
- deres
- Dem
- seg
- deretter
- Der.
- Disse
- de
- ting
- Tredje
- denne
- denne uka
- til
- i dag
- også
- verktøy
- mot
- tradisjonelle
- Tog
- trent
- Kurs
- prøve
- SVING
- typer
- usannsynlig
- uønsket
- us
- bruk
- bruke
- brukt
- bruker
- ved hjelp av
- vanligvis
- VALIDERE
- Verdifull
- veldig
- av
- lønn
- ønsker
- var
- måter
- we
- uke
- VI VIL
- var
- Vest
- Hva
- når
- om
- hvilken
- mens
- vil
- med
- Arbeid
- arbeidet
- arbeidere
- verre
- zephyrnet