Arbejdere, der er ansat via crowdsource-tjenester som Amazon Mechanical Turk, bruger store sprogmodeller til at fuldføre deres opgaver – hvilket kan have negative afsmittende effekter på AI-modeller i fremtiden.
Data er afgørende for AI. Udviklere har brug for rene datasæt af høj kvalitet for at bygge maskinlæringssystemer, der er nøjagtige og pålidelige. Det kan dog være kedeligt at kompilere værdifulde, førsteklasses data. Virksomheder henvender sig ofte til tredjepartsplatforme som Amazon Mechanical Turk for at instruere puljer af billige arbejdere til at udføre gentagne opgaver - såsom at mærke objekter, beskrive situationer, transskribere passager og annotere tekst.
Deres output kan ryddes op og føres ind i en model for at træne det til at reproducere det arbejde i en meget større, automatiseret skala.
AI-modeller er således bygget på ryggen af menneskelig arbejdskraft: mennesker, der knokler væk og giver bjerge af træningseksempler til AI-systemer, som virksomheder kan bruge til at tjene milliarder af dollars.
Men et eksperiment udført af forskere ved École polytechnique fédérale de Lausanne (EPFL) i Schweiz har konkluderet, at disse crowdsourcede arbejdere bruger AI-systemer – såsom OpenAIs chatbot ChatGPT – til at udføre skæve opgaver online.
Det anbefales ikke at træne en model på dens eget output. Vi kunne se AI-modeller blive trænet på data genereret ikke af mennesker, men af andre AI-modeller - måske endda de samme modeller. Det kan føre til katastrofal outputkvalitet, mere bias og andre uønskede effekter.
Eksperimentet
Akademikerne rekrutterede 44 Mechanical Turk livegne til at opsummere abstracts af 16 medicinske forskningsartikler og anslåede, at 33 til 46 procent af tekstpassager indsendt af arbejderne blev genereret ved hjælp af store sprogmodeller. Crowd-arbejdere får ofte lave lønninger - ved at bruge AI til automatisk at generere svar, kan de arbejde hurtigere og påtage sig flere job for at øge lønnen.
Det schweiziske hold trænede en klassifikator til at forudsige, om indsendelser fra tyrkerne var menneskeskabte eller AI-genererede. Akademikerne loggede også deres arbejderes tastetryk for at opdage, om livegne kopierede og indsatte tekst på platformen eller skrev deres indtastninger selv. Der er altid en chance for, at nogen bruger en chatbot og derefter manuelt indtaster outputtet - men det er usandsynligt, formoder vi.
"Vi udviklede en meget specifik metode, der fungerede meget godt til at opdage syntetisk tekst i vores scenarie," Manoel Ribeiro, medforfatter til Studiet og en ph.d.-studerende ved EPFL, fortalte Registret i denne uge.
"Mens traditionelle metoder forsøger at detektere syntetisk tekst 'i enhver sammenhæng', er vores tilgang fokuseret på at opdage syntetisk tekst i vores specifikke scenarie."
Klassificeringen er ikke perfekt til at identificere, om nogen brugte et AI-system eller producerede deres eget arbejde. Akademikerne kombinerede deres klassificerers output med tastetrykdataene for at være mere sikre, når nogen copy-pastede fra en bot eller producerede deres eget materiale.
Menneskelige data er guldstandarden, fordi det er mennesker, vi holder af
"Vi formåede at validere vores resultater ved hjælp af tastetrykdata, vi også indsamlede fra MTurk," fortalte Ribeiro os. "For eksempel fandt vi ud af, at alle tekster, der ikke var copy-pasted, blev klassificeret af os som 'rigtige', hvilket tyder på, at der er få falske positiver."
Koden og dataene, der blev brugt til at køre testen kan findes her, på GitHub.
Der er en anden grund til, at eksperimentet næppe er en fuldstændig retfærdig repræsentation af, hvor mange arbejdere der virkelig bruger AI til at automatisere crowdsource-opgaver. Forfatterne bemærker, at tekstopsummeringsopgaven er velegnet til store sprogmodeller sammenlignet med andre typer job - hvilket betyder, at deres resultater kan være mere skæve i retning af et højere antal arbejdere, der bruger værktøjer som ChatGPT.
Deres datasæt med 46 svar fra 44 arbejdere er også lille. Arbejderne blev betalt $1 for hvert tekstresumé, hvilket igen måske kun tilskynder til brugen af kunstig intelligens.
Store sprogmodeller vil blive værre, hvis de i stigende grad trænes i falsk indhold genereret af AI indsamlet fra crowdsource-platforme, hævdede forskerne. Outfits som OpenAI holder præcis, hvordan de træner deres nyeste modeller, en tæt hemmelighed og er måske ikke stærkt afhængige af ting som Mechanical Turk, hvis overhovedet. Når det er sagt, kan mange andre modeller stole på menneskelige arbejdere, som igen kan bruge bots til at generere træningsdata, hvilket er et problem.
Mechanical Turk markedsføres for det første som en leverandør af "datamærkningsløsninger til at drive maskinlæringsmodeller."
"Menneskelige data er guldstandarden, fordi det er mennesker, vi holder af, ikke store sprogmodeller," sagde Riberio. "Jeg ville ikke tage en medicin, der kun blev testet i en Drosophila biologisk model," sagde han som et eksempel.
Svar genereret af nutidens AI-modeller er normalt ret intetsigende eller trivielle og fanger ikke kompleksiteten og mangfoldigheden af menneskelig kreativitet, hævdede forskerne.
"Nogle gange er det, vi ønsker at studere med crowdsourcede data, netop de måder, hvorpå mennesker er ufuldkomne," fortalte Robert West, medforfatter af papiret og en assisterende professor ved EPFL's skole for computer- og kommunikationsvidenskab.
Efterhånden som AI fortsætter med at forbedre sig, er det sandsynligt, at crowdsourcet arbejde vil ændre sig. Riberio spekulerede i, at store sprogmodeller kunne erstatte nogle arbejdere ved specifikke opgaver. "Men paradoksalt nok kan menneskelige data være mere værdifulde end nogensinde, og det kan derfor være, at disse platforme vil være i stand til at implementere måder at forhindre brug af store sprogmodeller og sikre, at det forbliver en kilde til menneskelige data."
Hvem ved - måske kan mennesker endda ende med at samarbejde med store sprogmodeller for også at generere svar, tilføjede han. ®
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- EVM Finans. Unified Interface for Decentralized Finance. Adgang her.
- Quantum Media Group. IR/PR forstærket. Adgang her.
- PlatoAiStream. Web3 Data Intelligence. Viden forstærket. Adgang her.
- Kilde: https://go.theregister.com/feed/www.theregister.com/2023/06/16/crowd_workers_bots_ai_training/
- :har
- :er
- :ikke
- $OP
- 16
- 7
- a
- I stand
- Om
- abstracts
- akademikere
- præcis
- tilføjet
- igen
- AI
- Alle
- tillader
- også
- altid
- Amazon
- an
- ,
- En anden
- enhver
- tilgang
- ER
- argumenteret
- kunstig
- kunstig intelligens
- AS
- Assistant
- At
- forfattere
- automatisere
- Automatiseret
- automatisk
- væk
- BE
- fordi
- være
- skævhed
- milliarder
- kedelig
- Bot
- bots
- bygge
- bygget
- men
- by
- CAN
- fange
- hvilken
- vis
- chance
- lave om
- chatbot
- ChatGPT
- billig
- klassificeret
- Luk
- CO
- Medforfatter
- kode
- samarbejde
- kombineret
- Kommunikation
- Virksomheder
- sammenlignet
- fuldføre
- fuldstændig
- kompleksitet
- computer
- indgået
- gennemført
- indhold
- sammenhæng
- fortsætter
- Selskaber
- kunne
- kreativitet
- kritisk
- crowd
- data
- datasæt
- udviklet
- udviklere
- katastrofal
- Mangfoldighed
- do
- dollars
- hver
- effekter
- tilskynde
- ende
- sikre
- anslået
- Endog
- NOGENSINDE
- præcist nok
- eksempel
- eksempler
- eksperiment
- retfærdig
- falsk
- falsk
- hurtigere
- Fed
- få
- fokuserede
- Til
- fundet
- fra
- fremtiden
- generere
- genereret
- få
- GitHub
- Guld
- Gold Standard
- Have
- he
- stærkt
- høj kvalitet
- højere
- Hvordan
- Men
- HTTPS
- menneskelig
- Mennesker
- i
- identificere
- if
- gennemføre
- Forbedre
- in
- Forøg
- stigende
- Intelligens
- ind
- isn
- IT
- ITS
- Karriere
- jpg
- Holde
- mærkning
- arbejdskraft
- Sprog
- stor
- større
- seneste
- føre
- læring
- ligesom
- Sandsynlig
- logget
- Lav
- maskine
- machine learning
- lave
- lykkedes
- manuelt
- mange
- materiale
- Kan..
- betyder
- mekanisk
- medicinsk
- Medicinsk forskning
- medicin
- Metode
- metoder
- måske
- model
- modeller
- mere
- meget
- Behov
- negativ
- nummer
- objekter
- of
- tit
- on
- ONE
- online
- kun
- OpenAI
- or
- Andet
- vores
- output
- egen
- betalt
- Papir
- papirer
- part
- Betal
- Mennesker
- procent
- perfekt
- Udfør
- måske
- perron
- Platforme
- plato
- Platon Data Intelligence
- PlatoData
- Masser
- Pools
- magt
- Kostbar
- præcist
- forudsige
- forhindre
- Problem
- produceret
- Professor
- udbyder
- leverer
- kvalitet
- ægte
- virkelig
- grund
- anbefales
- pålidelig
- stole
- resterne
- repetitiv
- erstatte
- repræsentation
- forskning
- forskere
- reaktioner
- Resultater
- ROBERT
- Kør
- s
- Said
- samme
- Scale
- scenarie
- Skole
- Videnskab
- Secret
- se
- Tjenester
- situationer
- lille
- Løsninger
- nogle
- Nogen
- Kilde
- specifikke
- standard
- studerende
- Studere
- Bidrag
- indsendt
- sådan
- foreslår
- opsummere
- RESUMÉ
- Schweizisk
- Schweiz
- syntetisk
- systemet
- Systemer
- Tag
- Opgaver
- opgaver
- hold
- prøve
- afprøvet
- end
- at
- Fremtiden
- deres
- Them
- selv
- derefter
- Der.
- Disse
- de
- ting
- Tredje
- denne
- denne uge
- til
- i dag
- også
- værktøjer
- mod
- traditionelle
- Tog
- uddannet
- Kurser
- prøv
- TUR
- typer
- usandsynligt
- uønsket
- us
- Brug
- brug
- anvendte
- bruger
- ved brug af
- sædvanligvis
- VALIDATE
- Værdifuld
- meget
- via
- løn
- ønsker
- var
- måder
- we
- uge
- GODT
- var
- Vest
- Hvad
- hvornår
- hvorvidt
- som
- mens
- vilje
- med
- Arbejde
- arbejdede
- arbejdere
- værre
- zephyrnet