I lavoratori assunti tramite servizi di crowdsourcing come Amazon Mechanical Turk utilizzano modelli linguistici di grandi dimensioni per completare le loro attività, il che potrebbe avere effetti a catena negativi sui modelli di intelligenza artificiale in futuro.
I dati sono fondamentali per l'IA. Gli sviluppatori hanno bisogno di set di dati puliti e di alta qualità per creare sistemi di machine learning accurati e affidabili. La compilazione di dati preziosi e di prim'ordine, tuttavia, può essere noiosa. Le aziende spesso si rivolgono a piattaforme di terze parti come Amazon Mechanical Turk per istruire gruppi di lavoratori a basso costo a svolgere attività ripetitive, come etichettare oggetti, descrivere situazioni, trascrivere passaggi e annotare il testo.
Il loro output può essere ripulito e inserito in un modello per addestrarlo a riprodurre quel lavoro su una scala molto più ampia e automatizzata.
I modelli di intelligenza artificiale sono quindi costruiti sulle spalle del lavoro umano: persone che lavorano duramente, fornendo montagne di esempi di addestramento per i sistemi di intelligenza artificiale che le aziende possono utilizzare per guadagnare miliardi di dollari.
Ma un esperimento condotto dai ricercatori dell'École polytechnique fédérale de Lausanne (EPFL) in Svizzera ha concluso che questi lavoratori in crowdsourcing utilizzano sistemi di intelligenza artificiale, come il chatbot ChatGPT di OpenAI, per svolgere lavori saltuari online.
Non è consigliabile addestrare un modello sul proprio output. Potremmo vedere modelli di intelligenza artificiale addestrati su dati generati non da persone, ma da altri modelli di intelligenza artificiale, forse anche gli stessi modelli. Ciò potrebbe portare a una qualità dell'output disastrosa, più bias e altri effetti indesiderati.
L'esperimento
Gli accademici hanno reclutato 44 servi turchi meccanici per riassumere gli abstract di 16 documenti di ricerca medica e hanno stimato che dal 33 al 46 percento dei passaggi di testo inviati dai lavoratori sono stati generati utilizzando modelli di linguaggio di grandi dimensioni. I lavoratori della folla sono spesso pagati con salari bassi: l'uso dell'intelligenza artificiale per generare automaticamente risposte consente loro di lavorare più velocemente e accettare più lavori per aumentare la retribuzione.
Il team svizzero ha addestrato un classificatore per prevedere se le osservazioni dei turchi fossero generate dall'uomo o dall'intelligenza artificiale. Gli accademici hanno anche registrato le sequenze di tasti dei loro lavoratori per rilevare se i servi hanno copiato e incollato il testo sulla piattaforma o digitato loro stessi le voci. C'è sempre la possibilità che qualcuno utilizzi un chatbot e quindi digiti manualmente l'output, ma supponiamo che sia improbabile.
"Abbiamo sviluppato una metodologia molto specifica che ha funzionato molto bene per rilevare il testo sintetico nel nostro scenario", Manoel Ribeiro, coautore di lo studio e uno studente di dottorato all'EPFL, ha detto Il registro questa settimana.
"Mentre i metodi tradizionali cercano di rilevare il testo sintetico 'in qualsiasi contesto', il nostro approccio si concentra sul rilevamento del testo sintetico nel nostro scenario specifico."
Il classificatore non è perfetto per identificare se qualcuno ha utilizzato un sistema di intelligenza artificiale o ha prodotto il proprio lavoro. Gli accademici hanno combinato l'output del loro classificatore con i dati di battitura per essere più certi quando qualcuno ha copiato e incollato da un bot o ha prodotto il proprio materiale.
I dati umani sono il gold standard, perché sono gli umani a cui teniamo
"Siamo riusciti a convalidare i nostri risultati utilizzando i dati di battitura che abbiamo anche raccolto da MTurk", ci ha detto Ribeiro. "Ad esempio, abbiamo scoperto che tutti i testi che non sono stati copiati e incollati sono stati da noi classificati come 'reali', il che suggerisce che ci sono pochi falsi positivi."
Il codice e i dati utilizzati per eseguire il test può essere trovato qui, su GitHub.
C'è un altro motivo per cui è improbabile che l'esperimento sia una rappresentazione completamente corretta di quanti lavoratori stanno effettivamente utilizzando l'intelligenza artificiale per automatizzare le attività di crowdsourcing. Gli autori osservano che l'attività di riepilogo del testo è adatta a modelli linguistici di grandi dimensioni rispetto ad altri tipi di lavoro, il che significa che i loro risultati potrebbero essere più distorti verso un numero maggiore di lavoratori che utilizzano strumenti come ChatGPT.
Anche il loro set di dati di 46 risposte di 44 lavoratori è piccolo. I lavoratori sono stati pagati $ 1 per ogni riassunto di testo, che ancora una volta può solo incoraggiare l'uso dell'intelligenza artificiale.
I modelli di linguaggio di grandi dimensioni peggioreranno se saranno sempre più addestrati su contenuti falsi generati dall'intelligenza artificiale raccolti da piattaforme crowdsource, hanno sostenuto i ricercatori. Abiti come OpenAI mantengono segreto il modo in cui addestrano i loro ultimi modelli e potrebbero non fare molto affidamento su cose come Mechanical Turk, se non del tutto. Detto questo, molti altri modelli possono fare affidamento su lavoratori umani, che a loro volta possono utilizzare i robot per generare dati di addestramento, il che è un problema.
Mechanical Turk, per esempio, è commercializzato come fornitore di "soluzioni di etichettatura dei dati per potenziare i modelli di apprendimento automatico".
"I dati umani sono il gold standard, perché sono gli esseri umani che ci interessano, non i grandi modelli linguistici", ha affermato Riberio. "Non prenderei una medicina che è stata testata solo in un modello biologico di Drosophila", ha detto come esempio.
Le risposte generate dai modelli di intelligenza artificiale di oggi sono generalmente piuttosto blande o banali e non catturano la complessità e la diversità della creatività umana, hanno sostenuto i ricercatori.
"A volte ciò che vogliamo studiare con i dati raccolti in crowdsourcing sono proprio i modi in cui gli esseri umani sono imperfetti", ci ha detto Robert West, coautore dell'articolo e assistente professore presso la scuola di informatica e scienze della comunicazione dell'EPFL.
Man mano che l'intelligenza artificiale continua a migliorare, è probabile che il lavoro in crowdsourcing cambierà. Riberio ha ipotizzato che modelli linguistici di grandi dimensioni potrebbero sostituire alcuni lavoratori in compiti specifici. "Tuttavia, paradossalmente, i dati umani potrebbero essere più preziosi che mai e quindi potrebbe essere che queste piattaforme saranno in grado di implementare modi per prevenire l'utilizzo di modelli di linguaggio di grandi dimensioni e garantire che rimangano una fonte di dati umani".
Chissà, forse anche gli esseri umani potrebbero finire per collaborare con grandi modelli linguistici per generare risposte, ha aggiunto. ®
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- EVM Finance. Interfaccia unificata per la finanza decentralizzata. Accedi qui.
- Quantum Media Group. IR/PR amplificato. Accedi qui.
- PlatoAiStream. Intelligenza dei dati Web3. Conoscenza amplificata. Accedi qui.
- Fonte: https://go.theregister.com/feed/www.theregister.com/2023/06/16/crowd_workers_bots_ai_training/
- :ha
- :È
- :non
- $ SU
- 16
- 7
- a
- capace
- Chi siamo
- abstract
- accademici
- preciso
- aggiunto
- ancora
- AI
- Tutti
- consente
- anche
- sempre
- Amazon
- an
- ed
- Un altro
- in qualsiasi
- approccio
- SONO
- sostenuto
- artificiale
- intelligenza artificiale
- AS
- Assistant
- At
- gli autori
- automatizzare
- Automatizzata
- automaticamente
- lontano
- BE
- perché
- essendo
- pregiudizio
- miliardi
- blando
- Bot
- bots
- costruire
- costruito
- ma
- by
- Materiale
- catturare
- che
- certo
- possibilità
- il cambiamento
- chatbot
- ChatGPT
- economico
- classificato
- Chiudi
- CO
- Coautore
- codice
- collaborando
- combinato
- Comunicazione
- Aziende
- rispetto
- completamento di una
- completamente
- complessità
- computer
- concluso
- condotto
- contenuto
- contesto
- continua
- Corporazioni
- potuto
- la creatività
- critico
- folla
- dati
- dataset
- sviluppato
- sviluppatori
- disastroso
- Diversità
- do
- dollari
- ogni
- effetti
- incoraggiare
- fine
- garantire
- stimato
- Anche
- EVER
- di preciso
- esempio
- Esempi
- esperimento
- fiera
- falso
- falso
- più veloce
- Federale
- pochi
- concentrato
- Nel
- essere trovato
- da
- futuro
- generare
- generato
- ottenere
- GitHub
- Oro
- Gold Standard
- Avere
- he
- pesantemente
- alta qualità
- superiore
- Come
- Tuttavia
- HTTPS
- umano
- Gli esseri umani
- i
- identificazione
- if
- realizzare
- competenze
- in
- Aumento
- sempre più
- Intelligence
- ai miglioramenti
- ISN
- IT
- SUO
- Offerte di lavoro
- jpg
- mantenere
- etichettatura
- lavoro
- Lingua
- grandi
- superiore, se assunto singolarmente.
- con i più recenti
- portare
- apprendimento
- piace
- probabile
- registrati
- Basso
- macchina
- machine learning
- make
- gestito
- manualmente
- molti
- materiale
- Maggio..
- significato
- meccanico
- medicale
- ricerca medica
- medicina
- Metodologia
- metodi
- forza
- modello
- modelli
- Scopri di più
- molti
- Bisogno
- negativo.
- numero
- oggetti
- of
- di frequente
- on
- ONE
- online
- esclusivamente
- OpenAI
- or
- Altro
- nostro
- produzione
- proprio
- pagato
- Carta
- documenti
- partito
- Paga le
- Persone
- per cento
- perfetta
- Eseguire
- Forse
- piattaforma
- Piattaforme
- Platone
- Platone Data Intelligence
- PlatoneDati
- Abbondanza
- Piscine
- energia
- Prezioso
- precisamente
- predire
- prevenire
- Problema
- Prodotto
- Insegnante
- fornitore
- fornitura
- qualità
- di rose
- veramente
- ragione
- raccomandato
- affidabile
- fare affidamento
- resti
- ripetitivo
- sostituire
- rappresentazione
- riparazioni
- ricercatori
- risposte
- Risultati
- ROBERT
- Correre
- s
- Suddetto
- stesso
- Scala
- scenario
- di moto
- Scienze
- Segreto
- vedere
- Servizi
- situazioni
- piccole
- Soluzioni
- alcuni
- Qualcuno
- Fonte
- specifico
- Standard
- studente
- Studio
- Articoli
- presentata
- tale
- suggerisce
- riassumere
- SOMMARIO
- svizzero
- Svizzera
- sintetico
- sistema
- SISTEMI DI TRATTAMENTO
- Fai
- Task
- task
- team
- test
- testato
- di
- che
- I
- Il futuro
- loro
- Li
- si
- poi
- Là.
- Strumenti Bowman per analizzare le seguenti finiture:
- di
- cose
- Terza
- questo
- questa settimana
- a
- oggi
- pure
- strumenti
- verso
- tradizionale
- Treni
- allenato
- Training
- prova
- TURNO
- Tipi di
- improbabile
- non desiderato
- us
- Impiego
- uso
- utilizzato
- usa
- utilizzando
- generalmente
- CONVALIDARE
- Prezioso
- molto
- via
- salari
- volere
- Prima
- modi
- we
- settimana
- WELL
- sono stati
- ovest
- Che
- quando
- se
- quale
- while
- volere
- con
- Lavora
- lavorato
- lavoratori
- peggio
- zefiro