Über Crowdsource-Dienste wie Amazon Mechanical Turk eingestellte Arbeitskräfte verwenden große Sprachmodelle, um ihre Aufgaben zu erledigen – was in Zukunft negative Auswirkungen auf KI-Modelle haben könnte.
Daten sind für KI von entscheidender Bedeutung. Entwickler benötigen saubere, qualitativ hochwertige Datensätze, um präzise und zuverlässige maschinelle Lernsysteme zu erstellen. Das Zusammenstellen wertvoller, erstklassiger Daten kann jedoch mühsam sein. Unternehmen wenden sich häufig an Plattformen von Drittanbietern wie Amazon Mechanical Turk, um Pools billiger Arbeitskräfte mit der Durchführung sich wiederholender Aufgaben zu beauftragen – etwa dem Beschriften von Objekten, dem Beschreiben von Situationen, dem Transkribieren von Passagen und dem Kommentieren von Texten.
Ihre Ausgabe kann bereinigt und in ein Modell eingespeist werden, um es zu trainieren, diese Arbeit in einem viel größeren, automatisierten Maßstab zu reproduzieren.
KI-Modelle basieren also auf menschlicher Arbeit: Menschen schuften und liefern Berge von Trainingsbeispielen für KI-Systeme, mit denen Unternehmen Milliarden von Dollar verdienen können.
Ein von Forschern der École polytechnique fédérale de Lausanne (EPFL) in der Schweiz durchgeführtes Experiment kam jedoch zu dem Schluss, dass diese Crowdsourcing-Arbeiter KI-Systeme – wie den Chatbot ChatGPT von OpenAI – nutzen, um Gelegenheitsjobs online auszuführen.
Es wird nicht empfohlen, ein Modell anhand seiner eigenen Ausgabe zu trainieren. Wir könnten sehen, dass KI-Modelle auf Daten trainiert werden, die nicht von Menschen, sondern von anderen KI-Modellen – vielleicht sogar denselben Modellen – generiert werden. Dies könnte zu einer katastrophalen Ausgabequalität, mehr Verzerrung und anderen unerwünschten Effekten führen.
Das Experiment
Die Wissenschaftler rekrutierten 44 Leibeigene der Mechanical Turk, um die Zusammenfassungen von 16 medizinischen Forschungsarbeiten zusammenzufassen, und schätzten, dass 33 bis 46 Prozent der von den Arbeitern eingereichten Textpassagen mithilfe großer Sprachmodelle erstellt wurden. Crowdworker erhalten oft niedrige Löhne – der Einsatz von KI zur automatischen Generierung von Antworten ermöglicht es ihnen, schneller zu arbeiten und mehr Jobs anzunehmen, um die Löhne zu erhöhen.
Das Schweizer Team trainierte einen Klassifikator, um vorherzusagen, ob die Einsendungen der Türken von Menschen oder KI generiert wurden. Die Akademiker protokollierten auch die Tastatureingaben ihrer Arbeiter, um festzustellen, ob die Leibeigenen Text kopiert und auf die Plattform eingefügt oder ihre Eingaben selbst eingegeben hatten. Es besteht immer die Möglichkeit, dass jemand einen Chatbot verwendet und die Ausgabe dann manuell eingibt – aber das ist unserer Meinung nach unwahrscheinlich.
„Wir haben eine sehr spezifische Methodik entwickelt, die für die Erkennung synthetischen Textes in unserem Szenario sehr gut funktionierte“, sagte Manoel Ribeiro, Co-Autor von die Studie und ein Doktorand an der EPFL, erzählt Das Register diese Woche.
„Während herkömmliche Methoden versuchen, synthetischen Text ‚in jedem Kontext‘ zu erkennen, konzentriert sich unser Ansatz auf die Erkennung synthetischen Textes in unserem spezifischen Szenario.“
Der Klassifikator kann nicht perfekt erkennen, ob jemand ein KI-System verwendet oder seine eigene Arbeit erstellt hat. Die Wissenschaftler kombinierten die Ausgabe ihres Klassifikators mit den Tastenanschlagsdaten, um sicherer zu sein, wenn jemand von einem Bot kopierte oder sein eigenes Material erstellte.
Menschliche Daten sind der Goldstandard, denn es sind die Menschen, die uns am Herzen liegen
„Es ist uns gelungen, unsere Ergebnisse mithilfe von Tastatureingabedaten zu validieren, die wir ebenfalls von MTurk gesammelt haben“, erzählte uns Ribeiro. „Wir haben zum Beispiel festgestellt, dass alle Texte, die nicht kopiert wurden, von uns als ‚echt‘ eingestuft wurden, was darauf hindeutet, dass es nur wenige Fehlalarme gibt.“
Der Code und die Daten, die zum Ausführen des Tests verwendet werden finden Sie hier, auf GitHub.
Es gibt noch einen weiteren Grund, warum das Experiment wahrscheinlich kein völlig faires Bild davon liefert, wie viele Arbeitnehmer tatsächlich KI zur Automatisierung von Crowdsourcing-Aufgaben nutzen. Die Autoren stellen fest, dass die Textzusammenfassungsaufgabe im Vergleich zu anderen Arten von Jobs gut für große Sprachmodelle geeignet ist – was bedeutet, dass ihre Ergebnisse möglicherweise stärker auf eine größere Anzahl von Arbeitnehmern ausgerichtet sind, die Tools wie ChatGPT verwenden.
Ihr Datensatz mit 46 Antworten von 44 Arbeitnehmern ist ebenfalls klein. Den Arbeitern wurde für jede Textzusammenfassung ein Dollar gezahlt, was wiederum den Einsatz von KI nur fördern könnte.
Große Sprachmodelle würden schlechter werden, wenn sie zunehmend auf gefälschte Inhalte trainiert würden, die von KI generiert und von Crowdsource-Plattformen gesammelt würden, argumentierten die Forscher. Organisationen wie OpenAI halten streng geheim, wie sie ihre neuesten Modelle trainieren, und verlassen sich, wenn überhaupt, nicht stark auf Dinge wie Mechanical Turk. Allerdings stützen sich viele andere Modelle möglicherweise auf menschliche Arbeitskräfte, die wiederum Bots verwenden, um Trainingsdaten zu generieren, was ein Problem darstellt.
Mechanical Turk wird beispielsweise als Anbieter von „Datenkennzeichnungslösungen zur Unterstützung von Modellen für maschinelles Lernen“ vermarktet.
„Menschendaten sind der Goldstandard, denn es sind Menschen, die uns am Herzen liegen, und nicht große Sprachmodelle“, sagte Riberio. „Ich würde kein Medikament einnehmen, das nur in einem biologischen Drosophila-Modell getestet wurde“, sagte er als Beispiel.
Die von heutigen KI-Modellen generierten Antworten seien in der Regel recht langweilig oder trivial und würden die Komplexität und Vielfalt menschlicher Kreativität nicht erfassen, argumentierten die Forscher.
„Manchmal wollen wir mit Crowdsourcing-Daten genau die Art und Weise untersuchen, in der Menschen unvollkommen sind“, sagte uns Robert West, Co-Autor des Artikels und Assistenzprofessor an der Fakultät für Computer- und Kommunikationswissenschaften der EPFL.
Da sich die KI weiter verbessert, ist es wahrscheinlich, dass sich die Crowdsourcing-Arbeit verändern wird. Riberio spekulierte, dass große Sprachmodelle einige Arbeiter bei bestimmten Aufgaben ersetzen könnten. „Paradoxerweise sind menschliche Daten jedoch möglicherweise wertvoller denn je, und daher können diese Plattformen möglicherweise Möglichkeiten implementieren, um die Verwendung großer Sprachmodelle zu verhindern und sicherzustellen, dass sie weiterhin eine Quelle menschlicher Daten bleiben.“
Wer weiß – vielleicht arbeiten Menschen am Ende sogar mit großen Sprachmodellen zusammen, um Antworten zu generieren, fügte er hinzu. ®
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- EVM-Finanzen. Einheitliche Schnittstelle für dezentrale Finanzen. Hier zugreifen.
- Quantum Media Group. IR/PR verstärkt. Hier zugreifen.
- PlatoAiStream. Web3-Datenintelligenz. Wissen verstärkt. Hier zugreifen.
- Quelle: https://go.theregister.com/feed/www.theregister.com/2023/06/16/crowd_workers_bots_ai_training/
- :hast
- :Ist
- :nicht
- $UP
- 16
- 7
- a
- Fähig
- LiveBuzz
- Abstracts
- Akademiker
- genau
- hinzugefügt
- aufs Neue
- AI
- Alle
- erlaubt
- ebenfalls
- immer
- Amazon
- an
- und
- Ein anderer
- jedem
- Ansatz
- SIND
- argumentierte
- künstlich
- künstliche Intelligenz
- AS
- Assistentin
- At
- Autoren
- automatisieren
- Automatisiert
- Im Prinzip so, wie Sie es von Google Maps kennen.
- ein Weg
- BE
- weil
- Sein
- vorspannen
- Milliarden
- fade
- Wander- und Outdoorschuhen
- Bots
- bauen
- erbaut
- aber
- by
- CAN
- Erfassung
- österreichische Unternehmen
- sicher
- Chance
- Übernehmen
- Chatbot
- ChatGPT
- billig
- eingestuft
- Menu
- CO
- Mitverfasser
- Code
- Zusammenarbeit
- kombiniert
- Kommunikation
- Unternehmen
- verglichen
- abschließen
- uneingeschränkt
- Komplexität
- Computer
- geschlossen
- durchgeführt
- Inhalt
- Kontext
- weiter
- Konzerne
- könnte
- Kreativität
- kritischem
- Menschenmenge
- technische Daten
- Datensätze
- entwickelt
- Entwickler
- katastrophal
- Diversität
- do
- Dollar
- jeder
- Effekten
- ermutigen
- Ende
- gewährleisten
- geschätzt
- Sogar
- ÜBERHAUPT
- genau
- Beispiel
- Beispiele
- Experiment
- Messe
- Fälschung
- falsch
- beschleunigt
- Fed
- wenige
- konzentriert
- Aussichten für
- gefunden
- für
- Zukunft
- erzeugen
- erzeugt
- bekommen
- GitHub
- Gold
- Gold Standard
- Haben
- he
- schwer
- hochwertige
- höher
- Ultraschall
- aber
- HTTPS
- human
- Humans
- i
- Identifizierung
- if
- implementieren
- zu unterstützen,
- in
- Erhöhung
- zunehmend
- Intelligenz
- in
- isn
- IT
- SEINE
- Jobs
- jpg
- Behalten
- Beschriftung
- Arbeit
- Sprache
- grosse
- größer
- neueste
- führen
- lernen
- Gefällt mir
- wahrscheinlich
- protokolliert
- Sneaker
- Maschine
- Maschinelles Lernen
- um
- verwaltet
- manuell
- viele
- Ihres Materials
- Kann..
- Bedeutung
- mechanisch
- sowie medizinische
- medizinische Forschung
- Medizin
- Methodik
- Methoden
- könnte
- Modell
- für
- mehr
- viel
- Need
- Negativ
- Anzahl
- Objekte
- of
- vorgenommen,
- on
- EINEM
- Online
- einzige
- OpenAI
- or
- Andere
- UNSERE
- Möglichkeiten für das Ausgangssignal:
- besitzen
- bezahlt
- Papier
- Papiere
- Party
- AUFMERKSAMKEIT
- Personen
- Prozent
- perfekt
- Ausführen
- vielleicht
- Plattform
- Plattformen
- Plato
- Datenintelligenz von Plato
- PlatoData
- Reichlich
- Pools
- Werkzeuge
- Kostbar
- genau
- vorhersagen
- verhindern
- Aufgabenstellung:
- Produziert
- Professor
- Versorger
- Bereitstellung
- Qualität
- echt
- wirklich
- Grund
- empfohlen
- zuverlässig
- verlassen
- bleibt bestehen
- repetitiv
- ersetzen
- Darstellung
- Forschungsprojekte
- Forscher
- Antworten
- Die Ergebnisse
- ROBERT
- Führen Sie
- s
- Said
- gleich
- Skalieren
- Szenario
- Schule
- Wissenschaft
- Die Geheime
- sehen
- Lösungen
- Umstände
- klein
- Lösungen
- einige
- Jemand,
- Quelle
- spezifisch
- Standard
- Schüler und Studenten
- Studie
- Einsendungen
- eingereicht
- so
- Schlägt vor
- zusammenfassen
- ZUSAMMENFASSUNG
- Schweiz
- Schweiz
- synthetisch
- System
- Systeme und Techniken
- Nehmen
- Aufgabe
- und Aufgaben
- Team
- Test
- getestet
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- Die Zukunft
- ihr
- Sie
- sich
- dann
- Dort.
- Diese
- vom Nutzer definierten
- Dritte
- fehlen uns die Worte.
- diese Woche
- zu
- heute
- auch
- Werkzeuge
- gegenüber
- traditionell
- Training
- trainiert
- Ausbildung
- versuchen
- WENDE
- Typen
- unwahrscheinlich
- unerwünscht
- us
- Anwendungsbereich
- -
- benutzt
- verwendet
- Verwendung von
- gewöhnlich
- BESTÄTIGEN
- wertvoll
- sehr
- Lohn
- wollen
- wurde
- Wege
- we
- Woche
- GUT
- waren
- West
- Was
- wann
- ob
- welche
- während
- werden wir
- mit
- Arbeiten
- gearbeitet
- Arbeiter
- schlimmer
- Zephyrnet