Pracownicy zatrudnieni za pośrednictwem usług crowdsourcingowych, takich jak Amazon Mechanical Turk, używają dużych modeli językowych do wykonywania swoich zadań – co może mieć negatywny wpływ na modele AI w przyszłości.
Dane mają kluczowe znaczenie dla sztucznej inteligencji. Deweloperzy potrzebują czystych, wysokiej jakości zestawów danych, aby tworzyć dokładne i niezawodne systemy uczenia maszynowego. Kompilowanie cennych, najwyższej klasy danych może być jednak uciążliwe. Firmy często zwracają się do zewnętrznych platform, takich jak Amazon Mechanical Turk, aby poinstruować grupy tanich pracowników, aby wykonywali powtarzalne zadania – takie jak oznaczanie przedmiotów, opisywanie sytuacji, transkrypcja fragmentów i dodawanie adnotacji do tekstu.
Ich dane wyjściowe można oczyścić i wprowadzić do modelu, aby nauczyć go odtwarzania tej pracy na znacznie większą, zautomatyzowaną skalę.
Modele sztucznej inteligencji są zatem budowane na kosztach ludzkiej pracy: ludzie trudzą się, dostarczając góry przykładów szkoleniowych dla systemów sztucznej inteligencji, które korporacje mogą wykorzystać do zarobienia miliardów dolarów.
Ale eksperyment przeprowadzony przez naukowców z École polytechnique fédérale de Lausanne (EPFL) w Szwajcarii wykazał, że ci pracownicy korzystający z crowdsourcingu używają systemów sztucznej inteligencji – takich jak chatbot OpenAI ChatGPT – do wykonywania dorywczych prac online.
Nie zaleca się trenowania modelu na jego własnych danych wyjściowych. Widzieliśmy, jak modele AI są szkolone na danych generowanych nie przez ludzi, ale przez inne modele AI – być może nawet te same modele. Może to prowadzić do katastrofalnej jakości wyjściowej, większego odchylenia i innych niepożądanych efektów.
Eksperyment
Naukowcy zrekrutowali 44 poddanych Mechanicznych Turków, aby podsumowali streszczenia 16 artykułów medycznych i oszacowali, że od 33 do 46 procent fragmentów tekstu przesłanych przez pracowników zostało wygenerowanych przy użyciu dużych modeli językowych. Pracownicy masowi często otrzymują niskie wynagrodzenia – wykorzystanie sztucznej inteligencji do automatycznego generowania odpowiedzi pozwala im pracować szybciej i podejmować więcej zadań w celu zwiększenia wynagrodzenia.
Szwajcarski zespół przeszkolił klasyfikatora, aby przewidywał, czy zgłoszenia Turkerów zostały wygenerowane przez człowieka, czy przez sztuczną inteligencję. Naukowcy rejestrowali również naciśnięcia klawiszy swoich pracowników, aby wykryć, czy poddani kopiowali i wklejali tekst na platformę, czy też sami wpisali swoje wpisy. Zawsze istnieje szansa, że ktoś użyje chatbota, a następnie ręcznie wpisze dane wyjściowe – ale przypuszczamy, że jest to mało prawdopodobne.
„Opracowaliśmy bardzo specyficzną metodologię, która bardzo dobrze sprawdziła się w wykrywaniu tekstu syntetycznego w naszym scenariuszu” — mówi Manoel Ribeiro, współautor badania i doktorant w EPFL, powiedział Rejestr w tym tygodniu.
„Podczas gdy tradycyjne metody próbują wykryć tekst syntetyczny „w dowolnym kontekście”, nasze podejście koncentruje się na wykrywaniu tekstu syntetycznego w naszym konkretnym scenariuszu”.
Klasyfikator nie jest doskonały w identyfikowaniu, czy ktoś korzystał z systemu sztucznej inteligencji, czy też stworzył własną pracę. Naukowcy połączyli dane wyjściowe swojego klasyfikatora z danymi naciśnięć klawiszy, aby mieć większą pewność, kiedy ktoś kopiuje i wkleja z bota lub tworzy własny materiał.
Dane ludzkie to złoty standard, ponieważ to na ludziach nam zależy
„Udało nam się zweryfikować nasze wyniki za pomocą danych naciśnięć klawiszy, które również zebraliśmy od MTurk” – powiedział nam Ribeiro. „Na przykład odkryliśmy, że wszystkie teksty, które nie zostały skopiowane, zostały przez nas sklasyfikowane jako„ prawdziwe ”, co sugeruje, że jest niewiele fałszywych alarmów”.
Kod i dane użyte do uruchomienia testu można znaleźć tutaj, na GitHubie.
Jest jeszcze jeden powód, dla którego eksperyment raczej nie będzie całkowicie rzetelną reprezentacją tego, ilu pracowników naprawdę używa sztucznej inteligencji do automatyzacji zadań związanych z crowdsourcingiem. Autorzy zauważają, że zadanie podsumowania tekstu jest dobrze dopasowane do dużych modeli językowych w porównaniu z innymi rodzajami zadań – co oznacza, że ich wyniki mogą być bardziej wypaczone w kierunku większej liczby pracowników korzystających z narzędzi takich jak ChatGPT.
Ich zbiór danych obejmujący 46 odpowiedzi od 44 pracowników jest również niewielki. Pracownicy otrzymywali 1 dolara za każde streszczenie tekstowe, co znowu może tylko zachęcać do korzystania ze sztucznej inteligencji.
Naukowcy argumentowali, że duże modele językowe będą się pogarszać, jeśli będą coraz częściej szkolone w zakresie fałszywych treści generowanych przez sztuczną inteligencję zebranych z platform społecznościowych. Stroje takie jak OpenAI utrzymują ścisłą tajemnicę, w jaki sposób trenują swoje najnowsze modele, i mogą nie polegać w dużym stopniu na rzeczach takich jak Mechanical Turk, jeśli w ogóle. To powiedziawszy, wiele innych modeli może polegać na ludzkich pracownikach, którzy z kolei mogą wykorzystywać boty do generowania danych szkoleniowych, co stanowi problem.
Na przykład Mechanical Turk jest sprzedawany jako dostawca „rozwiązań do etykietowania danych w celu zasilania modeli uczenia maszynowego”.
„Dane ludzkie to złoty standard, ponieważ to ludzie są dla nas ważni, a nie duże modele językowe” – powiedział Riberio. „Nie wziąłbym leku, który został przetestowany tylko w modelu biologicznym Drosophila” – powiedział jako przykład.
Odpowiedzi generowane przez dzisiejsze modele sztucznej inteligencji są zwykle dość mdłe lub trywialne i nie oddają złożoności i różnorodności ludzkiej kreatywności, argumentowali naukowcy.
„Czasami to, co chcemy badać za pomocą danych pochodzących z crowdsourcingu, to dokładnie sposoby, w jakie ludzie są niedoskonali” – powiedział nam Robert West, współautor artykułu i adiunkt w szkole informatyki i komunikacji EPFL.
Ponieważ sztuczna inteligencja wciąż się poprawia, prawdopodobne jest, że praca crowdsourcingowa ulegnie zmianie. Riberio spekulował, że duże modele językowe mogą zastąpić niektórych pracowników przy określonych zadaniach. „Jednakże, paradoksalnie, dane ludzkie mogą być cenniejsze niż kiedykolwiek wcześniej i dlatego platformy te będą w stanie wdrożyć sposoby zapobiegania używaniu dużych modeli językowych i zapewnić, że pozostaną one źródłem danych ludzkich”.
Kto wie – może ludzie mogą nawet współpracować z dużymi modelami językowymi, aby generować odpowiedzi, dodał. ®
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- EVM Finanse. Ujednolicony interfejs dla zdecentralizowanych finansów. Dostęp tutaj.
- Quantum Media Group. Wzmocnienie IR/PR. Dostęp tutaj.
- PlatoAiStream. Analiza danych Web3. Wiedza wzmocniona. Dostęp tutaj.
- Źródło: https://go.theregister.com/feed/www.theregister.com/2023/06/16/crowd_workers_bots_ai_training/
- :ma
- :Jest
- :nie
- $W GÓRĘ
- 16
- 7
- a
- Zdolny
- O nas
- streszczenia
- naukowcy
- dokładny
- w dodatku
- ponownie
- AI
- Wszystkie kategorie
- pozwala
- również
- zawsze
- Amazonka
- an
- i
- Inne
- każdy
- podejście
- SĄ
- argumentował
- sztuczny
- sztuczna inteligencja
- AS
- Asystent
- At
- Autorzy
- zautomatyzować
- zautomatyzowane
- automatycznie
- z dala
- BE
- bo
- jest
- stronniczość
- miliardy
- mdłe
- Bot
- boty
- budować
- wybudowany
- ale
- by
- CAN
- zdobyć
- który
- pewien
- szansa
- zmiana
- chatbot
- ChatGPT
- tani
- sklasyfikowany
- Zamknij
- CO
- Współautor
- kod
- współpracę
- połączony
- Komunikacja
- Firmy
- w porównaniu
- kompletny
- całkowicie
- kompleksowość
- komputer
- zawarta
- przeprowadzone
- zawartość
- kontekst
- ciągły
- Korporacje
- mógłby
- kreatywność
- krytyczny
- tłum
- dane
- zbiory danych
- rozwinięty
- deweloperzy
- fatalny
- Różnorodność
- do
- dolarów
- każdy
- ruchomości
- zachęcać
- zakończenia
- zapewnić
- szacunkowa
- Parzyste
- EVER
- dokładnie
- przykład
- przykłady
- eksperyment
- sprawiedliwy
- imitacja
- fałszywy
- szybciej
- nakarmiony
- kilka
- koncentruje
- W razie zamówieenia projektu
- znaleziono
- od
- przyszłość
- Generować
- wygenerowane
- otrzymać
- GitHub
- Złoto
- gold standard
- Have
- he
- ciężko
- wysokiej jakości
- wyższy
- W jaki sposób
- Jednak
- HTTPS
- człowiek
- Ludzie
- i
- identyfikacja
- if
- wdrożenia
- podnieść
- in
- Zwiększać
- coraz bardziej
- Inteligencja
- najnowszych
- ISN
- IT
- JEGO
- Oferty pracy
- jpg
- Trzymać
- etykietowanie
- praca
- język
- duży
- większe
- firmy
- prowadzić
- nauka
- lubić
- Prawdopodobnie
- zalogowany
- niski
- maszyna
- uczenie maszynowe
- robić
- zarządzane
- ręcznie
- wiele
- materiał
- Może..
- znaczenie
- mechaniczny
- medyczny
- badania medyczne
- lekarstwo
- Metodologia
- metody
- może
- model
- modele
- jeszcze
- dużo
- Potrzebować
- ujemny
- numer
- obiekty
- of
- często
- on
- ONE
- Online
- tylko
- OpenAI
- or
- Inne
- ludzkiej,
- wydajność
- własny
- płatny
- Papier
- Papiery
- przyjęcie
- Zapłacić
- Ludzie
- procent
- doskonały
- wykonać
- może
- Platforma
- Platformy
- plato
- Analiza danych Platona
- PlatoDane
- Volcano Plenty Vaporizer Storz & Bickel
- Baseny
- power
- Cenny
- precyzyjnie
- przewidzieć
- zapobiec
- Problem
- Wytworzony
- Profesor
- dostawca
- że
- jakość
- real
- naprawdę
- powód
- Zalecana
- rzetelny
- polegać
- szczątki
- powtarzalne
- obsługi produkcji rolnej, która zastąpiła
- reprezentacja
- Badania naukowe
- Badacze
- Odpowiedzi
- Efekt
- ROBERT
- run
- s
- Powiedział
- taki sam
- Skala
- scenariusz
- Szkoła
- nauka
- Tajemnica
- widzieć
- Usługi
- sytuacje
- mały
- Rozwiązania
- kilka
- Ktoś
- Źródło
- specyficzny
- standard
- student
- Badanie
- Zgłoszenia
- składane
- taki
- Wskazuje
- streszczać
- PODSUMOWANIE
- Szwajcarski
- Szwajcaria
- syntetyczny
- system
- systemy
- Brać
- Zadanie
- zadania
- zespół
- test
- przetestowany
- niż
- że
- Połączenia
- Przyszłość
- ich
- Im
- sami
- następnie
- Tam.
- Te
- one
- rzeczy
- Trzeci
- to
- w tym tygodniu
- do
- już dziś
- także
- narzędzia
- w kierunku
- tradycyjny
- Pociąg
- przeszkolony
- Trening
- próbować
- SKRĘCAĆ
- typy
- mało prawdopodobne,
- niepożądany
- us
- Stosowanie
- posługiwać się
- używany
- zastosowania
- za pomocą
- zazwyczaj
- UPRAWOMOCNIĆ
- Cenny
- początku.
- przez
- wynagrodzenie
- chcieć
- była
- sposoby
- we
- tydzień
- DOBRZE
- były
- Zachód
- Co
- jeśli chodzi o komunikację i motywację
- czy
- który
- Podczas
- będzie
- w
- Praca
- pracował
- pracowników
- gorzej
- zefirnet