Naukowcy zajmujący się sztuczną inteligencją zaczęli wykorzystywać generatywną sztuczną inteligencję, aby pomóc im przeglądać pracę rówieśników w zakresie uczenia maszynowego.
Grupa badaczy z Uniwersytetu Stanforda, NEC Labs America i UC Santa Barbara przeanalizowała niedawno recenzje artykułów nadesłanych na czołowe konferencje poświęcone sztucznej inteligencji, w tym ICLR 2024, NeurIPS 2023, CoRL 2023 i EMNLP 2023.
Autorzy – Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland i James Y Zou – przedstawili swoje odkrycia w papier zatytułowany „Monitorowanie treści zmodyfikowanych przez sztuczną inteligencję na dużą skalę: studium przypadku dotyczące wpływu ChatGPT na wzajemne recenzje konferencji AI”.
Podjęli badanie w oparciu o zainteresowanie społeczne i dyskusję na temat dużych modeli językowych, które zdominowały dyskurs techniczny w zeszłym roku.
Autorzy stwierdzili niewielki, ale stały wzrost widocznego wykorzystania LLM w przypadku recenzji przesłanych maksymalnie trzy dni przed terminem
Trudność w rozróżnieniu tekstu pisanego przez człowieka od tekstu pisanego maszynowo oraz zgłaszany wzrost liczby takich przypadków Strony z wiadomościami o sztucznej inteligencji doprowadziło autorów do wniosku, że istnieje pilna potrzeba opracowania sposobów oceny zbiorów danych ze świata rzeczywistego, które zawierają nieokreśloną ilość treści autorstwa sztucznej inteligencji.
Czasami autorstwo AI wyróżnia się – jak w przypadku papier z Radiology Case Reports zatytułowanych „Skuteczne leczenie jatrogennego uszkodzenia żyły wrotnej i tętnicy wątrobowej u 4-miesięcznej pacjentki: opis przypadku i przegląd literatury”.
Ten pogmatwany fragment jest trochę niejasny: „Podsumowując, leczenie obustronnych przypadków jatrogennych. Bardzo mi przykro, ale nie mam dostępu do informacji w czasie rzeczywistym ani danych dotyczących konkretnego pacjenta, ponieważ jestem modelem języka sztucznej inteligencji .”
Jednak rozróżnienie nie zawsze jest oczywiste, a dotychczasowe próby opracowania zautomatyzowanego sposobu sortowania tekstu pisanego przez człowieka od robo-prozy nie powiodły się. OpenAI na przykład wprowadził klasyfikator tekstu AI w tym celu w styczniu 2023 r., by zamknąć go sześć miesięcy później”ze względu na niski stopień dokładności".
Niemniej jednak, Liangu i wsp twierdzą, że skupianie się na użyciu przymiotników w tekście – zamiast próbować oceniać całe dokumenty, akapity lub zdania – prowadzi do bardziej wiarygodnych wyników.
Autorzy przyjęli dwa zestawy danych, czyli korpusy – jeden pisany przez ludzi, drugi pisany przez maszyny. Wykorzystali te dwa teksty do oceny ocen – recenzji naukowych artykułów konferencyjnych dotyczących sztucznej inteligencji – pod kątem częstotliwości występowania określonych przymiotników.
„Wszystkie nasze obliczenia opierają się wyłącznie na przymiotnikach zawartych w każdym dokumencie” – wyjaśnili. „Odkryliśmy, że ten dobór słownictwa wykazuje większą stabilność niż użycie innych części mowy, takich jak przysłówki, czasowniki, rzeczowniki czy wszystkie możliwe symbole”.
Okazuje się, że osoby z branży LLM częściej niż autorzy-ludzi używają przymiotników takich jak „godny pochwały”, „innowacyjny” i „kompleksowy”. Takie statystyczne różnice w użyciu słów pozwoliły głupcom zidentyfikować recenzje artykułów, w których prawdopodobna jest pomoc LLM.
Chmura słów zawierająca 100 najpopularniejszych przymiotników w opiniach LLM, z rozmiarem czcionki wskazującym częstotliwość (kliknij, aby powiększyć)
„Nasze wyniki sugerują, że od 6.5 do 16.9 procent tekstów przesłanych na te konferencje w ramach recenzji naukowych mogło zostać w znacznym stopniu zmodyfikowanych przez LLM, tj. poza sprawdzaniem pisowni lub drobnymi aktualizacjami pisarskimi” – argumentują autorzy, zauważając, że recenzje prac w czasopismo naukowe Nature nie wykazują oznak pomocy zmechanizowanej.
Wydaje się, że z większym wykorzystaniem LLM jest powiązanych kilka czynników. Jednym z nich jest zbliżający się termin: autorzy stwierdzili niewielki, ale stały wzrost widocznego wykorzystania LLM w przypadku recenzji przesłanych maksymalnie trzy dni przed terminem.
Badacze podkreślili, że ich intencją nie było osądzanie wykorzystania pomocy w pisaniu sztucznej inteligencji ani twierdzenie, że którykolwiek z ocenianych przez nich artykułów został napisany w całości przy użyciu modelu sztucznej inteligencji. Argumentowali jednak, że społeczność naukowa musi zachować większą przejrzystość w zakresie stosowania LLM.
Utrzymywali także, że takie praktyki potencjalnie pozbawiają osoby, których praca jest poddawana przeglądowi, różnorodnych informacji zwrotnych od ekspertów. Co więcej, informacje zwrotne dotyczące sztucznej inteligencji stwarzają ryzyko efektu homogenizacji, który kieruje się w stronę błędów modelu sztucznej inteligencji i odbiega od znaczących spostrzeżeń. ®
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :Jest
- :nie
- :Gdzie
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- O nas
- dostęp
- AI
- Wszystkie kategorie
- dozwolony
- zawsze
- am
- Ameryka
- ilość
- an
- analizowane
- i
- każdy
- pozorny
- zjawić się
- zbliżający się
- argumentował
- sztuczny
- sztuczna inteligencja
- AS
- oszacować
- Wsparcie
- At
- Próby
- Autorzy
- Autorstwo
- zautomatyzowane
- z dala
- na podstawie
- BE
- być
- zanim
- jest
- pomiędzy
- Poza
- uprzedzenia
- Bit
- ciała
- ale
- by
- Obliczenia
- cao
- walizka
- studium przypadku
- ChatGPT
- chen
- wybór
- roszczenie
- kliknij
- Chmura
- CO
- chwalebny
- społeczność
- całkowicie
- wszechstronny
- stwierdza,
- Konferencja
- konferencje
- zgodny
- zawierać
- zawarte
- walczyć
- zawartość
- mógłby
- Daniel
- dane
- zestawy danych
- Dni
- ostateczny termin
- uważane
- zależeć
- rozwijać
- Różnice
- Trudność
- rozprawiać
- dyskusja
- wyróżnienie
- inny
- do
- dokument
- dokumenty
- zdominowany
- darowizna
- e
- każdy
- efekt
- podkreślił
- powiększać
- Cały
- prawo
- oceniać
- oceniane
- oceny
- przykład
- pokazać
- eksperci
- wyjaśnione
- Czynniki
- informacja zwrotna
- Płeć żeńska
- Ustalenia
- koncentruje
- skupienie
- W razie zamówieenia projektu
- znaleziono
- Częstotliwość
- często
- od
- generatywny
- generatywna sztuczna inteligencja
- gratisów
- poszedł
- większy
- Zarządzanie
- Have
- pomoc
- HTTPS
- Huang
- człowiek
- Ludzie
- i
- zidentyfikować
- Rezultat
- in
- Włącznie z
- Zwiększać
- wskazując,
- Informacja
- szkoda
- Innowacyjny
- wgląd
- Inteligencja
- Zamiar
- odsetki
- ISN
- IT
- JEGO
- james
- styczeń
- dziennik
- jpg
- Labs
- język
- duży
- Nazwisko
- Ostatni rok
- później
- prowadzący
- Wyprowadzenia
- nauka
- Doprowadziło
- mniej
- lubić
- Prawdopodobnie
- literatura
- LLM
- niski
- maszyna
- uczenie maszynowe
- maszyny
- i konserwacjami
- wymowny
- moll
- model
- modele
- zmodyfikowano
- monitorowanie
- miesięcy
- jeszcze
- Natura
- Potrzebować
- wymagania
- aktualności
- Zauważając
- rzeczowniki
- już dziś
- oczywista
- of
- on
- ONE
- tylko
- OpenAI
- or
- Inne
- ludzkiej,
- na zewnątrz
- Papiery
- strony
- przechodzić
- przejście
- Przeszłość
- pacjent
- par
- Tracker
- procent
- plato
- Analiza danych Platona
- PlatoDane
- Portal
- możliwy
- potencjalnie
- praktyki
- publiczny
- cel
- Kurs
- raczej
- Prawdziwy świat
- w czasie rzeczywistym
- niedawno
- rzetelny
- raport
- Zgłoszone
- Raporty
- Badacze
- Efekt
- przeglądu
- recenzja
- recenzowanie
- Recenzje
- Rosnąć
- ryzyko
- s
- Święty
- Skala
- naukowy
- Zestawy
- znaki
- SIX
- Sześć miesięcy
- Rozmiar
- mały
- kilka
- specyficzny
- przemówienie
- Stabilność
- stojaki
- Stanford
- Uniwersytet Stanford
- statystyczny
- Badanie
- składane
- w zasadzie
- udany
- taki
- sugerować
- PODSUMOWANIE
- Zadania
- Techniczny
- Tendencję
- XNUMX
- niż
- że
- Połączenia
- ich
- Im
- Tam.
- Te
- one
- to
- tych
- trzy
- pod tytulem
- do
- Żetony
- wziął
- Top
- w kierunku
- przezroczysty
- stara
- włącza
- drugiej
- podjął się
- uniwersytet
- Nowości
- pilny
- Stosowanie
- posługiwać się
- używany
- za pomocą
- początku.
- była
- Droga..
- sposoby
- we
- DOBRZE
- były
- Co
- którego
- w
- słowo
- Praca
- pisanie
- napisany
- Ye
- rok
- zefirnet
- Zhao