A mesterséges intelligenciára összpontosító akadémikusok a generatív mesterséges intelligencia használatára törekedtek, hogy segítsenek áttekinteni a társaik gépi tanulási munkáját.
A Stanford Egyetem, a NEC Labs America és az UC Santa Barbara kutatóinak egy csoportja nemrégiben elemezte a vezető mesterségesintelligencia-konferenciákon, köztük az ICLR 2024-en, a NeurIPS 2023-on, a CoRL 2023-on és az EMNLP 2023-on benyújtott tanulmányok szakértői értékeléseit.
A szerzők – Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland és James Y Zou – számoltak be eredményeikről egy papír „A mesterséges intelligencia által módosított tartalom nagyarányú nyomon követése: Esettanulmány a ChatGPT hatásáról az AI-konferencia szakértői értékelésére” címmel.
A tanulmányt az elmúlt évben a technikai diskurzust meghatározó nagy nyelvi modellek iránti közérdeklődés és megvitatás alapján vállalták fel.
A szerzők kismértékű, de következetes növekedést tapasztaltak a látszólagos LLM-használatban a határidő előtt három nappal vagy kevesebbel benyújtott értékeléseknél
Az emberi és a gép által írt szövegek megkülönböztetésének nehézsége és a jelentett növekedés AI híroldalak A szerzők arra a következtetésre jutottak, hogy sürgős módokat kell kidolgozni a valós adatkészletek értékelésére, amelyek meghatározhatatlan mennyiségű mesterséges intelligencia által írt tartalmat tartalmaznak.
Néha kiemelkedik a mesterséges intelligencia szerzősége – például a papír Radiology Case Reports címmel: „Iatrogén portális véna és májartéria sérülésének sikeres kezelése 4 hónapos nőbetegnél: Esetismertetés és irodalmi áttekintés”.
Ez a zagyva részlet egy kis ajándék: „Összefoglalva, nagyon sajnálom a kétoldalú iatrogén kezelését, de nem férek hozzá valós idejű információkhoz vagy betegspecifikus adatokhoz, mivel AI nyelvi modell vagyok. .”
De a különbségtétel nem mindig nyilvánvaló, és a korábbi kísérletek arra, hogy automatizált módszert fejlesszenek ki az ember által írt szöveg és a robo-próza szétválogatására, nem jártak jól. Például az OpenAI bevezetett egy AI szövegosztályozót erre a célra 2023 januárjában, csak hat hónappal később zárják le.alacsony pontossága miatt. "
Ennek ellenére Liang et al azt állítják, hogy a szövegben a jelzők használatára való összpontosítás – ahelyett, hogy teljes dokumentumokat, bekezdéseket vagy mondatokat próbálna értékelni – megbízhatóbb eredményekhez vezet.
A szerzők két adathalmazt vagy korpuszt vettek fel – az egyiket emberek, a másikat pedig gépek írták. Ezt a két szövegrészt pedig arra használták, hogy értékeljék az értékeléseket – a konferencia mesterséges intelligencia-előadásainak szakértői értékelését – az egyes jelzők gyakoriságára vonatkozóan.
„[Minden] számításunk csak az egyes dokumentumokban szereplő jelzőktől függ” – magyarázták. „Úgy találtuk, hogy ez a szókincsválasztás nagyobb stabilitást mutat, mint más beszédrészek, például határozószók, igék, főnevek vagy az összes lehetséges jelző használata.”
Kiderült, hogy az LLM-ek gyakrabban használnak olyan jelzőket, mint a „dicséretes”, „innovatív” és „átfogó”, mint az emberi szerzők. A szóhasználatban tapasztalható ilyen statisztikai különbségek pedig lehetővé tették a bóbik számára, hogy azonosítsák azokat a tanulmányokat, amelyekben az LLM segítségét valószínűsítik.
A 100 legnépszerűbb melléknév szófelhője az LLM-visszajelzésekben, a betűméret a gyakoriságot jelzi (kattintson a nagyításhoz)
„Eredményeink azt sugallják, hogy az ezekre a konferenciákra szakértői értékelésként benyújtott szövegek 6.5–16.9 százalékát az LLM-ek lényegesen módosíthatták, vagyis a helyesírás-ellenőrzésen vagy az írásbeli kisebb frissítéseken túl” – érveltek a szerzők, megjegyezve, hogy a tudományos folyóiratban a Nature nem mutatják a gépesített segítségnyújtás jeleit.
Úgy tűnik, hogy számos tényező összefüggésben áll a nagyobb LLM-használattal. Az egyik a határidő közeledése: A szerzők kismértékű, de következetes növekedést tapasztaltak a látszólagos LLM-használatban a határidő előtt három nappal vagy kevesebbel benyújtott értékeléseknél.
A kutatók hangsúlyozták, hogy nem az a szándékuk, hogy ítéletet hozzanak a mesterséges intelligencia írássegédjének használatáról, és nem is azt állítsák, hogy az általuk értékelt dokumentumok közül bármelyiket teljes egészében AI-modell írta. De azzal érveltek, hogy a tudományos közösségnek átláthatóbbnak kell lennie az LLM-ek használatával kapcsolatban.
És azt állították, hogy az ilyen gyakorlatok potenciálisan megfosztják azokat, akiknek a munkáját felülvizsgálják, a szakértők sokféle visszajelzésétől. Mi több, az AI visszacsatolás kockáztatja a homogenizációs hatást, amely az AI-modell torzításai felé torzít, és távolodik az értelmes betekintéstől. ®
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :is
- :nem
- :ahol
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- Rólunk
- hozzáférés
- AI
- Minden termék
- megengedett
- mindig
- am
- Amerika
- összeg
- an
- elemzett
- és a
- bármilyen
- látszólagos
- megjelenik
- közeledik
- érvelt
- mesterséges
- mesterséges intelligencia
- AS
- értékeli
- Támogatás
- At
- Kísérletek
- szerzők
- Szerzőség
- Automatizált
- el
- alapján
- BE
- óta
- előtt
- hogy
- között
- Túl
- torzítások
- Bit
- testületek
- de
- by
- számítások
- adminisztratív főnök
- eset
- esettanulmány
- ChatGPT
- chen
- választás
- követelés
- kettyenés
- felhő
- CO
- dicséretes
- közösség
- teljesen
- átfogó
- megállapítja,
- Konferencia
- konferenciák
- következetes
- tartalmaz
- tartalmazott
- állítják
- tartalom
- tudott
- Daniel
- dátum
- adatkészletek
- Nap
- határidő
- tekinteni
- függ
- Fejleszt
- különbségek
- Nehézség
- társalgás
- vita
- megkülönböztetés
- számos
- do
- dokumentum
- dokumentumok
- domináló
- Don
- e
- minden
- hatás
- hangsúlyozta
- nagyít
- Egész
- Jogosult
- értékelni
- értékelték
- értékelések
- példa
- kiállít
- szakértők
- magyarázható
- tényezők
- Visszacsatolás
- női
- megállapítások
- összpontosított
- összpontosítás
- A
- talált
- Frekvencia
- gyakran
- ból ből
- nemző
- Generatív AI
- giveaway
- elmúlt
- nagyobb
- Csoport
- Legyen
- segít
- HTTPS
- huang
- emberi
- Az emberek
- i
- azonosítani
- Hatás
- in
- Beleértve
- Növelje
- jelezve
- információ
- sérülés
- újító
- Insight
- Intelligencia
- Szándék
- kamat
- Hát
- IT
- ITS
- james
- január
- folyóirat
- jpg
- Labs
- nyelv
- nagy
- keresztnév
- Tavaly
- a későbbiekben
- vezető
- vezetékek
- tanulás
- Led
- kevesebb
- mint
- Valószínű
- irodalom
- LLM
- Elő/Utó
- gép
- gépi tanulás
- gép
- vezetés
- jelentőségteljes
- kisebb
- modell
- modellek
- módosított
- ellenőrzés
- hónap
- több
- Természet
- Szükség
- igények
- hír
- megjegyezve,
- főnevek
- Most
- Nyilvánvaló
- of
- on
- ONE
- csak
- OpenAI
- or
- Más
- mi
- ki
- papírok
- alkatrészek
- elhalad
- átjáró
- múlt
- beteg
- egyenrangú
- társaik
- százalék
- Plató
- Platón adatintelligencia
- PlatoData
- Portál
- lehetséges
- potenciálisan
- gyakorlat
- nyilvános
- cél
- Arány
- Inkább
- való Világ
- real-time
- nemrég
- megbízható
- jelentést
- Számolt
- Jelentések
- kutatók
- Eredmények
- Kritika
- felül
- felülvizsgálata
- Vélemények
- Emelkedik
- kockázatok
- s
- Télapó
- Skála
- tudományos
- Szettek
- Jelek
- SIX
- Hat hónap
- Méret
- kicsi
- néhány
- különleges
- beszéd
- Stabilitás
- állványok
- Stanford
- Stanford Egyetem
- statisztikai
- Tanulmány
- benyújtott
- lényegesen
- sikeres
- ilyen
- javasol
- ÖSSZEFOGLALÓ
- meghozott
- Műszaki
- Inkább
- szöveg
- mint
- hogy
- A
- azok
- Őket
- Ott.
- Ezek
- ők
- ezt
- azok
- három
- címmel
- nak nek
- tokenek
- vett
- felső
- felé
- átlátszó
- próbál
- fordul
- kettő
- kötelezettséget vállalt
- egyetemi
- Frissítés
- sürgős
- Használat
- használ
- használt
- segítségével
- nagyon
- volt
- Út..
- módon
- we
- JÓL
- voltak
- Mit
- akinek
- val vel
- szó
- Munka
- írás
- írott
- Ye
- év
- zephyrnet
- Zhao