Tehisintellektile keskendunud akadeemikud on hakanud kasutama generatiivset tehisintellekti, et aidata neil kaaslaste masinõppetööd üle vaadata.
Stanfordi ülikooli, NEC Labs America ja UC Santa Barbara teadlaste rühm analüüsis hiljuti juhtivatele tehisintellekti konverentsidele, sealhulgas ICLR 2024, NeurIPS 2023, CoRL 2023 ja EMNLP 2023, esitatud paberite eksperthinnanguid.
Autorid – Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland ja James Y Zou – teatasid oma leidudest paber pealkirjaga "AI-ga muudetud sisu mastaabis jälgimine: juhtumiuuring ChatGPT mõju kohta tehisintellekti konverentsi vastastikustele hinnangutele".
Nad viisid läbi uuringu, tuginedes avalikkusele huvile ja arutelule suurte keelemudelite vastu, mis eelmisel aastal tehnilises diskursuses domineerisid.
Autorid leidsid kolm päeva või vähem enne tähtaega esitatud arvustuste puhul LLM-i näiva kasutamise väikese, kuid järjekindla kasvu
Raskused eristada inimese ja masinaga kirjutatud teksti ning teatatud tõusu AI uudiste veebisaidid ajendas autorid jõudma järeldusele, et tungivalt on vaja välja töötada viise, kuidas hinnata reaalseid andmekogumeid, mis sisaldavad määramatul hulgal tehisintellekti poolt loodud sisu.
Mõnikord paistab AI autorlus silma – nagu näiteks a paber Radioloogia juhtumiaruannetest pealkirjaga "Iatrogeense portaalveeni ja maksaarteri vigastuse edukas ravi 4-kuusel naispatsiendil: juhtumiaruanne ja kirjanduse ülevaade".
See segane lõik on natuke kingitus: „Kokkuvõttes kahepoolsete iatrogeensete häirete haldamine on mul väga kahju, kuid mul pole juurdepääsu reaalajas teabele ega patsiendipõhistele andmetele, kuna olen AI keelemudel. .”
Kuid erinevus ei ole alati ilmne ja varasemad katsed töötada välja automatiseeritud viis inimese kirjutatud teksti sorteerimiseks robo-proosast ei ole hästi läinud. OpenAI näiteks tutvustas AI teksti klassifikaatorit selleks 2023. aasta jaanuaris, alles kuus kuud hiljem sulgemiseks.madala täpsuse tõttu. "
Sellegipoolest, Liang et al väidavad, et keskendumine omadussõnade kasutamisele tekstis – selle asemel, et püüda hinnata terveid dokumente, lõike või lauseid – annab usaldusväärsema tulemuse.
Autorid võtsid kaks andmekogumit ehk korpust – ühe kirjutasid inimesed ja teise masinaid. Ja nad kasutasid neid kahte tekstiosa, et hinnata hinnanguid – konverentsi tehisintellekti ettekannete eksperdihinnanguid – konkreetsete omadussõnade sageduse osas.
"[Kõik meie arvutused sõltuvad ainult igas dokumendis sisalduvatest omadussõnadest," selgitasid nad. "Leidsime, et see sõnavaravalik on stabiilsem kui muude kõneosade (nt määrsõnad, tegusõnad, nimisõnad või kõik võimalikud märgid) kasutamine."
Selgub, et LLM-id kipuvad kasutama omadussõnu nagu "kiiduväärt", "uuenduslik" ja "kõikehõlmav" sagedamini kui inimautorid. Ja sellised statistilised erinevused sõnakasutuses on võimaldanud pätidel tuvastada paberite ülevaateid, kus LLM-i abi peetakse tõenäoliseks.
LLM-i tagasiside 100 populaarseima omadussõna sõnapilv, fondi suurus näitab sagedust (suurendamiseks klõpsake)
"Meie tulemused näitavad, et 6.5–16.9 protsenti nendele konverentsidele vastastikuse eksperdihinnanguna esitatud tekstist võisid LLM-id oluliselt muuta, st lisaks õigekirjakontrollile või väiksematele kirjutamisuuendustele," väitsid autorid, märkides, et töö ülevaated teadusajakiri Nature ei näita mehhaniseeritud abi märke.
Mitmed tegurid näivad olevat korrelatsioonis suurema LLM-i kasutamisega. Üks on lähenev tähtaeg: autorid leidsid, et kolm päeva või vähem enne tähtaega esitatud arvustuste puhul ilmnes LLM-i näivkasutus väike, kuid järjekindlalt.
Uurijad rõhutasid, et nende eesmärk ei olnud anda hinnanguid tehisintellekti kirjutamisabi kasutamise kohta ega väita, et ükski nende hinnatud dokument on kirjutatud täielikult AI mudeli abil. Kuid nad väitsid, et teadusringkonnad peavad olema LLM-ide kasutamise osas läbipaistvamad.
Ja nad väitsid, et sellised tavad jätavad need, kelle tööd üle vaadatakse, ilma ekspertide mitmekülgsest tagasisidest. Veelgi enam, tehisintellekti tagasiside ohustab homogeniseerimisefekti, mis kaldub AI-mudelite kõrvalekallete poole ja eemale sisulisest ülevaatest. ®
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :on
- :mitte
- : kus
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- MEIST
- juurdepääs
- AI
- Materjal: BPA ja flataatide vaba plastik
- lubatud
- alati
- am
- Ameerika
- summa
- an
- analüüsitud
- ja
- mistahes
- ilmne
- ilmuma
- läheneb
- vaidlesid
- kunstlik
- tehisintellekti
- AS
- hinnata
- Abi
- At
- Katsed
- autorid
- Autorsus
- Automatiseeritud
- ära
- põhineb
- BE
- olnud
- enne
- on
- vahel
- Peale
- kalduvusi
- Natuke
- asutused
- kuid
- by
- arvutused
- kao
- juhul
- juhtumiuuring
- ChatGPT
- Chen
- valik
- nõudma
- klõps
- Cloud
- CO
- kiiduväärt
- kogukond
- täiesti
- terviklik
- lõpetama
- Konverents
- konverentsid
- järjepidev
- sisaldama
- sisaldub
- väidavad
- sisu
- võiks
- Daniel
- andmed
- andmekogumid
- Päeva
- tähtaeg
- loetakse
- sõltuvad
- arendama
- erinevused
- Raskus
- diskursus
- arutelu
- eristamine
- mitu
- do
- dokument
- dokumendid
- domineerivad
- don
- e
- iga
- mõju
- rõhutas
- suurendada
- Kogu
- õigus
- hindama
- hinnatud
- hindamised
- näide
- näitama
- ekspertide
- selgitas
- tegurid
- tagasiside
- naine
- järeldused
- keskendunud
- keskendumine
- eest
- avastatud
- Sagedus
- sageli
- Alates
- generatiivne
- Generatiivne AI
- give
- läinud
- suurem
- Grupp
- Olema
- aitama
- HTTPS
- huang
- inim-
- Inimestel
- i
- identifitseerima
- mõju
- in
- Kaasa arvatud
- Suurendama
- Näitab
- info
- vigastus
- uuenduslik
- ülevaade
- Intelligentsus
- Kavatsus
- huvi
- pole
- IT
- ITS
- james
- Jaanuar
- ajakiri
- jpg
- Labs
- keel
- suur
- viimane
- Eelmisel aastal
- pärast
- juhtivate
- Leads
- õppimine
- Led
- vähem
- nagu
- Tõenäoliselt
- kirjandus
- LLM
- Madal
- masin
- masinõpe
- masinad
- juhtimine
- tähendusrikas
- alaealine
- mudel
- mudelid
- modifitseeritud
- järelevalve
- kuu
- rohkem
- loodus
- Vajadus
- vajadustele
- uudised
- märkides
- nimisõnad
- nüüd
- Ilmne
- of
- on
- ONE
- ainult
- OpenAI
- or
- Muu
- meie
- välja
- dokumendid
- osad
- sooritama
- läbipääsu
- minevik
- patsient
- peer
- partnerit
- protsent
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Portal
- võimalik
- potentsiaalselt
- tavad
- avalik
- eesmärk
- määr
- pigem
- päris maailm
- reaalajas
- hiljuti
- usaldusväärne
- aru
- Teatatud
- Aruanded
- Teadlased
- Tulemused
- läbi
- -Läbi
- läbivaatamine
- Arvustused
- Tõusma
- riskide
- s
- Santa
- Skaala
- teaduslik
- Komplektid
- Märgid
- SIX
- Kuus kuud
- SUURUS
- väike
- mõned
- konkreetse
- kõne
- Stabiilsus
- seisab
- Stanford
- Stanfordi ülikool
- statistiline
- Uuring
- esitatud
- oluliselt
- edukas
- selline
- soovitama
- KOKKUVÕTE
- võtnud
- Tehniline
- kipuvad
- tekst
- kui
- et
- .
- oma
- Neile
- Seal.
- Need
- nad
- see
- need
- kolm
- pealkirjaga
- et
- märgid
- võttis
- ülemine
- suunas
- läbipaistev
- üritab
- lülitub
- kaks
- kohustus
- Ülikool
- Uudised
- kiireloomuline
- Kasutus
- kasutama
- Kasutatud
- kasutamine
- väga
- oli
- Tee..
- kuidas
- we
- Hästi
- olid
- M
- kelle
- koos
- sõna
- Töö
- kirjutamine
- kirjalik
- Ye
- aasta
- sephyrnet
- Zhao