Academici die zich richten op kunstmatige intelligentie zijn generatieve AI gaan gebruiken om hen te helpen het machine learning-werk van collega’s te beoordelen.
Een groep onderzoekers van Stanford University, NEC Labs America en UC Santa Barbara heeft onlangs de peer reviews geanalyseerd van artikelen die zijn ingediend bij toonaangevende AI-conferenties, waaronder ICLR 2024, NeurIPS 2023, CoRL 2023 en EMNLP 2023.
De auteurs – Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland en James Y Zou – rapporteerden hun bevindingen in een krant getiteld “Monitoring van AI-gemodificeerde inhoud op schaal: een casestudy over de impact van ChatGPT op AI-conferentie peer reviews.”
Ze voerden het onderzoek uit op basis van de publieke belangstelling voor en discussie over grote taalmodellen die vorig jaar het technische discours domineerden.
De auteurs constateerden een kleine maar consistente toename in het schijnbare LLM-gebruik voor recensies die drie dagen of minder vóór de deadline werden ingediend
De moeilijkheid om onderscheid te maken tussen door mensen en machines geschreven tekst en de gerapporteerde toename van het aantal geschreven teksten AI-nieuwswebsites brachten de auteurs tot de conclusie dat er een dringende behoefte bestaat aan het ontwikkelen van manieren om datasets uit de echte wereld te evalueren die een onbepaalde hoeveelheid door AI geschreven inhoud bevatten.
Soms valt AI-auteurschap op – zoals in a papier uit Radiology Case Reports getiteld “Succesvol beheer van een iatrogene poortader en leverslagaderletsel bij een 4 maanden oude vrouwelijke patiënt: een casusrapport en literatuuroverzicht.”
Deze warrige passage is een beetje een weggeefactie: “Samengevat, het beheer van bilaterale iatrogene aandoeningen. Het spijt me zeer, maar ik heb geen toegang tot realtime informatie of patiëntspecifieke gegevens, aangezien ik een AI-taalmodel ben .”
Maar het onderscheid is niet altijd duidelijk, en eerdere pogingen om een geautomatiseerde manier te ontwikkelen om door mensen geschreven tekst te scheiden van robo-proza zijn niet goed verlopen. Open AI bijvoorbeeld introduceerde een AI-tekstclassificator daartoe in januari 2023, om het zes maanden later te sluiten “vanwege de lage nauwkeurigheid. '
Niettemin, Liang c.s. beweren dat het focussen op het gebruik van bijvoeglijke naamwoorden in een tekst – in plaats van te proberen hele documenten, paragrafen of zinnen te beoordelen – tot betrouwbaardere resultaten leidt.
De auteurs hebben twee sets gegevens of corpora gebruikt: de ene is door mensen geschreven en de andere is door machines geschreven. En ze gebruikten deze twee stukken tekst om de evaluaties – de peer reviews van conferentie-AI-papers – te evalueren op de frequentie van specifieke bijvoeglijke naamwoorden.
“[Al] onze berekeningen zijn alleen afhankelijk van de bijvoeglijke naamwoorden in elk document”, legden ze uit. "We ontdekten dat deze woordenschatkeuze een grotere stabiliteit vertoont dan het gebruik van andere woordsoorten, zoals bijwoorden, werkwoorden, zelfstandige naamwoorden of alle mogelijke tokens."
Het blijkt dat LLM’s vaker bijvoeglijke naamwoorden als ‘prijzenswaardig’, ‘innovatief’ en ‘alomvattend’ gebruiken dan menselijke auteurs. En zulke statistische verschillen in woordgebruik hebben de techneuten in staat gesteld recensies te identificeren van artikelen waarbij LLM-hulp waarschijnlijk wordt geacht.
Woordwolk van de 100 beste bijvoeglijke naamwoorden in LLM-feedback, waarbij de lettergrootte de frequentie aangeeft (klik om te vergroten)
“Onze resultaten suggereren dat tussen de 6.5 procent en 16.9 procent van de tekst die als peer reviews op deze conferenties is ingediend, substantieel gewijzigd had kunnen worden door LLM’s, dat wil zeggen afgezien van spellingcontrole of kleine schrijfupdates”, betoogden de auteurs, waarbij ze opmerkten dat recensies van werk in de het wetenschappelijke tijdschrift Nature vertoont geen tekenen van gemechaniseerde hulp.
Verschillende factoren lijken gecorreleerd te zijn met een groter LLM-gebruik. Eén daarvan is een naderende deadline: de auteurs constateerden een kleine maar consistente toename in het schijnbare LLM-gebruik voor recensies die drie dagen of minder vóór de deadline werden ingediend.
De onderzoekers benadrukten dat het niet hun bedoeling was om een oordeel te vellen over het gebruik van AI-schrijfhulp, noch om te beweren dat de door hen geëvalueerde artikelen volledig door een AI-model waren geschreven. Maar zij voerden aan dat de wetenschappelijke gemeenschap transparanter moet zijn over het gebruik van LLM's.
En zij voerden aan dat dergelijke praktijken degenen wier werk wordt beoordeeld mogelijk de uiteenlopende feedback van deskundigen ontnemen. Bovendien riskeert AI-feedback een homogeniseringseffect dat zich richt op vooroordelen over AI-modellen en weggaat van betekenisvol inzicht. ®
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :is
- :niet
- :waar
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- Over
- toegang
- AI
- Alles
- toegestaan
- altijd
- am
- Amerika
- bedragen
- an
- geanalyseerd
- en
- elke
- schijnbaar
- verschijnen
- naderen
- betoogde
- kunstmatig
- kunstmatige intelligentie
- AS
- schatten
- Hulp
- At
- pogingen
- auteurs
- Auteurschap
- geautomatiseerde
- weg
- gebaseerde
- BE
- geweest
- vaardigheden
- wezen
- tussen
- Verder
- vooroordelen
- Beetje
- lichamen
- maar
- by
- berekeningen
- cao
- geval
- case study
- ChatGPT
- chen
- keuze
- aanspraak maken op
- Klik
- Cloud
- CO
- prijzenswaardig
- gemeenschap
- compleet
- uitgebreid
- concludeert
- Conferentie
- conferenties
- consequent
- bevatten
- bevatte
- strijden
- content
- kon
- Daniel
- gegevens
- gegevenssets
- dagen
- termijn
- geacht
- afhangen
- ontwikkelen
- verschillen
- Moeilijkheid
- redevoering
- discussie
- onderscheid
- diversen
- do
- document
- documenten
- gedomineerde
- don
- e
- elk
- effect
- benadrukte
- vergroten
- Geheel
- gerechtigd
- schatten
- geëvalueerd
- evaluaties
- voorbeeld
- tentoonstellen
- deskundigen
- uitgelegd
- factoren
- feedback
- vrouw
- bevindingen
- gericht
- gericht
- Voor
- gevonden
- Frequentie
- vaak
- oppompen van
- generatief
- generatieve AI
- giveaway
- weg
- meer
- Groep
- Hebben
- hulp
- HTTPS
- Huang
- menselijk
- Mensen
- i
- identificeren
- Impact
- in
- Inclusief
- Laat uw omzet
- wat aangeeft
- informatie
- letsel
- innovatieve
- inzicht
- Intelligentie
- Bedoeling
- belang
- isn
- IT
- HAAR
- james
- Januari
- tijdschrift
- jpg
- Labs
- taal
- Groot
- Achternaam*
- Afgelopen jaar
- later
- leidend
- Leads
- leren
- LED
- minder
- als
- Waarschijnlijk
- literatuur
- LLM
- Laag
- machine
- machine learning
- Machines
- management
- zinvolle
- minder
- model
- modellen
- gewijzigd
- Grensverkeer
- maanden
- meer
- NATUUR
- Noodzaak
- behoeften
- nieuws
- opmerkend
- zelfstandige naamwoorden
- nu
- Voor de hand liggend
- of
- on
- EEN
- Slechts
- OpenAI
- or
- Overige
- onze
- uit
- papieren
- onderdelen
- passeren
- passage
- verleden
- patiënt
- turen
- collega's
- procent
- Plato
- Plato gegevensintelligentie
- PlatoData
- Portaal
- mogelijk
- mogelijk
- praktijken
- publiek
- doel
- tarief
- liever
- echte wereld
- real-time
- onlangs
- betrouwbaar
- verslag
- gemeld
- Rapporten
- onderzoekers
- Resultaten
- beoordelen
- beoordeeld
- herzien
- Recensies
- Stijgen
- risico's
- s
- Kerstman
- Scale
- wetenschappelijk
- Sets
- Signs
- ZES
- Zes maanden
- Maat
- Klein
- sommige
- specifiek
- toespraak
- Stabiliteit
- staat
- stanford
- Stanford University
- statistisch
- Studie
- ingediend
- wezenlijk
- geslaagd
- dergelijk
- stel
- OVERZICHT
- ingenomen
- Technisch
- Neiging
- tekst
- neem contact
- dat
- De
- hun
- Ze
- Er.
- Deze
- ze
- dit
- die
- drie
- getiteld
- naar
- tokens
- nam
- top
- in de richting van
- transparant
- proberen
- wordt
- twee
- ondernam
- universiteit-
- updates
- dringend
- Gebruik
- .
- gebruikt
- gebruik
- zeer
- was
- Manier..
- manieren
- we
- GOED
- waren
- Wat
- waarvan
- Met
- Woord
- Mijn werk
- het schrijven van
- geschreven
- Ye
- jaar
- zephyrnet
- Zhao