Gli accademici focalizzati sull’intelligenza artificiale hanno iniziato a utilizzare l’intelligenza artificiale generativa per aiutarli a rivedere il lavoro di apprendimento automatico dei colleghi.
Un gruppo di ricercatori della Stanford University, NEC Labs America e UC Santa Barbara ha recentemente analizzato le peer review di articoli presentati alle principali conferenze sull’intelligenza artificiale, tra cui ICLR 2024, NeurIPS 2023, CoRL 2023 e EMNLP 2023.
Gli autori – Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland e James Y Zou – hanno riportato le loro scoperte in un documento intitolato "Monitoraggio dei contenuti modificati dall'intelligenza artificiale su larga scala: un caso di studio sull'impatto di ChatGPT sulle revisioni tra pari delle conferenze AI".
Hanno intrapreso lo studio basandosi sull’interesse pubblico e sulla discussione dei grandi modelli linguistici che hanno dominato il discorso tecnico lo scorso anno.
Gli autori hanno riscontrato un piccolo ma costante aumento nell'apparente utilizzo del LLM per le revisioni inviate tre giorni o meno prima della scadenza
Aumenta la difficoltà di distinguere tra testo scritto da uomini e da macchine e quanto riportato Siti web di notizie sull'intelligenza artificiale ha portato gli autori a concludere che esiste un urgente bisogno di sviluppare modi per valutare set di dati del mondo reale che contengono una quantità indeterminata di contenuti creati dall’intelligenza artificiale.
A volte la paternità dell'IA risalta, come in a carta da Rapporti di casi di radiologia intitolati "Gestione di successo di una vena porta iatrogena e di lesione dell'arteria epatica in una paziente di 4 mesi: rapporto di un caso e revisione della letteratura".
Questo passaggio confuso è un po' un omaggio: “In sintesi, la gestione della iatrogenicità bilaterale mi dispiace molto, ma non ho accesso alle informazioni in tempo reale o ai dati specifici del paziente, poiché sono un modello linguistico dell'IA .”
Ma la distinzione non è sempre ovvia, e i tentativi passati di sviluppare un modo automatizzato per separare il testo scritto dall’uomo dalla prosa robotica non sono andati bene. OpenAI, per esempio ha introdotto un classificatore di testo AI a tale scopo nel gennaio 2023, per poi chiuderla sei mesi dopo”a causa del suo basso tasso di precisione. "
Tuttavia, Liang et al sostengono che concentrarsi sull’uso degli aggettivi in un testo – piuttosto che cercare di valutare interi documenti, paragrafi o frasi – porta a risultati più affidabili.
Gli autori hanno preso due serie di dati, o corpora: uno scritto da esseri umani e l’altro scritto da macchine. E hanno utilizzato questi due corpi di testo per valutare le valutazioni – le revisioni tra pari degli articoli della conferenza sull’intelligenza artificiale – per la frequenza di aggettivi specifici.
"[Tutti] i nostri calcoli dipendono solo dagli aggettivi contenuti in ciascun documento", hanno spiegato. "Abbiamo scoperto che questa scelta di vocabolario mostra una maggiore stabilità rispetto all'utilizzo di altre parti del discorso come avverbi, verbi, sostantivi o tutti i simboli possibili."
Si scopre che i LLM tendono a utilizzare aggettivi come “lodevole”, “innovativo” e “completo” più frequentemente rispetto agli autori umani. E tali differenze statistiche nell'uso delle parole hanno permesso agli scienziati di identificare le revisioni degli articoli in cui si ritiene probabile l'assistenza LLM.
Nuvola di parole dei 100 principali aggettivi nel feedback LLM, con la dimensione del carattere che indica la frequenza (fare clic per ingrandire)
"I nostri risultati suggeriscono che tra il 6.5% e il 16.9% del testo presentato come peer review a queste conferenze avrebbe potuto essere sostanzialmente modificato dai LLM, cioè oltre il controllo ortografico o piccoli aggiornamenti scritti", hanno sostenuto gli autori, sottolineando che le revisioni del lavoro nelle rivista scientifica Nature non mostrano segni di assistenza meccanizzata.
Diversi fattori sembrano essere correlati con un maggiore utilizzo del LLM. Il primo è l'avvicinarsi della scadenza: gli autori hanno riscontrato un piccolo ma costante aumento nell'apparente utilizzo del LLM per le revisioni inviate tre giorni o meno prima della scadenza.
I ricercatori hanno sottolineato che la loro intenzione non era quella di esprimere un giudizio sull’uso dell’assistenza alla scrittura basata sull’intelligenza artificiale, né di affermare che nessuno dei documenti valutati fosse stato scritto completamente da un modello di intelligenza artificiale. Ma hanno sostenuto che la comunità scientifica deve essere più trasparente sull’uso dei LLM.
E hanno sostenuto che tali pratiche potenzialmente privano coloro il cui lavoro viene esaminato di feedback diversi da parte degli esperti. Inoltre, il feedback dell’intelligenza artificiale rischia di creare un effetto di omogeneizzazione che tende a favorire i pregiudizi del modello di intelligenza artificiale e ad allontanarsi da informazioni significative. ®
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
- Fonte: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :È
- :non
- :Dove
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- WRI
- accesso
- AI
- Tutti
- permesso
- sempre
- am
- America
- quantità
- an
- analizzato
- ed
- in qualsiasi
- apparente
- apparire
- si avvicina
- sostenuto
- artificiale
- intelligenza artificiale
- AS
- valutare
- Assistenza
- At
- Tentativi
- gli autori
- Paternità
- Automatizzata
- lontano
- basato
- BE
- stato
- prima
- essendo
- fra
- Al di là di
- pregiudizi
- Po
- corpi
- ma
- by
- calcoli
- cao
- Custodie
- caso di studio
- ChatGPT
- chen
- scegliere
- rivendicare
- clicca
- Cloud
- CO
- lodevole
- comunità
- completamente
- globale
- concludere
- Convegno
- conferenze
- coerente
- contenere
- contenute
- contendere
- contenuto
- potuto
- Daniel
- dati
- set di dati
- Giorni
- scadenza
- ritenuto
- dipendere
- sviluppare
- differenze
- Livello di difficoltà
- discorso
- discussione
- distinzione
- paesaggio differenziato
- do
- documento
- documenti
- dominato
- don
- e
- ogni
- effetto
- sottolineato
- ingrandire
- Intero
- dal titolo
- valutare
- valutato
- valutazioni
- esempio
- mostra
- esperti
- ha spiegato
- Fattori
- feedback
- la donna
- I risultati
- concentrato
- messa a fuoco
- Nel
- essere trovato
- Frequenza
- frequentemente
- da
- generativo
- AI generativa
- giveaway
- andato
- maggiore
- Gruppo
- Avere
- Aiuto
- HTTPS
- huang
- umano
- Gli esseri umani
- i
- identificare
- Impact
- in
- Compreso
- Aumento
- indicando
- informazioni
- ferita
- creativi e originali
- intuizione
- Intelligence
- Intenzione
- interesse
- ISN
- IT
- SUO
- Giacomo
- Gennaio
- rivista
- jpg
- Labs
- Lingua
- grandi
- Cognome
- L'anno scorso
- dopo
- principale
- Leads
- apprendimento
- Guidato
- meno
- piace
- probabile
- letteratura
- LLM
- Basso
- macchina
- machine learning
- macchine
- gestione
- significativo
- minore
- modello
- modelli
- modificato
- monitoraggio
- mese
- Scopri di più
- Natura
- Bisogno
- esigenze
- notizie
- notando
- sostantivi
- adesso
- ovvio
- of
- on
- ONE
- esclusivamente
- OpenAI
- or
- Altro
- nostro
- su
- documenti
- Ricambi
- passare
- passaggio
- passato
- paziente
- pera
- coetanei
- per cento
- Platone
- Platone Data Intelligence
- PlatoneDati
- Portale
- possibile
- potenzialmente
- pratiche
- la percezione
- scopo
- tasso
- piuttosto
- mondo reale
- tempo reale
- recentemente
- affidabile
- rapporto
- Segnalati
- Report
- ricercatori
- Risultati
- recensioni
- rivisto
- revisione
- Recensioni
- Aumento
- rischi
- s
- Babbo
- Scala
- scientifico
- Set
- Segni
- SIX
- Sei mesi
- Taglia
- piccole
- alcuni
- specifico
- discorso
- Stabilità
- si
- stanford
- Università di Stanford
- statistiche
- Studio
- presentata
- sostanzialmente
- di successo
- tale
- suggerire
- SOMMARIO
- preso
- Consulenza
- Tendono
- testo
- di
- che
- Il
- loro
- Li
- Là.
- Strumenti Bowman per analizzare le seguenti finiture:
- di
- questo
- quelli
- tre
- titolato
- a
- Tokens
- ha preso
- top
- verso
- trasparente
- cerca
- si
- seconda
- impegnava
- Università
- Aggiornamenti
- urgente
- Impiego
- uso
- utilizzato
- utilizzando
- molto
- Prima
- Modo..
- modi
- we
- WELL
- sono stati
- Che
- di chi
- con
- Word
- Lavora
- scrittura
- scritto
- Ye
- anno
- zefiro
- Zhao