Academicieni concentrați pe inteligența artificială au început să folosească AI generativă pentru a-i ajuta să revizuiască munca de învățare automată a colegilor.
Un grup de cercetători de la Universitatea Stanford, NEC Labs America și UC Santa Barbara a analizat recent evaluările inter pares ale lucrărilor prezentate la conferințe de IA de top, inclusiv ICLR 2024, NeurIPS 2023, CoRL 2023 și EMNLP 2023.
Autorii – Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland și James Y Zou – și-au raportat descoperirile în o hartie intitulat „Monitorizarea conținutului modificat prin inteligență artificială la scară: un studiu de caz privind impactul ChatGPT asupra evaluărilor reciproce ale conferințelor AI”.
Ei au întreprins studiul pe baza interesului public și a discuțiilor asupra modelelor lingvistice mari care au dominat discursul tehnic anul trecut.
Autorii au descoperit o creștere mică, dar consistentă, a utilizării aparente a LLM pentru recenziile trimise cu trei zile sau mai puțin înainte de termenul limită.
Dificultatea de a face distincția între textul scris de oameni și de mașină și creșterea raportată în Site-uri de știri AI i-a determinat pe autori la concluzia că este nevoie urgentă de a dezvolta modalități de evaluare a seturilor de date din lumea reală care conțin o cantitate nedeterminată de conținut creat de AI.
Uneori, autorul AI iese în evidență – ca într-un hârtie din Rapoartele de caz de radiologie intitulate „Managementul cu succes al unei leziuni iatrogene ale venei porte și arterei hepatice la o pacientă de 4 luni: raport de caz și revizuire a literaturii”.
Acest pasaj confuz este un pic un dar: „În rezumat, managementul iatrogenului bilateral, îmi pare foarte rău, dar nu am acces la informații în timp real sau la date specifice pacientului, deoarece sunt un model de limbaj AI. .”
Dar distincția nu este întotdeauna evidentă, iar încercările anterioare de a dezvolta o modalitate automată de sortare a textului scris de oameni de robo-proză nu au mers bine. OpenAI, de exemplu a introdus un clasificator de text AI în acest scop în ianuarie 2023, doar pentru a-l închide șase luni mai târziu.datorită ratei sale scăzute de precizie. "
Cu toate acestea, Liang et al susțin că concentrarea pe utilizarea adjectivelor într-un text – mai degrabă decât încercarea de a evalua documente întregi, paragrafe sau propoziții – duce la rezultate mai fiabile.
Autorii au luat două seturi de date sau corpuri – unul scris de oameni și celălalt scris de mașini. Și au folosit aceste două corpuri de text pentru a evalua evaluările – evaluările inter pares ale lucrărilor conferinței AI – pentru frecvența adjectivelor specifice.
„[Toate calculele noastre depind doar de adjectivele conținute în fiecare document”, au explicat ei. „Am descoperit că această alegere de vocabular prezintă o mai mare stabilitate decât utilizarea altor părți de vorbire, cum ar fi adverbe, verbe, substantive sau toate indicatoarele posibile.”
Se pare că LLM-urile tind să folosească adjective precum „lăudabil”, „inovator” și „cuprinzător” mai frecvent decât autorii umani. Și astfel de diferențe statistice în utilizarea cuvintelor au permis boffins să identifice recenzii ale lucrărilor în care asistența LLM este considerată probabilă.
Nor de cuvinte de top 100 de adjective în feedback LLM, cu dimensiunea fontului indicând frecvența (click pentru a mări)
„Rezultatele noastre sugerează că între 6.5 la sută și 16.9 la sută din textul trimis ca evaluări inter pares la aceste conferințe ar fi putut fi modificat substanțial de către LLM, adică dincolo de verificarea ortografică sau actualizări minore ale scrisului”, au susținut autorii, observând că recenziile lucrărilor din revista științifică Nature nu prezintă semne de asistență mecanizată.
Mai mulți factori par a fi corelați cu o utilizare mai mare a LLM. Unul este un termen limită care se apropie: autorii au constatat o creștere mică, dar consistentă, a utilizării aparente a LLM pentru recenziile trimise cu trei zile sau mai puțin înainte de termenul limită.
Cercetătorii au subliniat că intenția lor nu a fost să judece utilizarea asistenței pentru scriere AI și nici să susțină că oricare dintre lucrările pe care le-au evaluat a fost scrisă în întregime printr-un model AI. Dar ei au susținut că comunitatea științifică trebuie să fie mai transparentă cu privire la utilizarea LLM-urilor.
Și au susținut că astfel de practici îi privează potențial pe cei a căror activitate este revizuită de feedback variat din partea experților. În plus, feedback-ul AI riscă un efect de omogenizare care se înclină spre prejudecățile modelului AI și departe de o perspectivă semnificativă. ®
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :este
- :nu
- :Unde
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- Despre Noi
- acces
- AI
- TOATE
- permis
- mereu
- am
- America
- sumă
- an
- analizate
- și
- Orice
- aparent
- apărea
- se apropie
- a susținut
- artificial
- inteligență artificială
- AS
- evalua
- Asistență
- At
- Încercările
- Autorii
- Paternitate
- Automata
- departe
- bazat
- BE
- fost
- înainte
- fiind
- între
- Dincolo de
- distorsiunilor
- Pic
- organisme
- dar
- by
- calcule
- cao
- caz
- studiu de caz
- Chat GPT
- chen
- alegere
- pretinde
- clic
- Cloud
- CO
- lăudabil
- comunitate
- complet
- cuprinzător
- încheia
- Conferință
- conferințe
- consistent
- conţine
- conținute
- lupta
- conţinut
- ar putea
- Daniel
- de date
- seturi de date
- Zi
- Termenul limită
- considerate
- depinde
- dezvolta
- diferenţele
- Dificultate
- discuție
- discuţie
- distincție
- diferit
- do
- document
- documente
- dominată
- don
- e
- fiecare
- efect
- accentuat
- mări
- Întreg
- Intitulat
- evalua
- evaluat
- evaluări
- exemplu
- expune
- experți
- a explicat
- factori
- feedback-ul
- Femeie
- constatările
- concentrat
- concentrându-se
- Pentru
- găsit
- Frecvență
- frecvent
- din
- generativ
- AI generativă
- giveaway
- plecat
- mai mare
- grup
- Avea
- ajutor
- HTTPS
- huang
- uman
- Oamenii
- i
- identifica
- Impactul
- in
- Inclusiv
- Crește
- indicând
- informații
- rănire
- inovatoare
- înţelegere
- Inteligență
- intenţie
- interes
- ISN
- IT
- ESTE
- james
- ianuarie
- jurnal
- jpg
- Labs
- limbă
- mare
- Nume
- Anul trecut
- mai tarziu
- conducere
- Conduce
- învăţare
- Led
- mai puțin
- ca
- Probabil
- literatură
- LLM
- Jos
- maşină
- masina de învățare
- Masini
- administrare
- semnificativ
- minor
- model
- Modele
- modificată
- Monitorizarea
- luni
- mai mult
- Natură
- Nevoie
- nevoilor
- ştiri
- observând
- substantive
- acum
- evident
- of
- on
- ONE
- afară
- OpenAI
- or
- Altele
- al nostru
- afară
- lucrări
- piese
- trece
- trecere
- trecut
- pacient
- egal
- colegii
- la sută
- Plato
- Informații despre date Platon
- PlatoData
- Portal
- posibil
- potenţial
- practicile
- public
- scop
- rată
- mai degraba
- lumea reală
- în timp real
- recent
- de încredere
- raportează
- Raportat
- Rapoarte
- cercetători
- REZULTATE
- revizuiască
- revizuite
- revizuirea
- Recenzii
- Ridica
- Riscurile
- s
- Mos Craciun
- Scară
- ştiinţific
- Seturi
- Semne
- SIX
- Șase luni
- Mărimea
- mic
- unele
- specific
- discurs
- Stabilitate
- Standuri
- stanford
- Universitatea Stanford
- statistic
- Studiu
- prezentat
- substanţial
- de succes
- astfel de
- sugera
- REZUMAT
- luate
- Tehnic
- Tind
- a) Sport and Nutrition Awareness Day in Manasia Around XNUMX people from the rural commune Manasia have participated in a sports and healthy nutrition oriented activity in one of the community’s sports ready yards. This activity was meant to gather, mainly, middle-aged people from a Romanian rural community and teach them about the benefits that sports have on both their mental and physical health and on how sporting activities can be used to bring people from a community closer together. Three trainers were made available for this event, so that the participants would get the best possible experience physically and so that they could have the best access possible to correct information and good sports/nutrition practices. b) Sports Awareness Day in Poiana Țapului A group of young participants have taken part in sporting activities meant to teach them about sporting conduct, fairplay, and safe physical activities. The day culminated with a football match.
- decât
- acea
- lor
- Lor
- Acolo.
- Acestea
- ei
- acest
- aceste
- trei
- cu denumirea
- la
- indicativele
- a luat
- top
- spre
- transparent
- încercat
- se transformă
- Două
- intreprins
- universitate
- actualizări
- urgent
- Folosire
- utilizare
- utilizat
- folosind
- foarte
- a fost
- Cale..
- modalități de
- we
- BINE
- au fost
- Ce
- a caror
- cu
- Cuvânt
- Apartamente
- scris
- scris
- Ye
- an
- zephyrnet
- Zhao