Akademiki, ki se osredotočajo na umetno inteligenco, so začeli uporabljati generativno umetno inteligenco, da bi jim pomagali pregledati delo strojnega učenja vrstnikov.
Skupina raziskovalcev z Univerze Stanford, NEC Labs America in UC Santa Barbara je nedavno analizirala medsebojne ocene člankov, predloženih na vodilnih konferencah AI, vključno z ICLR 2024, NeurIPS 2023, CoRL 2023 in EMNLP 2023.
Avtorji – Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland in James Y Zou – so poročali o svojih ugotovitvah v papir z naslovom »Spremljanje vsebine, spremenjene z umetno inteligenco v velikem obsegu: študija primera o vplivu ChatGPT na strokovne preglede konferenc AI«.
Študije so se lotili na podlagi javnega zanimanja in razprave o velikih jezikovnih modelih, ki so lani prevladovali v tehničnem diskurzu.
Avtorji so ugotovili majhno, a dosledno povečanje očitne uporabe LLM za ocene, oddane tri dni ali manj pred rokom
Težave pri razlikovanju med človeško in strojno napisanim besedilom ter o poročanem porastu Spletna mesta z novicami o AI je avtorje privedlo do zaključka, da je nujno treba razviti načine za vrednotenje naborov podatkov iz resničnega sveta, ki vsebujejo nekaj nedoločene količine vsebine, ki jo je ustvaril AI.
Včasih avtorstvo AI izstopa – kot pri a papirja iz Radioloških poročil o primerih z naslovom »Uspešno zdravljenje iatrogene poškodbe portalne vene in jetrne arterije pri 4-mesečni pacientki: poročilo o primeru in pregled literature«.
Ta zmešan odlomek je nekaj posebnega: »Če povzamem, obvladovanje dvostranskih iatrogenih. Zelo mi je žal, vendar nimam dostopa do informacij v realnem času ali podatkov o posameznem bolniku, saj sem jezikovni model AI .”
Toda razlika ni vedno očitna in pretekli poskusi, da bi razvili avtomatiziran način za razvrščanje človeško napisanega besedila iz robo-proze, niso šli dobro. OpenAI, na primer uvedel AI Text Classifier v ta namen januarja 2023, le da bi ga šest mesecev pozneje zaprli.zaradi nizke stopnje natančnosti«.
Kljub temu, Liang sod trdijo, da osredotočanje na uporabo pridevnikov v besedilu – namesto da bi poskušali oceniti celotne dokumente, odstavke ali stavke – vodi do bolj zanesljivih rezultatov.
Avtorji so vzeli dva niza podatkov ali korpusa – enega so napisali ljudje, drugega pa stroji. Ti dve telesi besedila so uporabili za ovrednotenje ocen – medsebojnih pregledov člankov o umetni inteligenci na konferencah – za pogostost specifičnih pridevnikov.
"[Vsi] naši izračuni so odvisni le od pridevnikov, ki jih vsebuje vsak dokument," so pojasnili. "Ugotovili smo, da ta izbira besedišča kaže večjo stabilnost kot uporaba drugih delov govora, kot so prislovi, glagoli, samostalniki ali vsi možni žetoni."
Izkazalo se je, da LLM pogosteje uporabljajo pridevnike, kot so »hvalevreden«, »inovativen« in »celovit«, kot človeški avtorji. Takšne statistične razlike v besedni rabi so avtorjem omogočile, da prepoznajo preglede dokumentov, pri katerih se zdi verjetna pomoč LLM.
Besedni oblak 100 najboljših pridevnikov v povratnih informacijah LLM, z velikostjo pisave, ki označuje pogostost (kliknite za povečavo)
"Naši rezultati kažejo, da bi med 6.5 odstotka in 16.9 odstotka besedila, predloženega kot medsebojni pregledi na teh konferencah, LLM-ji lahko bistveno spremenili, tj. poleg preverjanja črkovanja ali manjših pisnih posodobitev," so trdili avtorji in opozorili, da ocene dela v znanstvena revija Nature ne kažejo znakov mehanizirane pomoči.
Zdi se, da je več dejavnikov povezanih z večjo uporabo LLM. Ena je bližajoči se rok: avtorji so ugotovili majhno, a dosledno povečanje očitne uporabe LLM za ocene, oddane tri dni ali manj pred rokom.
Raziskovalci so poudarili, da njihov namen ni bil soditi o uporabi pomoči pri pisanju umetne inteligence niti trditi, da je bil kateri koli dokument, ki so ga ocenili, v celoti napisan z modelom umetne inteligence. Vendar so trdili, da mora biti znanstvena skupnost bolj pregledna glede uporabe LLM.
In trdili so, da takšne prakse potencialno prikrajšajo tiste, katerih delo se pregleduje, za različne povratne informacije strokovnjakov. Še več, povratne informacije AI tvegajo učinek homogenizacije, ki se nagiba k pristranskosti modela AI in proč od pomembnega vpogleda. ®
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- : je
- :ne
- :kje
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- O meni
- dostop
- AI
- vsi
- dovoljene
- vedno
- am
- Amerika
- znesek
- an
- analizirati
- in
- kaj
- očitno
- zdi
- približuje se
- trdili
- umetni
- Umetna inteligenca
- AS
- oceniti
- pomoč
- At
- Poskusi
- Avtorji
- Avtorstvo
- Avtomatizirano
- stran
- temeljijo
- BE
- bilo
- pred
- počutje
- med
- Poleg
- pristranskosti
- Bit
- Organi
- vendar
- by
- Izračuni
- adijo
- primeru
- diplomsko delo
- ChatGPT
- chen
- izbira
- trdijo
- klik
- Cloud
- CO
- hvalevredno
- skupnost
- popolnoma
- celovito
- zaključuje
- Konferenca
- konference
- dosledno
- vsebujejo
- vseboval
- trditi
- vsebina
- bi
- Daniel
- datum
- nabori podatkov
- Dnevi
- Rok
- šteje
- odvisna
- Razvoj
- razlike
- Težavnost
- diskurz
- Razprava
- razlikovanje
- razne
- do
- dokument
- Dokumenti
- prevladujejo
- don
- e
- vsak
- učinek
- je poudaril,
- Povečaj
- Celotna
- Z naslovom
- oceniti
- ocenili
- vrednotenja
- Primer
- izkazujejo
- Strokovnjaki
- razložiti
- dejavniki
- povratne informacije
- ženska
- Ugotovitve
- osredotočena
- osredotoča
- za
- je pokazala,
- frekvenca
- pogosto
- iz
- generativno
- Generativna AI
- giveaway
- več
- več
- skupina
- Imajo
- pomoč
- HTTPS
- huang
- človeškega
- Ljudje
- i
- identificirati
- vpliv
- in
- Vključno
- Povečajte
- označuje
- Podatki
- poškodbe
- inovativne
- vpogled
- Intelligence
- Namen
- obresti
- isn
- IT
- ITS
- james
- januar
- Revija
- jpg
- Labs
- jezik
- velika
- Zadnja
- Lansko leto
- pozneje
- vodi
- Interesenti
- učenje
- Led
- manj
- kot
- Verjeten
- literatura
- LLM
- nizka
- stroj
- strojno učenje
- Stroji
- upravljanje
- smiselna
- mladoletnika
- Model
- modeli
- spremembe
- spremljanje
- mesecev
- več
- Narava
- Nimate
- potrebe
- novice
- Opažam
- samostalniki
- zdaj
- Očitna
- of
- on
- ONE
- samo
- OpenAI
- or
- Ostalo
- naši
- ven
- članki
- deli
- mimo
- Prehod
- preteklosti
- Bolnik
- peer
- vrstniki
- odstotkov
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Portal
- mogoče
- potencialno
- vaje
- javnega
- Namen
- Oceniti
- precej
- resnični svet
- v realnem času
- Pred kratkim
- zanesljiv
- poročilo
- Prijavljeno
- Poročila
- raziskovalci
- Rezultati
- pregleda
- Pregledal
- pregledovanje
- Mnenja
- Rise
- tveganja
- s
- Božiček
- Lestvica
- znanstveno
- Kompleti
- Znaki
- SIX
- Šest mesecev
- Velikosti
- majhna
- nekaj
- specifična
- govor
- Stabilnost
- stojala
- Stanford
- Univerza Stanford
- Statistično
- študija
- predložen
- v bistvu
- uspešno
- taka
- predlagajte
- POVZETEK
- sprejeti
- tehnični
- nagiba
- besedilo
- kot
- da
- O
- njihove
- Njih
- Tukaj.
- te
- jih
- ta
- tisti,
- 3
- z naslovom
- do
- Boni
- vzel
- vrh
- proti
- pregleden
- poskuša
- zavoji
- dva
- se lotil
- univerza
- posodobitve
- nujno
- Uporaba
- uporaba
- Rabljeni
- uporabo
- zelo
- je
- način..
- načini
- we
- Dobro
- so bili
- Kaj
- katerih
- z
- beseda
- delo
- pisanje
- pisni
- Ye
- leto
- zefirnet
- Zhao