Teadlased pettusid uskuma, et ChatGPT kirjutatud võltskokkuvõtted olid tõelised

Taasavaldanud Platon

järgijaid: 0

Teadlased, keda peteti uskuma, et ChatGPT kirjutatud võltskokkuvõtted olid tõeline PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.

Viimaste uuringute kohaselt võib akadeemikuid eksitada uskuma, et ChatGPT loodud võlts teaduslikud kokkuvõtted pärinevad tõelistest meditsiinilistest artiklitest, mis on avaldatud parimates teadusajakirjades.

Northwesterni ülikooli juhitud teadlaste meeskond Kasutatud OpenAI välja töötatud teksti genereerimise tööriist, et koostada 50 kokkuvõtet tõelise teadusliku artikli pealkirja alusel viie erineva meditsiiniajakirja stiilis.

Neli akadeemikut kutsuti testis osalema ja nad jagati kahte kaheliikmelisse rühma. Elektroonilist mündiviskamist kasutati selleks, et otsustada, kas igas rühmas anti ühele arvustajale tõeline või võlts tehisintellekti loodud kokkuvõte. Kui ühele uurijale anti tõeline abstrakt, siis teisele võlts ja vastupidi. Iga inimene vaatas läbi 25 teaduslikku kokkuvõtet.

Arvustajad suutsid tuvastada 68 protsenti tehisintellekti loodud võltskokkuvõtetest ja 86 protsenti tõeliste paberite originaalkokkuvõtetest. Teisisõnu peteti neid edukalt arvama, et 32 protsenti tehisintellektiga kirjutatud kokkuvõtetest on tõelised ja 14 protsenti tõelistest kokkuvõtetest olid võltsitud.

Catherine Gao, uuringu esimene autor ja Northwesterni ülikooli pulmonoloogiale spetsialiseerunud arst ja teadlane, ütles, et see näitab, et ChatGPT võib olla üsna veenev. "Meie arvustajad teadsid, et mõned neile antud kokkuvõtted olid võltsitud, nii et need olid väga kahtlustavad," ütles avalduses.

„Asjaolu, et meie retsensendid jätsid 32 [protsendil] ajast AI-ga loodud analüüse siiski kahe silma vahele, tähendab, et need kokkuvõtted on tõesti head. Ma kahtlustan, et kui keegi lihtsalt satuks ühele neist loodud kokkuvõtetest, ei saaks ta tingimata tuvastada, et see on AI kirjutatud.

Suured keelemudelid, nagu ChatGPT, on koolitatud suure hulga Internetist kraabitud tekstiga. Nad õpivad teksti genereerima, ennustades, millised sõnad antud lauses tõenäolisemalt esinevad, ja oskavad kirjutada grammatiliselt täpset süntaksit. Pole üllatav, et isegi akadeemikuid võidakse petta uskuma, et tehisintellekti loodud kokkuvõtted on tõelised. Suured keelemudelid suudavad hästi toota selge struktuuri ja mustritega teksti. Teaduslikud kokkuvõtted järgivad sageli sarnaseid vorminguid ja võivad olla üsna ebamäärased.

"Meie arvustajad kommenteerisid, et tegelikku ja võltsitud kokkuvõtet oli üllatavalt raske eristada," ütles Gao. "ChatGPT-ga loodud kokkuvõtted olid väga veenvad ... see isegi teab, kui suur peaks olema patsientide kohort, kui ta numbreid leiutab." Näiteks hüpertensiooni võltskokkuvõte kirjeldas kümnete tuhandete osalejatega uuringut, samas kui ahvirõugete uuringus osales väiksem arv patsiente.

Üllatavalt raske oli vahet teha tõelistel ja võltsitud abstraktidel

Gao usub, et sellised tööriistad nagu ChatGPT hõlbustavad paberivabrikutel, kes saavad kasu uuringute avaldamisest, võltsitud teadusartiklite väljastamise. "Kui teised inimesed püüavad oma teadust nendest valedest uuringutest üles ehitada, võib see olla tõesti ohtlik," lisas ta.

Kuid nende tööriistade kasutamisel on ka eeliseid. Uuringu kaasautor ja Chicago ülikooli meditsiinidotsent Alexander Pearson ütles, et nad võiksid aidata muukeelsetel inglise teadlastel paremini kirjutada ja oma töid jagada.

AI tuvastab masinteksti paremini kui inimene. Tasuta GPT-2 väljunddetektor, näiteks suutis enam kui 50 protsendi kindlusega arvata, et 33 artiklist 50 on tõepoolest loodud keelemudeli abil. Teadlased usuvad, et paberkandjal esildised tuleks läbi viia nende detektorite kaudu ja teadlased peaksid olema nende tööriistade kasutamisel läbipaistvad.

„Me ei kasutanud ChatGPT-d oma kokkuvõtte või käsikirja kirjutamisel, kuna piirid, kas akadeemiline ringkond seda vastuvõetavaks peab, on endiselt ebaselged. Näiteks rahvusvaheline masinõppe konverents on kehtestanud poliitika keelates selle kasutamist, kuigi nad tunnistavad, et arutelu areneb jätkuvalt, ja selgitasid ka, et on okei, kui seda kasutatakse "redigeerimiseks või lihvimiseks", "ütles Gao. Register.

"Kuid on rühmitusi, kes on hakanud seda kirjutamise abistamiseks kasutama, ja mõned on lisanud selle loetletud kaasautorina. Arvan, et ChatGPT kasutamine abi kirjutamiseks võib olla okei, kuid kui see on tehtud, on oluline lisada selgelt, et ChatGPT aitas kirjutada käsikirja osasid. Sõltuvalt sellest, milliseks teadusringkondade konsensus lõpuks kujuneb, võime tulevikus paberite kirjutamiseks kasutada LLM-e või mitte. ®