Akademisi yang berfokus pada kecerdasan buatan telah menggunakan AI generatif untuk membantu mereka meninjau pekerjaan pembelajaran mesin rekan-rekan mereka.
Sekelompok peneliti dari Universitas Stanford, NEC Labs Amerika, dan UC Santa Barbara baru-baru ini menganalisis tinjauan sejawat atas makalah yang diserahkan ke konferensi AI terkemuka, termasuk ICLR 2024, NeurIPS 2023, CoRL 2023, dan EMNLP 2023.
Para penulis โ Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland, dan James Y Zou โ melaporkan temuan mereka di kertas berjudul โMemantau Konten yang Dimodifikasi AI dalam Skala Besar: Studi Kasus tentang Dampak ChatGPT pada Tinjauan Sejawat Konferensi AI.โ
Mereka melakukan penelitian berdasarkan minat publik dan diskusi terhadap model bahasa besar yang mendominasi wacana teknis tahun lalu.
Para penulis menemukan peningkatan kecil namun konsisten dalam penggunaan LLM untuk ulasan yang dikirimkan tiga hari atau kurang sebelum batas waktu
Kesulitan dalam membedakan antara teks yang ditulis manusia dan mesin serta laporan yang meningkat Situs web berita AI mengarahkan penulis untuk menyimpulkan bahwa ada kebutuhan mendesak untuk mengembangkan cara mengevaluasi kumpulan data dunia nyata yang berisi konten buatan AI dalam jumlah yang tidak dapat ditentukan.
Terkadang kepenulisan AI menonjol โ seperti dalam a kertas dari Laporan Kasus Radiologi berjudul โManajemen yang berhasil pada vena portal iatrogenik dan cedera arteri hepatik pada pasien wanita berusia 4 bulan: Laporan kasus dan tinjauan literatur.โ
Bagian yang campur aduk ini memberikan sedikit petunjuk: โSingkatnya, pengelolaan iatrogenik bilateral Saya sangat menyesal, tetapi saya tidak memiliki akses ke informasi real-time atau data spesifik pasien, karena saya adalah model bahasa AI. .โ
Namun perbedaannya tidak selalu jelas, dan upaya sebelumnya untuk mengembangkan cara otomatis untuk menyortir teks tulisan manusia dari robo-prosa tidak berjalan dengan baik. OpenAI, misalnya memperkenalkan Pengklasifikasi Teks AI untuk tujuan itu pada Januari 2023, hanya untuk menutupnya enam bulan kemudian โkarena tingkat akurasinya yang rendah. "
Meski begitu, Liang et al berpendapat bahwa fokus pada penggunaan kata sifat dalam sebuah teks โ daripada mencoba menilai keseluruhan dokumen, paragraf, atau kalimat โ akan memberikan hasil yang lebih dapat diandalkan.
Penulis mengambil dua set data, atau corpora โ satu ditulis oleh manusia dan satu lagi ditulis oleh mesin. Dan mereka menggunakan dua kumpulan teks ini untuk mengevaluasi evaluasi โ tinjauan sejawat atas makalah konferensi AI โ untuk frekuensi kata sifat tertentu.
โ[A]semua perhitungan kami hanya bergantung pada kata sifat yang terkandung dalam setiap dokumen,โ jelas mereka. โKami menemukan pilihan kosakata ini menunjukkan stabilitas yang lebih baik dibandingkan penggunaan jenis kata lain seperti kata keterangan, kata kerja, kata benda, atau semua kemungkinan token.โ
Ternyata LLM cenderung menggunakan kata sifat seperti โterpujiโ, โinovatifโ, dan โkomprehensifโ lebih sering daripada penulis manusia. Dan perbedaan statistik dalam penggunaan kata telah memungkinkan para peneliti untuk mengidentifikasi ulasan makalah di mana bantuan LLM dianggap mungkin.
Awan kata dari 100 kata sifat teratas dalam umpan balik LLM, dengan ukuran font yang menunjukkan frekuensi (klik untuk memperbesar)
โHasil kami menunjukkan bahwa antara 6.5 โโpersen dan 16.9 persen teks yang diserahkan sebagai tinjauan sejawat pada konferensi ini mungkin telah dimodifikasi secara substansial oleh LLM, yaitu lebih dari sekedar pemeriksaan ejaan atau pembaruan tulisan kecil,โ para penulis berargumentasi, mencatat bahwa tinjauan pekerjaan di jurnal ilmiah Nature tidak menunjukkan tanda-tanda bantuan mekanis.
Beberapa faktor tampaknya berkorelasi dengan penggunaan LLM yang lebih besar. Salah satunya adalah tenggat waktu yang semakin dekat: Para penulis menemukan peningkatan kecil namun konsisten dalam penggunaan LLM untuk ulasan yang diserahkan tiga hari atau kurang sebelum tenggat waktu.
Para peneliti menekankan bahwa tujuan mereka bukanlah untuk memberikan penilaian terhadap penggunaan bantuan penulisan AI, atau untuk mengklaim bahwa makalah mana pun yang mereka evaluasi ditulis sepenuhnya menggunakan model AI. Namun mereka berpendapat komunitas ilmiah perlu lebih transparan mengenai penggunaan LLM.
Dan mereka berpendapat bahwa praktik-praktik seperti itu berpotensi menghilangkan masukan beragam dari para ahli bagi mereka yang karyanya sedang ditinjau. Terlebih lagi, umpan balik AI berisiko menimbulkan efek homogenisasi yang mengarah pada bias model AI dan menjauhkan wawasan yang bermakna. ยฎ
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :adalah
- :bukan
- :Di mana
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- Tentang Kami
- mengakses
- AI
- Semua
- diizinkan
- selalu
- am
- Amerika
- jumlah
- an
- dianalisis
- dan
- Apa pun
- semu
- muncul
- mendekat
- berdebat
- buatan
- kecerdasan buatan
- AS
- menilai
- Bantuan
- At
- Mencoba
- penulis
- Kepengarangan
- Otomatis
- jauh
- berdasarkan
- BE
- menjadi
- sebelum
- makhluk
- antara
- Luar
- bias
- Bit
- tubuh
- tapi
- by
- perhitungan
- kekacauan
- kasus
- studi kasus
- ChatGPT
- chen
- pilihan
- klaim
- Klik
- awan
- CO
- terpuji
- masyarakat
- sama sekali
- luas
- menyimpulkan
- Konferensi
- konferensi
- konsisten
- mengandung
- berisi
- bersaing
- Konten
- bisa
- Daniel
- data
- set data
- Hari
- batas waktu
- dianggap
- tergantung
- mengembangkan
- perbedaan
- Kesulitan
- ceramah
- diskusi
- perbedaan
- beberapa
- do
- dokumen
- dokumen
- didominasi
- don
- e
- setiap
- efek
- menekankan
- memperbesar
- Seluruh
- berhak
- mengevaluasi
- dievaluasi
- evaluasi
- contoh
- menunjukkan
- ahli
- menjelaskan
- faktor
- umpan balik
- wanita
- Temuan
- terfokus
- berfokus
- Untuk
- ditemukan
- Frekuensi
- sering
- dari
- generatif
- AI generatif
- giveaway
- mati
- lebih besar
- Kelompok
- Memiliki
- membantu
- HTTPS
- huang
- manusia
- Manusia
- i
- mengenali
- Dampak
- in
- Termasuk
- Meningkatkan
- Menunjukkan
- informasi
- cedera
- inovatif
- wawasan
- Intelijen
- Niat
- bunga
- adalah n
- IT
- NYA
- james
- Januari
- majalah
- jpg
- Labs
- bahasa
- besar
- Terakhir
- Tahun lalu
- kemudian
- terkemuka
- Memimpin
- pengetahuan
- Dipimpin
- kurang
- 'like'
- Mungkin
- literatur
- LLM
- Rendah
- mesin
- Mesin belajar
- Mesin
- pengelolaan
- berarti
- minor
- model
- model
- dimodifikasi
- pemantauan
- bulan
- lebih
- Alam
- Perlu
- kebutuhan
- berita
- mencatat
- kata benda
- sekarang
- Jelas
- of
- on
- ONE
- hanya
- OpenAI
- or
- Lainnya
- kami
- di luar
- dokumen
- bagian
- lulus
- bagian
- lalu
- pasien
- buah pir
- rekan-rekan
- persen
- plato
- Kecerdasan Data Plato
- Data Plato
- Portal
- mungkin
- berpotensi
- praktek
- publik
- tujuan
- Penilaian
- agak
- dunia nyata
- real-time
- baru-baru ini
- dapat diandalkan
- melaporkan
- Dilaporkan
- laporan
- peneliti
- Hasil
- ulasan
- review jurnal
- meninjau
- Review
- Naik
- risiko
- s
- Santa
- Skala
- ilmiah
- set
- Tanda
- ENAM
- Enam bulan
- Ukuran
- kecil
- beberapa
- tertentu
- pidato
- Stabilitas
- berdiri
- Stanford
- Universitas Stanford
- statistik
- Belajar
- disampaikan
- substansial
- sukses
- seperti itu
- menyarankan
- RINGKASAN
- diambil
- Teknis
- Cenderung
- teks
- dari
- bahwa
- Grafik
- mereka
- Mereka
- Sana.
- Ini
- mereka
- ini
- itu
- tiga
- berjudul
- untuk
- Token
- mengambil
- puncak
- terhadap
- jelas
- mencoba
- ternyata
- dua
- melakukan
- universitas
- Pembaruan
- mendesak
- penggunaan
- menggunakan
- bekas
- menggunakan
- sangat
- adalah
- Cara..
- cara
- we
- BAIK
- adalah
- Apa
- yang
- dengan
- Word
- Kerja
- penulisan
- tertulis
- Ye
- tahun
- zephyrnet.dll
- Zhao