Para ilmuwan menciptakan 'OpinionGPT' untuk mengeksplorasi bias manusia yang eksplisit — dan Anda dapat mengujinya sendiri

Para ilmuwan menciptakan 'OpinionGPT' untuk mengeksplorasi bias manusia yang eksplisit — dan Anda dapat mengujinya sendiri

Stempel Waktu: 8 September 2023 4

Sebuah tim peneliti dari Humboldt-Universitat zu Berlin telah mengembangkan model kecerdasan buatan bahasa besar dengan perbedaan karena sengaja disetel untuk menghasilkan keluaran dengan bias yang nyata.

Disebut OpinionGPT, model tim ini merupakan varian yang disetel dari Llama 2 Meta, sistem AI yang kemampuannya serupa dengan ChatGPT OpenAI atau Claude 2 dari Anthropic.

Dengan menggunakan proses yang disebut penyempurnaan berbasis instruksi, OpinionGPT konon dapat merespons permintaan seolah-olah mewakili salah satu dari 11 kelompok bias: Amerika, Jerman, Amerika Latin, Timur Tengah, remaja, seseorang berusia di atas 30 tahun, dan orang lanjut usia , pria, wanita, liberal, atau konservatif.

OpinionGPT disempurnakan berdasarkan kumpulan data yang berasal dari komunitas “AskX”, yang disebut subreddits, di Reddit. Contoh subreddit ini mencakup “Ask a Woman” dan “Ask an American.”

Tim memulai dengan menemukan subreddit yang terkait dengan 11 bias spesifik dan menarik 25 ribu postingan terpopuler dari masing-masing subreddit. Mereka kemudian hanya mempertahankan postingan yang memenuhi ambang minimum upvote, tidak berisi kutipan tersemat, dan kurang dari 80 kata.

Dengan apa yang tersisa, nampaknya mereka menggunakan pendekatan mirip dengan AI Konstitusional Anthropic. Daripada membuat model yang benar-benar baru untuk mewakili setiap label bias, mereka pada dasarnya menyempurnakan model Llama7 tunggal dengan 2 miliar parameter dengan set instruksi terpisah untuk setiap bias yang diharapkan.

Terkait: Penggunaan AI di media sosial berpotensi berdampak pada sentimen pemilih

Hasilnya, berdasarkan metodologi, arsitektur, dan data dijelaskan dalam makalah penelitian tim Jerman, tampaknya merupakan sistem AI yang berfungsi lebih sebagai generator stereotip daripada alat untuk mempelajari bias di dunia nyata.

Karena sifat data yang menjadi dasar penyempurnaan model, dan hubungan data tersebut yang meragukan dengan label yang mendefinisikannya, OpinionGPT tidak serta merta menghasilkan teks yang sejalan dengan bias terukur di dunia nyata. Ini hanya menampilkan teks yang mencerminkan bias datanya.

Para peneliti sendiri menyadari beberapa keterbatasan yang ada pada penelitian mereka, dengan menulis:

“Misalnya, respons dari “orang Amerika” seharusnya lebih dipahami sebagai 'orang Amerika yang memposting di Reddit,' atau bahkan 'orang Amerika yang memposting di subreddit khusus ini.' Demikian pula, 'orang Jerman' harus dipahami sebagai 'orang Jerman yang memposting di subreddit khusus ini,' dll.”

Peringatan ini dapat lebih disempurnakan dengan mengatakan bahwa postingan tersebut berasal, misalnya, “orang yang mengaku sebagai orang Amerika yang memposting di subreddit khusus ini,” karena tidak disebutkan dalam makalah yang memeriksa apakah poster di balik postingan tersebut memang mewakili. kelompok demografis atau bias yang mereka klaim.

Para penulis selanjutnya menyatakan bahwa mereka bermaksud untuk mengeksplorasi model-model yang lebih menggambarkan demografi (yaitu: Jerman liberal, Jerman konservatif).

Keluaran yang diberikan oleh OpinionGPT tampaknya bervariasi antara mewakili bias yang dapat dibuktikan dan sangat berbeda dari norma yang ada, sehingga sulit untuk membedakan kelayakannya sebagai alat untuk mengukur atau menemukan bias yang sebenarnya.

Para ilmuwan menciptakan 'OpinionGPT' untuk mengeksplorasi bias manusia yang eksplisit — dan Anda dapat mengujinya sendiri Kecerdasan Data PlatoBlockchain. Pencarian Vertikal. Ai.
Sumber: Tangkapan Layar, Tabel 2: Haller dkk. al., 2023

Menurut OpinionGPT, seperti terlihat pada gambar di atas, misalnya, orang Amerika Latin bias terhadap bola basket sebagai olahraga favorit mereka.

Namun, penelitian empiris jelas menunjukkan bahwa sepak bola (juga disebut sepak bola di beberapa negara) dan bisbol adalah olahraga paling populer berdasarkan jumlah penonton dan partisipasi di seluruh Amerika Latin.

Tabel yang sama juga menunjukkan bahwa OpinionGPT menampilkan “polo air” sebagai olahraga favoritnya ketika diinstruksikan untuk memberikan “respon remaja”, sebuah jawaban yang tampaknya secara statistik mungkin untuk mewakili sebagian besar anak berusia 13-19 tahun di seluruh dunia.

Hal yang sama berlaku untuk gagasan bahwa rata-rata makanan favorit orang Amerika adalah “keju”. Kami menemukan lusinan survei online yang menyatakan bahwa pizza dan hamburger adalah makanan favorit orang Amerika, namun tidak menemukan satu survei atau penelitian pun yang menyatakan bahwa hidangan nomor satu orang Amerika hanyalah keju.

Meskipun OpinionGPT mungkin tidak cocok untuk mempelajari bias manusia yang sebenarnya, OpinionGPT dapat berguna sebagai alat untuk mengeksplorasi stereotip yang melekat dalam repositori dokumen besar seperti subreddit individual atau rangkaian pelatihan AI.

Bagi yang penasaran, peneliti telah membuat OpinionGPT tersedia online untuk pengujian publik. Namun, menurut situs web tersebut, calon pengguna harus menyadari bahwa “konten yang dibuat bisa saja palsu, tidak akurat, atau bahkan tidak senonoh.”

Stempel Waktu:

Lebih dari Cointelegraph