Bilim insanları, açık bir şekilde insan önyargısını keşfetmek için 'OpinionGPT'yi oluşturdu; siz de bunu kendiniz test edebilirsiniz

Bilim insanları, açık bir şekilde insan önyargısını keşfetmek için 'OpinionGPT'yi oluşturdu; siz de bunu kendiniz test edebilirsiniz

Zaman Damgası: 8 Eylül 2023 4:42

Humboldt-Universitat zu Berlin'den bir araştırmacı ekibi, belirgin önyargılı çıktılar üretmek üzere kasıtlı olarak ayarlanmış olma ayrıcalığına sahip, geniş dilli bir yapay zeka modeli geliştirdi.

OpinionGPT olarak adlandırılan ekibin modeli, OpenAI'nin ChatGPT'sine veya Anthropic'in Claude 2'sine benzer bir yapay zeka sistemi olan Meta'nın Llama 2'sinin ayarlanmış bir çeşididir.

OpinionGPT, talimatlara dayalı ince ayar adı verilen bir süreç kullanarak, sanki 11 önyargı grubundan birinin temsilcisiymiş gibi istemlere yanıt verebiliyor: Amerikalı, Alman, Latin Amerikalı, Orta Doğulu, bir genç, 30 yaş üstü biri, yaşlı bir kişi. , bir erkek, bir kadın, bir liberal veya bir muhafazakar.

OpinionGPT, Reddit'te alt dizinler adı verilen "AskX" topluluklarından elde edilen bir veri külliyatına göre geliştirildi. Bu alt dizinlerin örnekleri arasında "Bir Kadına Sorun" ve "Bir Amerikalıya Sorun" yer alır.

Ekip, 11 spesifik önyargıyla ilgili alt dizinler bularak ve her birinden en popüler 25 gönderiyi çekerek işe başladı. Daha sonra yalnızca olumlu oylar için minimum eşiği karşılayan, gömülü alıntı içermeyen ve 80 kelimenin altında olan gönderileri tuttular.

Geriye kalanlarla sanki bir alet kullanmışlar gibi görünüyor. yaklaşım Anthropic'in Anayasal Yapay Zekasına benzer. Her önyargı etiketini temsil edecek tamamen yeni modeller oluşturmak yerine, esas olarak 7 milyar parametreli tek Llama2 modeline, beklenen her önyargı için ayrı talimat setleriyle ince ayar yaptılar.

İlgili: Sosyal medyada yapay zeka kullanımının seçmen duyarlılığını etkileme potansiyeli var

Metodolojiye, mimariye ve verilere dayanan sonuç tarif edilen Alman ekibin araştırma makalesinde, gerçek dünyadaki önyargıları incelemek için bir araçtan ziyade stereotip oluşturucu işlevi gören bir yapay zeka sistemi olduğu görülüyor.

Modelin iyileştirildiği verilerin doğası ve bu verilerin onu tanımlayan etiketlerle şüpheli ilişkisi nedeniyle OpinionGPT, gerçek dünyadaki ölçülebilir herhangi bir önyargıyla uyumlu metin çıktısı vermeyebilir. Basitçe verilerinin önyargısını yansıtan metni çıkarır.

Araştırmacılar, bunun çalışmalarına getirdiği bazı sınırlamaların farkındalar ve şöyle yazıyorlar:

“Örneğin, “Amerikalıların” verdiği yanıtlar, 'Reddit'te paylaşım yapan Amerikalılar', hatta 'Bu alt dizinde paylaşım yapan Amerikalılar' olarak daha iyi anlaşılmalıdır. Benzer şekilde, 'Almanlar' da 'bu özel alt dizine paylaşım yapan Almanlar' vb. olarak anlaşılmalıdır.”

Bu uyarılar, gönderilerin örneğin "bu belirli alt dizide gönderi paylaşan Amerikalı olduklarını iddia eden kişilerden" geldiğini söyleyecek şekilde daha da geliştirilebilir, çünkü makalede belirli bir gönderinin arkasındaki posterlerin gerçekten temsili olup olmadığının incelenmesinden bahsedilmiyor olduklarını iddia ettikleri demografik veya önyargı grubunun.

Yazarlar, demografik özellikleri daha da belirginleştiren modelleri (yani liberal Alman, muhafazakar Alman) keşfetmeyi planladıklarını belirtiyorlar.

OpinionGPT tarafından verilen çıktılar, kanıtlanabilir önyargıyı temsil etme ile yerleşik normdan çılgınca farklılık gösterme arasında farklılık gösteriyor gibi görünüyor, bu da onun gerçek önyargıyı ölçmek veya keşfetmek için bir araç olarak uygulanabilirliğini ayırt etmeyi zorlaştırıyor.

Bilim insanları, açık insan önyargısını keşfetmek için 'OpinionGPT'yi yarattı; siz de bunu kendiniz test edebilirsiniz. PlatoBlockchain Veri Zekası. Dikey Arama. Ai.
Kaynak: Ekran görüntüsü, Tablo 2: Haller et. al., 2023

OpinionGPT'ye göre, örneğin yukarıdaki görselde de görüldüğü gibi Latin Amerikalılar, basketbolun en sevdikleri spor olması konusunda önyargılı.

Ancak ampirik araştırmalar açıkça gösterir futbol (bazı ülkelerde futbol olarak da adlandırılır) ve beyzbol, Latin Amerika'da izleyici ve katılım açısından en popüler sporlardır.

Aynı tablo aynı zamanda OpinionGPT'nin "bir gencin tepkisi" vermesi istendiğinde "sutopu"nu en sevdiği spor olarak ortaya çıkardığını da gösteriyor; bu yanıt istatistiksel olarak anlamlı görünüyor olası dünyadaki 13-19 yaş arası gençlerin çoğunun temsilcisi olmak.

Aynı şey ortalama bir Amerikalının en sevdiği yemeğin "peynir" olduğu fikri için de geçerli. İnternette pizza ve hamburgerin Amerika'nın en sevdiği yiyecekler olduğunu iddia eden düzinelerce anket bulduk, ancak Amerikalıların bir numaralı yemeğinin sadece peynir olduğunu iddia eden tek bir anket veya çalışma bulamadık.

OpinionGPT, gerçek insan önyargısını incelemek için pek uygun olmasa da, bireysel alt dizinler veya AI eğitim setleri gibi büyük belge depolarında bulunan stereotipleri keşfetmek için bir araç olarak yararlı olabilir.

Merak edenler için araştırmacılar OpinionGPT'yi yapmışlar. mevcut halka açık testler için çevrimiçi. Ancak web sitesine göre, potansiyel kullanıcıların "oluşturulan içeriğin yanlış, yanlış ve hatta müstehcen olabileceğinin" farkında olması gerekiyor.

Zaman Damgası:

Den fazla Cointelegraph