دانشمندان "OpinionGPT" را برای کشف سوگیری آشکار انسانی ایجاد کردند - و شما می توانید آن را برای خودتان آزمایش کنید

دانشمندان "OpinionGPT" را برای کشف سوگیری آشکار انسانی ایجاد کردند - و شما می توانید آن را برای خودتان آزمایش کنید

تمبر زمان: 8 سپتامبر 2023، 4:42 بعد از ظهر

A team of researchers from Humboldt-Universitat zu Berlin have developed a large language artificial intelligence model with the distinction of having been intentionally tuned to generate outputs with expressed bias.

مدل این تیم که OpinionGPT نام دارد، یک نوع تنظیم شده از Meta's Llama 2 است، یک سیستم هوش مصنوعی شبیه به ChatGPT OpenAI یا Claude 2 از Anthropic.

Using a process called instruction-based fine-tuning, OpinionGPT can purportedly respond to prompts as if it were a representative of one of 11 bias groups: American, German, Latin American, Middle Eastern, a teenager, someone over 30, an older person, a man, a woman, a liberal, or a conservative.

OpinionGPT was refined on a corpus of data derived from “AskX” communities, called subreddits, on Reddit. Examples of these subreddits would include “Ask a Woman” and “Ask an American.”

The team started by finding subreddits related to the 11 specific biases and pulling the 25-thousand most popular posts from each one. They then retained only those posts that met a minimum threshold for upvotes, did not contain an embedded quote, and were under 80 words.

With what was left, it appears as though they used an روش شبیه به هوش مصنوعی آنتروپیک Constitutional AI. به‌جای چرخش مدل‌های کاملاً جدید برای نمایش هر برچسب سوگیری، آنها اساساً مدل Llama7 با 2 میلیارد پارامتر را با مجموعه‌های دستورالعمل جداگانه برای هر سوگیری مورد انتظار تنظیم کردند.

مرتبط: استفاده از هوش مصنوعی در رسانه های اجتماعی می تواند بر احساسات رأی دهندگان تأثیر بگذارد

The result, based upon the methodology, architecture, and data شرح داده شده in the German team’s research paper, appears to be an AI system that functions as more of a stereotype generator than a tool for studying real world bias.

Due to the nature of the data the model has been refined on, and that data’s dubious relation to the labels defining it, OpinionGPT doesn’t necessarily output text that aligns with any measurable real-world bias. It simply outputs text reflecting the bias of its data.

خود محققان برخی از محدودیت‌هایی را که این مطالعه برای مطالعه خود ایجاد می‌کند، تشخیص می‌دهند و می‌نویسند:

“For instance, the responses by “Americans” should be better understood as ‘Americans that post on Reddit,’ or even ‘Americans that post on this particular subreddit.’ Similarly, ‘Germans’ should be understood as ‘Germans that post on this particular subreddit,’ etc.”

این اخطارها را می‌توان بیشتر اصلاح کرد و گفت که پست‌ها از طرفی می‌آیند، برای مثال، «افرادی که ادعا می‌کنند آمریکایی‌اند که در این subreddit خاص پست می‌کنند»، زیرا هیچ اشاره‌ای در مقاله بررسی وجود ندارد که آیا پوسترهای پشت یک پست در واقع نماینده هستند یا خیر. از گروه جمعیتی یا تعصبی که ادعا می کنند هستند.

The authors go on to state that they intend to explore models that further delineate demographics (ie: liberal German, conservative German).

به نظر می رسد خروجی های ارائه شده توسط OpinionGPT بین نمایش تعصب قابل اثبات و تفاوت شدید با هنجار ثابت متفاوت است، و تشخیص قابلیت آن به عنوان ابزاری برای اندازه گیری یا کشف سوگیری واقعی را دشوار می کند.

Scientists created ‘OpinionGPT’ to explore explicit human bias — and you can test it for yourself PlatoBlockchain Data Intelligence. Vertical Search. Ai.
Source: Screenshot, Table 2: Haller et. al., 2023

According to OpinionGPT, as shown in the above image, for example, Latin Americans are biased towards basketball being their favorite sport.

با این حال، تحقیقات تجربی به وضوح نشان می دهد that football (also called soccer in some countries) and baseball are the most popular sports by viewership and participation throughout Latin America.

همین جدول همچنین نشان می‌دهد که OpinionGPT «واترپلو» را به‌عنوان ورزش مورد علاقه‌اش به نمایش می‌گذارد که «پاسخ یک نوجوان» را بدهد، پاسخی که از نظر آماری به نظر می‌رسد. بعید to be representative of most 13-19 year olds around the world.

The same goes for the idea that an average American’s favorite food is “cheese.” We found dozens of surveys online claiming that pizza and hamburgers were America’s favorite foods, but couldn’t find a single survey or study that claimed Americans’ number one dish was simply cheese.

اگرچه OpinionGPT ممکن است برای مطالعه سوگیری واقعی انسان مناسب نباشد، می تواند به عنوان ابزاری برای کاوش کلیشه های ذاتی در مخازن اسناد بزرگ مانند subreddits فردی یا مجموعه های آموزشی هوش مصنوعی مفید باشد.

For those who are curious, the researchers have made OpinionGPT در دسترس آنلاین برای آزمایش عمومی با این حال، به گفته این وب سایت، کاربران بالقوه باید بدانند که "محتوای تولید شده می تواند نادرست، نادرست یا حتی زشت باشد."

تمبر زمان:

بیشتر از Cointelegraph