سائنس دانوں نے واضح انسانی تعصب کو دریافت کرنے کے لیے 'OpinionGPT' تخلیق کیا - اور آپ اسے خود جانچ سکتے ہیں۔

سائنس دانوں نے واضح انسانی تعصب کو دریافت کرنے کے لیے 'OpinionGPT' تخلیق کیا - اور آپ اسے خود جانچ سکتے ہیں۔

ٹائم سٹیمپ: 8 ستمبر 2023 شام 4:42 بجے

A team of researchers from Humboldt-Universitat zu Berlin have developed a large language artificial intelligence model with the distinction of having been intentionally tuned to generate outputs with expressed bias.

OpinionGPT کہلاتا ہے، ٹیم کا ماڈل Meta's Llama 2 کا ٹیونڈ ویریئنٹ ہے، ایک AI سسٹم جو OpenAI کے ChatGPT یا Anthropic's Claude 2 سے ملتا جلتا ہے۔

Using a process called instruction-based fine-tuning, OpinionGPT can purportedly respond to prompts as if it were a representative of one of 11 bias groups: American, German, Latin American, Middle Eastern, a teenager, someone over 30, an older person, a man, a woman, a liberal, or a conservative.

OpinionGPT was refined on a corpus of data derived from “AskX” communities, called subreddits, on Reddit. Examples of these subreddits would include “Ask a Woman” and “Ask an American.”

The team started by finding subreddits related to the 11 specific biases and pulling the 25-thousand most popular posts from each one. They then retained only those posts that met a minimum threshold for upvotes, did not contain an embedded quote, and were under 80 words.

With what was left, it appears as though they used an نقطہ نظر similar to Anthropic’s Constitutional AI. Rather than spin up entirely new models to represent each bias label, they essentially fine-tuned the single 7 billion-parameter Llama2 model with separate instruction sets for each expected bias.

متعلقہ: سوشل میڈیا پر AI کا استعمال ووٹر کے جذبات کو متاثر کرنے کی صلاحیت رکھتا ہے۔

The result, based upon the methodology, architecture, and data بیان کیا in the German team’s research paper, appears to be an AI system that functions as more of a stereotype generator than a tool for studying real world bias.

Due to the nature of the data the model has been refined on, and that data’s dubious relation to the labels defining it, OpinionGPT doesn’t necessarily output text that aligns with any measurable real-world bias. It simply outputs text reflecting the bias of its data.

محققین خود ان کے مطالعے میں کچھ حدود کو تسلیم کرتے ہیں، لکھتے ہیں:

“For instance, the responses by “Americans” should be better understood as ‘Americans that post on Reddit,’ or even ‘Americans that post on this particular subreddit.’ Similarly, ‘Germans’ should be understood as ‘Germans that post on this particular subreddit,’ etc.”

ان انتباہات کو یہ بتانے کے لیے مزید بہتر کیا جا سکتا ہے کہ پوسٹس کہاں سے آئیں، مثال کے طور پر، "وہ لوگ جو امریکی ہونے کا دعویٰ کرتے ہیں جو اس مخصوص ذیلی ایڈٹ پر پوسٹ کرتے ہیں"، کیونکہ جانچ کے کاغذ میں اس بات کا کوئی ذکر نہیں ہے کہ آیا دی گئی پوسٹ کے پیچھے پوسٹر درحقیقت نمائندہ ہیں یا نہیں۔ ڈیموگرافک یا تعصب والے گروپ کا جس کا وہ دعویٰ کرتے ہیں۔

The authors go on to state that they intend to explore models that further delineate demographics (ie: liberal German, conservative German).

OpinionGPT کی طرف سے دیے گئے نتائج ظاہری تعصب کی نمائندگی کرنے اور قائم کردہ معمول سے جنگلی طور پر مختلف ہوتے دکھائی دیتے ہیں، جس کی وجہ سے اصل تعصب کی پیمائش یا دریافت کرنے کے ایک آلے کے طور پر اس کی قابل عملیت کو جاننا مشکل ہو جاتا ہے۔

Scientists created ‘OpinionGPT’ to explore explicit human bias — and you can test it for yourself PlatoBlockchain Data Intelligence. Vertical Search. Ai.
Source: Screenshot, Table 2: Haller et. al., 2023

According to OpinionGPT, as shown in the above image, for example, Latin Americans are biased towards basketball being their favorite sport.

Empirical research, however, clearly اشارہ کرتا ہے that football (also called soccer in some countries) and baseball are the most popular sports by viewership and participation throughout Latin America.

The same table also shows that OpinionGPT outputs “water polo” as its favorite sport when instructed to give the “response of a teenager,” an answer that seems statistically امکان نہیں to be representative of most 13-19 year olds around the world.

The same goes for the idea that an average American’s favorite food is “cheese.” We found dozens of surveys online claiming that pizza and hamburgers were America’s favorite foods, but couldn’t find a single survey or study that claimed Americans’ number one dish was simply cheese.

اگرچہ OpinionGPT حقیقی انسانی تعصب کا مطالعہ کرنے کے لیے مناسب نہیں ہو سکتا، لیکن یہ انفرادی سبریڈیٹس یا AI ٹریننگ سیٹ جیسے بڑے دستاویز کے ذخیرے میں موجود دقیانوسی تصورات کو تلاش کرنے کے لیے ایک ٹول کے طور پر کارآمد ثابت ہو سکتا ہے۔

For those who are curious, the researchers have made OpinionGPT دستیاب online for public testing. However, according to the website, would-be users should be aware that “generated content can be false, inaccurate, or even obscene.”

ٹائم اسٹیمپ:

سے زیادہ Cointelegraph