A tudósok megalkották az OpinionGPT-t, hogy feltárják az explicit emberi elfogultságot – és te magad is tesztelheted

A tudósok megalkották az OpinionGPT-t, hogy feltárják az explicit emberi elfogultságot – és te magad is tesztelheted

Időbélyeg: 8. szeptember 2023. 4:42

A team of researchers from Humboldt-Universitat zu Berlin have developed a large language artificial intelligence model with the distinction of having been intentionally tuned to generate outputs with expressed bias.

A csapat OpinionGPT névre keresztelt modellje a Meta's Llama 2 hangolt változata, amely az OpenAI ChatGPT-jéhez vagy az Anthropic Claude 2-jéhez hasonló képességű AI-rendszer.

Using a process called instruction-based fine-tuning, OpinionGPT can purportedly respond to prompts as if it were a representative of one of 11 bias groups: American, German, Latin American, Middle Eastern, a teenager, someone over 30, an older person, a man, a woman, a liberal, or a conservative.

OpinionGPT was refined on a corpus of data derived from “AskX” communities, called subreddits, on Reddit. Examples of these subreddits would include “Ask a Woman” and “Ask an American.”

The team started by finding subreddits related to the 11 specific biases and pulling the 25-thousand most popular posts from each one. They then retained only those posts that met a minimum threshold for upvotes, did not contain an embedded quote, and were under 80 words.

With what was left, it appears as though they used an megközelítés hasonló az Anthropic alkotmányos mesterséges intelligenciájához. Ahelyett, hogy teljesen új modelleket állítottak volna fel az egyes torzítási címkék megjelenítésére, lényegében finomhangolták az egyetlen 7 milliárd paraméteres Llama2 modellt, külön utasításkészletekkel minden egyes várható torzításhoz.

Kapcsolódó: A közösségi médiában az AI-használat hatással lehet a szavazók hangulatára

The result, based upon the methodology, architecture, and data leírt in the German team’s research paper, appears to be an AI system that functions as more of a stereotype generator than a tool for studying real world bias.

Due to the nature of the data the model has been refined on, and that data’s dubious relation to the labels defining it, OpinionGPT doesn’t necessarily output text that aligns with any measurable real-world bias. It simply outputs text reflecting the bias of its data.

A kutatók maguk is felismerik néhány korlátot, amelyet ez a tanulmányukra korlátoz, és ezt írják:

“For instance, the responses by “Americans” should be better understood as ‘Americans that post on Reddit,’ or even ‘Americans that post on this particular subreddit.’ Similarly, ‘Germans’ should be understood as ‘Germans that post on this particular subreddit,’ etc.”

Ezeket a figyelmeztetéseket tovább lehetne finomítani, mondván, hogy a posztok például „amerikainak valló emberektől származnak, akik ezen a bizonyos subredditen posztolnak”, mivel a lap nem tesz említést annak ellenőrzéséről, hogy az adott bejegyzés mögötti plakátok valóban reprezentatívak-e. annak a demográfiai vagy elfogult csoportnak a tagjai, akiknek vallják magukat.

The authors go on to state that they intend to explore models that further delineate demographics (ie: liberal German, conservative German).

Úgy tűnik, hogy az OpinionGPT által adott kimenetek a kimutatható torzítást képviselik, illetve a megállapított normától nagymértékben eltérnek, ami megnehezíti a tényleges torzítás mérésének vagy felfedezésének eszközeként való életképességének felismerését.

Scientists created ‘OpinionGPT’ to explore explicit human bias — and you can test it for yourself PlatoBlockchain Data Intelligence. Vertical Search. Ai.
Source: Screenshot, Table 2: Haller et. al., 2023

According to OpinionGPT, as shown in the above image, for example, Latin Americans are biased towards basketball being their favorite sport.

Az empirikus kutatás azonban egyértelműen jelzi that football (also called soccer in some countries) and baseball are the most popular sports by viewership and participation throughout Latin America.

Ugyanebből a táblázatból az is látható, hogy az OpinionGPT a „vízilabdát” adja meg kedvenc sportjának, amikor arra utasítják, hogy adja meg a „tinédzser válaszát”, ami statisztikailag úgy tűnik. valószínűtlen to be representative of most 13-19 year olds around the world.

The same goes for the idea that an average American’s favorite food is “cheese.” We found dozens of surveys online claiming that pizza and hamburgers were America’s favorite foods, but couldn’t find a single survey or study that claimed Americans’ number one dish was simply cheese.

Bár az OpinionGPT nem feltétlenül alkalmas a tényleges emberi elfogultság tanulmányozására, hasznos lehet eszközként a nagy dokumentumtárak, például az egyes alredditek vagy mesterséges intelligencia képzési készletekben rejlő sztereotípiák feltárására.

For those who are curious, the researchers have made OpinionGPT elérhető online nyilvános tesztelésre. A webhely szerint azonban a leendő felhasználóknak tisztában kell lenniük azzal, hogy „a generált tartalom lehet hamis, pontatlan vagy akár obszcén is”.

Időbélyeg:

Még több Cointelegraph