Gli scienziati hanno creato "OpinionGPT" per esplorare i pregiudizi umani espliciti e puoi testarlo tu stesso

Gli scienziati hanno creato "OpinionGPT" per esplorare i pregiudizi umani espliciti e puoi testarlo tu stesso

Timestamp: 8 settembre 2023 4:42

A team of researchers from Humboldt-Universitat zu Berlin have developed a large language artificial intelligence model with the distinction of having been intentionally tuned to generate outputs with expressed bias.

Chiamato OpinionGPT, il modello del team è una variante ottimizzata di Meta's Llama 2, un sistema di intelligenza artificiale simile per capacità a ChatGPT di OpenAI o Claude 2 di Anthropic.

Using a process called instruction-based fine-tuning, OpinionGPT can purportedly respond to prompts as if it were a representative of one of 11 bias groups: American, German, Latin American, Middle Eastern, a teenager, someone over 30, an older person, a man, a woman, a liberal, or a conservative.

OpinionGPT was refined on a corpus of data derived from “AskX” communities, called subreddits, on Reddit. Examples of these subreddits would include “Ask a Woman” and “Ask an American.”

The team started by finding subreddits related to the 11 specific biases and pulling the 25-thousand most popular posts from each one. They then retained only those posts that met a minimum threshold for upvotes, did not contain an embedded quote, and were under 80 words.

With what was left, it appears as though they used an approccio simile all'intelligenza artificiale costituzionale di Anthropic. Invece di creare modelli completamente nuovi per rappresentare ciascuna etichetta di bias, hanno essenzialmente messo a punto il singolo modello Llama7 da 2 miliardi di parametri con set di istruzioni separati per ogni bias previsto.

Correlato: L’utilizzo dell’intelligenza artificiale sui social media ha il potenziale per influenzare il sentimento degli elettori

The result, based upon the methodology, architecture, and data descritta in the German team’s research paper, appears to be an AI system that functions as more of a stereotype generator than a tool for studying real world bias.

Due to the nature of the data the model has been refined on, and that data’s dubious relation to the labels defining it, OpinionGPT doesn’t necessarily output text that aligns with any measurable real-world bias. It simply outputs text reflecting the bias of its data.

I ricercatori stessi riconoscono alcuni dei limiti che questo pone al loro studio, scrivendo:

“For instance, the responses by “Americans” should be better understood as ‘Americans that post on Reddit,’ or even ‘Americans that post on this particular subreddit.’ Similarly, ‘Germans’ should be understood as ‘Germans that post on this particular subreddit,’ etc.”

Questi avvertimenti potrebbero essere ulteriormente perfezionati per dire che i post provengono, ad esempio, da "persone che affermano di essere americani e che pubblicano su questo particolare subreddit", poiché nel documento non si fa menzione della verifica se i poster dietro un determinato post siano effettivamente rappresentativi. del gruppo demografico o di pregiudizi che affermano di appartenere.

The authors go on to state that they intend to explore models that further delineate demographics (ie: liberal German, conservative German).

I risultati forniti da OpinionGPT sembrano variare tra la rappresentazione di pregiudizi dimostrabili e ampiamente diversi dalla norma stabilita, rendendo difficile discernere la sua fattibilità come strumento per misurare o scoprire pregiudizi reali.

Scientists created ‘OpinionGPT’ to explore explicit human bias — and you can test it for yourself PlatoBlockchain Data Intelligence. Vertical Search. Ai.
Source: Screenshot, Table 2: Haller et. al., 2023

According to OpinionGPT, as shown in the above image, for example, Latin Americans are biased towards basketball being their favorite sport.

La ricerca empirica, tuttavia, chiaramente indica that football (also called soccer in some countries) and baseball are the most popular sports by viewership and participation throughout Latin America.

La stessa tabella mostra anche che OpinionGPT indica la “pallanuoto” come il suo sport preferito quando gli viene chiesto di dare la “risposta di un adolescente”, una risposta che sembra statisticamente improbabile to be representative of most 13-19 year olds around the world.

The same goes for the idea that an average American’s favorite food is “cheese.” We found dozens of surveys online claiming that pizza and hamburgers were America’s favorite foods, but couldn’t find a single survey or study that claimed Americans’ number one dish was simply cheese.

Anche se OpinionGPT potrebbe non essere adatto per studiare i reali pregiudizi umani, potrebbe essere utile come strumento per esplorare gli stereotipi inerenti ai grandi archivi di documenti come subreddit individuali o set di formazione AI.

For those who are curious, the researchers have made OpinionGPT disponibile online per i test pubblici. Tuttavia, secondo il sito web, gli aspiranti utenti dovrebbero essere consapevoli che “i contenuti generati possono essere falsi, imprecisi o addirittura osceni”.

Timestamp:

Di più da Cointelegraph