A team of researchers from Humboldt-Universitat zu Berlin have developed a large language artificial intelligence model with the distinction of having been intentionally tuned to generate outputs with expressed bias.
Holdets model kaldet OpinionGPT er en tunet variant af Metas Llama 2, et AI-system, der ligner OpenAIs ChatGPT eller Anthropics Claude 2.
Using a process called instruction-based fine-tuning, OpinionGPT can purportedly respond to prompts as if it were a representative of one of 11 bias groups: American, German, Latin American, Middle Eastern, a teenager, someone over 30, an older person, a man, a woman, a liberal, or a conservative.
Annoncerer "OpinionGPT: En meget forudindtaget GPT-model"! Prøv det her: https://t.co/5YJjHlcV4n
For at undersøge virkningen af bias på modelsvar stillede vi et simpelt spørgsmål: Hvad nu hvis vi tunede en #GPT model kun med tekster skrevet af politisk højreorienterede personer?[1 / 3]
— Alan Akbik (@alan_akbik) September 8, 2023
OpinionGPT was refined on a corpus of data derived from “AskX” communities, called subreddits, on Reddit. Examples of these subreddits would include “Ask a Woman” and “Ask an American.”
The team started by finding subreddits related to the 11 specific biases and pulling the 25-thousand most popular posts from each one. They then retained only those posts that met a minimum threshold for upvotes, did not contain an embedded quote, and were under 80 words.
With what was left, it appears as though they used an tilgang svarende til Anthropics Constitutional AI. I stedet for at skabe helt nye modeller for at repræsentere hver bias-label, finjusterede de i det væsentlige den enkelte Llama7-model med 2 milliarder parametre med separate instruktionssæt for hver forventet bias.
Relateret: AI-brug på sociale medier har potentiale til at påvirke vælgernes følelser
The result, based upon the methodology, architecture, and data beskrevet in the German team’s research paper, appears to be an AI system that functions as more of a stereotype generator than a tool for studying real world bias.
Due to the nature of the data the model has been refined on, and that data’s dubious relation to the labels defining it, OpinionGPT doesn’t necessarily output text that aligns with any measurable real-world bias. It simply outputs text reflecting the bias of its data.
Forskerne erkender selv nogle af de begrænsninger, dette sætter på deres undersøgelse, og skriver:
“For instance, the responses by “Americans” should be better understood as ‘Americans that post on Reddit,’ or even ‘Americans that post on this particular subreddit.’ Similarly, ‘Germans’ should be understood as ‘Germans that post on this particular subreddit,’ etc.”
Disse advarsler kan yderligere forfines for at sige, at indlæggene kommer fra for eksempel "folk, der hævder at være amerikanere, der poster på denne særlige subreddit", da der ikke er nogen omtale i papiret om at undersøge, om plakaterne bag et givet indlæg faktisk er repræsentative af den demografiske eller bias gruppe, de hævder at være.
The authors go on to state that they intend to explore models that further delineate demographics (ie: liberal German, conservative German).
De output, der gives af OpinionGPT, ser ud til at variere mellem at repræsentere påviselig bias og meget forskellige fra den etablerede norm, hvilket gør det vanskeligt at skelne dens levedygtighed som et værktøj til at måle eller opdage faktisk bias.
According to OpinionGPT, as shown in the above image, for example, Latin Americans are biased towards basketball being their favorite sport.
Empirisk forskning dog klart angiver that football (also called soccer in some countries) and baseball are the most popular sports by viewership and participation throughout Latin America.
Den samme tabel viser også, at OpinionGPT udsender "vandpolo" som sin yndlingssport, når den bliver bedt om at give "en teenagers svar", et svar, der ser statistisk ud usandsynligt to be representative of most 13-19 year olds around the world.
The same goes for the idea that an average American’s favorite food is “cheese.” We found dozens of surveys online claiming that pizza and hamburgers were America’s favorite foods, but couldn’t find a single survey or study that claimed Americans’ number one dish was simply cheese.
Selvom OpinionGPT måske ikke er velegnet til at studere faktisk menneskelig skævhed, kan det være nyttigt som et værktøj til at udforske de stereotyper, der er iboende i store dokumentlagre, såsom individuelle subreddits eller AI-træningssæt.
For those who are curious, the researchers have made OpinionGPT til rådighed online til offentlig test. Ifølge hjemmesiden skal potentielle brugere dog være opmærksomme på, at "genereret indhold kan være falsk, unøjagtigt eller endda obskønt."
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Automotive/elbiler, Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
- ChartPrime. Løft dit handelsspil med ChartPrime. Adgang her.
- BlockOffsets. Modernisering af miljømæssig offset-ejerskab. Adgang her.
- Kilde: https://cointelegraph.com/news/scientists-created-artificial-intelligence-opinion-gpt-explicit-human-bias-test
- :har
- :er
- :ikke
- $OP
- 11
- 30
- 7
- 8
- 80
- a
- over
- Ifølge
- faktiske
- AI
- AI -træning
- AL
- Alan
- Justerer
- også
- amerika
- amerikansk
- Amerikanerne
- an
- ,
- besvare
- svar
- enhver
- vises
- kommer til syne
- arkitektur
- ER
- omkring
- kunstig
- kunstig intelligens
- AS
- forfattere
- gennemsnit
- opmærksom på
- Baseball
- baseret
- Basketball
- BE
- været
- bag
- være
- Berlin
- Bedre
- mellem
- skævhed
- forudindtaget
- fordomme
- men
- by
- kaldet
- CAN
- kapacitet
- ChatGPT
- krav
- hævdede
- hævder
- tydeligt
- Cointelegraph
- Kom
- Fællesskaber
- konservativ
- indeholder
- indhold
- kunne
- lande
- oprettet
- nysgerrig
- data
- definere
- demografiske
- Demografi
- Afledt
- udviklet
- DID
- forskellige
- svært
- opdage
- fad
- skelnen
- dokumentet
- Er ikke
- snesevis
- E&T
- hver
- østlige
- indlejret
- helt
- væsentlige
- etableret
- etc.
- Endog
- eksempel
- eksempler
- forventet
- udforske
- Udforskning
- udtrykt
- Faktisk
- falsk
- Favorit
- Finde
- finde
- mad
- fødevarer
- fodbold
- Til
- fundet
- fra
- funktioner
- yderligere
- generere
- generator
- Tysk
- Giv
- given
- Go
- Goes
- gruppe
- Gruppens
- Have
- have
- link.
- Men
- HTTPS
- menneskelig
- idé
- ie
- if
- billede
- KIMOs Succeshistorier
- in
- forkert
- omfatter
- individuel
- iboende
- instans
- Intelligens
- hensigt
- med vilje
- undersøge
- IT
- ITS
- jpg
- etiket
- Etiketter
- Sprog
- stor
- latin
- latin Amerika
- latinamerikanske
- til venstre
- begrænsninger
- Llama
- lavet
- Making
- mand
- måling
- Medier
- mødte
- Metode
- Mellemøsten
- måske
- minimum
- model
- modeller
- mere
- mest
- Mest Populære
- Natur
- nødvendigvis
- Ny
- ingen
- nummer
- of
- on
- ONE
- online
- kun
- or
- ud
- output
- i løbet af
- Papir
- deltagelse
- særlig
- person,
- personer
- Pizza
- Steder
- plato
- Platon Data Intelligence
- PlatoData
- politisk
- Populær
- Indlæg
- Indlæg
- potentiale
- behandle
- offentlige
- trækker
- spørgsmål
- citere
- hellere
- ægte
- virkelige verden
- genkende
- raffinerede
- afspejler
- relaterede
- relation
- repræsentere
- repræsentativt
- repræsenterer
- forskning
- forskere
- Svar
- reaktioner
- resultere
- samme
- siger
- forskere
- synes
- adskille
- sæt
- bør
- vist
- Shows
- lignende
- Tilsvarende
- Simpelt
- ganske enkelt
- enkelt
- Fodbold
- Social
- sociale medier
- nogle
- Nogen
- specifikke
- Spin
- Sport
- Sport
- påbegyndt
- Tilstand
- Studere
- studere
- sådan
- Kortlægge
- systemet
- bord
- hold
- teenager
- prøve
- Test
- tekst
- end
- at
- verdenen
- deres
- selv
- derefter
- Disse
- de
- denne
- dem
- selvom?
- tærskel
- hele
- til
- værktøj
- mod
- Kurser
- prøv
- under
- forstået
- på
- Brug
- anvendte
- brugere
- Variant
- meget
- levedygtighed
- stemme
- var
- we
- Hjemmeside
- var
- Hvad
- hvornår
- hvorvidt
- WHO
- med
- kvinde
- ord
- world
- ville
- skrivning
- skriftlig
- år
- Du
- dig selv
- zephyrnet