A team of researchers from Humboldt-Universitat zu Berlin have developed a large language artificial intelligence model with the distinction of having been intentionally tuned to generate outputs with expressed bias.
Lagets modell kalles OpinionGPT, og er en finstilt variant av Metas Llama 2, et AI-system som ligner på OpenAIs ChatGPT eller Anthropics Claude 2.
Using a process called instruction-based fine-tuning, OpinionGPT can purportedly respond to prompts as if it were a representative of one of 11 bias groups: American, German, Latin American, Middle Eastern, a teenager, someone over 30, an older person, a man, a woman, a liberal, or a conservative.
Kunngjøring av "OpinionGPT: En veldig partisk GPT-modell"! Prøv det her: https://t.co/5YJjHlcV4n
For å undersøke virkningen av skjevhet på modellsvar stilte vi et enkelt spørsmål: Hva om vi stilte en #GPT modell kun med tekster skrevet av politisk høyreorienterte personer?[1 / 3]
— Alan Akbik (@alan_akbik) September 8, 2023
OpinionGPT was refined on a corpus of data derived from “AskX” communities, called subreddits, on Reddit. Examples of these subreddits would include “Ask a Woman” and “Ask an American.”
The team started by finding subreddits related to the 11 specific biases and pulling the 25-thousand most popular posts from each one. They then retained only those posts that met a minimum threshold for upvotes, did not contain an embedded quote, and were under 80 words.
With what was left, it appears as though they used an tilnærming ligner på Anthropics Constitutional AI. I stedet for å spinne opp helt nye modeller for å representere hver bias-etikett, finjusterte de i hovedsak den enkle Llama7-modellen med 2 milliarder parametre med separate instruksjonssett for hver forventet skjevhet.
Relatert: AI-bruk på sosiale medier har potensial til å påvirke velgernes følelser
The result, based upon the methodology, architecture, and data beskrevet in the German team’s research paper, appears to be an AI system that functions as more of a stereotype generator than a tool for studying real world bias.
Due to the nature of the data the model has been refined on, and that data’s dubious relation to the labels defining it, OpinionGPT doesn’t necessarily output text that aligns with any measurable real-world bias. It simply outputs text reflecting the bias of its data.
Forskerne selv anerkjenner noen av begrensningene dette legger på studien deres, og skriver:
“For instance, the responses by “Americans” should be better understood as ‘Americans that post on Reddit,’ or even ‘Americans that post on this particular subreddit.’ Similarly, ‘Germans’ should be understood as ‘Germans that post on this particular subreddit,’ etc.”
Disse advarslene kan ytterligere foredles for å si at innleggene kommer fra for eksempel «folk som hevder å være amerikanere som legger ut på denne spesielle subredditen», siden det ikke står noe i avisen om å undersøke om plakatene bak et gitt innlegg faktisk er representative av den demografiske eller partiske gruppen de hevder å være.
The authors go on to state that they intend to explore models that further delineate demographics (ie: liberal German, conservative German).
Utdataene gitt av OpinionGPT ser ut til å variere mellom å representere påviselig skjevhet og veldig forskjellig fra den etablerte normen, noe som gjør det vanskelig å skjelne dens levedyktighet som et verktøy for å måle eller oppdage faktisk skjevhet.
According to OpinionGPT, as shown in the above image, for example, Latin Americans are biased towards basketball being their favorite sport.
Empirisk forskning, men klart indikerer that football (also called soccer in some countries) and baseball are the most popular sports by viewership and participation throughout Latin America.
Den samme tabellen viser også at OpinionGPT utgir "vannpolo" som sin favorittsport når den blir bedt om å gi "svaret til en tenåring", et svar som virker statistisk usannsynlig to be representative of most 13-19 year olds around the world.
The same goes for the idea that an average American’s favorite food is “cheese.” We found dozens of surveys online claiming that pizza and hamburgers were America’s favorite foods, but couldn’t find a single survey or study that claimed Americans’ number one dish was simply cheese.
Selv om OpinionGPT kanskje ikke er godt egnet for å studere faktisk menneskelig skjevhet, kan det være nyttig som et verktøy for å utforske stereotypiene som ligger i store dokumentlager som individuelle subreddits eller AI-treningssett.
For those who are curious, the researchers have made OpinionGPT tilgjengelig online for offentlig testing. Imidlertid, ifølge nettstedet, bør potensielle brukere være klar over at "generert innhold kan være falskt, unøyaktig eller til og med uanstendig."
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Bil / elbiler, Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- ChartPrime. Hev handelsspillet ditt med ChartPrime. Tilgang her.
- BlockOffsets. Modernisering av eierskap for miljøkompensasjon. Tilgang her.
- kilde: https://cointelegraph.com/news/scientists-created-artificial-intelligence-opinion-gpt-explicit-human-bias-test
- : har
- :er
- :ikke
- $OPP
- 11
- 30
- 7
- 8
- 80
- a
- ovenfor
- Ifølge
- faktiske
- AI
- AI-trening
- AL
- Alan
- Justerer
- også
- america
- amerikansk
- Amerikanerne
- an
- og
- besvare
- svar
- noen
- vises
- vises
- arkitektur
- ER
- rundt
- kunstig
- kunstig intelligens
- AS
- forfattere
- gjennomsnittlig
- klar
- baseball
- basert
- basketball
- BE
- vært
- bak
- være
- Berlin
- Bedre
- mellom
- Bias
- forutinntatt
- skjevheter
- men
- by
- som heter
- CAN
- evne
- ChatGPT
- hevder
- hevdet
- hevder
- klart
- Cointelegraph
- Kom
- Communities
- konservativ
- inneholde
- innhold
- kunne
- land
- opprettet
- nysgjerrig
- dato
- definere
- demografiske
- Demografi
- Avledet
- utviklet
- gJORDE
- ulik
- vanskelig
- oppdage
- parabolen
- skillet
- dokument
- ikke
- dusinvis
- E&T
- hver enkelt
- østlige
- innebygd
- fullstendig
- hovedsak
- etablert
- etc
- Selv
- eksempel
- eksempler
- forventet
- utforske
- Utforske
- uttrykte
- Faktisk
- falsk
- Favoritt
- Finn
- finne
- mat
- mat
- fotball
- Til
- funnet
- fra
- funksjoner
- videre
- generere
- generator
- Tysk
- Gi
- gitt
- Go
- Går
- Gruppe
- Gruppens
- Ha
- å ha
- her.
- Men
- HTTPS
- menneskelig
- Tanken
- ie
- if
- bilde
- Påvirkning
- in
- unøyaktig
- inkludere
- individuelt
- iboende
- f.eks
- Intelligens
- hensikt
- med hensikt
- undersøke
- IT
- DET ER
- jpg
- Etiketten
- etiketter
- Språk
- stor
- Latin
- latin amerika
- Latinamerikanske
- venstre
- begrensninger
- Llama
- laget
- Making
- mann
- måling
- Media
- møtte
- metodikk
- Middle
- kunne
- minimum
- modell
- modeller
- mer
- mest
- Mest populær
- Natur
- nødvendigvis
- Ny
- Nei.
- Antall
- of
- on
- ONE
- på nett
- bare
- or
- ut
- produksjon
- enn
- Papir
- deltakelse
- Spesielt
- person
- personer
- Pizza
- steder
- plato
- Platon Data Intelligence
- PlatonData
- politisk
- Populær
- Post
- innlegg
- potensiell
- prosess
- offentlig
- trekke
- spørsmål
- sitere
- heller
- ekte
- virkelige verden
- gjenkjenne
- raffinert
- reflekterende
- i slekt
- forhold
- representere
- representant
- representerer
- forskning
- forskere
- Svare
- svar
- resultere
- samme
- sier
- forskere
- synes
- separat
- sett
- bør
- vist
- Viser
- lignende
- på samme måte
- Enkelt
- ganske enkelt
- enkelt
- Fotball
- selskap
- sosiale medier
- noen
- Noen
- spesifikk
- Snurre rundt
- Sport
- Sports
- startet
- Tilstand
- Studer
- Studerer
- slik
- Survey /Inspeksjonsfartøy
- system
- bord
- lag
- tenåring
- test
- Testing
- tekst
- enn
- Det
- De
- verden
- deres
- seg
- deretter
- Disse
- de
- denne
- De
- selv om?
- terskel
- hele
- til
- verktøy
- mot
- Kurs
- prøve
- etter
- forstås
- upon
- bruk
- brukt
- Brukere
- variant
- veldig
- levedyktighet
- stemme
- var
- we
- Nettsted
- var
- Hva
- når
- om
- HVEM
- med
- kvinne
- ord
- verden
- ville
- skriving
- skrevet
- år
- Du
- deg selv
- zephyrnet