Teadlased lõid „OpinionGPT”, et uurida inimeste selget eelarvamust – ja saate seda ise katsetada

Teadlased lõid „OpinionGPT”, et uurida inimeste selget eelarvamust – ja saate seda ise katsetada

Ajatempel: 8. september 2023 4:42

Berliini Humboldt-Universitat zu Berlini teadlaste meeskond on välja töötanud suure keele tehisintellekti mudeli, mis erineb sellest, et see on tahtlikult häälestatud väljendatud eelarvamusega väljundite genereerimiseks.

Meeskonna mudel nimega OpinionGPT on häälestatud variant Meta's Llama 2-st, tehisintellektisüsteemist, mis sarnaneb OpenAI ChatGPT või Anthropicu Claude 2-ga.

Kasutades protsessi, mida nimetatakse juhistepõhiseks peenhäälestamiseks, suudab OpinionGPT väidetavalt vastata viipadele nii, nagu oleks see ühe 11 eelarvamuste rühma esindaja: Ameerika, Saksa, Ladina-Ameerika, Lähis-Ida, teismeline, keegi üle 30-aastane, vanem inimene. , mees, naine, liberaal või konservatiiv.

ArvamusGPT-d viimistleti Redditis AskX-i kogukondadelt saadud andmete kogumi põhjal, mida nimetatakse subredditeks. Nende alamreklaamide näited hõlmavad "Küsi naiselt" ja "Küsi ameeriklaselt".

Meeskond alustas sellega, et otsis 11 konkreetse eelarvamusega seotud alamrediteeringuid ja tõmbas igaühest välja 25 tuhat kõige populaarsemat postitust. Seejärel säilitasid nad ainult need postitused, mis vastasid poolthäälte miinimumkünnisele, ei sisaldanud manustatud tsitaati ja olid alla 80 sõna.

Mis alles jäi, tundub, et nad kasutasid an lähenemine sarnane Anthropic's Constitutional AI-ga. Selle asemel, et luua täiesti uusi mudeleid, mis esindaksid iga kaldemärgistust, viimistlesid nad sisuliselt ühtse 7 miljardi parameetriga Llama2 mudelit eraldi käsukomplektidega iga eeldatava nihke jaoks.

Seotud: AI kasutamine sotsiaalmeedias võib mõjutada valijate meeleolu

Tulemus, mis põhineb metoodikal, arhitektuuril ja andmetel kirjeldatud Saksa meeskonna uurimistöös näib olevat AI-süsteem, mis toimib pigem stereotüüpide generaatorina kui vahendina reaalse maailma eelarvamuste uurimiseks.

Mudelit täpsustatud andmete olemuse ja nende andmete kahtlase seose tõttu seda määratlevate siltidega ei pruugi OpinionGPT tingimata väljastada teksti, mis ühtib mõõdetava reaalse maailma kallutusega. See lihtsalt väljastab teksti, mis peegeldab selle andmete kallutatust.

Teadlased ise tunnistavad mõningaid piiranguid, mida see nende uuringule seab, kirjutades:

"Näiteks "ameeriklaste" vastuseid tuleks paremini mõista kui "ameeriklasi, kes postitavad Redditis" või isegi "ameeriklasi, kes postitavad sellele konkreetsele alamreditile". Samamoodi tuleks „sakslasi” mõista kui „sakslasi, kes postitavad sellele konkreetsele subredditile” jne.

Neid hoiatusi võiks veelgi täpsustada, et öelda, et postitused pärinevad näiteks „inimestelt, kes väidavad end olevat ameeriklased, kes postitavad sellesse konkreetsesse subredditisse”, kuna dokumendis ei mainita kontrollimist, kas antud postituse taga olevad plakatid on tegelikult esinduslikud. demograafilisest või erapoolikusest rühmast, mida nad väidavad olevat.

Autorid jätkavad, et kavatsevad uurida mudeleid, mis piiritlevad demograafiat veelgi (st liberaalne saksa keel, konservatiivne saksa keel).

Tundub, et OpinionGPT väljundid varieeruvad nii, et need esindavad demonstreeritavat eelarvamust ja erinevad metsikult kehtestatud normist, mistõttu on raske tuvastada selle elujõulisust tegeliku eelarvamuse mõõtmise või tuvastamise vahendina.

Teadlased lõid „OpinionGPT”, et uurida inimeste selget eelarvamust – ja saate seda PlatoBlockchain Data Intelligence'i enda jaoks testida. Vertikaalne otsing. Ai.
Allikas: ekraanipilt, tabel 2: Haller et. al., 2023

OpinionGPT andmetel, nagu näiteks ülaltoodud pildil, on ladina-ameeriklased kallutatud selle poole, et korvpall on nende lemmikspordiala.

Empiiriline uurimine aga selgelt näitab et jalgpall (mõnes riigis nimetatakse ka jalgpalliks) ja pesapall on Ladina-Ameerikas kõige populaarsemad spordialad nii vaatajate kui ka osaluse järgi.

Samast tabelist nähtub ka, et OpinionGPT annab oma lemmikspordialaks veepalli, kui tal kästakse anda „teismelise reaktsioon”, mis tundub statistiliselt Ebatõenäoline esindada enamikku 13–19-aastastest noortest üle maailma.

Sama kehtib ka idee kohta, et keskmise ameeriklase lemmiktoit on juust. Leidsime veebist kümneid küsitlusi, mis väidavad, et pitsa ja hamburgerid on Ameerika lemmiktoidud, kuid ei leidnud ühtegi küsitlust ega uuringut, mis oleks väitnud, et ameeriklaste roog number üks on lihtsalt juust.

Kuigi OpinionGPT ei pruugi inimeste tegeliku eelarvamuste uurimiseks hästi sobida, võib see olla kasulik vahendina suurtes dokumendihoidlates, nagu üksikud alamrediidid või AI koolituskomplektid, omaste stereotüüpide uurimiseks.

Neile, kes on uudishimulikud, on teadlased koostanud OpinionGPT saadaval Internetis avalikuks testimiseks. Veebisaidi sõnul peaksid potentsiaalsed kasutajad siiski teadma, et "loodud sisu võib olla vale, ebatäpne või isegi rõve."

Ajatempel:

Veel alates Cointelegraph