Wetenschappers hebben 'OpinionGPT' gemaakt om expliciete menselijke vooroordelen te onderzoeken - en je kunt het zelf testen

Wetenschappers hebben 'OpinionGPT' gemaakt om expliciete menselijke vooroordelen te onderzoeken - en je kunt het zelf testen

Tijdstempel: 8 september 2023 4:42 uur

Een team van onderzoekers van de Humboldt-Universitat zu Berlin heeft een groottaalmodel voor kunstmatige intelligentie ontwikkeld met het onderscheid dat het opzettelijk is afgestemd om output te genereren met uitgesproken vooringenomenheid.

Het model van het team, genaamd OpinionGPT, is een afgestemde variant van Meta's Llama 2, een AI-systeem dat qua mogelijkheden vergelijkbaar is met OpenAI's ChatGPT of Anthropic's Claude 2.

Met behulp van een proces dat 'instructiegebaseerde verfijning' wordt genoemd, kan OpinionGPT zogenaamd reageren op aanwijzingen alsof het een vertegenwoordiger is van een van de elf vooroordeelgroepen: Amerikaans, Duits, Latijns-Amerikaans, Midden-Oosters, een tiener, iemand ouder dan 11, een oudere persoon , een man, een vrouw, een liberaal of een conservatief.

OpinionGPT werd verfijnd op basis van een corpus van gegevens afkomstig van “AskX”-gemeenschappen, subreddits genoemd, op Reddit. Voorbeelden van deze subreddits zijn 'Ask a Woman' en 'Ask an American'.

Het team begon met het vinden van subreddits die verband hielden met de 11 specifieke vooroordelen en trok uit elke subreddit de 25 duizend populairste berichten. Ze behielden vervolgens alleen die berichten die voldeden aan een minimumdrempel voor stemmen, geen ingesloten citaat bevatten en minder dan 80 woorden bevatten.

Met wat er nog over was, lijkt het alsof ze een nadering vergelijkbaar met de Constitutionele AI van Anthropic. In plaats van geheel nieuwe modellen te bedenken om elk bias-label weer te geven, hebben ze in wezen het Llama7-model met 2 miljard parameters verfijnd met afzonderlijke instructiesets voor elke verwachte bias.

Zie ook: Het gebruik van AI op sociale media kan het sentiment van kiezers beïnvloeden

Het resultaat, gebaseerd op de methodologie, architectuur en data beschreven in het onderzoekspaper van het Duitse team lijkt het een AI-systeem te zijn dat eerder functioneert als een stereotypegenerator dan als een hulpmiddel voor het bestuderen van vooroordelen in de echte wereld.

Vanwege de aard van de gegevens waarop het model is verfijnd, en de twijfelachtige relatie van die gegevens met de labels die deze definiëren, levert OpinionGPT niet noodzakelijkerwijs tekst op die aansluit bij enige meetbare vooringenomenheid uit de echte wereld. Het voert eenvoudigweg tekst uit die de vooringenomenheid van de gegevens weergeeft.

De onderzoekers erkennen zelf enkele van de beperkingen die dit aan hun onderzoek met zich meebrengt en schrijven:

“De reacties van ‘Amerikanen’ moeten bijvoorbeeld beter worden begrepen als ‘Amerikanen die op Reddit posten’, of zelfs ‘Amerikanen die op deze specifieke subreddit posten.’ Op dezelfde manier moet ‘Duitsers’ worden begrepen als ‘Duitsers die op deze subreddit posten’. bepaalde subreddit, 'enz.'

Deze kanttekeningen zouden verder kunnen worden verfijnd door te zeggen dat de berichten afkomstig zijn van bijvoorbeeld “mensen die beweren Amerikanen te zijn en op deze specifieke subreddit posten”, aangezien er in de krant niet wordt vermeld of de posters achter een bepaald bericht inderdaad representatief zijn. van de demografische of partijdige groep die zij beweren te zijn.

De auteurs stellen verder dat ze van plan zijn modellen te onderzoeken die de demografische gegevens verder afbakenen (dat wil zeggen: liberaal Duits, conservatief Duits).

De uitkomsten van OpinionGPT lijken te variëren tussen aantoonbare vooroordelen en grote verschillen met de gevestigde norm, waardoor het moeilijk wordt om de haalbaarheid ervan te onderscheiden als instrument voor het meten of ontdekken van daadwerkelijke vooroordelen.

Wetenschappers hebben ‘OpinionGPT’ ontwikkeld om expliciete menselijke vooroordelen te onderzoeken – en je kunt het zelf testen PlatoBlockchain Data Intelligence. Verticaal zoeken. Ai.
Bron: Screenshot, Tabel 2: Haller et. al., 2023

Volgens OpinionGPT, zoals weergegeven in de bovenstaande afbeelding, zijn Latijns-Amerikanen er bijvoorbeeld voorstander van dat basketbal hun favoriete sport is.

Empirisch onderzoek echter duidelijk geeft aan dat voetbal (in sommige landen ook wel voetbal genoemd) en honkbal de meest populaire sporten zijn qua kijkerspubliek en deelname in heel Latijns-Amerika.

Dezelfde tabel laat ook zien dat OpinionGPT ‘waterpolo’ als favoriete sport vermeldt wanneer de opdracht wordt gegeven om de ‘reactie van een tiener’ te geven, een antwoord dat statistisch gezien lijkt onwaarschijnlijk representatief te zijn voor de meeste 13-19-jarigen over de hele wereld.

Hetzelfde geldt voor het idee dat het favoriete eten van een gemiddelde Amerikaan ‘kaas’ is. We hebben online tientallen enquêtes gevonden waarin werd beweerd dat pizza en hamburgers het favoriete voedsel van Amerika waren, maar we konden geen enkele enquête of studie vinden die beweerde dat het belangrijkste gerecht van de Amerikanen simpelweg kaas was.

Hoewel OpinionGPT misschien niet zo geschikt is voor het bestuderen van werkelijke menselijke vooroordelen, kan het nuttig zijn als hulpmiddel voor het onderzoeken van de stereotypen die inherent zijn aan grote documentopslagplaatsen, zoals individuele subreddits of AI-trainingssets.

Voor wie nieuwsgierig is: de onderzoekers hebben OpinionGPT gemaakt Beschikbaar online voor openbare tests. Volgens de website moeten potentiële gebruikers zich er echter van bewust zijn dat “gegenereerde inhoud vals, onnauwkeurig of zelfs obsceen kan zijn.”

Tijdstempel:

Meer van Cointelegraph