Anthropic byggde en demokratisk AI-chatbot genom att låta användare rösta för dess värderingar

Anthropic byggde en demokratisk AI-chatbot genom att låta användare rösta för dess värderingar

Tidsstämpel: 18 oktober 2023 1:00

I vad som kan vara en första i sitt slag, har företaget Anthropic med artificiell intelligens (AI) utvecklat en stor språkmodell (LLM) som har finjusterats för värdebedömningar av dess användargemenskap.

Många offentliga LLM:er har utvecklats med skyddsräcken - kodade instruktioner som dikterar specifikt beteende - på plats i ett försök att begränsa oönskade utdata. Anthropics Claude och OpenAI:s ChatGPT, till exempel, ger vanligtvis användarna ett säkerhetssvar på utdata relaterade till våldsamma eller kontroversiella ämnen.

Men, som otaliga förståsigpåare har påpekat, kan skyddsräcken och andra ingripande tekniker tjäna till att beröva användarna deras byrå. Det som anses vara acceptabelt är inte alltid användbart, och det som anses vara användbart är inte alltid acceptabelt. Och definitioner för moral eller värdebaserade bedömningar kan variera mellan kulturer, folkgrupper och tidsperioder.

Relaterat: Storbritannien för att rikta in sig på potentiella AI-hot vid det planerade toppmötet i november

En möjlig lösning på detta är att tillåta användare att diktera värdeanpassning för AI-modeller. Anthropics "Collective Constitutional AI"-experiment är ett stick på denna "stökiga utmaning".

Anthropic, i samarbete med Polis och Collective Intelligence Project, kontaktade 1,000 XNUMX användare över olika demografi och bad dem svara på en rad frågor via omröstning.

Anthropic byggde en demokratisk AI-chatbot genom att låta användare rösta för dess värderingar PlatoBlockchain Data Intelligence. Vertikal sökning. Ai.
Källa, Antropisk

Utmaningen handlar om att låta användarna byrån avgöra vad som är lämpligt utan att utsätta dem för olämpliga resultat. Detta innebar att man sökte efter användarvärden och sedan implementerade dessa idéer i en modell som redan har utbildats.

Anthropic använder en metod som kallas "Constitutional AI" för att rikta dess ansträngningar för att trimma LLM:er för säkerhet och användbarhet. I huvudsak innebär detta att ge modellen en lista över regler som den måste följa och sedan träna den för att implementera dessa regler under hela processen, ungefär som en konstitution fungerar som kärndokumentet för styrning i många nationer.

I experimentet Collective Constitutional AI försökte Anthropic integrera gruppbaserad feedback i modellens konstitution. Resultaten, enligt till ett blogginlägg från Anthropic, verkar ha varit en vetenskaplig framgång genom att det belyste ytterligare utmaningar för att uppnå målet att låta användarna av en LLM-produkt bestämma sina kollektiva värderingar.

En av svårigheterna som teamet hade att övervinna var att ta fram en ny metod för benchmarkingprocessen. Eftersom det här experimentet verkar vara det första i sitt slag, och det förlitar sig på Anthropics konstitutionella AI-metodik, finns det inget etablerat test för att jämföra basmodeller med de som är inställda med värden från publiken.

I slutändan verkar det som om modellen som implementerade data som härrörde från feedback från användarundersökningar överträffade basmodellen "något" när det gäller partiska utdata.

Enligt blogginlägget:

"Mer än den resulterande modellen är vi glada över processen. Vi tror att detta kan vara ett av de första fallen där allmänheten som grupp avsiktligt har styrt beteendet hos en stor språkmodell. Vi hoppas att samhällen runt om i världen kommer att bygga på tekniker som denna för att träna kulturellt och kontextspecifika modeller som tjänar deras behov."

Tidsstämpel:

Mer från Cointelegraph