Anthropic skabte en demokratisk AI-chatbot ved at tillade, at dens principper blev valgt af brugerne.

I en banebrydende udforskning af AI-kapaciteter har Anthropic, en virksomhed med kunstig intelligens (AI), skræddersyet en stor sprogmodel (LLM) til at afspejle brugerdefinerede værdier. Denne unikke undersøgelse involverede indsamling af input fra 1,000 deltagere for at finjustere LLM's svar baseret på deres kollektive vurderinger.

I modsætning til konventionelle LLM'er udstyret med foruddefinerede autoværn for at begrænse visse output, omfatter Anthropics tilgang brugeragentur. Modeller som Claude fra Anthropic og ChatGPT fra OpenAI overholder ofte forudindstillede sikkerhedssvar, især vedrørende følsomme emner. Kritikere hævder dog, at sådanne indgreb kan kompromittere brugerens autonomi, da definitionen af ​​accept varierer og er subjektiv på tværs af kulturer og tidsperioder.

En potentiel løsning på denne komplekse udfordring er at give brugerne mulighed for at forme værditilpasningen af ​​AI-modeller. Anthropic gik i gang med eksperimentet "Collective Constitutional AI" i samarbejde med Polis og Collective Intelligence Project. De engagerede 1,000 brugere med forskellig baggrund og stillede en række spørgsmål gennem afstemninger for at indsamle værdifuld indsigt.

Eksperimentet drejer sig om at give brugerne autoritet til at bestemme passende uden at udsætte dem for uønskede output. Denne proces involverede at fremkalde brugerværdier og inkorporere dem i en præ-trænet model. Anthropic anvender en teknik kendt som "Constitutional AI", hvor modellen er forsynet med et sæt regler, der skal følges, beslægtet med en forfatning, der styrer regeringsførelse i nationer.

I Collective Constitutional AI-eksperimentet havde Anthropic til formål at integrere feedback fra brugergrupper i modellens konstitution. Ifølge Anthropics blogindlæg tyder resultaterne på en videnskabelig succes, der kaster lys over udfordringer forbundet med at lade brugere i fællesskab definere værdierne af et LLM-produkt.

En bemærkelsesværdig hindring for holdet var at udvikle en ny benchmarking-proces. I betragtning af eksperimentets banebrydende karakter og afhængighed af Anthropics Constitutional AI-metodologi, er der ingen etableret test til at sammenligne basismodeller med dem, der er finjusteret ved hjælp af crowd-sourcede værdier.

I sidste ende ser det ud til, at modellen, der inkorporerer data afledt af brugerafstemningsfeedback, udviste en "lille" forbedring i forhold til basismodellen med hensyn til at afbøde skæve output. Anthropic udtrykker begejstring ikke kun for den resulterende model, men, endnu vigtigere, om selve den banebrydende proces. Dette eksperiment betegner et af de første tilfælde, hvor offentligheden, som et kollektiv, bevidst påvirkede adfærden af ​​en stor sprogmodel. Håbet er, at samfund globalt vil bygge videre på sådanne teknikker for at udvikle modeller, der stemmer overens med deres specifikke kulturelle og kontekstuelle behov.