Anthropic opprettet en demokratisk AI-chatbot ved å la prinsippene velges av brukerne.

I en banebrytende utforskning av AI-evner har Anthropic, et selskap innen kunstig intelligens (AI), skreddersydd en stor språkmodell (LLM) for å gjenspeile brukerdefinerte verdier. Denne unike studien innebar å samle inn innspill fra 1,000 deltakere for å finjustere LLMs svar basert på deres kollektive vurderinger.

I motsetning til konvensjonelle LLM-er utstyrt med forhåndsdefinerte rekkverk for å begrense visse utganger, omfatter Anthropics tilnærming brukerbyråd. Modeller som Claude fra Anthropic og ChatGPT fra OpenAI følger ofte forhåndsinnstilte sikkerhetsresponser, spesielt angående sensitive emner. Kritikere hevder imidlertid at slike intervensjoner kan kompromittere brukerautonomi, ettersom definisjonen av aksepterbarhet varierer og er subjektiv på tvers av kulturer og tidsperioder.

En potensiell løsning på denne komplekse utfordringen er å gi brukerne mulighet til å forme verdijusteringen til AI-modeller. Anthropic tok fatt på eksperimentet "Collective Constitutional AI" i samarbeid med Polis og Collective Intelligence Project. De engasjerte 1,000 brukere fra forskjellige bakgrunner og stilte en rekke spørsmål gjennom avstemninger for å samle verdifull innsikt.

Eksperimentet dreier seg om å gi brukere autoritet til å bestemme hensiktsmessighet uten å utsette dem for uønskede utdata. Denne prosessen innebar å fremkalle brukerverdier og inkorporere dem i en forhåndsopplært modell. Anthropic bruker en teknikk kjent som "Constitutional AI", der modellen er utstyrt med et sett med regler å følge, i likhet med en grunnlov som styrer styringen i nasjoner.

I Collective Constitutional AI-eksperimentet hadde Anthropic som mål å integrere tilbakemeldinger fra brukergrupper i modellens konstitusjon. I følge Anthropics blogginnlegg antyder resultatene en vitenskapelig suksess, og kaster lys over utfordringer knyttet til å la brukere i fellesskap definere verdiene til et LLM-produkt.

Et bemerkelsesverdig hinder for teamet var å utvikle en ny benchmarking-prosess. Gitt eksperimentets banebrytende natur og avhengighet av Anthropics konstitusjonelle AI-metodikk, er det ingen etablert test for å sammenligne basismodeller med de som er finjustert ved bruk av verdier fra publikum.

Til slutt ser det ut til at modellen som inkorporerer data hentet fra tilbakemeldinger fra brukerundersøkelser, viste en "liten" forbedring i forhold til basismodellen når det gjaldt å redusere skjev utgang. Anthropic uttrykker begeistring ikke bare om den resulterende modellen, men, enda viktigere, om selve banebrytende prosessen. Dette eksperimentet betegner et av de første tilfellene der publikum, som et kollektiv, med vilje påvirket oppførselen til en stor språkmodell. Håpet er at samfunn globalt vil bygge videre på slike teknikker for å utvikle modeller som stemmer overens med deres spesifikke kulturelle og kontekstuelle behov.