Anthropic bygde en demokratisk AI-chatbot ved å la brukere stemme for verdiene

Anthropic bygde en demokratisk AI-chatbot ved å la brukere stemme for verdiene

Tidsstempel: 18. oktober 2023 1

I det som kan være en første i sitt slag, har firmaet med kunstig intelligens (AI) Anthropic utviklet en stor språkmodell (LLM) som er finjustert for verdivurderinger av brukerfellesskapet.

Mange offentlige-vendte LLM-er har blitt utviklet med rekkverk - kodede instruksjoner som dikterer spesifikk oppførsel - på plass i et forsøk på å begrense uønskede utdata. Anthropics Claude og OpenAIs ChatGPT, for eksempel, gir vanligvis brukere en sikkerhetsrespons på utdataforespørsler relatert til voldelige eller kontroversielle emner.

Imidlertid, som utallige forståsegpåere har påpekt, kan rekkverk og andre intervensjonsteknikker tjene til å frarøve brukerne deres byrå. Det som anses som akseptabelt er ikke alltid nyttig, og det som anses som nyttig er ikke alltid akseptabelt. Og definisjoner for moral eller verdibaserte vurderinger kan variere mellom kulturer, befolkninger og tidsperioder.

Relatert: Storbritannia for å målrette potensielle AI-trusler på det planlagte toppmøtet i november

En mulig løsning på dette er å la brukere diktere verdijustering for AI-modeller. Anthropics «Collective Constitutional AI»-eksperiment er et stikk på denne «rotete utfordringen».

Anthropic, i samarbeid med Polis og Collective Intelligence Project, fant 1,000 brukere på tvers av ulike demografiske grupper og ba dem svare på en rekke spørsmål via meningsmåling.

Anthropic bygde en demokratisk AI-chatbot ved å la brukere stemme for verdiene PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.
Kilde, Antropisk

Utfordringen dreier seg om å la brukere byrået finne ut hva som er passende uten å utsette dem for upassende resultater. Dette innebar å oppfordre til brukerverdier og deretter implementere disse ideene i en modell som allerede er opplært.

Anthropic bruker en metode kalt "Constitutional AI" for å direkte sin innsats for å tune LLM-er for sikkerhet og nytte. I hovedsak innebærer dette å gi modellen en liste over regler den må følge og deretter trene den til å implementere disse reglene gjennom hele prosessen, omtrent som en grunnlov fungerer som kjernedokumentet for styring i mange nasjoner.

I Collective Constitutional AI-eksperimentet forsøkte Anthropic å integrere gruppebasert tilbakemelding i modellens konstitusjon. Resultatene, ifølge til et blogginnlegg fra Anthropic, ser ut til å ha vært en vitenskapelig suksess ved at det belyste ytterligere utfordringer for å nå målet om å la brukerne av et LLM-produkt bestemme deres kollektive verdier.

En av vanskelighetene teamet måtte overvinne var å komme opp med en ny metode for benchmarking-prosessen. Ettersom dette eksperimentet ser ut til å være det første i sitt slag, og det er avhengig av Anthropics Constitutional AI-metodikk, er det ikke en etablert test for å sammenligne basismodeller med de som er innstilt med verdier fra publikum.

Til syvende og sist ser det ut som om modellen som implementerte data som ble resultatet av tilbakemeldinger fra brukerundersøkelser, utkonkurrerte basismodellen "litt" når det gjelder partiske utdata.

I følge blogginnlegget:

«Mer enn den resulterende modellen, er vi spente på prosessen. Vi tror at dette kan være et av de første tilfellene hvor medlemmer av offentligheten som gruppe med vilje har styrt oppførselen til en stor språkmodell. Vi håper at lokalsamfunn rundt om i verden vil bygge på teknikker som dette for å trene kultur- og kontekstspesifikke modeller som tjener deres behov."

Tidstempel:

Mer fra Cointelegraph