Anthropic skapade en demokratisk AI-chatbot genom att tillåta dess principer att väljas av användarna.

I en banbrytande utforskning av AI-kapacitet har Anthropic, ett företag med artificiell intelligens (AI), skräddarsytt en stor språkmodell (LLM) för att återspegla användardefinierade värderingar. Denna unika studie involverade att samla in input från 1,000 XNUMX deltagare för att finjustera LLM:s svar baserat på deras kollektiva bedömningar.

Till skillnad från konventionella LLM:er utrustade med fördefinierade skyddsräcken för att begränsa vissa utgångar, omfattar Anthropics tillvägagångssätt användarvänlighet. Modeller som Claude från Anthropic och ChatGPT från OpenAI följer ofta förinställda säkerhetssvar, särskilt när det gäller känsliga ämnen. Men kritiker hävdar att sådana ingrepp kan äventyra användarnas autonomi, eftersom definitionen av acceptans varierar och är subjektiv över kulturer och tidsperioder.

En potentiell lösning på denna komplexa utmaning är att ge användare möjlighet att forma värdeanpassningen av AI-modeller. Anthropic inledde experimentet "Collective Constitutional AI" i samarbete med Polis och Collective Intelligence Project. De engagerade 1,000 XNUMX användare från olika bakgrunder och ställde en rad frågor genom omröstningar för att samla in värdefulla insikter.

Experimentet kretsar kring att ge användarna behörighet att avgöra lämplighet utan att utsätta dem för oönskade resultat. Denna process innebar att framkalla användarvärden och införliva dem i en förutbildad modell. Anthropic använder en teknik som kallas "Constitutional AI", där modellen är försedd med en uppsättning regler att följa, liknande en konstitution som vägleder styrning i nationer.

I Collective Constitutional AI-experimentet syftade Anthropic till att integrera feedback från användargrupper i modellens konstitution. Enligt Anthropics blogginlägg tyder resultaten på en vetenskaplig framgång som belyser utmaningar som är förknippade med att låta användare gemensamt definiera värdena för en LLM-produkt.

Ett anmärkningsvärt hinder för teamet var att utveckla en ny benchmarkingprocess. Med tanke på experimentets banbrytande karaktär och beroende av Anthropics konstitutionella AI-metodik, finns det inget etablerat test för att jämföra basmodeller med de som är finjusterade med hjälp av värden från publiken.

I slutändan verkar det som om modellen som innehåller data som härrör från feedback från användarna uppvisade en "liten" förbättring jämfört med basmodellen när det gäller att mildra partiska utdata. Anthropic uttrycker spänning inte bara över den resulterande modellen utan, ännu viktigare, över själva banbrytande processen. Detta experiment betecknar ett av de första fallen där allmänheten, som ett kollektiv, avsiktligt påverkade beteendet hos en stor språkmodell. Förhoppningen är att samhällen globalt kommer att bygga på sådana tekniker för att utveckla modeller som passar deras specifika kulturella och kontextuella behov.