Anthropic byggede en demokratisk AI-chatbot ved at lade brugerne stemme for dens værdier

Anthropic byggede en demokratisk AI-chatbot ved at lade brugerne stemme for dens værdier

Tidsstempel: 18. oktober 2023 kl. 1

In what may be a first of its kind study, artificial intelligence (AI) firm Anthropic has developed a large language model (LLM) that’s been fine-tuned for value judgments by its user community.

Mange offentligt vendte LLM'er er blevet udviklet med autoværn - kodede instruktioner, der dikterer specifik adfærd - på plads i et forsøg på at begrænse uønskede output. Anthropics Claude og OpenAIs ChatGPT giver f.eks. typisk brugere et sikkerhedssvar på dåse på output-anmodninger relateret til voldelige eller kontroversielle emner.

However, as innumerable pundits have pointed out, guardrails and other interventional techniques can serve to rob users of their agency. What’s considered acceptable isn’t always useful, and what’s considered useful isn’t always acceptable. And definitions for morality or value-based judgments can vary between cultures, populaces, and periods of time.

Relateret: Storbritannien for at målrette potentielle AI-trusler på det planlagte topmøde i november

One possible remedy to this is to allow users to dictate value alignment for AI models. Anthropic’s “Collective Constitutional AI” experiment is a stab at this “messy challenge.”

Anthropic, i samarbejde med Polis og Collective Intelligence Project, nåede 1,000 brugere på tværs af forskellig demografi og bad dem besvare en række spørgsmål via afstemning.

Anthropic built a democratic AI chatbot by letting users vote for its values PlatoBlockchain Data Intelligence. Vertical Search. Ai.
Kilde, Antropisk

Udfordringen er centreret omkring at give brugerne mulighed for at bestemme, hvad der er passende uden at udsætte dem for upassende output. Dette involverede at opfordre til brugerværdier og derefter implementere disse ideer i en model, der allerede er blevet trænet.

Anthropic uses a method called “Constitutional AI” to direkte its efforts at tuning LLMs for safety and usefulness. Essentially, this involves giving the model a list of rules it must abide by and then training it to implement those rules throughout its process, much like a constitution serves as the core document for governance in many nations.

In the Collective Constitutional AI experiment, Anthropic attempted to integrate group-based feedback into the model’s constitution. The results, ifølge to a blog post from Anthropic, appear to have been a scientific success in that it illuminated further challenges towards achieving the goal of allowing the users of an LLM product to determine their collective values.

En af de vanskeligheder, holdet skulle overvinde, var at finde på en ny metode til benchmarking-processen. Da dette eksperiment ser ud til at være det første af sin art, og det er afhængigt af Anthropics Constitutional AI-metodologi, er der ikke en etableret test til at sammenligne basismodeller med dem, der er indstillet med crowd-sourcede værdier.

Ultimately, it appears as though the model that implemented data resulting from user polling feedback outperformed the base model “slightly” in the area of biased outputs.

Ifølge blogindlægget:

"Mere end den resulterende model er vi begejstrede for processen. Vi mener, at dette kan være et af de første tilfælde, hvor medlemmer af offentligheden som gruppe bevidst har rettet adfærden fra en stor sprogmodel. Vi håber, at samfund rundt om i verden vil bygge på teknikker som denne for at træne kultur- og kontekstspecifikke modeller, der tjener deres behov."

Tidsstempel:

Mere fra Cointelegraph