Anthropic a construit un chatbot IA démocratique en permettant aux utilisateurs de voter pour ses valeurs

Anthropic a construit un chatbot IA démocratique en permettant aux utilisateurs de voter pour ses valeurs

Horodatage: 18 octobre 2023 1h00

In what may be a first of its kind study, artificial intelligence (AI) firm Anthropic has developed a large language model (LLM) that’s been fine-tuned for value judgments by its user community.

De nombreux LLM destinés au public ont été développés avec des garde-fous (des instructions codées dictant un comportement spécifique) dans le but de limiter les sorties indésirables. Claude d'Anthropic et ChatGPT d'OpenAI, par exemple, offrent généralement aux utilisateurs une réponse de sécurité prédéfinie aux demandes de sortie liées à des sujets violents ou controversés.

However, as innumerable pundits have pointed out, guardrails and other interventional techniques can serve to rob users of their agency. What’s considered acceptable isn’t always useful, and what’s considered useful isn’t always acceptable. And definitions for morality or value-based judgments can vary between cultures, populaces, and periods of time.

Connexe: Le Royaume-Uni ciblera les menaces potentielles de l'IA lors du sommet prévu en novembre

One possible remedy to this is to allow users to dictate value alignment for AI models. Anthropic’s “Collective Constitutional AI” experiment is a stab at this “messy challenge.”

Anthropic, en collaboration avec Polis et Collective Intelligence Project, a interrogé 1,000 XNUMX utilisateurs issus de divers groupes démographiques et leur a demandé de répondre à une série de questions via un sondage.

Anthropic built a democratic AI chatbot by letting users vote for its values PlatoBlockchain Data Intelligence. Vertical Search. Ai.
La source, Anthropique

Le défi consiste à permettre aux utilisateurs de l'agence de déterminer ce qui est approprié sans les exposer à des résultats inappropriés. Cela impliquait de solliciter les valeurs des utilisateurs, puis de mettre en œuvre ces idées dans un modèle déjà formé.

Anthropic uses a method called “Constitutional AI” to its efforts at tuning LLMs for safety and usefulness. Essentially, this involves giving the model a list of rules it must abide by and then training it to implement those rules throughout its process, much like a constitution serves as the core document for governance in many nations.

In the Collective Constitutional AI experiment, Anthropic attempted to integrate group-based feedback into the model’s constitution. The results, selon to a blog post from Anthropic, appear to have been a scientific success in that it illuminated further challenges towards achieving the goal of allowing the users of an LLM product to determine their collective values.

L’une des difficultés que l’équipe a dû surmonter a été de trouver une nouvelle méthode pour le processus d’analyse comparative. Comme cette expérience semble être la première du genre et qu'elle s'appuie sur la méthodologie d'IA constitutionnelle d'Anthropic, il n'existe pas de test établi pour comparer les modèles de base à ceux optimisés avec des valeurs issues du crowdsourcing.

Ultimately, it appears as though the model that implemented data resulting from user polling feedback outperformed the base model “slightly” in the area of biased outputs.

Selon le billet de blog :

« Plus que le modèle résultant, nous sommes enthousiasmés par le processus. Nous pensons qu’il s’agit peut-être de l’un des premiers cas dans lesquels des membres du public ont, en tant que groupe, intentionnellement dirigé le comportement d’un grand modèle linguistique. Nous espérons que les communautés du monde entier s’appuieront sur des techniques comme celle-ci pour former des modèles spécifiques à la culture et au contexte qui répondent à leurs besoins.

Horodatage:

Plus de Cointelegraph