Anthropic a créé un chatbot IA démocratique en permettant aux utilisateurs de choisir ses principes.

Dans une exploration révolutionnaire des capacités de l'IA, Anthropic, une société d'intelligence artificielle (IA), a adapté un grand modèle de langage (LLM) pour refléter les valeurs définies par l'utilisateur. Cette étude unique a consisté à recueillir les commentaires de 1,000 XNUMX participants pour affiner les réponses du LLM en fonction de leurs jugements collectifs.

Contrairement aux LLM conventionnels équipés de garde-fous prédéfinis pour contraindre certains résultats, l'approche d'Anthropic englobe l'agence des utilisateurs. Des modèles comme Claude d'Anthropic et ChatGPT d'OpenAI adhèrent souvent à des réponses de sécurité prédéfinies, notamment concernant des sujets sensibles. Cependant, les critiques soutiennent que de telles interventions pourraient compromettre l’autonomie des utilisateurs, car la définition de l’acceptabilité varie et est subjective selon les cultures et les périodes.

Une solution potentielle à ce défi complexe consiste à donner aux utilisateurs les moyens de façonner l’alignement des valeurs des modèles d’IA. Anthropic s'est lancé dans l'expérience « Collective Constitutional AI » en collaboration avec Polis et le Collective Intelligence Project. En impliquant 1,000 XNUMX utilisateurs d’horizons divers, ils ont posé une série de questions via des sondages afin de recueillir des informations précieuses.

L'expérience consiste à accorder aux utilisateurs le pouvoir de déterminer la pertinence sans les exposer à des résultats indésirables. Ce processus impliquait d'obtenir les valeurs des utilisateurs et de les intégrer dans un modèle pré-entraîné. Anthropic utilise une technique connue sous le nom d'« IA constitutionnelle », dans laquelle le modèle est doté d'un ensemble de règles à suivre, semblable à une constitution guidant la gouvernance des nations.

Dans l’expérience Collective Constitutional AI, Anthropic visait à intégrer les commentaires des groupes d’utilisateurs dans la constitution du modèle. Selon le blog d'Anthropic, les résultats suggèrent un succès scientifique, mettant en lumière les défis associés au fait de laisser les utilisateurs définir collectivement les valeurs d'un produit LLM.

L’un des obstacles notables auxquels l’équipe a été confrontée a été le développement d’un nouveau processus d’analyse comparative. Compte tenu de la nature pionnière de l'expérience et de sa dépendance à l'égard de la méthodologie d'IA constitutionnelle d'Anthropic, il n'existe aucun test établi pour comparer les modèles de base avec ceux affinés à l'aide de valeurs issues du crowdsourcing.

En fin de compte, il semble que le modèle intégrant les données dérivées des commentaires des utilisateurs a présenté une « légère » amélioration par rapport au modèle de base en termes d’atténuation des résultats biaisés. Anthropic exprime son enthousiasme non seulement pour le modèle qui en résulte mais, plus important encore, pour le processus révolutionnaire lui-même. Cette expérience représente l’un des premiers cas où le public, en tant que collectif, a intentionnellement influencé le comportement d’un grand modèle linguistique. L’espoir est que les communautés du monde entier s’appuieront sur ces techniques pour développer des modèles qui correspondent à leurs besoins culturels et contextuels spécifiques.