Anthropic は、ユーザーが原則を選択できるようにすることで、民主的な AI チャットボットを作成しました。

AI 機能の画期的な探求において、人工知能 (AI) 企業である Anthropic は、ユーザー定義の値を反映するように大規模言語モデル (LLM) を調整しました。 このユニークな研究には、1,000 人の参加者から意見を収集し、集団的な判断に基づいて LLM の応答を微調整することが含まれていました。

特定の出力を制限するために事前定義されたガードレールを備えた従来の LLM とは異なり、Anthropic のアプローチはユーザー主体性を取り入れています。 Anthropic の Claude や OpenAI の ChatGPT などのモデルは、特に機密性の高いトピックに関して、事前に設定された安全性応答に従うことがよくあります。 しかし、批評家は、受容性の定義は文化や時代によって異なり、主観的なものであるため、そのような介入はユーザーの自主性を損なう可能性があると主張しています。

この複雑な課題に対する潜在的な解決策は、ユーザーが AI モデルの価値の調整を形成できるようにすることです。 Anthropic は、Polis および集合知プロジェクトと協力して「集合憲法 AI」実験に着手しました。 さまざまな背景を持つ 1,000 人のユーザーを対象に、投票を通じて一連の質問を投げかけ、貴重な洞察を収集しました。

この実験は、ユーザーが望ましくない出力にさらされることなく、適切性を判断する権限をユーザーに与えることを中心に展開されています。 このプロセスには、ユーザーの値を引き出し、それを事前トレーニングされたモデルに組み込むことが含まれます。 Anthropic は「Constitutional AI」として知られる技術を採用しており、国家の統治を指導する憲法に似た、従うべき一連のルールがモデルに提供されます。

集合的憲法 AI 実験において、Anthropic はユーザー グループからのフィードバックをモデルの憲法に統合することを目的としていました。 Anthropic のブログ投稿によると、この結果は科学的な成功を示唆しており、LLM 製品の価値をユーザーが集合的に定義できるようにすることに伴う課題に光を当てています。

チームが直面した顕著なハードルは、新しいベンチマーク プロセスを開発することでした。 この実験の先駆的な性質と Anthropic の憲法 AI 手法への依存を考慮すると、基本モデルとクラウドソースの値を使用して微調整されたモデルを比較するための確立されたテストはありません。

最終的に、ユーザーの投票によるフィードバックから得られたデータを組み込んだモデルは、出力の偏りを軽減する点で、基本モデルに比べて「わずかな」改善を示したようです。 Anthropic は、結果として得られるモデルだけでなく、より重要なことに、画期的なプロセス自体についての興奮を表現します。 この実験は、大衆が集団として、大規模な言語モデルの動作に意図的に影響を与えた最初の例の XNUMX つを意味します。 世界中のコミュニティがそのような技術に基づいて、特定の文化的および文脈上のニーズに合わせたモデルを開発することが期待されています。