おそらくこの種のものとしては初の研究で、人工知能 (AI) 企業 Anthropic は、ユーザー コミュニティによる価値判断に合わせて微調整された大規模言語モデル (LLM) を開発しました。
AI 開発がより民主的になるとは何を意味しますか? それを知るために、私たちは次の企業と提携しました。 @collect_intel 使用する @usepolis 約 1000 人のアメリカ人の意見に基づいて AI 憲法を作成する。 次に、Constitutional AI を使用して、それに対してモデルをトレーニングしました。 pic.twitter.com/ZKaXw5K9sU
— アンスロピック (@AnthropicAI) 2023 年 10 月 17 日
公開されている LLM の多くは、望ましくない出力を制限するために、ガードレール (特定の動作を指示するエンコードされた命令) を備えて開発されています。 たとえば、Anthropic の Claude と OpenAI の ChatGPT は通常、暴力的または物議を醸すトピックに関連する出力リクエストに対して、定型の安全な応答をユーザーに提供します。
しかし、無数の専門家が指摘しているように、ガードレールやその他の介入技術は、ユーザーの主体性を奪うのに役立つ可能性があります。許容されると考えられているものが常に有用であるとは限りませんし、有用であると考えられているものが常に許容されるとは限りません。また、道徳や価値観に基づく判断の定義は、文化、人口、時代によって異なる場合があります。
関連する 英国、XNUMX月に予定されているサミットで潜在的なAIの脅威を標的に
これに対する考えられる解決策の 1 つは、ユーザーが AI モデルの値の調整を指示できるようにすることです。 Anthropic の「集団憲法 AI」実験は、この「厄介な課題」に挑戦するものです。
Anthropic は、Polis および Collective Intelligence Project と協力して、さまざまな層の 1,000 人のユーザーを集め、アンケートを通じて一連の質問に回答するよう依頼しました。
この課題は、ユーザーを不適切な出力にさらすことなく、政府機関が何が適切かを判断できるようにすることに重点を置いています。 これには、ユーザーの価値観を募り、それらのアイデアをすでにトレーニングされたモデルに実装することが含まれます。
Anthropic は「Constitutional AI」と呼ばれる手法を使用して、 直接 安全性と有用性を高めるために LLM を調整する取り組み。基本的に、これには、憲法が多くの国家の統治の中核文書として機能するのと同じように、遵守すべきルールのリストをモデルに与え、そのプロセス全体を通じてそれらのルールを実装するようにモデルをトレーニングすることが含まれます。
集団的体質 AI の実験において、Anthropic はグループベースのフィードバックをモデルの体質に統合することを試みました。結果、 従った Anthropic のブログ投稿によると、LLM 製品のユーザーが自分たちの集団的価値観を決定できるようにするという目標の達成に向けたさらなる課題を明らかにしたという点で、科学的には成功したようです。
チームが克服しなければならなかった困難の XNUMX つは、ベンチマーク プロセスの新しい方法を考え出すことでした。 この実験はこの種の実験としては初めてと思われ、Anthropic の憲法 AI 手法に依存しているため、基本モデルとクラウドソースの値で調整されたモデルを比較するための確立されたテストはありません。
最終的には、ユーザーのポーリングによるフィードバックから得られたデータを実装したモデルが、偏った出力の領域で基本モデルを「わずかに」上回ったように見えます。
ブログ投稿によると:
「結果として得られるモデルよりも、私たちはそのプロセスに興奮しています。 これは、一般の人々が集団として、大規模な言語モデルの動作を意図的に指示した最初の例の XNUMX つである可能性があると私たちは考えています。 私たちは、世界中のコミュニティがこのような技術を基礎にして、ニーズを満たす文化的および文脈固有のモデルをトレーニングできることを願っています。」
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://cointelegraph.com/news/antropic-democratic-ai-chatbot-by-letting-users-vote-for-its-values
- :持っている
- :は
- $UP
- 000
- 1
- 17
- a
- 私たちについて
- ことができます。
- 達成する
- 越えて
- に対して
- 代理店
- AI
- AIチャットボット
- AIモデル
- アラインメント
- 許す
- 許可
- 既に
- 常に
- アメリカ人
- an
- および
- 回答
- 人間原理
- 現れる
- 登場する
- 適切な
- AREA
- 周りに
- 人工の
- 人工知能
- 人工知能(AI)
- AS
- At
- 試み
- 試みた
- ベース
- ベース
- BE
- き
- 行動
- 信じる
- ベンチマーク
- の間に
- 偏った
- ブログ
- ビルド
- 内蔵
- by
- 呼ばれます
- 缶
- センター
- 挑戦する
- 課題
- チャットボット
- AI言語モデルを活用してコードのデバッグからデータの異常検出まで、
- 合同グラフ
- 環境、テクノロジーを推奨
- 集団
- 到来
- コミュニティ
- コミュニティ
- 比較
- 見なさ
- 憲法
- 物議を醸す
- 基本
- データ
- 定義
- 民主的な
- 人口動態
- 決定する
- 発展した
- 開発
- 口述する
- 困難
- 指示された
- 異なる
- ドキュメント
- ありません
- 努力
- 本質的に
- 設立
- 例
- 興奮した
- 実験
- フィードバック
- もう完成させ、ワークスペースに掲示しましたか?
- 会社
- 名
- から
- さらに
- 与える
- 与え
- 目標
- ガバナンス
- グループ
- 持っていました
- 持ってる
- 希望
- HTTPS
- 考え
- 実装する
- 実装
- 実装
- in
- 説明書
- 統合する
- インテリジェンス
- 故意に
- に
- 関係する
- IT
- ITS
- JPG
- 判断
- 種類
- 言語
- 大
- させる
- ような
- LIMIT
- リスト
- LLM
- 多くの
- 五月..
- 意味する
- メンバー
- 方法
- 方法論
- モデル
- 道徳
- 他には?
- ずっと
- しなければなりません
- 国連
- ニーズ
- 小説
- 11月
- of
- on
- ONE
- 意見
- or
- その他
- でる
- パフォーマンスが優れている
- 出力
- outputs
- 克服する
- 提携
- 期間
- 場所
- 計画されました
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 可能
- ポスト
- 潜在的な
- プロセス
- プロダクト
- プロジェクト
- 公共
- 質問
- 関連する
- リクエスト
- 応答
- 結果として
- 結果
- ロブ
- ルール
- 安全性
- 科学的な
- シリーズ
- 役立つ
- 仕える
- 特定の
- 勉強
- 成功
- タップ
- ターゲット
- チーム
- テクニック
- test
- より
- それ
- エリア
- 世界
- アプリ環境に合わせて
- それら
- その後
- そこ。
- この
- それらの
- しかし?
- 脅威
- 全体
- 時間
- 〜へ
- トピック
- に向かって
- トレーニング
- 訓練された
- トレーニング
- さえずり
- 一般的に
- 不要な
- つかいます
- ユーザー
- users
- 使用されます
- 値
- 価値に基づく
- 価値観
- 、
- 投票
- ました
- we
- この試験は
- which
- 意志
- 無し
- 世界
- ゼファーネット