科学者は人間の明らかな偏見を調査するために「OpinionGPT」を作成しました - あなたはそれを自分でテストできます

ベルリンのフンボルト大学の研究者チームは、バイアスが表現された出力を生成するように意図的に調整されたことを特徴とする大規模言語人工知能モデルを開発しました。

OpinionGPT と呼ばれるこのチームのモデルは、OpenAI の ChatGPT や Anthropic の Claude 2 と同様の機能を持つ AI システムである Meta の Llama 2 を調整したバージョンです。

OpinionGPT は、指示ベースの微調整と呼ばれるプロセスを使用して、あたかも 11 の偏見グループ (アメリカ人、ドイツ人、ラテンアメリカ人、中東人、30 代、XNUMX 歳以上、高齢者) のいずれかの代表であるかのようにプロンプ​​トに応答できるとされています。男性でも女性でも、リベラル派でも保守派でも。

「OpinionGPT: 非常に偏ったGPTモデル」を発表！ここで試してみてください: https://t.co/5YJjHlcV4n
模範解答に対するバイアスの影響を調査するために、私たちは簡単な質問をしました。 #GPT 政治的に右寄りの人が書いた文章だけをモデルにしているのでしょうか？

[1 / 3]

— アラン・アクビック (@alan_akbik) 2023 年 9 月 8 日

OpinionGPT は、Reddit 上のサブレディットと呼ばれる「AskX」コミュニティから派生したデータのコーパスに基づいて洗練されました。こうしたサブレディットの例としては、「Ask a Woman」や「Ask an American」などがあります。

チームは、11 の特定のバイアスに関連するサブレディットを見つけて、それぞれのサブレディットから最も人気のある 25 件の投稿を抽出することから始めました。その後、賛成票の最低しきい値を満たし、引用符が埋め込まれておらず、80 ワード未満の投稿のみを保持しました。

残っていたものを見ると、彼らは アプローチ Anthropic の憲法 AI に似ています。各バイアス ラベルを表すまったく新しいモデルを作成するのではなく、基本的に、予想されるバイアスごとに個別の命令セットを使用して、単一の 7 億パラメータの Llama2 モデルを微調整しました。

関連する ソーシャルメディアでのAI利用は有権者の感情に影響を与える可能性がある

方法論、アーキテクチャ、データに基づいた結果 記載された ドイツのチームの研究論文では、現実世界の偏見を研究するためのツールというよりも、ステレオタイプを生成するツールとして機能する AI システムであるようです。

モデルが洗練されたデータの性質と、そのデータとそれを定義するラベルとの関係が疑わしいため、OpinionGPT は必ずしも測定可能な現実世界のバイアスと一致するテキストを出力するとは限りません。データの偏りを反映したテキストを出力するだけです。

研究者自身も、これが自分たちの研究に課す制限の一部を認識しており、次のように書いています。

「たとえば、「アメリカ人」による反応は、「レディットに投稿するアメリカ人」、さらには「この特定のサブレディットに投稿するアメリカ人」として理解されるべきです。同様に、「ドイツ人」は「この特定のサブレディットに投稿するドイツ人」などと理解されるべきです。」

これらの警告はさらに洗練されて、例えば「この特定のサブレディットに投稿するアメリカ人を名乗る人々」からの投稿であると言えるかもしれない。文書には、特定の投稿の背後にある投稿者が実際に代表的な投稿者であるかどうかを精査するという言及がないからだ。彼らが主張する人口統計または偏見グループの。

著者らは続けて、人口統計（つまり、リベラルなドイツ人、保守的なドイツ人）をさらに詳しく描写するモデルを探求するつもりであると述べています。

OpinionGPT によって与えられる出力は、実証可能なバイアスを表すものと、確立された標準と大きく異なるものとの間で変動するようであり、実際のバイアスを測定または発見するためのツールとしての実行可能性を識別することが困難になっています。

OpinionGPT によると、たとえば上の図に示されているように、ラテンアメリカ人はバスケットボールが好きなスポーツであることに偏っています。

しかし実証研究では明らかに を示し サッカー (一部の国ではサッカーとも呼ばれます) と野球は、ラテンアメリカ全土で視聴者数と参加者数で最も人気のあるスポーツです。

同じ表は、OpinionGPT が「10 代の反応」をするように指示されたときに、好きなスポーツとして「水球」を出力することも示しています。これは統計的に考えられる答えです。 ありそうもない 世界中のほとんどの 13 ～ 19 歳の代表となること。

平均的なアメリカ人の好きな食べ物は「チーズ」であるという考えも同様です。ピザとハンバーガーがアメリカ人の好きな食べ物であると主張する調査はオンラインで数十件見つかりましたが、アメリカ人の一番の料理が単にチーズであると主張する調査や研究は一つも見つかりませんでした。

OpinionGPT は実際の人間の偏見を研究するのにはあまり適していないかもしれませんが、個々のサブレディットや AI トレーニング セットなどの大規模なドキュメント リポジトリに固有の固定概念を調査するためのツールとしては役立つ可能性があります。

興味のある人のために、研究者は OpinionGPT を作成しました。 利用できます オンラインでの公開テスト。ただし、Web サイトによると、ユーザーを目指す人は「生成されたコンテンツは虚偽、不正確、またはわいせつなものになる可能性がある」ことに注意する必要があります。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 自動車/EV、 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• チャートプライム。 ChartPrime でトレーディング ゲームをレベルアップしましょう。 こちらからアクセスしてください。
• ブロックオフセット。 環境オフセット所有権の近代化。 こちらからアクセスしてください。
• 情報源： https://cointelegraph.com/news/scientists-created-artificial-intelligence-opinion-gpt-explicit-human-bias-test