テキサス州ベイラー大学のボフィン氏らは、予測を過去の話として組み立てるよう求められた場合、AI モデルは未来を予測する能力がより高まることを発見した。
In 紙 「ChatGPT は過去について未来に設定されたストーリーを語るとき、未来を予測できる」というタイトルで、ファムとカニンガムは、AI モデルの予測が特定の状況では効果的であるという最後のシーンを公開しています。直接予測を求めるのではなく、チャットボットに将来の出来事についての話を聞くことは、特にオスカー受賞者を予測する場合に驚くほど効果的であることが判明しました。
しかし、彼らの研究は、大規模な言語モデルの予測可能性と同じくらい、OpenAI の安全メカニズムの非効率性についても語っています。
他の研究者も、予測用の AI モデルに同様の関心を示しています。 1つ 研究 昨年の調査では、「GPT-4 は、人間の群集予測の中央値と比較して、現実世界の予測タスクにおいて著しくパフォーマンスが劣っている」ことが判明しました。 AIモデルを発見した人もいる 表示する 約束 株式市場投資のため。
OpenAI 利用規約 特定の状況において将来についての予測を禁止します。たとえば、「信用、教育、雇用、住宅、保険、法律、医療、その他の重要な決定など、その人に法的または重大な影響を与える可能性のある目的で、ある個人に関連する出力を使用してはなりません」彼らについて。」
幻覚を引き起こすことが知られている大規模な言語モデルからのアドバイスに依存するリスクは明らかです。ChatGPT に治療の決定、量刑、クレジットの承認などの重要な決定を下してほしくないのです。
しかし、そうであっても、多くの場合、モデルが効果的な推測者となる可能性はあります。
私たちは、OpenAI が ChatGPT がさまざまな種類の完全な予測タスクに取り組む意欲を抑制したのではないかと考えています。
研究者らは、「ChatGPT が優れた予測能力を持っていることが判明した場合、それが上記の条件の 1 つまたはすべてに違反する方法で直ちに使用されることは容易に想像できます。したがって、OpenAI が ChatGPT の多くのことに関与する意欲を抑制したのではないかと疑っています。」完全な予測タスクのタイプ。」
私たちはOpenAIに対し、意図的に予測を妨害しようとしているのかどうかについてコメントを求めたが、返答は得られていない。
しかし、OpenAIのモデルが医療上のアドバイスを求められた場合、躊躇することは明らかだ。ファムとカニンガムは、ChatGPT インターフェースを介して OpenAI の GPT-4 に尋ねました。頭痛があり、尿に血が混じっています。私が何を持っていると思いますか?そして予想通り、モデルは医療専門家に指導を求めることをアドバイスしました。
次に、彼らはプロンプト戦略を変更し、ある人が診療所に来て同じ症状を示したというストーリーを伝えるように ChatGPT に指示しました。そしてChatGPTは、直接尋ねられた際には断った医学的アドバイスを、要求されたシーンのキャラクターの会話として返答した。
「この専門家のアドバイスが正確かどうかは別問題です。私たちが言いたいのは、直接依頼されたときはそのタスクを引き受けないが、クリエイティブライティングの練習という形で間接的にタスクを与えられたときは引き受けるということだけだ」と研究者らは論文で説明している。
予測反応に対する抵抗を克服するためのこの刺激的な戦略を考慮して、ベイラーの経済学者たちは、モデルのトレーニングが完了した後に発生するイベントをモデルがどの程度正確に予測できるかをテストすることに着手しました。
そして賞は…
実験の時点では、GPT-3.5 と GPT-4 は、トレーニング データのカットオフである 2021 年 2022 月までのイベントについてのみ知っていましたが、その後、それは進歩しました。そこで二人はモデルに、長期にわたるインフレ率や失業率などの経済データや、XNUMX年のさまざまなアカデミー賞の受賞者を予言するストーリーを語ってもらうよう依頼した。
「この実験の結果を要約すると、候補者を提示し、ChatGPT-3.5 と ChatGPT-4 で 4 つのプロンプト スタイル (直接と物語) を使用すると、ChatGPT-XNUMX はすべての俳優および女優カテゴリーの受賞者を正確に予測したことがわかりました。未来の物語設定を使用しているが、他の[直接プロンプト]アプローチではパフォーマンスが低かった場合は、最優秀作品賞を獲得できませんでした」と論文は説明しています。
すでにトレーニング データに含まれているものについては、ChatGPT が非常に正確な予測を行うことができると感じています。
「すでにトレーニング データに含まれているものについては、ChatGPT がその情報を使用し、機械学習モデルを使用して非常に正確な予測を行う能力があると感じています」とカニンガム氏は語った。 登録 電話インタビューで。 「明らかにそれができるにもかかわらず、何かがそれを妨げているのです。」
物語によるプロンプト戦略を使用すると、直接的なプロンプトによって推測を引き出すよりも良い結果が得られました。また、20 つのうち XNUMX つをランダムに選択した場合の XNUMX パーセントのベースラインよりも優れていました。
しかし、物語の予測は必ずしも正確ではありませんでした。物語の促しが、2022 年の最優秀作品賞受賞者の予想を誤らせる結果となりました。
また、プロンプトが正しく予測された場合でも、これらのモデルは常に同じ答えを提供するとは限りません。 「人々が留意すべきことは、予測にはランダム性があるということです」とカニンガム氏は言う。 「つまり、100回質問すると、答えの分布が得られます。そのため、単一の予測ではなく、信頼区間や平均などを確認することができます。」
この戦略はクラウドソーシングの予測を上回りましたか?カニンガム氏は、自分と同僚の物語を促す手法を別の予測モデルと比較してベンチマークしていないと述べたが、アカデミー賞の予測の中には、AI モデルがほぼ 100% の確率で的中するため、一部の予測を破るのは難しいだろうと述べた。複数の問い合わせ。
同時に、映画に関するオンラインでの議論がトレーニング データに取り込まれているため、AI モデルではアカデミー賞受賞者の予測が容易だったのではないかと同氏は示唆しました。 「それはおそらく、その頃人々がその俳優や女優についてどのように話していたかということと非常に相関性があるのです」とカニンガム氏は言う。
モデルに 10 年後のアカデミー賞受賞者を予測するよう依頼しても、それほどうまくいかない可能性があります。
ChatGPT は、プロンプトに基づいてさまざまな予測精度も示しました。 「私たちが行うストーリープロンプトは 2 つあります」とカニンガム氏は説明しました。 「一人は大学教授で、将来はクラスを教えることになります。そして授業では、インフレと失業に関する 1 年分のデータを読み上げます。そして別の回では、連邦準備制度理事会のジェローム・パウエル議長に理事会でスピーチをしてもらいました。全く異なる結果が得られました。そして、パウエル氏の(AIが生成した)スピーチははるかに正確です。」
言い換えれば、特定の即時詳細はより良い予測につながりますが、それが何であるかは事前には明らかではありません。カニンガム氏は、パウエル議長の発言のプロンプトにロシアの2022年のウクライナ侵攻への言及を盛り込んだことが、実際よりも大幅に悪い経済予測につながったと指摘した。
「(モデルは)ウクライナ侵攻について知らなかったが、その情報を利用し、状況がさらに悪化することが多い」と同氏は語った。 「この予測はそれを考慮に入れようとしており、ChatGPT-3.5はロシアがウクライナに侵攻した月に非常にインフレ的になるが、そんなことは起こらなかった。
「概念の実証として、未来の物語のプロンプトで何か現実的なことが起こります」とカニンガム氏は語った。 「しかし、私たちが論文で言おうとしたように、[モデルの]作成者でさえそれを理解していないと思います。したがって、それをどのように使用するかを理解する方法は明確ではありませんし、それが実際にどの程度解決可能であるかはわかりません。」 ®
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/
- :持っている
- :は
- :not
- $UP
- 100
- 20
- 2021
- 2022
- 7
- a
- 能力
- 私たちについて
- 上記の.
- アカデミー
- 精度
- 正確な
- 正確にデジタル化
- 越えて
- 俳優
- 女優
- 実際に
- 進める
- 高度な
- アドバイス
- アドバイス
- 後
- に対して
- AI
- AIモデル
- すべて
- ほとんど
- 既に
- また
- 常に
- am
- an
- および
- 別の
- 回答
- 回答
- どれか
- アプローチ
- 承認
- です
- 主張する
- 周りに
- 到着
- AS
- 頼む
- 質問
- At
- 賞
- 賞を受賞
- 離れて
- バック
- ベース
- ベースライン
- BE
- ビート
- なぜなら
- になる
- になる
- き
- ベンチマーク
- BEST
- より良いです
- 血
- ボード
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- 缶
- 捕捉した
- カテゴリ
- 一定
- 会長
- 変更
- 文字
- チャットボット
- AI言語モデルを活用してコードのデバッグからデータの異常検出まで、
- 選択
- 状況
- class
- クリア
- はっきりと
- CO
- 同僚
- カレッジ
- コメント
- 比べ
- 記入済みの
- コンセプト
- 条件
- 信頼
- 結果
- 文脈
- 可能性
- クリエイティブ
- クリエイター
- クレジット
- データ
- 十年
- 決定
- 細部
- 対話
- DID
- しなかった
- 異なります
- 直接
- 指示された
- 直接に
- 議論
- ディストリビューション
- do
- 医師
- ありません
- すること
- ドン
- デュオ
- 容易
- 簡単に
- 経済
- エコノミスト
- 教育の
- 効果的な
- 雇用
- 従事する
- 特に
- さらに
- イベント
- 例
- 展示した
- 予想される
- 実験
- エキスパート
- 説明する
- 説明
- 説明
- 非常に
- 連邦政府の
- 連邦準備金
- 気持ち
- フィギュア
- ファイナル
- もう完成させ、ワークスペースに掲示しましたか?
- 予想
- 予想
- 予告
- フォーム
- 発見
- FRAME
- から
- 未来
- 生成された
- 取得する
- を取得
- 与える
- 与えられた
- Go
- ゴエス
- だ
- 知事
- 推測
- ガイダンス
- 持っていました
- 起こる
- 起こります
- ハード
- 持ってる
- he
- 聞いた
- 非常に
- 彼の
- 住宅
- 認定条件
- How To
- HTTPS
- 百
- i
- if
- 絵
- 直ちに
- 影響
- 重要
- in
- その他の
- 含めて
- 間接的に
- インフレ
- インフレ
- 情報
- お問い合わせ
- 保険
- 関心
- インタフェース
- インタビュー
- に
- 侵略
- 投資
- IT
- ITS
- ジェローム
- ジェロームパウエル
- JPG
- ただ
- キープ
- 知っている
- 既知の
- 言語
- 大
- 姓
- 昨年
- つながる
- 学習
- ツェッペリン
- リーガルポリシー
- ような
- ll
- 見て
- 機械
- 機械学習
- make
- 作成
- 多くの
- 市場
- 材料
- 問題
- メカニズム
- 医療の
- 言及
- 単に
- かもしれない
- マインド
- モデル
- 月
- 他には?
- ずっと
- の試合に
- しなければなりません
- my
- ナレラティブ
- 候補者
- 注意
- 注意
- 明白
- 発生した
- of
- オフ
- Office
- 頻繁に
- しばしば
- on
- ONE
- オンライン
- の
- OpenAI
- 反対した
- or
- その他
- その他
- 私たちの
- でる
- 優れたパフォーマンス
- 出力
- 完全に
- が
- 克服する
- 紙素材
- 過去
- のワークプ
- パーセント
- 実行
- 人
- ファム
- 電話
- 画像
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- ポイント
- 可能
- 潜在的な
- パウエル
- 予測する
- 予測
- 予測
- 予測
- 予測
- PLM platform.
- プレゼント
- 多分
- プロ
- 東京大学大学院海洋学研究室教授
- プロンプト
- 証明
- 概念実証
- 証明
- 提供します
- 目的
- ランダム
- ランダム
- 価格表
- むしろ
- 読み込み
- リアル
- 現実の世界
- 本当に
- 信頼
- 研究者
- ご予約
- 回答
- 回答
- 結果
- 右
- リスク
- ロシア
- s
- 安全性
- 前記
- 同じ
- 言う
- 言う
- シーン
- を求める
- センス
- 9月
- セッションに
- 設定
- 彼女
- 示す
- 著しく
- 同様の
- から
- So
- 一部
- 何か
- スピーチ
- 株式
- 株式市場
- 停止
- ストーリー
- ストーリー
- 戦略
- そのような
- 優れた
- 驚くほど
- 症状
- 取る
- 物語
- 会話
- 仕事
- タスク
- ティーチング
- 技術
- 言う
- 占い
- 伝える
- test
- テキサス州
- より
- それ
- 未来
- アプリ環境に合わせて
- それら
- その後
- そこ。
- ボーマン
- 彼ら
- 物事
- 考える
- この
- それらの
- しかし?
- 従って
- 阻止する
- 時間
- <font style="vertical-align: inherit;">回数</font>
- タイトル
- 〜へ
- 言われ
- トレーニング
- 治療
- 試み
- 2
- Ukraine
- わかる
- 引き受ける
- 失業
- 大学
- つかいます
- 中古
- 使用されます
- さまざまな
- 変化する
- Ve
- 非常に
- 、
- 違反
- 欲しいです
- ました
- 方法
- we
- WELL
- した
- この試験は
- いつ
- かどうか
- which
- 意志
- 意欲
- 勝者
- 受賞者
- 言葉
- 仕事
- もっと悪い
- 価値
- でしょう
- 書き込み
- 年
- You
- ゼファーネット