大規模な言語モデルは、プロンプト エンジニアリングという闇の芸術、つまりより良いチャットボットの応答を引き出すシステム命令を作成するプロセスを生み出しました。
最近の研究で指摘されているように 紙Broadcom の VMware の Rick Battle 氏と Teja Gollapudi 氏による「The Unreasonable Effects of Eccentric Autoprompts」では、一見些細なプロンプトの文言の変化がモデルのパフォーマンスに大きな影響を与えます。
プロンプト最適化によってモデルのパフォーマンスを向上させる一貫した方法論が存在しないため、機械学習の実践者は、いわゆる「ポジティブ思考」をシステム プロンプトに組み込むようになりました。
システムプロンプト モデルに動作方法を指示し、ユーザーのクエリの前に置きます。したがって、AI モデルに数学の問題を解決するよう依頼する場合、「あなたは数学の教授です」のようなシステム プロンプトは、常にではありませんが、おそらくそのステートメントを省略するよりも良い結果を生み出します。
VMware のスタッフ機械学習エンジニアである Rick Battle 氏は次のように述べています。 登録 電話インタビューで、彼は特にそうしないようアドバイスしていると語った。 「この論文の最も重要な点は、試行錯誤は間違ったやり方だということです」と彼は説明した。
ポジティブシンキングパス - 「これは楽しいでしょう!」のようなスニペットをシステムメッセージに挿入するだけです。 – モデルのパフォーマンスを向上させることができる、と彼は指摘しました。 「しかし、それらを科学的にテストすることは、計算上処理が困難です。1 つを変更すると、テスト セット全体を再実行する必要があるからです。」
Battle 氏が提案したより良いアプローチは、自動プロンプト最適化です。LLM に協力してプロンプトを調整し、ベンチマーク テストのパフォーマンスを向上させることです。
前研究 は、これが商用 LLM で機能することを示しました。そうすることの欠点は、かなり高価になる可能性があることです。研究者らによると、GPT-12,000/3.5、Gemini、またはClaudeを使用してモデルごとに4のリクエストを伴うこの実験を実施すると、数千ドルの費用がかかるとのことです。
「研究のポイントは、より小規模なオープンソース モデルもオプティマイザーとして使用できるかどうかを発見することでした。そして答えはイエスであることがわかりました。」とバトル氏は説明しました。
Battle と Gollapudi (Broadcom との提携は終了) は、60 つのオープン ソース モデル (Mistral-7B、Llama2-13B、および Llama2-70B) を 70 ~ 8 のパラメータでプロンプトする Chain of Thought の有無にかかわらず、システム メッセージ スニペットの XNUMX の組み合わせをテストしました。 GSMXNUMXK 小学校数学データセット上の XNUMX 億。
「オープンソース モデルを実行している場合、私たちが Mistral を使用していた 7B に至るまででも、テスト サンプルと最適化サンプルが 100 個程度あれば、より良いパフォーマンスを得ることができます」とバトル氏は述べています。すぐに使用できる自動オプティマイザーを使用する DSPy、それを行うために使用するライブラリです。」
LLM 由来のプロンプト最適化は、より効果的であるだけでなく、人間のプロンプトチューナーではおそらく思いつかないような戦略を示します。
「驚くべきことに、[Llama2-70B の] 数学的推論の熟練度は、 Star Trek」と著者は論文の中で述べています。
完全なシステム プロンプトは次のようになります。
システムメッセージ:
「指揮官、この乱気流の進路を計画し、異常の原因を突き止めてください。利用可能なすべてのデータと専門知識を活用して、この困難な状況を乗り越えてください。」
回答の接頭辞:
船長の日誌、開始日 [ここに日付を挿入]: 私たちは乱気流の進路を計画することに成功し、現在、異常の原因に近づいています。
「自動プロンプトがなぜこれほど奇妙であるのかについては、十分な説明がありません」とバトル氏は語った。 「そして、私だったら、そのようなものを手作業で思いつくことは決してなかっただろう。」 ®
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/
- :持っている
- :は
- :not
- :どこ
- $UP
- 000
- 100
- 12
- 60
- 7
- 70
- a
- 従った
- アドバイス
- 相性
- に対して
- AI
- AIモデル
- すべて
- また
- 常に
- an
- および
- 回答
- 何でも
- 登場する
- アプローチ
- 接近する
- です
- 宝品
- AS
- 質問
- At
- 著者
- オートマチック
- 利用できます
- 戦い
- BE
- なぜなら
- さ
- ベンチマーク
- BEST
- より良いです
- 10億
- ボックス
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- 缶
- 取得することができます
- 確かに
- チェーン
- 挑戦
- 変化する
- チャットボット
- CO
- コヒーレント
- 組み合わせ
- 来ます
- コマーシャル
- 計算的に
- 導電性
- 費用
- コース
- 暗いです
- データ
- 日付
- 発見する
- do
- すること
- ドル
- ダウン
- 下側
- 効果
- 効果的な
- 有効
- エンジニア
- エンジニアリング
- 高めます
- 強化された
- 全体
- エラー
- さらに
- 展示
- 高価な
- 実験
- 専門知識
- 説明
- 説明
- 表現
- 少数の
- 次
- から
- フル
- 双子座
- 取得する
- 与えられた
- Go
- 良い
- だ
- グレード
- ガイド
- ハンド
- 持ってる
- he
- こちら
- 認定条件
- How To
- HTTPS
- 人間
- i
- if
- 改善します
- 改善されました
- in
- 含まれました
- 組み込む
- 説明書
- インタビュー
- に
- 関与
- IT
- JPG
- ただ
- 言語
- 学習
- ツェッペリン
- 左
- 図書館
- ような
- LLM
- ログ
- より長いです
- 機械
- 機械学習
- math
- 数学的
- 数学
- メッセージ
- 方法論
- モデル
- 他には?
- 必要
- 決して
- いいえ
- 注意
- 今
- 観察する
- 発生した
- of
- on
- ONE
- 開いた
- オープンソース
- OpenAI
- 最適化
- 最適化
- or
- でる
- が
- 包括的
- 紙素材
- パラメータ
- path
- 以下のために
- パフォーマンス
- 電話
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- プロット
- ポイント
- 正の
- 多分
- 問題
- プロセス
- 生産する
- 東京大学大学院海洋学研究室教授
- プロンプト
- クエリー
- 測距
- むしろ
- RE
- 最近
- リファイン
- リクエスト
- 研究
- 研究者
- 回答
- 結果
- 上昇
- ランニング
- s
- 前記
- 学校
- 一見
- セッションに
- セブン
- いくつかの
- 示す
- 重要
- 状況
- より小さい
- So
- 解決する
- ソース
- 特に
- スタッフ
- ステートメント
- 作戦
- 首尾よく
- 驚くほど
- 仕事
- test
- テスト
- テスト
- より
- それ
- ソース
- アプリ環境に合わせて
- それら
- 彼ら
- もの
- 物事
- 考え
- この
- しかし?
- 考え
- 千
- 三
- 介して
- 従って
- 〜へ
- 言われ
- トライアル
- オン
- 無理
- us
- つかいます
- 中古
- ユーザー
- バリエーション
- Ve
- 、
- ヴイエムウェア
- ました
- 仕方..
- we
- した
- いつ
- which
- なぜ
- 意志
- 無し
- 言い回し
- 作品
- でしょう
- とんでもない
- 間違った
- はい
- You
- あなたの
- ゼファーネット