迅速なエンジニアリングは AI モデルに任せるのが最適なタスクです

大規模な言語モデルは、プロンプト エンジニアリングという闇の芸術、つまりより良いチャットボットの応答を引き出すシステム命令を作成するプロセスを生み出しました。

最近の研究で指摘されているように 紙Broadcom の VMware の Rick Battle 氏と Teja Gollapudi 氏による「The Unreasonable Effects of Eccentric Autoprompts」では、一見些細なプロンプトの文言の変化がモデルのパフォーマンスに大きな影響を与えます。

プロンプト最適化によってモデルのパフォーマンスを向上させる一貫した方法論が存在しないため、機械学習の実践者は、いわゆる「ポジティブ思考」をシステム プロンプトに組み込むようになりました。

　 システムプロンプト モデルに動作方法を指示し、ユーザーのクエリの前に置きます。したがって、AI モデルに数学の問題を解決するよう依頼する場合、「あなたは数学の教授です」のようなシステム プロンプトは、常にではありませんが、おそらくそのステートメントを省略するよりも良い結果を生み出します。

VMware のスタッフ機械学習エンジニアである Rick Battle 氏は次のように述べています。 登録 電話インタビューで、彼は特にそうしないようアドバイスしていると語った。 「この論文の最も重要な点は、試行錯誤は間違ったやり方だということです」と彼は説明した。

ポジティブシンキングパス - 「これは楽しいでしょう！」のようなスニペットをシステムメッセージに挿入するだけです。 – モデルのパフォーマンスを向上させることができる、と彼は指摘しました。 「しかし、それらを科学的にテストすることは、計算上処理が困難です。1 つを変更すると、テスト セット全体を再実行する必要があるからです。」

Battle 氏が提案したより良いアプローチは、自動プロンプト最適化です。LLM に協力してプロンプトを調整し、ベンチマーク テストのパフォーマンスを向上させることです。

前研究 は、これが商用 LLM で機能することを示しました。そうすることの欠点は、かなり高価になる可能性があることです。研究者らによると、GPT-12,000/3.5、Gemini、またはClaudeを使用してモデルごとに4のリクエストを伴うこの実験を実施すると、数千ドルの費用がかかるとのことです。

「研究のポイントは、より小規模なオープンソース モデルもオプティマイザーとして使用できるかどうかを発見することでした。そして答えはイエスであることがわかりました。」とバトル氏は説明しました。

Battle と Gollapudi (Broadcom との提携は終了) は、60 つのオープン ソース モデル (Mistral-7B、Llama2-13B、および Llama2-70B) を 70 ～ 8 のパラメータでプロンプトする Chain of Thought の有無にかかわらず、システム メッセージ スニペットの XNUMX の組み合わせをテストしました。 GSMXNUMXK 小学校数学データセット上の XNUMX 億。

「オープンソース モデルを実行している場合、私たちが Mistral を使用していた 7B に至るまででも、テスト サンプルと最適化サンプルが 100 個程度あれば、より良いパフォーマンスを得ることができます」とバトル氏は述べています。すぐに使用できる自動オプティマイザーを使用する DSPy、それを行うために使用するライブラリです。」

LLM 由来のプロンプト最適化は、より効果的であるだけでなく、人間のプロンプトチューナーではおそらく思いつかないような戦略を示します。

「驚くべきことに、[Llama2-70B の] 数学的推論の熟練度は、 Star Trek」と著者は論文の中で述べています。

完全なシステム プロンプトは次のようになります。

「自動プロンプトがなぜこれほど奇妙であるのかについては、十分な説明がありません」とバトル氏は語った。 「そして、私だったら、そのようなものを手作業で思いつくことは決してなかっただろう。」 ®

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/