検索エンジンはチャットボットの精度に必ずしも役立つわけではありません

研究によると、検索エンジンにアクセスしても、クエリに対する正確で最新の回答を生成する AI チャットボットの能力は向上しない傾向にあります。つまり、開発者は対話をより便利にするための新しい技術を見つける必要があるということです。

ChatGPT の基礎である GPT-3.5 のような大規模言語モデル (LLM) は、2021 年 XNUMX 月までインターネットから収集されたテキストでトレーニングされています。Google や Microsoft などの企業は、検索エンジンで LLM を強化し、現在の Web の知識にアクセスできるようにしようとしています。ページ。

それぞれが実証しているように、 吟遊詩人 および ビング チャットボット、Google、Microsoft は、たとえ正しい答えがインターネットのどこかにあるとしても、検索クエリに対する正確な応答を生成することに依然として苦労しています。

「検索エンジンと ChatGPT を接続することは完璧な解決策だと考える人もいるかもしれませんが、検索結果の精度には限界があるため、現実はさらに困難です」と MIT コンピュータ サイエンス & 人工知能研究所の博士研究員であるホンイン ルオ氏は語ります。 登録.

ルオ氏は、検索エンジンはキーワードベースの検索システムであり、ほとんどの質問に対して必ずしも直接的な答えが得られるわけではないと説明します。 また、異なる Web ページには、無関係な情報、矛盾した情報、または虚偽の情報が含まれている可能性があります。 Bing の主張が間違っている アドルフ・ヒトラーはレディオヘッドというバンドのメンバーだった たとえば、ある検索結果で。

ネチズン 推測 エラーが原因で発生した可能性があるかどうか ページ レディオヘッドとアドルフ・ヒトラーについて言及したウィキデータ。

Bard と Bing が役立つのであれば、開発者は、ノイズが多く、混乱し、一貫性のないテキストの海から LLM に最も有益な情報を抽出させる方法を見つける必要があります。 MIT と香港中文大学の Luo 氏とその同僚は、Web 検索の応答を生成する方法の指示によりよく従うことができるように、モデルをさらに微調整する必要があると考えています。

チームはメタの微調整を行った ラマ、52,000 億パラメータの LLM であり、GPT-4 によって生成された XNUMX 組のテキストベースの命令と対応する応答を含むデータベース上で微調整されます。 研究者らはまた、各指示に関連付けられた上位 XNUMX つの Web ページを含む別のデータセットを構築し、適切な応答との関連性および緊密な一致度に基づいてソースをランク付けすることで、正しい応答を生成するようにモデルをトレーニングしました。

ルオ氏は、この微調整されたモデルは愛称で呼ばれていると語った。 セイル-7Bは検索拡張命令学習の略で、気が散る検索結果や信頼できない検索結果を無視することに優れ、より質の高い回答を生成します。 詳細は次のとおりです。 公表 arXiv で公開された論文の [PDF] とモデルの コード は GitHub 上にあります。 で遊ぶこともできます デモ Hugging Face でホストされているシステムの。

「私たちのモデルは、ノイズの多い検索結果から役立つ情報を見つけて、できるだけ正確な応答を生成することを学習します。 その結果、検索エンジンがうまく処理できない場合でも、私たちのモデルは貴重な情報をより適切に要約し、さまざまな検索クエリに対してより適切な答えを生成することができます」とルオ氏は述べています。

「私たちのトレーニングには、各検索結果が役立つかどうかを明確にするステップが明示的に含まれており、言語モデルは選択された役立つ情報に従います。 このプロセスにより、信頼性が低く関連性のない検索結果のほとんどが除外され、平均的な命令追従パフォーマンスが向上します。」

初期実験では、SAIL-7B が GPT-3.5 や、さまざまなタスクにおいてより多くのパラメーターを含む他のモデルよりも優れたパフォーマンスを発揮することが示されました。 実験では、常識的な質問や自由形式の質問に答える能力、事実確認、ヘイトスピーチの検出能力を評価しました。 モデルには、回答候補のリストから正しい回答を選択できるように、Wikipedia の Web ページと DuckDuckGo の検索結果が与えられました。 ただし、GPT-4 は SAIL-7B よりも優れていました。

「課題は、より大きなモデルはより強力な知識、記憶力、推論能力を備えているため、私たちのモデルはまだ GPT-4 ほど優れていないことです。 ただし、SAIL-7B は「小さな」モデルを使用した概念実証であり、次のステップは、提案した戦略を使用してより大きなモデルをトレーニングすることです」と Luo 氏は語った。

ただし、現在の検索拡張命令学習技術で微調整されたモデルは完璧ではありません。 研究者らは説明できないと指摘した なぜ 検索結果が信頼できるかどうか。 彼らは、将来的に精度と信頼性を高めるための別の戦略を考え出すことを望んでいます。 ®

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• EVMファイナンス。 分散型金融のための統一インターフェイス。 こちらからアクセスしてください。
• クォンタムメディアグループ。 IR/PR増幅。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 データ インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• 情報源： https://go.theregister.com/feed/www.theregister.com/2023/06/07/search_engines_make_chatbots_inaccurate/