Opera は接続なしでのローカル LLM の実行をサポートします

Opera は接続なしでのローカル LLM の実行をサポートします

タイムスタンプ：3年2024月11日午前07時XNUMX分
Opera は、PlatoBlockchain Data Intelligence に接続せずにローカル LLM を実行することをサポートしています。垂直検索。あい。

Opera は、AI 機能ドロップ プログラムの一環として、Opera One 開発者ブラウザ上でローカルに大規模言語モデル (LLM) を実行するための実験的なサポートを追加しました。

現時点では、Opera の主要インターネット ブラウザである Opera One の開発者版に限定されているこのアップデートでは、LLaMA、Gemma、Mixtral など、150 の異なる LLM ファミリから 50 の異なる LLM が追加されます。以前、Opera は、Microsoft の Copilot や OpenAI の ChatGPT と同様のチャットボットとして機能する独自の LLM、Aria のサポートのみを提供していました。

ただし、アリアと副操縦士の主な違いは、副操縦士（副操縦士のみを目指す） 将来的にはローカルで実行されるようになる）、同様の AI チャットボットは、インターネット経由で専用サーバーに接続することに依存しているという点です。 Opera によれば、ローカルで実行される LLM が Opera One Developer に追加されるため、データはユーザーの PC のローカルに残り、最初に LLM をダウンロードする場合を除いてインターネット接続は必要ありません。

Opera はまた、新しいローカル LLM 機能の潜在的なユースケースについて仮説を立てました。 「未来のブラウザーが、デバイス上のすべてのデータを含みながら、過去の入力に基づく AI ソリューションに依存できるようになったらどうなるでしょうか?」プライバシー愛好家はおそらく、自分のデータが PC 上にだけ保存され、他の場所には保存されないというアイデアを好むでしょうが、それほど多くのデータを記憶するブラウザベースの LLM はそれほど魅力的ではないかもしれません。

「これは非常に最先端なので、壊れる可能性さえあります」と Opera はその中で述べています。 ブログ投稿。冗談ではありますが、それは真実からそれほど遠くありません。 「私たちは可能な限り最も安定したバージョンを出荷するよう努めていますが、開発者のビルドは実験的なものになる傾向があり、実際には少し不具合がある可能性があります」と Opera 副社長の Jan Standal 氏は語った。 登録.

このローカル LLM 機能が通常の Opera One にいつ導入されるかについて、Standal 氏は次のように述べています。「この機能がいつ、どのように通常の Opera ブラウザに導入されるかについては、スケジュールがありません。ただし、ユーザーは、AI Feature Drop プログラムで開始された機能が、メインのブラウザーに導入される前に進化し続けることを期待する必要があります。」

Nvidia のような企業のハイエンド GPU を搭載した大型サーバーと競争するのは非常に難しいため、Opera 氏は、ローカルに移行する方がおそらくオンライン LLM を使用するよりも「かなり遅い」だろうと述べています。冗談じゃないよ。

ただし、たくさんの LLM を試したい人にとっては、ストレージがより大きな問題になる可能性があります。 Opera によれば、各 LLM には 1.5 ～ XNUMX GB のストレージが必要であり、Opera One Developer を調べてみたところ、多くの LLM に当てはまり、その中にはサイズが約 XNUMX GB のものもありました。

ただし、Opera One を通じて提供される LLM の多くは 10 GB をはるかに超えます。多くは 10 ～ 20 GB の範囲にあり、中にはおよそ 40 GB のものもあり、さらに 67 GB というかなりの量を計測する Megadolphin も見つかりました。 Opera One Developer に含まれる 150 種類の LLM をすべてサンプルしたい場合、標準の 1 TB SSD ではおそらく不十分です。

これらの制限にもかかわらず、これは、Opera One (または少なくとも Developer ブランチ) が、LLM をローカルで実行するためのソリューションを提供する最初のブラウザであることを意味します。これは、LLM を PC にローカルに導入するための数少ないソリューションの 1 つでもあります。 Nvidia の ChatWithRTX チャットボット フォルダーとその下に 他のいくつかのアプリ。ただし、インターネット ブラウザーには、明らかにインターネットの動作を必要としない AI チャットボットが広範囲にわたって搭載されているのは、少し皮肉なことです。 ®

タイムスタンプ：

より多くの 登録