Nvidia と RTX のチャット: オンデバイス AI の準備は整っていますか、それとも不十分ですか?

• Nvidia Chat with RTX は、PC 上の情報を使用してリクエストを満たすオンデバイスの大規模言語モデルです。 

• Webページなどインターネット上のデータにも利用できます。

•  このモデルは有能ですが、人々はその能力が非常に誇張されていると示唆しています。

Nvidia は、従来の役割を超えて主要プレーヤーとしての地位を確立することで、AI 革命への関与を強化しています。重要な発表が満載の開発者カンファレンスの後、Nvidia はテスト用の新製品、Nvidia Chat with RTX を発表しました。

このオンデバイスの大規模言語モデルは完全に PC 上で動作し、ローカル情報を使用してリクエストに応答します。 Samsung の Galaxy AI と同様に、 Galaxy S24シリーズはほとんどの AI タスクをデバイス上で処理していましたが、RTX を使用した Nvidia Chat はこの機能を PC にもたらし、AI、トランスフォーマー、大規模言語モデル (LLM) に対するアプローチを再構築する可能性があります。

RTX とチャットする

Chat with RTX は、PC 上の AI チャットボットです。レガシー ソフトウェアとしてインストールされ、PC 上のすべてのデータを認識するチャットボットを提供します。そのため、2022 年 17 月の月末レポートから何かを思い出そうとしている場合でも、2019 年 XNUMX 月 XNUMX 日の夜にどこでディナーを予約したかを思い出そうとしている場合でも、その情報が PC 上にあれば、Chat with RTX でそれを呼び出すことができます。上。

オンデバイス AI の利点

その２：シャフトスピード（回転数）： Chat with RTX の最大の利点の 1 つは、処理速度です。すべての処理をデバイス上で行うということは、インターネット接続の速度が無関係になることを意味します。 1つも必要ありません。これは、既存のデジタル アシスタントや AI アシスタントと比較して大きな進歩です。

プライバシー： すべてのデバイス情報を処理することは、プライバシーの観点からも大きな利点があります。すべての情報は処理されてデバイス上に保存され、所有者に完全な制御と管理が与えられます。意図的かどうかにかかわらず、あなたのデータを閲覧、照合、採掘、販売、漏洩できる第三者は存在しません。

セキュリティ： データを保管することにより、セキュリティ面でも利点が得られます。どこかにログインしたり、情報を送信したりする必要がなくなり、最終的にセキュリティが向上します。情報は一時的であっても、他の場所に移動したり保存したりする必要はありません。

カスタマイズ： もう 1 つの明らかな利点はカスタマイズです。 Chat with RTX はコンピューターに保存されている情報に基づいて機能し、基本的にデータと情報に基づいてトレーニングされた LLM として機能します。情報の大部分がドキュメント、静止画像、またはビデオであっても、IT はあなたとあなたのデータに特化したチャットボットです。

柔軟性: RTX とのチャットはデバイス上のデータに限定されません。 Web ページなどのインターネット上のデータにも使用できます。そのため、Chat with RTX に Web ページ上の情報を調べるよう依頼すると、セキュリティやプライバシーの側面を損なうことなく、結果が得られます。これはほんの始まりに過ぎないことにも注意してください。

詳細の悪魔

RTX で Chat を実行するためのシステム要件はデマンド側にあります。現在のところ、Windows PC でのみ利用可能であり、MacOS と Linux は今のところ利用できません。 Windows 11 を実行している PC でのみ利用できます。

最低 16 GB の RAM と 35 GB のファイル サイズは、それを使用するには非常に強力なシステムが必要であることを意味します。これらすべてに加えて、システムがマシン上で適切に動作するには、Nvidia GeForce RTX 30 または 40 シリーズ GPU も必要です。システム要件は少し重いですが、それでも多くのミッドレンジ PC やラップトップで利用できる範囲内です。

混合レビュー

RTX とのチャットが初めて利用可能になりました 19 年 2024 月 XNUMX 日のテストに向けて。そのレビューは、Nvidia から提供されるデモやコミュニケーションとは多少異なります。このモデルは有能ですが、人々はその能力が非常に誇張されていると示唆しています。大きなファイル サイズと大量の要件が出力に適合しません。

多くのタスクを実行できますが、うまく実行できません。これは、新しいアイデアの最初の一歩として理解できます。このような状況が続くと、将来的には改善されることが期待されます。巨大なサイズと重いシステム要件は、パフォーマンスの向上も目標にしながら取り組むべき 2 つの領域です。

支持者たちは、Chat GPT と Google の Gemini の終わりの始まりとして RTX を使用したチャットを話し始めていますが、これを使用した人の経験から、これが現実になるまでにはかなり時間がかかることが示唆されています。 LLM と変圧器には、大量の処理能力とそれに伴うトレーニングが必要です。

PC へのローカル インストールでも、お気に入りの生成 AI の背後にあるデータ センターと同様の機能を期待するのは、あまりにも早すぎます。ただし、企業にとっては、これはすぐに実現できる可能性を秘めています。

適度な規模の企業であれば、従業員向けに独自の LLM システムを強化することができます。これには膨大な応用が考えられますが、情報を多用する産業のワークフローに多くのメリットがあることは明らかです。

 カスタマイズ、プライバシー、セキュリティの利点は、企業ユーザーにとって非常に価値があります。したがって、PC 上の LLM というアイデアは、当面はクラス最高の製品と競合できるほどの準備ができていませんが、短期から中期的にはエンタープライズ ユーザー向けにパーソナライズされた LLM が登場する可能性があります。

オンデバイス AI の時代

Nvidia の Chat with RTX の利用可能性は、オンデバイス AI の時代に向かって進んでいることを示しています。 Samsung S24 は Galaxy AI と並んで、タスクの大部分をデバイス上で処理しました。

現在、Nvidia は完全なオンデバイス処理を提供しています。この製品は、いくつかのレビューによるとまだ十分ではありません。とはいえ、初めての商品はほとんどありません。 Nvidia は、Chat with RTX によって確かにハトの中に猫を投げ入れました。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://web3africa.news/2024/04/12/news/nvidia-chat-with-rtx-on-device-ai/