Nvidias Chat mit RTX: Den Weg für On-Device-KI bereiten oder zu kurz kommen?

Nvidias Chat mit RTX: Den Weg für On-Device-KI bereiten oder zu kurz kommen?

Zeitstempel: 12. April 2024, 1:00 Uhr
Nvidias Chat mit RTX: Bereiten Sie die Bühne für On-Device-KI oder scheitern Sie daran? PlatoBlockchain Data Intelligence. Vertikale Suche. Ai.
  • Nvidia Chat mit RTX ist ein großes Sprachmodell auf dem Gerät, das die Informationen auf Ihrem PC nutzt, um Ihre Anfragen zu erfüllen. 
  • Es kann auch für Daten im Internet verwendet werden, beispielsweise für Webseiten.
  •  Das Modell ist zwar leistungsfähig, es wird jedoch vermutet, dass seine Fähigkeiten stark übertrieben sind.

Nvidia verstärkt sein Engagement in der KI-Revolution, indem es über seine traditionelle Rolle hinausgeht und sich als wichtiger Akteur etabliert. Nach einer Entwicklerkonferenz voller bedeutender Ankündigungen hat Nvidia ein neues Produkt zum Testen vorgestellt: Nvidia Chat mit RTX.

Dieses große Sprachmodell auf dem Gerät läuft vollständig auf Ihrem PC und verwendet lokale Informationen, um auf Anfragen zu reagieren. Ähnlich wie Samsungs Galaxy AI, gestartet mit dem Galaxy S24-SerieNvidia Chat mit RTX, das die meisten KI-Aufgaben auf dem Gerät erledigte, bringt diese Funktion auf PCs und verändert möglicherweise unseren Ansatz für KI, Transformer und große Sprachmodelle (LLMs).

Chatten Sie mit RTX

Chat with RTX ist ein KI-Chatbot auf Ihrem PC. Als Legacy-Software installiert, stellt es einen Chatbot bereit, der alle Daten auf Ihrem PC kennt. Egal, ob Sie sich an etwas aus dem Monatsabschlussbericht Oktober 2022 erinnern möchten oder wo Sie am Abend des 17. Februar 2019 ein Abendessen reserviert haben: Wenn sich die Informationen auf Ihrem PC befinden, kann Chat with RTX sie abrufen hoch.

Vorteile der On-Device-KI

Geschwindigkeit:  Einer der größten Vorteile von Chat mit RTX ist die Geschwindigkeit der Verarbeitung. Da die gesamte Verarbeitung auf dem Gerät erfolgt, spielt die Geschwindigkeit Ihrer Internetverbindung keine Rolle. Du brauchst nicht einmal eins! Dies ist ein großer Fortschritt im Vergleich zu bestehenden digitalen oder KI-Assistenten.

Datenschutz: Auch im Hinblick auf den Datenschutz bietet die Verarbeitung aller Geräteinformationen einen großen Vorteil. Alle Informationen werden verarbeitet und auf dem Gerät gespeichert, sodass der Eigentümer die volle Kontrolle und Verwahrung hat. Es gibt keinen Dritten, der Ihre Daten absichtlich oder unabsichtlich durchsehen, sammeln, auswerten, verkaufen oder an Dritte weitergeben kann.

Sicherheit: Die Aufbewahrung der Daten bringt auch Vorteile in der Sicherheit mit sich. Ohne dass Sie sich irgendwo anmelden oder die Informationen senden müssen, erhöhen Sie letztendlich die Sicherheit. Die Informationen müssen niemals reisen oder woanders gespeichert werden, auch nicht vorübergehend.

Anpassung: Ein weiterer klarer Vorteil ist die Individualisierung. Der Chat mit RTX basiert auf den auf Ihrem Computer gespeicherten Informationen und fungiert im Wesentlichen als LLM, der auf Ihre Daten und Informationen geschult ist. Unabhängig davon, ob der Großteil Ihrer Informationen aus Dokumenten, Standbildern oder Videos besteht, ist IT ein Chatbot, der speziell auf Sie und Ihre Daten zugeschnitten ist.

Flexibilität: Der Chat mit RTX ist nicht auf die Daten auf Ihrem Gerät beschränkt; Es kann auch für Daten im Internet verwendet werden, beispielsweise für Webseiten. Sie können Chat with RTX also bitten, auf einer Webseite nach Informationen zu suchen, und es liefert Ergebnisse, ohne Kompromisse bei Sicherheits- oder Datenschutzaspekten einzugehen. Es ist auch erwähnenswert, dass dies erst der Anfang ist.

Teufel im Detail

Die Systemanforderungen für die Ausführung von Chat mit RTX sind auf der Nachfrageseite. Derzeit ist es nur für Windows-PCs verfügbar, sodass MacOS und Linux vorerst im Regen stehen. Es ist nur für PCs mit Windows 11 verfügbar.

Mindestens 16 GB RAM und eine Dateigröße von 35 GB bedeuten, dass Sie für die Nutzung ein recht leistungsfähiges System benötigen. Darüber hinaus erfordert das System auch eine GPU der Nvidia GeForce RTX 30- oder 40-Serie, um auf einem Computer gut zu funktionieren. Die Systemanforderungen sind etwas hoch, aber immer noch im Bereich vieler PCs und Laptops der Mittelklasse.

Gemischte Bewertungen

Der Chat mit RTX wurde erstmals verfügbar gemacht zum Testen am 19. Februar 2024. Die Rezensionen unterscheiden sich etwas von den Demos und Mitteilungen von Nvidia. Das Modell ist zwar leistungsfähig, es wird jedoch vermutet, dass seine Fähigkeiten stark übertrieben sind. Der großen Dateigröße und den hohen Anforderungen wird die Ausgabe nicht gerecht.

Es kann viele Aufgaben erledigen, aber es erledigt sie nicht gut. Dies ist als erster Versuch einer neuen Idee verständlich. Im weiteren Verlauf sollten wir mit Verbesserungen in der Zukunft rechnen. Die enorme Größe und die hohen Systemanforderungen sind zwei Bereiche, an denen sie arbeiten und gleichzeitig Leistungsverbesserungen anstreben sollten.

Während Befürworter begonnen haben, Chat mit RTX als den Anfang vom Ende von Chat GPT und Googles Gemini zu bezeichnen, deuten die Erfahrungen derjenigen, die es verwendet haben, darauf hin, dass dies noch lange nicht der Fall sein wird. LLMs und Transformatoren erfordern eine große Menge an Rechenleistung und entsprechende Schulung.

Zu erwarten, dass eine lokale Installation auf einem PC genauso gute Ergebnisse liefert wie die Rechenzentren hinter Ihrer bevorzugten generativen KI, ist zu schnell zu viel verlangt. Für Unternehmen ist dies jedoch ein Versprechen, das bald umgesetzt werden kann.

Ein Unternehmen angemessener Größe könnte ein eigenes LLM-System für seine Belegschaft betreiben. Dies hätte vielfältige Anwendungsmöglichkeiten, aber die Vorteile für den Arbeitsablauf in informationsintensiven Branchen sind offensichtlich vielfältig.

 Die Vorteile der Anpassung, des Datenschutzes und der Sicherheit wären für Unternehmensanwender von großem Nutzen. Während also die Idee eines LLM auf Ihrem PC kurzfristig noch nicht ganz in der Lage ist, mit den Besten seiner Klasse zu konkurrieren, könnten wir kurz- bis mittelfristig personalisierte LLMs für Unternehmensbenutzer sehen.

Das Zeitalter der On-Device-KI

Die Verfügbarkeit von Nvidias Chat mit RTX signalisiert, dass wir uns dem Zeitalter der On-Device-KI nähern. Die Samsung S24-Reihe mit Galaxy AI erledigte den Großteil der Aufgaben auf dem Gerät.

Jetzt bietet uns Nvidia eine vollständige On-Device-Verarbeitung. Das Produkt ist einigen Bewertungen zufolge noch nicht gut genug. Allerdings gibt es nur sehr wenige Erstprodukte. Nvidia hat mit Chat with RTX sicherlich die Katze unter die Tauben geworfen.

Zeitstempel:

Mehr von Web 3 Afrika