Opera unterstützt die Ausführung lokaler LLMs ohne Verbindung

Opera unterstützt die Ausführung lokaler LLMs ohne Verbindung

Zeitstempel: 3. April 2024, 11:07 Uhr
Opera unterstützt die Ausführung lokaler LLMs ohne Verbindung zu PlatoBlockchain Data Intelligence. Vertikale Suche. Ai.

Opera hat im Rahmen seines AI Feature Drop-Programms experimentelle Unterstützung für die lokale Ausführung großer Sprachmodelle (LLMs) im Opera One Developer-Browser hinzugefügt.

Das Update ist derzeit exklusiv für die Entwicklerversion von Opera One, dem wichtigsten Internetbrowser von Opera, und fügt 150 verschiedene LLMs aus 50 verschiedenen LLM-Familien hinzu, darunter LLaMA, Gemma und Mixtral. Bisher bot Opera nur Unterstützung für sein eigenes LLM Aria an, das als Chatbot konzipiert war, ähnlich wie Copilot von Microsoft und ChatGPT von OpenAI.

Der Hauptunterschied zwischen Aria und Copilot (der nur danach strebt in Zukunft gewissermaßen lokal laufen) und ähnlichen KI-Chatbots besteht darin, dass sie darauf angewiesen sind, über das Internet mit einem dedizierten Server verbunden zu sein. Laut Opera bleiben die Daten mit den lokal ausgeführten LLMs, die zu Opera One Developer hinzugefügt wurden, lokal auf den PCs der Benutzer und erfordern keine Internetverbindung, außer um das LLM zunächst herunterzuladen.

Opera vermutete außerdem einen möglichen Anwendungsfall für seine neue lokale LLM-Funktion. „Was wäre, wenn der Browser der Zukunft auf KI-Lösungen zurückgreifen könnte, die auf Ihren historischen Eingaben basieren und gleichzeitig alle Daten auf Ihrem Gerät enthalten?“ Während Datenschutzbegeisterte wahrscheinlich die Idee mögen, dass ihre Daten nur auf ihren PCs und nirgendwo anders gespeichert werden, ist ein browserbasiertes LLM, das sich so viel merkt, möglicherweise nicht so attraktiv.

„Das ist so auf dem neuesten Stand, dass es sogar kaputt gehen könnte“, heißt es in Opera Blog-Post. Auch wenn es nur ein Scherz ist, ist er nicht weit von der Wahrheit entfernt. „Während wir versuchen, die stabilste Version zu liefern, die möglich ist, neigen Entwickler-Builds dazu, experimentell zu sein und können sogar etwas fehlerhaft sein“, sagte Opera-Vizepräsident Jan Standal Das Register.

Zur Frage, wann diese lokale LLM-Funktion in den regulären Opera One gelangen wird, sagte Standal: „Wir haben keinen Zeitplan dafür, wann oder wie diese Funktion in die regulären Opera-Browser eingeführt wird. Unsere Benutzer sollten jedoch damit rechnen, dass sich die im AI Feature Drop Program eingeführten Funktionen weiterentwickeln, bevor sie in unseren Hauptbrowsern eingeführt werden.“

Da es ziemlich schwierig sein kann, mit großen Servern zu konkurrieren, die mit High-End-GPUs von Unternehmen wie Nvidia ausgestattet sind, wird die lokale Lösung laut Opera wahrscheinlich „erheblich langsamer“ sein als die Verwendung eines Online-LLM. Im Ernst.

Für diejenigen, die viele LLMs ausprobieren möchten, könnte der Speicherplatz jedoch ein größeres Problem darstellen. Opera sagt, dass jedes LLM zwischen zwei und zehn Gigabyte Speicherplatz benötigt, und als wir uns in Opera One Developer umgesehen haben, traf das auf viele LLMs zu, von denen einige etwa 1.5 GB groß waren.

Viele über Opera One bereitgestellte LLMs erfordern jedoch weit mehr als 10 GB. Viele lagen im Bereich von 10 bis 20 GB, einige waren etwa 40 GB groß, und wir fanden sogar einen, Megadolphin, der stattliche 67 GB maß. Wenn Sie alle 150 in Opera One Developer enthaltenen LLM-Varianten ausprobieren möchten, reicht die standardmäßige 1-TB-SSD wahrscheinlich nicht aus.

Trotz dieser Einschränkungen bedeutet dies, dass Opera One (oder zumindest der Developer-Zweig) der erste Browser ist, der eine Lösung für die lokale Ausführung von LLMs bietet. Außerdem ist es eine der wenigen Lösungen überhaupt, die LLMs lokal auf PCs bringt Nvidias ChatWithRTX-Chatbot und einem eine Handvoll anderer Apps. Allerdings ist es ein wenig ironisch, dass ein Internetbrowser über eine beeindruckende Verbreitung von KI-Chatbots verfügt, die ausdrücklich nicht auf das Internet angewiesen sind, um zu funktionieren. ®

Zeitstempel:

Mehr von Das Register