Opera prend en charge l'exécution de LLM locaux sans connexion

Opera prend en charge l'exécution de LLM locaux sans connexion

Horodatage: 3 avril 2024 11:07
Opera prend en charge l'exécution de LLM locaux sans connexion PlatoBlockchain Data Intelligence. Recherche verticale. Aï.

Opera a ajouté une prise en charge expérimentale pour l'exécution de grands modèles de langage (LLM) localement sur le navigateur Opera One Developer dans le cadre de son programme AI Feature Drop.

Exclusive pour le moment à la version développeur d'Opera One, le principal navigateur Internet d'Opera, la mise à jour ajoute 150 LLM différents provenant de 50 familles LLM différentes, dont LLaMA, Gemma et Mixtral. Auparavant, Opera n'offrait la prise en charge que de son propre LLM, Aria, conçu comme un chatbot dans la même veine que Copilot de Microsoft et ChatGPT d'OpenAI.

Cependant, la différence essentielle entre Aria, Copilot (qui n'aspire qu'à en quelque sorte géré localement à l'avenir), et les chatbots IA similaires, sont qu'ils dépendent d'une connexion via Internet à un serveur dédié. Opera indique qu'avec les LLM exécutés localement et ajoutés à Opera One Developer, les données restent locales sur les PC des utilisateurs et ne nécessitent pas de connexion Internet, sauf pour télécharger initialement le LLM.

Opera a également émis l'hypothèse d'un cas d'utilisation potentiel pour sa nouvelle fonctionnalité LLM locale. "Et si le navigateur du futur pouvait s'appuyer sur des solutions d'IA basées sur vos saisies historiques tout en contenant toutes les données de votre appareil ?" Alors que les passionnés de confidentialité aiment probablement l’idée que leurs données soient conservées uniquement sur leur PC et nulle part ailleurs, un LLM basé sur un navigateur mémorisant tout cela pourrait ne pas être aussi attrayant.

"C'est tellement avant-gardiste qu'il pourrait même se briser", déclare Opera dans son blog récents. Même s’il s’agit d’une plaisanterie, ce n’est pas loin de la vérité. "Bien que nous essayions de fournir la version la plus stable possible, les versions des développeurs ont tendance à être expérimentales et peuvent en fait être un peu problématiques", a déclaré Jan Standal, vice-président d'Opera. Le registre.

Quant à savoir quand cette fonctionnalité LLM locale sera intégrée à Opera One standard, Standal a déclaré : « Nous n'avons aucun calendrier quant au moment ou à la manière dont cette fonctionnalité sera introduite dans les navigateurs Opera classiques. Nos utilisateurs doivent cependant s’attendre à ce que les fonctionnalités lancées dans le programme AI Feature Drop continuent d’évoluer avant d’être introduites dans nos principaux navigateurs.

Puisqu'il peut être assez difficile de rivaliser avec de gros serveurs équipés de GPU haut de gamme de sociétés comme Nvidia, Opera affirme que le passage au local sera probablement « considérablement plus lent » que l'utilisation d'un LLM en ligne. Sans blague.

Cependant, le stockage peut être un problème plus important pour ceux qui souhaitent essayer de nombreux LLM. Opera indique que chaque LLM nécessite entre deux et dix gigaoctets de stockage, et lorsque nous avons fouillé dans Opera One Developer, cela était vrai pour de nombreux LLM, dont certains mesuraient environ 1.5 Go.

De nombreux LLM fournis via Opera One nécessitent cependant bien plus de 10 Go. Beaucoup se situaient entre 10 et 20 Go, certains faisaient environ 40 Go, et nous en avons même trouvé un, Megadolphin, mesurant 67 Go. Si vous souhaitez goûter aux 150 variétés de LLM incluses dans Opera One Developer, le SSD standard de 1 To ne suffira probablement pas.

Malgré ces limitations, cela signifie qu'Opera One (ou du moins la branche Developer) est le premier navigateur à proposer une solution pour exécuter des LLM localement. C'est également l'une des rares solutions permettant d'apporter des LLM localement sur des PC, aux côtés Le chatbot ChatWithRTX de Nvidia et une poignée d'autres applications. Bien qu'il soit un peu ironique qu'un navigateur Internet soit livré avec une gamme impressionnante de chatbots IA qui ne nécessitent explicitement pas Internet pour fonctionner. ®

Horodatage:

Plus de Le registre