Opera admite la ejecución de LLM locales sin conexión

Opera admite la ejecución de LLM locales sin conexión

Sello de tiempo: 3 de abril de 2024 11:07 a. M.
Opera admite la ejecución de LLM locales sin una conexión PlatoBlockchain Data Intelligence. Búsqueda vertical. Ai.

Opera ha agregado soporte experimental para ejecutar modelos de lenguaje grandes (LLM) localmente en el navegador Opera One Developer como parte de su programa AI Feature Drop.

Exclusiva por el momento para la versión para desarrolladores de Opera One, el principal navegador de Internet de Opera, la actualización agrega 150 LLM diferentes de 50 familias diferentes de LLM, incluidas LLaMA, Gemma y Mixtral. Anteriormente, Opera solo ofrecía soporte para su propio LLM, Aria, diseñado como un chatbot en la misma línea que Copilot de Microsoft y ChatGPT de OpenAI.

Sin embargo, la diferencia clave entre Aria, Copilot (que sólo aspira a tipo de ejecución local en el futuro) y chatbots de IA similares es que dependen de estar conectados a través de Internet a un servidor dedicado. Opera dice que con los LLM ejecutados localmente que se agregan a Opera One Developer, los datos permanecen locales en las PC de los usuarios y no requieren una conexión a Internet, excepto para descargar el LLM inicialmente.

Opera también planteó la hipótesis de un posible caso de uso para su nueva función LLM local. "¿Qué pasaría si el navegador del futuro pudiera depender de soluciones de inteligencia artificial basadas en su entrada histórica y al mismo tiempo contuviera todos los datos de su dispositivo?" Si bien a los entusiastas de la privacidad probablemente les guste la idea de que sus datos se guarden en sus PC y en ningún otro lugar, un LLM basado en navegador que recuerde tanto podría no ser tan atractivo.

"Esto es tan vanguardista que incluso podría romperse", dice Opera en su del blog. Aunque es una broma, no está lejos de la verdad. "Si bien intentamos ofrecer la versión más estable posible, las versiones de los desarrolladores tienden a ser experimentales y, de hecho, pueden tener un poco de fallas", dijo el vicepresidente de Opera, Jan Standal. El registro.

En cuanto a cuándo esta función LLM local llegará al Opera One normal, Standal dijo: “No tenemos un cronograma sobre cuándo o cómo se introducirá esta función en los navegadores Opera normales. Sin embargo, nuestros usuarios deben esperar que las funciones lanzadas en el Programa de lanzamiento de funciones de IA continúen evolucionando antes de que se introduzcan en nuestros navegadores principales”.

Dado que puede ser bastante difícil competir con grandes servidores equipados con GPU de alta gama de compañías como Nvidia, Opera dice que volverse local probablemente será “considerablemente más lento” que usar un LLM en línea. En serio.

Sin embargo, el almacenamiento podría ser un problema mayor para quienes quieran probar muchos LLM. Opera dice que cada LLM requiere entre dos y diez gigabytes de almacenamiento, y cuando investigamos Opera One Developer, eso fue cierto para muchos LLM, algunos de los cuales tenían alrededor de 1.5 GB de tamaño.

Sin embargo, muchos LLM proporcionados a través de Opera One requieren mucho más de 10 GB. Muchos estaban en la región de 10 a 20 GB, algunos tenían aproximadamente 40 GB, e incluso encontramos uno, Megadolphin, que medía unos considerables 67 GB. Si desea probar las 150 variedades de LLM incluidas en Opera One Developer, el SSD estándar de 1 TB probablemente no sea suficiente.

A pesar de estas limitaciones, significa que Opera One (o al menos la rama de Desarrolladores) es el primer navegador que ofrece una solución para ejecutar LLM localmente. También es una de las pocas soluciones que lleva los LLM localmente a las PC, junto con Chatbot ChatWithRTX de Nvidia y un puñado de otras aplicaciones. Aunque es un poco irónico que un navegador de Internet venga con una impresionante variedad de chatbots de IA que explícitamente no requieren Internet para funcionar. ®

Sello de tiempo:

Mas de El registro