Opera suporta execução de LLMs locais sem conexão

Opera suporta execução de LLMs locais sem conexão

Carimbo de data / hora: 3 de abril de 2024 11h07
Opera suporta a execução de LLMs locais sem uma conexão PlatoBlockchain Data Intelligence. Pesquisa vertical. Ai.

Opera adicionou suporte experimental para execução de modelos de linguagem grandes (LLMs) localmente no navegador Opera One Developer como parte de seu programa AI Feature Drop.

Exclusiva no momento para a versão de desenvolvedor do Opera One, principal navegador de internet do Opera, a atualização adiciona 150 LLMs diferentes de 50 famílias diferentes de LLM, incluindo LLaMA, Gemma e Mixtral. Anteriormente, o Opera oferecia suporte apenas para seu próprio LLM, Aria, voltado como um chatbot na mesma linha do Copilot da Microsoft e do ChatGPT da OpenAI.

No entanto, a principal diferença entre Aria, Copilot (que aspira apenas meio que executado localmente no futuro) e chatbots de IA semelhantes é que eles dependem de estarem conectados via Internet a um servidor dedicado. Opera diz que com os LLMs executados localmente adicionados ao Opera One Developer, os dados permanecem locais nos PCs dos usuários e não requerem conexão com a Internet, exceto para baixar o LLM inicialmente.

A Opera também levantou a hipótese de um caso de uso potencial para seu novo recurso LLM local. “E se o navegador do futuro pudesse contar com soluções de IA baseadas em suas informações históricas e, ao mesmo tempo, conter todos os dados do seu dispositivo?” Embora os entusiastas da privacidade provavelmente gostem da ideia de seus dados serem mantidos apenas em seus PCs e em nenhum outro lugar, um LLM baseado em navegador que se lembre disso pode não ser tão atraente.

“Isso é tão inovador que pode até quebrar”, diz Opera em seu no blog. Embora seja uma piada, não está longe da verdade. “Embora tentemos entregar a versão mais estável possível, as compilações dos desenvolvedores tendem a ser experimentais e podem, na verdade, ser um pouco problemáticas”, disse o vice-presidente da Opera, Jan Standal. O registro.

Quanto a quando esse recurso LLM local chegará ao Opera One regular, Standal disse: “Não temos um cronograma para quando ou como esse recurso será introduzido nos navegadores Opera regulares. Nossos usuários devem, no entanto, esperar que os recursos lançados no AI Feature Drop Program continuem a evoluir antes de serem introduzidos em nossos navegadores principais.”

Como pode ser muito difícil competir com grandes servidores equipados com GPUs de ponta de empresas como a Nvidia, a Opera diz que ir para o local provavelmente será “consideravelmente mais lento” do que usar um LLM online. Sem brincadeiras.

No entanto, o armazenamento pode ser um problema maior para aqueles que desejam experimentar muitos LLMs. Opera diz que cada LLM requer entre dois e dez gigabytes de armazenamento, e quando vasculhamos o Opera One Developer, isso era verdade para muitos LLMs, alguns dos quais tinham cerca de 1.5 GB de tamanho.

No entanto, muitos LLMs fornecidos pelo Opera One exigem muito mais de 10 GB. Muitos estavam na região de 10-20 GB, alguns tinham cerca de 40 GB, e até encontramos um, Megadolphin, medindo robustos 67 GB. Se você quiser experimentar todas as 150 variedades de LLMs incluídas no Opera One Developer, o SSD padrão de 1 TB provavelmente não será suficiente.

Apesar dessas limitações, isso significa que o Opera One (ou pelo menos o ramo Developer) é o primeiro navegador a oferecer uma solução para executar LLMs localmente. É também uma das poucas soluções que traz LLMs localmente para PCs, junto com Chatbot ChatWithRTX da Nvidia e de um alguns outros aplicativos. Embora seja um pouco irônico que um navegador de Internet venha com uma variedade impressionante de chatbots de IA que explicitamente não exigem que a Internet funcione. ®

Carimbo de hora:

Mais de O registro