Opera 支持在没有连接的情况下运行本地 LLM

Opera 支持在没有连接的情况下运行本地 LLM

时间戳记：3年2024月11日上午07:XNUMX
Opera 支持在没有连接的情况下运行本地法学硕士 PlatoBlockchain 数据智能。垂直搜索。人工智能。

作为 AI 功能下降计划的一部分，Opera 添加了对在 Opera One Developer 浏览器上本地运行大型语言模型 (LLM) 的实验性支持。

目前，该更新是 Opera 主要互联网浏览器 Opera One 开发者版本的独家更新，添加了来自 150 个不同 LLM 系列的 50 个不同 LLM，包括 LLaMA、Gemma 和 Mixtral。此前，Opera 仅为其自己的法学硕士 Aria 提供支持，Aria 与 Microsoft 的 Copilot 和 OpenAI 的 ChatGPT 一样，被定位为聊天机器人。

然而，Aria、Copilot（只渴望 将来会在本地运行），与人工智能聊天机器人类似的是，它们依赖于通过互联网连接到专用服务器。 Opera 表示，通过将本地运行的 LLM 添加到 Opera One Developer，数据仍保留在用户 PC 的本地，并且除了最初下载 LLM 之外不需要互联网连接。

Opera 还假设了其新的本地法学硕士功能的潜在用例。 “如果未来的浏览器可以依赖基于您历史输入的人工智能解决方案，同时包含您设备上的所有数据，会怎么样？”虽然隐私爱好者可能喜欢将他们的数据保存在个人电脑上而不是其他地方的想法，但基于浏览器的法学硕士可以记住这么多数据，但可能没有那么有吸引力。

Opera 在其报告中表示：“这太前沿了，甚至可能会崩溃。” 博客文章。虽然是俏皮话，但与事实相差不远。 Opera 副总裁 Jan Standal 表示：“虽然我们试图提供最稳定的版本，但开发人员构建的版本往往是实验性的，实际上可能会出现一些问题。” 注册.

至于本地法学硕士功能何时会出现在常规 Opera One 中，Standal 表示：“对于何时或如何将此功能引入常规 Opera 浏览器，我们没有时间表。然而，我们的用户应该期望人工智能功能下降计划中推出的功能在引入我们的主要浏览器之前能够继续发展。”

由于与 Nvidia 等公司配备高端 GPU 的大型服务器竞争相当困难，Opera 表示，本地化可能会比使用在线法学硕士“慢得多”。不开玩笑。

然而，对于那些想要尝试大量法学硕士的人来说，存储可能是一个更大的问题。 Opera 表示，每个 LLM 需要 1.5 到 XNUMX GB 的存储空间，当我们在 Opera One Developer 中进行研究时，发现很多 LLM 都是如此，其中一些大小约为 XNUMX GB。

不过，Opera One 提供的大量法学硕士需要超过 10 GB 的空间。许多内存在 10-20 GB 范围内，有些大约为 40 GB，我们甚至发现了一个 Megadolphin，其大小高达 67 GB。如果您想体验 Opera One Developer 中包含的全部 150 种 LLM，标准 1 TB SSD 可能无法满足您的需求。

尽管存在这些限制，但这确实意味着 Opera One（或至少是 Developer 分支）是第一个提供本地运行 LLM 解决方案的浏览器。它也是将 LLM 本地化到 PC 上的少数解决方案之一 Nvidia 的 ChatWithRTX 聊天机器人 的网络 少数其他应用程序。尽管有点讽刺的是，互联网浏览器附带了令人印象深刻的人工智能聊天机器人，而这些机器人显然不需要互联网才能工作。 ®

时间戳记：

更多来自 注册