Opera поддерживает запуск локальных LLM без подключения

Opera поддерживает запуск локальных LLM без подключения

Отметка времени: 3 апреля 2024 г., 11:07
Opera поддерживает запуск локальных LLM без подключения PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Opera добавила экспериментальную поддержку запуска больших языковых моделей (LLM) локально в браузере Opera One Developer в рамках своей программы удаления функций искусственного интеллекта.

Эксклюзивно на данный момент для версии для разработчиков Opera One, основного интернет-браузера Opera, обновление добавляет 150 различных LLM из 50 различных семейств LLM, включая LLaMA, Gemma и Mixtral. Ранее Opera предлагала поддержку только своего собственного LLM, Aria, созданного в качестве чат-бота в том же духе, что и Microsoft Copilot и ChatGPT от OpenAI.

Однако ключевое отличие Aria от Copilot (которая стремится только к своего рода запуск локально в будущем), и подобных чат-ботов с искусственным интеллектом, заключается в том, что они зависят от подключения через Интернет к выделенному серверу. Opera заявляет, что благодаря локально запускаемым LLM, добавленным в Opera One Developer, данные остаются локальными на компьютерах пользователей и не требуют подключения к Интернету, за исключением первоначальной загрузки LLM.

Opera также выдвинула гипотезу о потенциальном варианте использования своей новой локальной функции LLM. «Что, если браузер будущего сможет полагаться на решения искусственного интеллекта, основанные на ваших исторических данных, сохраняя при этом все данные на вашем устройстве?» В то время как энтузиастам конфиденциальности, вероятно, нравится идея, что их данные хранятся только на их ПК и нигде больше, LLM на основе браузера, запоминающий столько всего, может быть не таким привлекательным.

«Это настолько передовая технология, что она может даже сломаться», — говорит Opera в своем блоге. Хоть это и шутка, но она не далека от истины. «Хотя мы стараемся выпустить максимально стабильную версию, сборки разработчиков, как правило, носят экспериментальный характер и на самом деле могут быть немного глючными», — сказал вице-президент Opera Ян Стендал. Регистр.

Что касается того, когда эта локальная функция LLM появится в обычном Opera One, Стендал сказал: «У нас нет сроков, когда и как эта функция будет представлена ​​в обычных браузерах Opera. Однако нашим пользователям следует ожидать, что функции, запущенные в рамках программы AI Feature Drop, будут продолжать развиваться, прежде чем они будут представлены в наших основных браузерах».

Поскольку конкурировать с большими серверами, оснащенными высокопроизводительными графическими процессорами таких компаний, как Nvidia, может быть довольно сложно, в Opera говорят, что переход на локальный сервер, вероятно, будет «значительно медленнее», чем использование онлайн-LLM. Без шуток.

Однако хранение может стать более серьезной проблемой для тех, кто хочет попробовать много LLM. Opera утверждает, что для каждого LLM требуется от двух до десяти гигабайт дискового пространства, и когда мы покопались в Opera One Developer, это было верно для множества LLM, некоторые из которых имели размер около 1.5 ГБ.

Однако для многих LLM, предоставляемых через Opera One, требуется намного больше 10 ГБ. Многие из них имели размер 10–20 ГБ, некоторые — примерно 40 ГБ, и мы даже нашли один, Megadolphin, размером 67 ГБ. Если вы хотите попробовать все 150 разновидностей LLM, включенных в Opera One Developer, стандартный твердотельный накопитель емкостью 1 ТБ, вероятно, вам не подойдет.

Несмотря на эти ограничения, это означает, что Opera One (или, по крайней мере, ветка Developer) — первый браузер, предлагающий решение для локального запуска LLM. Это также одно из немногих решений, позволяющих перенести LLM локально на ПК, наряду с Чат-бот Nvidia ChatWithRTX и еще один несколько других приложений. Хотя немного иронично, что интернет-браузер поставляется с впечатляющим набором чат-ботов с искусственным интеллектом, которым явно не требуется Интернет для работы. ®

Отметка времени:

Больше от Регистр