Opera підтримує запуск локальних LLM без підключення

Opera підтримує запуск локальних LLM без підключення

Мітка часу: 3 квітня 2024 р., 11:07
Opera підтримує запуск локальних LLM без підключення PlatoBlockchain Data Intelligence. Вертикальний пошук. Ai.

Opera додала експериментальну підтримку для локального запуску великих мовних моделей (LLM) у браузері Opera One Developer у рамках своєї програми AI Feature Drop Program.

На даний момент ексклюзивне оновлення для версії для розробників Opera One, основного інтернет-браузера Opera, додає 150 різних LLM з 50 різних сімейств LLM, включаючи LLaMA, Gemma та Mixtral. Раніше Opera пропонувала підтримку лише для свого власного LLM, Aria, призначеного як чат-бот у тому ж ключі, що й Copilot від Microsoft і ChatGPT від OpenAI.

Однак ключова різниця між Арією, Копілотом (який лише прагне як би працювати локально в майбутньому) і подібних чат-ботів штучного інтелекту полягає в тому, що вони залежать від підключення до виділеного сервера через Інтернет. Opera каже, що з локально запущеними LLM, доданими до Opera One Developer, дані залишаються локальними на ПК користувачів і не потребують підключення до Інтернету, окрім початкового завантаження LLM.

Opera також висунула гіпотезу про потенційний варіант використання своєї нової локальної функції LLM. «Що, якби браузер майбутнього міг покладатися на рішення штучного інтелекту, засновані на ваших історичних даних, водночас зберігаючи всі дані на вашому пристрої?» Хоча ентузіастам конфіденційності, ймовірно, подобається ідея, що їхні дані зберігаються просто на комп’ютерах і ніде більше, LLM на основі браузера, який пам’ятає так багато, може бути не таким привабливим.

«Це настільки кровоточивий край, що він може навіть зламатись», — каже Opera у своєму блог. Хоч і дотепа, але вона недалека від істини. «Хоча ми намагаємося постачати якомога стабільнішу версію, збірки розробників, як правило, є експериментальними та можуть бути дещо збійними», — сказав віце-президент Opera Ян Стандал. Реєстр.

Стосовно того, коли ця локальна функція LLM потрапить у звичайну Opera One, Стандал сказав: «Ми не маємо графіку щодо того, коли та як ця функція буде представлена ​​в звичайних браузерах Opera. Однак наші користувачі повинні очікувати, що функції, запущені в програмі AI Feature Drop Program, продовжуватимуть розвиватися, перш ніж вони будуть представлені в наших основних браузерах».

Оскільки може бути досить важко конкурувати з великими серверами, оснащеними високоякісними графічними процесорами таких компаній, як Nvidia, Opera каже, що локальний доступ, ймовірно, буде «значно повільнішим», ніж використання онлайн LLM. Без жартів.

Однак зберігання може бути більшою проблемою для тих, хто хоче спробувати багато LLM. Opera каже, що кожен LLM потребує від двох до десяти гігабайт пам’яті, і коли ми порилися в Opera One Developer, це було правдою для багатьох LLM, деякі з яких мали розмір близько 1.5 ГБ.

Проте для багатьох LLM, які надаються через Opera One, потрібно набагато більше 10 ГБ. Багато з них були в області 10-20 ГБ, деякі мали приблизно 40 ГБ, і ми навіть знайшли один, Megadolphin, із чималими 67 ГБ. Якщо ви хочете спробувати всі 150 різновидів LLM, які включені в Opera One Developer, стандартний SSD на 1 ТБ, ймовірно, не допоможе.

Незважаючи на ці обмеження, це означає, що Opera One (або, принаймні, гілка розробників) є першим браузером, який пропонує рішення для запуску LLM локально. Крім того, це одне з небагатьох рішень для локального розміщення LLM на ПК Чат-бот Nvidia ChatWithRTX і кілька інших програм. Хоча це трохи іронічно, що інтернет-браузер постачається з вражаючою кількістю чат-ботів зі штучним інтелектом, для роботи яких явно не потрібен Інтернет. ®

Часова мітка:

Більше від Реєстр