Opera obsługuje uruchamianie lokalnych LLM bez połączenia

Opera obsługuje uruchamianie lokalnych LLM bez połączenia

Znacznik czasu: 3 kwietnia 2024 11:07
Opera obsługuje uruchamianie lokalnych LLM bez połączenia PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.

Opera dodała eksperymentalną obsługę uruchamiania dużych modeli językowych (LLM) lokalnie w przeglądarce Opera One Developer w ramach programu usuwania funkcji AI.

Aktualizacja dostępna obecnie wyłącznie w wersji deweloperskiej Opera One, głównej przeglądarki internetowej Opery, dodaje 150 różnych LLM z 50 różnych rodzin LLM, w tym LLaMA, Gemma i Mixtral. Wcześniej Opera oferowała wsparcie tylko dla własnego LLM, Aria, nastawionego na chatbota w tym samym duchu, co Copilot Microsoftu i ChatGPT OpenAI.

Jednak kluczowa różnica pomiędzy Arią, Copilotem (do którego jedynie aspiruje w przyszłości będzie działać lokalnie), a podobne chatboty AI polegają na tym, że polegają na połączeniu przez Internet z dedykowanym serwerem. Opera twierdzi, że dzięki lokalnie uruchamianym LLM jest dodawany do Opera One Developer, dane pozostają lokalne na komputerach użytkowników i nie wymagają połączenia z Internetem z wyjątkiem początkowego pobrania LLM.

Opera postawiła także hipotezę dotyczącą potencjalnego zastosowania nowej, lokalnej funkcji LLM. „Co by było, gdyby przeglądarka przyszłości mogła polegać na rozwiązaniach AI opartych na danych historycznych, a jednocześnie zawierać wszystkie dane znajdujące się na Twoim urządzeniu?” Chociaż entuzjastom prywatności prawdopodobnie podoba się pomysł, aby ich dane były przechowywane tylko na ich komputerach i nigdzie indziej, oparty na przeglądarce LLM zapamiętujący tak dużo może nie być tak atrakcyjny.

„To jest tak krwawiące, że może nawet pęknąć” – czytamy w swoim raporcie Opera blogu. Choć to żart, nie jest on daleki od prawdy. „Chociaż staramy się dostarczać możliwie najbardziej stabilną wersję, kompilacje programistów są zwykle eksperymentalne i w rzeczywistości mogą powodować pewne błędy” – powiedział wiceprezes Opery Jan Standal. Rejestr.

Jeśli chodzi o to, kiedy ta lokalna funkcja LLM trafi do zwykłej Opery One, Standal powiedział: „Nie mamy harmonogramu, kiedy i w jaki sposób ta funkcja zostanie wprowadzona do zwykłych przeglądarek Opera. Nasi użytkownicy powinni jednak oczekiwać, że funkcje uruchomione w ramach programu usuwania funkcji AI będą nadal ewoluować, zanim zostaną wprowadzone do naszych głównych przeglądarek”.

Ponieważ konkurowanie z dużymi serwerami wyposażonymi w wysokiej klasy procesory graficzne takich firm jak Nvidia może być dość trudne, Opera twierdzi, że przejście na serwer lokalny będzie prawdopodobnie „znacznie wolniejsze” niż korzystanie z internetowego LLM. Bez żartów.

Jednak przechowywanie może być większym problemem dla tych, którzy chcą wypróbować wiele LLM. Opera twierdzi, że każdy LLM wymaga od dwóch do dziesięciu gigabajtów pamięci, a kiedy szperaliśmy w Opera One Developer, okazało się, że jest to prawdą w przypadku wielu LLM, z których niektóre miały rozmiar około 1.5 GB.

Jednak wiele LLM dostępnych w Operze One wymaga znacznie więcej niż 10 GB. Wiele z nich mieściło się w przedziale 10–20 GB, niektóre miały około 40 GB, a znaleźliśmy nawet jednego, Megadolphin, o pojemności 67 GB. Jeśli chcesz wypróbować wszystkie 150 odmian LLM zawartych w Opera One Developer, standardowy dysk SSD o pojemności 1 TB prawdopodobnie nie wystarczy.

Pomimo tych ograniczeń oznacza to, że Opera One (lub przynajmniej gałąź deweloperska) jest pierwszą przeglądarką oferującą rozwiązanie do lokalnego uruchamiania LLM. Jest to także jedno z niewielu rozwiązań, które pozwala lokalnie przenosić LLM na komputery PC Chatbot ChatWithRTX firmy Nvidia oraz kilka innych aplikacji. Chociaż jest to trochę ironiczne, że przeglądarka internetowa oferuje imponującą liczbę chatbotów AI, które wyraźnie nie wymagają działania Internetu. ®

Znak czasu:

Więcej z Rejestr