Opera ondersteunt het uitvoeren van lokale LLM's zonder verbinding

Opera ondersteunt het uitvoeren van lokale LLM's zonder verbinding

Tijdstempel: 3 april 2024 11:07 uur
Opera ondersteunt het uitvoeren van lokale LLM's zonder verbinding met PlatoBlockchain Data Intelligence. Verticaal zoeken. Ai.

Opera heeft experimentele ondersteuning toegevoegd voor het lokaal uitvoeren van grote taalmodellen (LLM's) in de Opera One Developer-browser als onderdeel van het AI Feature Drop Program.

Momenteel exclusief voor de ontwikkelaarsversie van Opera One, de belangrijkste internetbrowser van Opera, voegt de update 150 verschillende LLM's toe uit 50 verschillende LLM-families, waaronder LLaMA, Gemma en Mixtral. Voorheen bood Opera alleen ondersteuning voor zijn eigen LLM, Aria, ingericht als chatbot in dezelfde geest als Microsoft's Copilot en OpenAI's ChatGPT.

Het belangrijkste verschil tussen Aria en Copilot (dat alleen streeft naar zal in de toekomst lokaal worden uitgevoerd), en vergelijkbare AI-chatbots, is dat ze afhankelijk zijn van een verbinding via internet met een speciale server. Opera zegt dat met de lokaal uitgevoerde LLM's deze worden toegevoegd aan Opera One Developer, de gegevens lokaal blijven op de pc's van gebruikers en geen internetverbinding nodig hebben, behalve om de LLM in eerste instantie te downloaden.

Opera veronderstelde ook een mogelijke use case voor zijn nieuwe lokale LLM-functie. “Wat als de browser van de toekomst zou kunnen vertrouwen op AI-oplossingen op basis van uw historische input en tegelijkertijd alle gegevens op uw apparaat zou kunnen bevatten?” Hoewel privacyliefhebbers waarschijnlijk blij zijn met het idee dat hun gegevens alleen op hun pc worden bewaard en nergens anders, is een browsergebaseerde LLM die zoveel onthoudt misschien niet zo aantrekkelijk.

“Dit is zo geavanceerd dat het zelfs zou kunnen breken”, zegt Opera in zijn document blogpost. Hoewel het een grapje is, is het niet ver van de waarheid. “Hoewel we proberen een zo stabiel mogelijke versie te leveren, zijn builds voor ontwikkelaars vaak experimenteel en kunnen ze in feite een beetje glitchy zijn”, vertelde Opera VP Jan Standal. Het register.

Over wanneer deze lokale LLM-functie in de reguliere Opera One zal verschijnen, zei Standal: “We hebben geen tijdlijn voor wanneer en hoe deze functie in de reguliere Opera-browsers zal worden geïntroduceerd. Onze gebruikers mogen echter verwachten dat de functies die in het AI Feature Drop Program zijn gelanceerd, zullen blijven evolueren voordat ze in onze hoofdbrowsers worden geïntroduceerd.”

Omdat het behoorlijk moeilijk kan zijn om te concurreren met grote servers die zijn uitgerust met hoogwaardige GPU's van bedrijven als Nvidia, zegt Opera dat lokaal gaan waarschijnlijk "aanzienlijk langzamer" zal zijn dan het gebruik van een online LLM. Geen grapje.

Opslag kan echter een groter probleem zijn voor degenen die veel LLM's willen proberen. Opera zegt dat elke LLM tussen de twee en tien gigabyte aan opslagruimte nodig heeft, en toen we rondsnuffelden in Opera One Developer, gold dat voor veel LLM's, waarvan sommige ongeveer 1.5 GB groot waren.

Veel LLM's die via Opera One worden aangeboden, vereisen echter veel meer dan 10 GB. Velen bevonden zich in de regio van 10-20 GB, sommige waren ongeveer 40 GB, en we hebben er zelfs een gevonden, Megadolphin, die een flinke 67 GB meet. Als je alle 150 soorten LLM's van Opera One Developer wilt uitproberen, is de standaard SSD van 1 TB waarschijnlijk niet voldoende.

Ondanks deze beperkingen betekent dit wel dat Opera One (of in ieder geval de Developer-tak) de eerste browser is die een oplossing biedt voor het lokaal draaien van LLM's. Het is ook een van de weinige oplossingen die LLM's lokaal naar pc's brengt Nvidia's ChatWithRTX-chatbot en handvol andere apps. Hoewel het een beetje ironisch is dat een internetbrowser wordt geleverd met een indrukwekkende reeks AI-chatbots die expliciet geen internet nodig hebben om te werken. ®

Tijdstempel:

Meer van Het register