Opera understøtter at køre lokale LLM'er uden forbindelse

Opera understøtter at køre lokale LLM'er uden forbindelse

Tidsstempel: 3. april 2024 kl. 11
Opera understøtter at køre lokale LLM'er uden en forbindelse PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Opera har tilføjet eksperimentel support til at køre store sprogmodeller (LLM'er) lokalt på Opera One Developer-browseren som en del af dets AI Feature Drop Program.

Eksklusiv i øjeblikket til udviklerversionen af ​​Opera One, Operas vigtigste internetbrowser, tilføjer opdateringen 150 forskellige LLM'er fra 50 forskellige LLM-familier, inklusive LLaMA, Gemma og Mixtral. Tidligere tilbød Opera kun support til sin egen LLM, Aria, gearet som en chatbot på samme måde som Microsofts Copilot og OpenAIs ChatGPT.

Men den vigtigste forskel mellem Aria, Copilot (som kun stræber efter slags køre lokalt i fremtiden), og lignende AI-chatbots er, at de er afhængige af at være forbundet via internettet til en dedikeret server. Opera siger, at med de lokalt kørende LLM'er er det føjet til Opera One Developer, data forbliver lokale på brugernes pc'er og kræver ikke en internetforbindelse undtagen for at downloade LLM'en i starten.

Opera havde også en hypotese om en potentiel use case for sin nye lokale LLM-funktion. "Hvad hvis fremtidens browser kunne stole på AI-løsninger baseret på dit historiske input, mens den indeholder alle data på din enhed?" Mens privatlivsentusiaster nok kan lide tanken om, at deres data bare bliver opbevaret på deres pc'er og ingen andre steder, er en browserbaseret LLM, der husker så meget, måske ikke så attraktiv.

"Dette er så blødende, at det endda kan gå i stykker," siger Opera i sin blogindlæg. Selvom det er et skænderi, er det ikke langt fra sandheden. "Mens vi forsøger at sende den mest stabile version som muligt, har udvikler-builds tendens til at være eksperimenterende og kan faktisk være en smule glitchy," fortalte Opera-direktør Jan Standal Registret.

Med hensyn til hvornår denne lokale LLM-funktion kommer til almindelig Opera One, sagde Standal: "Vi har ingen tidslinje for, hvornår eller hvordan denne funktion vil blive introduceret til de almindelige Opera-browsere. Vores brugere bør dog forvente, at funktioner lanceret i AI Feature Drop Program fortsætter med at udvikle sig, før de introduceres til vores hovedbrowsere."

Da det kan være ret svært at konkurrere med store servere udstyret med avancerede GPU'er fra virksomheder som Nvidia, siger Opera, at det at gå lokalt nok vil være "betydeligt langsommere" end at bruge en online LLM. Det siger du ikke.

Opbevaring kan dog være et større problem for dem, der ønsker at prøve mange LLM'er. Opera siger, at hver LLM kræver mellem to og ti gigabyte lagerplads, og da vi søgte rundt i Opera One Developer, var det sandt for mange LLM'er, hvoraf nogle var omkring 1.5 GB store.

Masser af LLM'er leveret gennem Opera One kræver dog langt mere end 10 GB. Mange befandt sig i 10-20 GB-regionen, nogle var omkring 40 GB, og vi fandt endda en, Megadolphin, der målte på en heftig 67 GB. Hvis du ville prøve alle 150 varianter af LLM'er, der er inkluderet i Opera One Developer, vil standard 1 TB SSD'en sandsynligvis ikke klare det.

På trods af disse begrænsninger betyder det, at Opera One (eller i det mindste udviklergrenen) er den første browser, der tilbyder en løsning til at køre LLM'er lokalt. Det er også en af ​​de få løsninger overhovedet at bringe LLM'er lokalt til pc'er ved siden af Nvidias ChatWithRTX chatbot og en håndfuld andre apps. Selvom det er lidt ironisk, at en internetbrowser kommer med en imponerende spredning af AI-chatbots, der udtrykkeligt ikke kræver, at internettet fungerer. ®

Tidsstempel:

Mere fra Registret