Opera støtter kjøring av lokale LLM-er uten tilkobling

Opera støtter kjøring av lokale LLM-er uten tilkobling

Tidsstempel: 3. april 2024 11:07
Opera støtter kjøring av lokale LLM-er uten tilkobling PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Opera har lagt til eksperimentell støtte for å kjøre store språkmodeller (LLM) lokalt på Opera One Developer-nettleseren som en del av AI Feature Drop Program.

For øyeblikket eksklusiv for utviklerversjonen av Opera One, Operas hovednettleser, legger oppdateringen til 150 forskjellige LLM-er fra 50 forskjellige LLM-familier, inkludert LLaMA, Gemma og Mixtral. Tidligere tilbød Opera kun støtte for sin egen LLM, Aria, rettet som en chatbot på samme måte som Microsofts Copilot og OpenAIs ChatGPT.

Imidlertid er nøkkelforskjellen mellom Aria, Copilot (som bare streber etter liksom kjøres lokalt i fremtiden), og lignende AI-chatbots er at de er avhengige av å være koblet via internett til en dedikert server. Opera sier at med de lokalt drevne LLM-ene er det lagt til Opera One Developer, data forblir lokale på brukernes PC-er og krever ikke en internettforbindelse bortsett fra å laste ned LLM-en først.

Opera antok også en potensiell brukssak for den nye lokale LLM-funksjonen. "Hva om fremtidens nettleser kunne stole på AI-løsninger basert på dine historiske input mens den inneholder alle dataene på enheten din?" Mens personvernentusiaster sannsynligvis liker ideen om at dataene deres bare holdes på PC-ene deres og ingen andre steder, kan en nettleserbasert LLM som husker så mye ikke være like attraktiv.

"Dette er så blødende at det til og med kan gå i stykker," sier Opera i sin blogginnlegg. Selv om det er en spøk, er det ikke langt fra sannheten. "Selv om vi prøver å sende den mest mulig stabile versjonen, har utviklerbygg en tendens til å være eksperimentelle og kan faktisk være litt feilaktige," sa Opera-sjef Jan Standal Registeret.

Når det gjelder når denne lokale LLM-funksjonen vil gjøre det til vanlige Opera One, sa Standal: "Vi har ingen tidslinje for når eller hvordan denne funksjonen vil bli introdusert til de vanlige Opera-nettleserne. Våre brukere bør imidlertid forvente at funksjoner lansert i AI Feature Drop-programmet fortsetter å utvikle seg før de introduseres for hovednettleserne våre.»

Siden det kan være ganske vanskelig å konkurrere med store servere utstyrt med avanserte GPUer fra selskaper som Nvidia, sier Opera at det å gå lokalt sannsynligvis vil være "betydelig tregere" enn å bruke en online LLM. Tuller ikke.

Lagring kan imidlertid være et større problem for de som ønsker å prøve mange LLM-er. Opera sier at hver LLM krever mellom to og ti gigabyte lagringsplass, og da vi kikket rundt i Opera One Developer, var det sant for mange LLM-er, hvorav noen var rundt 1.5 GB store.

Mange LLM-er levert gjennom Opera One krever mye mer enn 10 GB. Mange var i 10-20 GB-regionen, noen var omtrent 40 GB, og vi fant til og med en, Megadolphin, som målte inn på heftige 67 GB. Hvis du ville prøve alle de 150 variantene av LLM-er som er inkludert i Opera One Developer, vil standard 1 TB SSD sannsynligvis ikke kutte det.

Til tross for disse begrensningene betyr det at Opera One (eller i det minste utviklergrenen) er den første nettleseren som tilbyr en løsning for å kjøre LLM-er lokalt. Det er også en av de få løsningene i det hele tatt for å bringe LLM-er lokalt til PC-er, ved siden av Nvidias ChatWithRTX chatbot og en en håndfull andre apper. Selv om det er litt ironisk at en nettleser kommer med en imponerende spredning av AI-chatbots som eksplisitt ikke krever at internett fungerer. ®

Tidstempel:

Mer fra Registeret