Opera toetab kohalike LLM-ide käitamist ilma ühenduseta

Taasavaldanud Platon

järgijaid: 0

Opera toetab kohalike LLM-ide käitamist ilma ühenduseta PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.

Opera on lisanud eksperimentaalse toe suurte keelemudelite (LLM) lokaalseks käitamiseks Opera One Developeri brauseris oma tehisintellekti funktsioonide langetamise programmi osana.

Hetkel eksklusiivne Opera One’i, Opera peamise Interneti-brauseri arendajaversioonile, lisab värskendus 150 erinevat LLM-i 50 erinevast LLM-i perekonnast, sealhulgas LLaMA, Gemma ja Mixtral. Varem pakkus Opera tuge ainult oma LLM-ile Aria, mis oli mõeldud vestlusrobotiks samamoodi nagu Microsofti Copilot ja OpenAI ChatGPT.

Peamine erinevus Aria ja Copiloti vahel (mis ainult pürgib tulevikus omamoodi kohapeal) ja sarnased AI-vestlusbotid sõltuvad sellest, et nad on Interneti kaudu ühendatud spetsiaalse serveriga. Opera ütleb, et kohalikult juhitavate LLM-idega, mis lisatakse Opera One Developerile, jäävad andmed kasutajate arvutites lokaalseks ega vaja Interneti-ühendust, välja arvatud LLM-i algseks allalaadimiseks.

Opera oletas ka oma uue kohaliku LLM-funktsiooni potentsiaalse kasutusjuhtumi. "Mis siis, kui tuleviku brauser võiks tugineda teie ajaloolisel sisendil põhinevatele AI-lahendustele, sisaldades samal ajal kõiki teie seadmes olevaid andmeid?" Ehkki privaatsushuvilistele ilmselt meeldib mõte, et nende andmeid hoitakse lihtsalt nende arvutis ja mitte kusagil mujal, ei pruugi brauseripõhine LLM, mis jätab nii palju meelde, olla nii atraktiivne.

"See on nii verine serv, et see võib isegi puruneda," ütleb Opera blogi postitus. Kuigi naljaks, pole see tõest kaugel. "Kuigi me püüame tarnida võimalikult stabiilset versiooni, on arendajate konstruktsioonid tavaliselt eksperimentaalsed ja võivad tegelikult olla pisut tõrkised," rääkis Opera asepresident Jan Standal. Register.

Selle kohta, millal see kohalik LLM-i funktsioon tavalisse Opera One’i jõuab, ütles Standal: „Meil pole ajakava selle kohta, millal või kuidas seda funktsiooni tavalistes Opera brauserites kasutusele võetakse. Meie kasutajad peaksid aga eeldama, et tehisintellekti funktsioonide langetamise programmis käivitatud funktsioonid arenevad edasi, enne kui neid meie peamistes brauserites tutvustatakse.

Kuna selliste ettevõtete nagu Nvidia tipptasemel graafikaprotsessoritega varustatud suurte serveritega võib olla üsna raske konkureerida, on Opera sõnul kohalikule tasandile liikumine tõenäoliselt "oluliselt aeglasem" kui võrgupõhise LLM-i kasutamine. Ilma naljata.

Salvestus võib aga olla suurem probleem neile, kes soovivad proovida paljusid LLM-e. Opera ütleb, et iga LLM vajab 1.5–XNUMX gigabaiti salvestusruumi ja kui me Opera One Developeris ringi uurisime, kehtis see paljude LLM-ide kohta, millest mõned olid umbes XNUMX GB suurused.

Paljud Opera One'i kaudu pakutavad LLM-id nõuavad siiski rohkem kui 10 GB. Paljud olid 10–20 GB piirkonnas, mõned umbes 40 GB ja leidsime isegi ühe, Megadolphini, mille maht on 67 GB. Kui soovite proovida kõiki Opera One Developeris sisalduvaid 150 LLM-i sorti, siis tavaline 1 TB SSD tõenäoliselt seda ei vähenda.

Vaatamata nendele piirangutele tähendab see, et Opera One (või vähemalt arendaja haru) on esimene brauser, mis pakub lahendust LLM-ide lokaalseks käitamiseks. See on ka üks väheseid lahendusi, mis toovad LLM-id kohapeal arvutitesse Nvidia ChatWithRTX vestlusbot ja käputäis muid rakendusi. Kuigi on pisut irooniline, et Interneti-brauseris on muljetavaldav hulk AI-vestlusboteid, mis selgesõnaliselt ei vaja internetti töötamiseks. ®