Opera tukee paikallisten LLM:ien käyttöä ilman yhteyttä

Opera tukee paikallisten LLM:ien käyttöä ilman yhteyttä

Aikaleima: 3. huhtikuuta 2024 11
Opera tukee paikallisten LLM:ien käyttöä ilman yhteyttä PlatoBlockchain Data Intelligence. Pystysuuntainen haku. Ai.

Opera on lisännyt kokeellisen tuen suurten kielimallien (LLM) ajamiseen paikallisesti Opera One Developer -selaimessa osana AI Feature Drop -ohjelmaa.

Tällä hetkellä yksinomaan Opera Onen, Operan pääinternet-selaimen, kehittäjäversioon päivitys lisää 150 erilaista LLM:ää 50 eri LLM-perheestä, mukaan lukien LLaMA, Gemma ja Mixtral. Aikaisemmin Opera tarjosi tukea vain omalle LLM:lleen, Arialle, joka oli suunniteltu chatbotiksi samalla tavalla kuin Microsoftin Copilot ja OpenAI: n ChatGPT.

Kuitenkin tärkein ero Arian, Copilotin välillä (joka vain pyrkii tavallaan paikallisesti tulevaisuudessa), ja samankaltaiset AI-chatbotit riippuvat siitä, että ne ovat yhteydessä Internetin kautta omistettuun palvelimeen. Opera sanoo, että paikallisesti ohjatuilla LLM:illä, jotka se on lisätty Opera One Developeriin, tiedot pysyvät paikallisina käyttäjien tietokoneissa eikä vaadi Internet-yhteyttä paitsi LLM:n lataamiseen aluksi.

Opera oletti myös mahdollisen käyttötapauksen uudelle paikalliselle LLM-ominaisuudestaan. "Entä jos tulevaisuuden selain voisi luottaa tekoälyratkaisuihin, jotka perustuvat historialliseen syötteeseesi, samalla kun se sisältää kaikki laitteesi tiedot?" Vaikka yksityisyyden harrastajat luultavasti pitävät ajatuksesta, että heidän tietojaan säilytetään vain heidän tietokoneissaan eikä missään muualla, selainpohjainen LLM, joka muistaa tämän paljon, ei ehkä ole yhtä houkutteleva.

"Tämä on niin verenvuotoinen reuna, että se voi jopa rikkoutua", Opera sanoo blogi. Huolimatta, se ei ole kaukana totuudesta. "Vaikka yritämme toimittaa mahdollisimman vakaan version, kehittäjät ovat yleensä kokeellisia ja voivat itse asiassa olla hieman häiritseviä", Opera VP Jan Standal kertoi. Rekisteri.

Mitä tulee siihen, milloin tämä paikallinen LLM-ominaisuus tulee tavalliseen Opera Oneen, Standal sanoi: "Meillä ei ole aikataulua sille, milloin tai miten tämä ominaisuus otetaan käyttöön tavallisissa Opera-selaimissa. Käyttäjiemme pitäisi kuitenkin odottaa, että AI Feature Drop -ohjelmassa lanseeratut ominaisuudet kehittyvät edelleen, ennen kuin ne otetaan käyttöön pääselaimissamme."

Koska voi olla melko vaikeaa kilpailla Nvidian kaltaisten yritysten huippuluokan GPU:illa varustettujen suurten palvelimien kanssa, Opera sanoo, että paikallistaminen on todennäköisesti "huomattavasti hitaampaa" kuin online-LLM:n käyttäminen. Ihan totta.

Tallennus saattaa kuitenkin olla suurempi ongelma niille, jotka haluavat kokeilla monia LLM:itä. Opera sanoo, että jokainen LLM vaatii kahdesta kymmeneen gigatavua tallennustilaa, ja kun etsimme Opera One Developeriä, se piti paikkansa monien LLM:ien kohdalla, joista osa oli noin 1.5 Gt:n kokoisia.

Monet Opera Onen tarjoamat LLM:t vaativat kuitenkin yli 10 Gt. Monet olivat 10-20 Gt:n alueella, jotkut olivat noin 40 Gt, ja löysimme jopa yhden, Megadolphinin, jonka koko oli 67 Gt. Jos haluat maistella kaikkia Opera One Developerin 150 erilaista LLM:tä, tavallinen 1 Tt:n SSD ei luultavasti poista sitä.

Näistä rajoituksista huolimatta se tarkoittaa, että Opera One (tai ainakin Developer-haara) on ensimmäinen selain, joka tarjoaa ratkaisun LLM:ien suorittamiseen paikallisesti. Se on myös yksi harvoista ratkaisuista, jotka tuovat LLM:t paikallisesti tietokoneisiin rinnalla Nvidian ChatWithRTX-chatbot ja kourallinen muita sovelluksia. Vaikka onkin vähän ironista, että Internet-selaimessa on vaikuttava valikoima AI-chatbotteja, jotka eivät nimenomaisesti vaadi Internetiä toimiakseen. ®

Aikaleima:

Lisää aiheesta Rekisteri