Opera supporta l'esecuzione di LLM locali senza connessione

Opera supporta l'esecuzione di LLM locali senza connessione

Timestamp: 3 aprile 2024 11:07
Opera supporta l'esecuzione di LLM locali senza una connessione PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Opera ha aggiunto il supporto sperimentale per l'esecuzione di modelli linguistici di grandi dimensioni (LLM) localmente sul browser Opera One Developer come parte del suo programma AI Feature Drop.

Al momento esclusivo per la versione per sviluppatori di Opera One, il browser Internet principale di Opera, l'aggiornamento aggiunge 150 diversi LLM da 50 diverse famiglie LLM, tra cui LLaMA, Gemma e Mixtral. In precedenza, Opera offriva supporto solo per il proprio LLM, Aria, concepito come chatbot sulla stessa linea di Copilot di Microsoft e ChatGPT di OpenAI.

Tuttavia, la differenza fondamentale tra Aria e Copilot (che aspira solo a una sorta di esecuzione locale in futuro) e chatbot IA simili dipendono dalla connessione via Internet a un server dedicato. Opera afferma che con i LLM eseguiti localmente aggiunti a Opera One Developer, i dati rimangono locali sui PC degli utenti e non richiedono una connessione Internet se non per scaricare inizialmente LLM.

Opera ha inoltre ipotizzato un potenziale caso d'uso per la sua nuova funzionalità LLM locale. "E se il browser del futuro potesse fare affidamento su soluzioni di intelligenza artificiale basate sul tuo input storico pur contenendo tutti i dati sul tuo dispositivo?" Mentre agli appassionati della privacy probabilmente piace l'idea che i loro dati vengano conservati solo sui loro PC e da nessun'altra parte, un LLM basato su browser che ricordi così tanto potrebbe non essere così attraente.

“È talmente all’avanguardia che potrebbe addirittura rompersi”, dice Opera nel suo post sul blog. Anche se è una battuta, non è lontana dalla verità. "Mentre cerchiamo di fornire la versione più stabile possibile, le build degli sviluppatori tendono ad essere sperimentali e potrebbero essere in effetti un po' difettose", ha detto il vicepresidente di Opera Jan Standal Il registro.

Per quanto riguarda quando questa funzionalità LLM locale arriverà alla normale Opera One, Standal ha dichiarato: “Non abbiamo una sequenza temporale per quando o come questa funzionalità verrà introdotta nei normali browser Opera. I nostri utenti, tuttavia, dovrebbero aspettarsi che le funzionalità lanciate nel programma AI Feature Drop continuino ad evolversi prima di essere introdotte nei nostri browser principali”.

Dal momento che può essere piuttosto difficile competere con grandi server dotati di GPU di fascia alta di aziende come Nvidia, Opera afferma che passare a livello locale sarà probabilmente “notevolmente più lento” rispetto all’utilizzo di un LLM online. Non sto scherzando.

Tuttavia, lo spazio di archiviazione potrebbe rappresentare un problema più grande per coloro che desiderano provare molti LLM. Opera afferma che ogni LLM richiede da due a dieci gigabyte di spazio di archiviazione e, quando abbiamo dato un'occhiata a Opera One Developer, ciò era vero per molti LLM, alcuni dei quali avevano una dimensione di circa 1.5 GB.

Tuttavia, molti LLM forniti tramite Opera One richiedono molto più di 10 GB. Molti erano nella regione di 10-20 GB, alcuni erano circa 40 GB e ne abbiamo persino trovato uno, Megadolphin, che misurava ben 67 GB. Se volessi provare tutte le 150 varietà di LLM incluse in Opera One Developer, l'SSD standard da 1 TB probabilmente non basterà.

Nonostante queste limitazioni, ciò significa che Opera One (o almeno il ramo Developer) è il primo browser a offrire una soluzione per l'esecuzione di LLM localmente. È anche una delle poche soluzioni per portare LLM localmente sui PC Il chatbot ChatWithRTX di Nvidia e manciata di altre app. Anche se è un po’ ironico che un browser Internet sia dotato di un’impressionante diffusione di chatbot IA che non richiedono esplicitamente che Internet funzioni. ®

Timestamp:

Di più da Il registro