Opera mendukung menjalankan LLM lokal tanpa koneksi

Opera mendukung menjalankan LLM lokal tanpa koneksi

Stempel Waktu: 3 April 2024 11:07
Opera mendukung menjalankan LLM lokal tanpa koneksi PlatoBlockchain Data Intelligence. Pencarian Vertikal. Ai.

Opera telah menambahkan dukungan eksperimental untuk menjalankan model bahasa besar (LLM) secara lokal di browser Pengembang Opera One sebagai bagian dari Program Penurunan Fitur AI.

Eksklusif saat ini untuk versi pengembang Opera One, browser internet utama Opera, pembaruan ini menambahkan 150 LLM berbeda dari 50 keluarga LLM berbeda, termasuk LLaMA, Gemma, dan Mixtral. Sebelumnya, Opera hanya menawarkan dukungan untuk LLM miliknya, Aria, yang dirancang sebagai chatbot yang serupa dengan Copilot Microsoft dan ChatGPT OpenAI.

Namun, perbedaan utama antara Aria, Copilot (yang hanya bercita-cita semacam dijalankan secara lokal di masa depan), dan chatbot AI serupa bergantung pada koneksi melalui internet ke server khusus. Opera mengatakan bahwa dengan LLM yang dijalankan secara lokal dan ditambahkan ke Opera One Developer, data tetap bersifat lokal di PC pengguna dan tidak memerlukan koneksi internet kecuali untuk mengunduh LLM terlebih dahulu.

Opera juga membuat hipotesis kemungkinan penggunaan fitur LLM lokal barunya. “Bagaimana jika browser masa depan dapat mengandalkan solusi AI berdasarkan masukan historis Anda sekaligus memuat semua data di perangkat Anda?” Meskipun para penggemar privasi mungkin menyukai gagasan bahwa data mereka hanya disimpan di PC mereka dan tidak di tempat lain, LLM berbasis browser yang mengingat sebanyak itu mungkin tidak begitu menarik.

“Ini sangat canggih, bahkan bisa pecah,” kata Opera dalam laporannya posting blog. Meskipun hanya sebuah sindiran, hal itu tidak jauh dari kebenaran. “Meskipun kami mencoba memberikan versi paling stabil, pengembangan yang dibuat oleh pengembang cenderung bersifat eksperimental dan mungkin sebenarnya sedikit bermasalah,” kata VP Opera Jan Standal. Pendaftaran.

Mengenai kapan fitur LLM lokal ini akan hadir di Opera One reguler, Standal mengatakan: “Kami tidak memiliki jadwal kapan atau bagaimana fitur ini akan diperkenalkan ke browser Opera reguler. Namun, pengguna kami harus mengharapkan fitur-fitur yang diluncurkan dalam AI Feature Drop Program akan terus berkembang sebelum diperkenalkan ke browser utama kami.”

Karena cukup sulit untuk bersaing dengan server besar yang dilengkapi dengan GPU kelas atas dari perusahaan seperti Nvidia, Opera mengatakan bahwa menggunakan server lokal mungkin akan “jauh lebih lambat” dibandingkan menggunakan LLM online. Tidak bercanda.

Namun, penyimpanan mungkin menjadi masalah yang lebih besar bagi mereka yang ingin mencoba banyak LLM. Opera mengatakan setiap LLM memerlukan penyimpanan antara dua dan sepuluh gigabyte, dan ketika kami melihat-lihat Opera One Developer, hal ini berlaku untuk banyak LLM, beberapa di antaranya berukuran sekitar 1.5 GB.

Namun, banyak LLM yang disediakan melalui Opera One memerlukan lebih dari 10 GB. Banyak yang berada di wilayah 10-20 GB, ada pula yang kira-kira 40 GB, dan kami bahkan menemukan satu, Megadolphin, berukuran besar dan kuat 67 GB. Jika Anda ingin mencicipi 150 jenis LLM yang disertakan dalam Opera One Developer, SSD standar 1 TB mungkin tidak akan cukup.

Terlepas dari keterbatasan ini, ini berarti Opera One (atau setidaknya cabang Pengembang) adalah browser pertama yang menawarkan solusi untuk menjalankan LLM secara lokal. Ini juga merupakan salah satu dari sedikit solusi untuk menghadirkan LLM secara lokal ke PC Obrolan ChatWithRTX Nvidia dan beberapa aplikasi lain. Meskipun agak ironis bahwa browser internet hadir dengan penyebaran chatbot AI yang mengesankan yang secara eksplisit tidak memerlukan internet untuk berfungsi. ®

Stempel Waktu:

Lebih dari Pendaftaran