يدعم Opera تشغيل LLMs المحلية دون اتصال

أضافت Opera دعمًا تجريبيًا لتشغيل نماذج اللغات الكبيرة (LLMs) محليًا على متصفح Opera One Developer كجزء من برنامج AI Features Drop Program.

حصريًا في الوقت الحالي لإصدار المطور من Opera One، متصفح الإنترنت الرئيسي لـ Opera، يضيف التحديث 150 درجة LLM مختلفة من 50 عائلة LLM مختلفة، بما في ذلك LLaMA وGemma وMixtral. في السابق، لم تقدم Opera سوى الدعم لبرنامج LLM الخاص بها، Aria، والذي تم تصميمه كروبوت دردشة على نفس المنوال مثل Copilot من Microsoft وChatGPT من OpenAI.

ومع ذلك، فإن الفرق الرئيسي بين Aria وCopilot (الذي يطمح فقط إلى نوع من التشغيل محليا في المستقبل)، وروبوتات الدردشة المشابهة للذكاء الاصطناعي هي أنها تعتمد على الاتصال عبر الإنترنت بخادم مخصص. تقول Opera أنه مع LLMs التي يتم تشغيلها محليًا، تتم إضافتها إلى Opera One Developer، وتظل البيانات محلية على أجهزة الكمبيوتر الخاصة بالمستخدمين ولا تتطلب اتصالاً بالإنترنت باستثناء تنزيل LLM في البداية.

افترضت Opera أيضًا حالة استخدام محتملة لميزة LLM المحلية الجديدة. "ماذا لو كان بإمكان متصفح المستقبل الاعتماد على حلول الذكاء الاصطناعي بناءً على مدخلاتك التاريخية مع احتواء جميع البيانات الموجودة على جهازك؟" في حين أن المتحمسين للخصوصية ربما يحبون فكرة الاحتفاظ ببياناتهم على أجهزة الكمبيوتر الخاصة بهم فقط وليس في أي مكان آخر، فإن ماجستير إدارة الأعمال القائم على المتصفح الذي يتذكر الكثير قد لا يكون جذابًا.

تقول أوبرا في تقريرها: "هذه حافة نازفة للغاية، حتى أنها قد تنكسر". بلوق وظيفة. على الرغم من السخرية، إلا أنها ليست بعيدة عن الحقيقة. قال نائب رئيس Opera Jan Standal: "بينما نحاول تقديم الإصدار الأكثر استقرارًا قدر الإمكان، تميل إصدارات المطورين إلى أن تكون تجريبية وقد تكون في الواقع معيبة بعض الشيء". السجل.

أما بالنسبة للوقت الذي ستصل فيه ميزة LLM المحلية هذه إلى Opera One العادي، فقال ستاندال: "ليس لدينا جدول زمني لموعد أو كيفية تقديم هذه الميزة إلى متصفحات Opera العادية. ومع ذلك، يجب على مستخدمينا أن يتوقعوا أن تستمر الميزات التي تم إطلاقها في برنامج AI Features Drop في التطور قبل تقديمها إلى متصفحاتنا الرئيسية.

نظرًا لأنه قد يكون من الصعب جدًا التنافس مع الخوادم الكبيرة المجهزة بوحدات معالجة الرسومات المتطورة من شركات مثل Nvidia، تقول Opera إن التحول إلى المستوى المحلي ربما يكون "أبطأ بكثير" من استخدام ماجستير في إدارة الأعمال عبر الإنترنت. لا تمزح.

ومع ذلك، قد يكون التخزين مشكلة أكبر لأولئك الذين يرغبون في تجربة الكثير من شهادات LLM. تقول Opera أن كل LLM يتطلب ما بين 1.5 إلى XNUMX غيغابايت من مساحة التخزين، وعندما بحثنا في Opera One Developer، كان هذا صحيحًا بالنسبة للكثير من LLM، والتي كان حجم بعضها حوالي XNUMX غيغابايت.

ومع ذلك، فإن الكثير من برامج LLM المقدمة من خلال Opera One تتطلب مساحة أكبر من 10 جيجابايت. كان العديد منها في منطقة 10-20 غيغابايت، وكان بعضها حوالي 40 غيغابايت، حتى أننا وجدنا واحدًا، وهو Megadolphin، يبلغ حجمه 67 غيغابايت. إذا كنت ترغب في تجربة جميع أنواع LLMs المضمنة في Opera One Developer والبالغ عددها 150 نوعًا، فمن المحتمل ألا يكون محرك الأقراص SSD القياسي بسعة 1 تيرابايت كافيًا.

على الرغم من هذه القيود، فهذا يعني أن Opera One (أو على الأقل فرع المطور) هو أول متصفح يقدم حلاً لتشغيل LLMs محليًا. إنه أيضًا أحد الحلول القليلة على الإطلاق لجلب LLMs محليًا إلى أجهزة الكمبيوتر الشخصية روبوت الدردشة ChatWithRTX من Nvidia و حفنة من التطبيقات الأخرى. على الرغم من أنه من المثير للسخرية بعض الشيء أن يأتي متصفح الإنترنت مزودًا بانتشار مثير للإعجاب لروبوتات الدردشة المدعومة بالذكاء الاصطناعي والتي لا تتطلب صراحةً تشغيل الإنترنت. ®

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://go.theregister.com/feed/www.theregister.com/2024/04/03/opera_local_llm/