Opera از اجرای LLM های محلی بدون اتصال پشتیبانی می کند

Opera از اجرای LLM های محلی بدون اتصال پشتیبانی می کند

تمبر زمان: 3 آوریل 2024 ساعت 11:07 صبح
اپرا از اجرای LLM های محلی بدون اتصال به هوش داده PlatoBlockchain پشتیبانی می کند. جستجوی عمودی Ai.

اپرا پشتیبانی آزمایشی را برای اجرای مدل های زبان بزرگ (LLM) به صورت محلی در مرورگر Opera One Developer به عنوان بخشی از برنامه AI Feature Drop خود اضافه کرده است.

این به‌روزرسانی که در حال حاضر به نسخه توسعه‌دهنده Opera One، مرورگر اصلی اینترنت اپرا اختصاص دارد، 150 LLM مختلف از 50 خانواده مختلف LLM، از جمله LLaMA، Gemma و Mixtral را اضافه می‌کند. پیش از این، اپرا فقط از LLM خود، آریا، پشتیبانی می‌کرد که به عنوان یک ربات چت در همان چارچوب مایکروسافت Copilot و OpenAI ChatGPT طراحی شده بود.

با این حال، تفاوت کلیدی بین Aria، Copilot (که فقط آرزو دارد به نوعی در آینده به صورت محلی اجرا شود) و چت ربات های هوش مصنوعی مشابه این است که وابسته به اتصال از طریق اینترنت به یک سرور اختصاصی هستند. اپرا می‌گوید که با LLM‌هایی که به صورت محلی اجرا می‌شوند، به برنامه‌نویس Opera One اضافه می‌شوند، داده‌ها برای رایانه‌های شخصی کاربران محلی باقی می‌مانند و به اتصال اینترنت به جز برای دانلود اولیه LLM نیازی ندارند.

Opera همچنین یک مورد استفاده بالقوه را برای ویژگی جدید LLM محلی خود فرض کرد. «اگر مرورگر آینده بتواند به راه‌حل‌های هوش مصنوعی مبتنی بر ورودی تاریخی شما تکیه کند، در حالی که همه داده‌های دستگاه شما را در بر می‌گیرد، چه؟ در حالی که علاقه مندان به حفظ حریم خصوصی احتمالاً این ایده را دوست دارند که داده های آنها فقط در رایانه های شخصی آنها نگهداری شود و در هیچ جای دیگری وجود ندارد، یک LLM مبتنی بر مرورگر که این مقدار را به خاطر بسپارد ممکن است چندان جذاب نباشد.

Opera در خود می گوید: "این لبه آنقدر خون ریزی است که حتی ممکن است بشکند." پست های وبلاگ. اگرچه یک شوخی است، اما دور از واقعیت نیست. معاون Opera Jan Standal گفت: «در حالی که ما سعی می‌کنیم پایدارترین نسخه ممکن را ارائه کنیم، ساخت‌های توسعه‌دهنده آزمایشی هستند و ممکن است در واقع کمی مشکل ساز باشند. ثبت نام.

Standal در مورد اینکه چه زمانی این ویژگی محلی LLM به Opera One معمولی خواهد رسید، گفت: "ما هیچ جدول زمانی برای زمان یا نحوه معرفی این ویژگی به مرورگرهای معمولی Opera نداریم. با این حال، کاربران ما باید انتظار داشته باشند که ویژگی‌های راه‌اندازی‌شده در برنامه کاهش ویژگی‌های هوش مصنوعی، قبل از معرفی به مرورگرهای اصلی ما، به تکامل خود ادامه دهند.»

از آنجایی که رقابت با سرورهای بزرگ مجهز به پردازنده‌های گرافیکی پیشرفته از شرکت‌هایی مانند انویدیا می‌تواند بسیار سخت باشد، اپرا می‌گوید رفتن به محلی احتمالاً «به‌طور قابل‌توجهی کندتر» از استفاده از یک LLM آنلاین خواهد بود. شوخی نکن.

با این حال، ذخیره سازی ممکن است مشکل بزرگ تری برای کسانی باشد که می خواهند بسیاری از LLM ها را امتحان کنند. اپرا می‌گوید که هر LLM بین دو تا ده گیگابایت فضای ذخیره‌سازی نیاز دارد، و زمانی که ما در Opera One Developer جستجو کردیم، این در مورد بسیاری از LLM‌ها صدق می‌کرد که برخی از آنها حدود 1.5 گیگابایت حجم داشتند.

با این حال، بسیاری از LLM های ارائه شده از طریق Opera One به بیش از 10 گیگابایت نیاز دارند. بسیاری از آنها در منطقه 10-20 گیگابایتی بودند، برخی تقریباً 40 گیگابایتی بودند، و ما حتی یکی به نام Megadolphin را پیدا کردیم که حجم آن 67 گیگابایت بود. اگر می‌خواهید از تمام 150 نوع LLM موجود در Opera One Developer نمونه بگیرید، SSD استاندارد 1 ترابایتی احتمالاً آن را کاهش نخواهد داد.

با وجود این محدودیت‌ها، به این معنی است که Opera One (یا حداقل شاخه Developer) اولین مرورگری است که راه‌حلی برای اجرای LLM به صورت محلی ارائه می‌کند. همچنین یکی از معدود راه حل هایی است که LLM ها را به صورت محلی به رایانه های شخصی می آورد چت ربات ChatWithRTX انویدیا و یک تعداد انگشت شماری از برنامه های دیگر. اگرچه کمی طعنه آمیز است که یک مرورگر اینترنتی با گسترش چشمگیر چت ربات های هوش مصنوعی عرضه می شود که صراحتاً برای کار کردن به اینترنت نیاز ندارند. ®

تمبر زمان:

بیشتر از ثبت نام