تشابك الايدى مع كل الحديث عن مجموعات التدريب الضخمة على التعلم الآلي وأجهزة الكمبيوتر التي تعمل بالذكاء الاصطناعي، سيكون معذورا إذا اعتقدت أنك بحاجة إلى نوع من الأجهزة الخاصة للعب مع نماذج اللغات الكبيرة (LLMs) التي تولد النصوص والأكواد في المنزل.
في الواقع، هناك احتمال كبير أن يكون نظام سطح المكتب الذي تقرأ عليه هذا هو نفسه أكثر من قادر تشغيل مجموعة واسعة من برامج LLM، بما في ذلك روبوتات الدردشة مثل Mistral أو مولدات التعليمات البرمجية المصدر مثل Codellama.
في الواقع، باستخدام الأدوات المتاحة بشكل مفتوح مثل Ollama وLM Suite وLlama.cpp، من السهل نسبيًا تشغيل هذه النماذج على نظامك.
من أجل البساطة والتوافق عبر الأنظمة الأساسية، سننظر في ذلك أولاما، والذي بمجرد تثبيته يعمل بنفس الطريقة تقريبًا عبر أنظمة التشغيل Windows وLinux وMac.
كلمة حول الأداء والتوافق ودعم AMD GPU:
بشكل عام، تعمل نماذج اللغات الكبيرة مثل Mistral أو Llama 2 بشكل أفضل مع المسرعات المخصصة. هناك سبب وراء قيام مشغلي مراكز البيانات بشراء ونشر وحدات معالجة الرسومات في مجموعات مكونة من 10,000 أو أكثر، على الرغم من أنك ستحتاج إلى أقل جزء من هذه الموارد.
يقدم Ollama دعمًا أصليًا لوحدات معالجة الرسومات Nvidia وApple's M-series. يجب أن تعمل وحدات معالجة الرسومات Nvidia التي تحتوي على ذاكرة لا تقل عن 4 جيجابايت. لقد اختبرنا باستخدام RTX 12 بسعة 3060 جيجابايت، على الرغم من أننا نوصي بذاكرة بسعة 16 جيجابايت على الأقل لأجهزة Mac من السلسلة M.
سيرغب مستخدمو Linux في تثبيت أحدث برنامج تشغيل خاص بـ Nvidia وربما تثبيت ثنائيات CUDA أولاً. هناك المزيد من المعلومات حول إعداد ذلك هنا.
إذا كنت تستخدم وحدة معالجة الرسومات Radeon 7000-series أو أحدث، فإن AMD لديها دليل كامل حول كيفية تشغيل LLM على نظامك، والذي يمكنك العثور عليه هنا.
والخبر السار هو أنه إذا لم يكن لديك بطاقة رسومات مدعومة، فسيظل تطبيق Ollama يعمل على وحدة معالجة مركزية متوافقة مع AVX2، على الرغم من أنه سيكون أبطأ بكثير مما لو كان لديك وحدة معالجة رسومات مدعومة. وعلى الرغم من أنه يوصى باستخدام ذاكرة بسعة 16 جيجابايت، فقد تتمكن من تدبر أمرك بذاكرة أقل عن طريق اختيار نموذج مكمّم - والمزيد عن ذلك في دقيقة واحدة.
تثبيت أولاما
يعد تثبيت Ollama أمرًا سهلاً ومباشرًا، بغض النظر عن نظام التشغيل الأساسي لديك. إنه مفتوح المصدر، ويمكنك التحقق منه هنا.
بالنسبة لأولئك الذين يستخدمون نظام التشغيل Windows أو Mac OS، توجهوا إلى هناك ollama.com وتنزيله وتثبيته مثل أي تطبيق آخر.
بالنسبة لأولئك الذين يستخدمون Linux، فالأمر أبسط: ما عليك سوى تشغيل هذه الخطوط الملاحية المنتظمة - يمكنك العثور على تعليمات التثبيت اليدوية هنا، إذا كنت تريدهم - وأنت خارج السباقات.
حليقة -fsSL https://ollama.com/install.sh | ش
تثبيت النموذج الأول الخاص بك
بغض النظر عن نظام التشغيل الخاص بك، فإن العمل مع Olma هو نفسه إلى حد كبير. يوصي أولاما بالبدء بـ اللاما 2 7 ب، وهي شبكة عصبية تعتمد على سبعة مليارات من المعلمات، ولكن في هذا الدليل سنلقي نظرة على ميسترال 7 ب لأنه قادر جدًا وكان مصدرًا للبعض جدال في الأسابيع الأخيرة.
ابدأ بفتح PowerShell أو محاكي طرفي وتنفيذ الأمر التالي لتنزيل النموذج وبدء تشغيله في وضع الدردشة التفاعلية.
أولاما يدير ميسترال
عند التنزيل، سيتم نقلك إلى رسالة مطالبة بالدردشة حيث يمكنك بدء التفاعل مع النموذج، تمامًا مثل ChatGPT أو Copilot أو Google Gemini.
تعمل LLMs، مثل Mistral 7B، بشكل جيد بشكل مدهش على جهاز M2 Max MacBook Pro البالغ من العمر عامين - انقر للتكبير
إذا لم تحصل على أي شيء، فقد تحتاج إلى تشغيل Ollama من قائمة البداية على Windows أو مجلد التطبيقات على Mac أولاً.
النماذج والعلامات والتكميم
يعد Mistal 7B مجرد واحد من العديد من برامج LLM، بما في ذلك الإصدارات الأخرى من النموذج، والتي يمكن الوصول إليها باستخدام Ollama. يمكنك العثور على القائمة الكاملة، بالإضافة إلى تعليمات تشغيل كل منها هنا، لكن بناء الجملة العام يسير على النحو التالي:
ollama قم بتشغيل اسم النموذج: علامة النموذج
تُستخدم علامات النموذج لتحديد إصدار النموذج الذي ترغب في تنزيله. إذا تركته، يفترض أولاما أنك تريد الإصدار الأحدث. في تجربتنا، يميل هذا إلى أن يكون نسخة كمية 4 بت من النموذج.
على سبيل المثال، إذا أردت تشغيل Meta's Llama2 7B في FP16، فسيبدو الأمر كما يلي:
ollama run llama2:7b-chat-fp16
ولكن قبل أن تحاول ذلك، قد ترغب في التحقق مرة أخرى من أن نظامك يحتوي على ذاكرة كافية. مثالنا السابق مع ميسترال استخدم التكميم 4 بت، مما يعني أن النموذج يحتاج إلى نصف غيغابايت من الذاكرة لكل مليار معلمة. ولا تنس: إنه يحتوي على سبعة مليارات من المعلمات.
التكميم هو أسلوب يستخدم لضغط النموذج عن طريق تحويل أوزانه وعمليات التنشيط إلى دقة أقل. يسمح هذا لـ Mistral 7B بالعمل ضمن 4 جيجابايت من وحدة معالجة الرسومات أو ذاكرة الوصول العشوائي للنظام، عادةً مع الحد الأدنى من التضحية في جودة الإخراج، على الرغم من أن المسافة المقطوعة قد تختلف.
يعمل مثال Llama 2 7B المستخدم أعلاه بنصف الدقة (FP16). ونتيجة لذلك، ستحتاج فعليًا إلى 2 غيغابايت من الذاكرة لكل مليار معلمة، وهو ما يصل في هذه الحالة إلى ما يزيد قليلاً عن 14 غيغابايت. ما لم يكن لديك وحدة معالجة رسومات أحدث بسعة 16 جيجابايت أو أكثر من vRAM، فقد لا يكون لديك موارد كافية لتشغيل النموذج بهذه الدقة.
إدارة أولاما
يجب أن تكون إدارة النماذج المثبتة وتحديثها وإزالتها باستخدام Ollama مناسبة تمامًا لأي شخص استخدم أشياء مثل Docker CLI من قبل.
سنتناول في هذا القسم بعض المهام الأكثر شيوعًا التي قد ترغب في تنفيذها.
للحصول على قائمة بالنماذج المثبتة، قم بتشغيل:
قائمة العلماء
لإزالة نموذج، يمكنك تشغيل:
اسم نموذج ollama rm: علامة النموذج
لسحب أو تحديث نموذج موجود، قم بتشغيل:
اسم نموذج سحب أولاما: علامة النموذج
يمكن العثور على أوامر Ollama الإضافية عن طريق تشغيل:
أولاما --مساعدة
كما أشرنا سابقًا، يعد Ollama مجرد واحد من العديد من أطر العمل لتشغيل واختبار LLMs المحلية. إذا واجهت مشكلة مع هذا، فقد تجد المزيد من الحظ مع الآخرين. ولا، الذكاء الاصطناعي لم يكتب هذا.
السجل تهدف إلى تزويدك بالمزيد حول استخدام LLMs في المستقبل القريب، لذا تأكد من مشاركة أسئلتك الملحة الخاصة بأجهزة الكمبيوتر التي تعمل بتقنية الذكاء الاصطناعي في قسم التعليقات. ولا تنسى أمن سلسلة التوريد... ®
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_pc_local_llm/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 000
- 1
- 10
- a
- ماهرون
- حول المستشفى
- فوق
- المعجلات
- يمكن الوصول
- في
- التنشيط
- في الواقع
- AI
- وتهدف
- الكل
- يسمح
- على طول
- بالرغم ان
- AMD
- an
- و
- أي وقت
- أي شخص
- اى شى
- تطبيق
- التطبيقات
- هي
- AS
- افترض
- At
- متاح
- قاعدة
- BE
- كان
- قبل
- أفضل
- مليار
- الحدود
- البوتات
- جلب
- احتراق
- لكن
- شراء
- by
- CAN
- قادر على
- فيزا وماستركارد
- حقيبة
- سلسلة
- فرصة
- الدردشة
- شات جي بي تي
- التحقق
- المبادرة القطرية
- انقر
- CO
- الكود
- تعليقات
- مشترك
- التوافق
- التحول
- مراكز البيانات
- مخصصة
- نشر
- سطح المكتب
- فعل
- عامل في حوض السفن
- دون
- لا
- مضاعفة
- بإمكانك تحميله
- سائق
- إسقاط
- كل
- في وقت سابق
- سهل
- كاف
- حتى
- كل
- مثال
- تنفيذ
- تنفيذ
- القائمة
- الخبره في مجال الغطس
- حقيقة
- شعور
- قليل
- الاسم الأول
- متابعيك
- في حالة
- إلى الأمام
- وجدت
- جزء
- الأطر
- تبدأ من
- بالإضافة إلى
- مستقبل
- الجوزاء
- العلاجات العامة
- مولدات
- دولار فقط واحصل على خصم XNUMX% على جميع
- الحصول على
- GIF
- Go
- يذهب
- الذهاب
- خير
- شراء مراجعات جوجل
- حصلت
- وحدة معالجة الرسوميات:
- وحدات معالجة الرسومات
- الرسومات
- توجيه
- كان
- نصفي
- أجهزة التبخير
- يملك
- رئيس
- الصفحة الرئيسية
- كيفية
- كيفية
- HTTPS
- if
- in
- بما فيه
- معلومات
- تثبيت
- التركيب
- تثبيت
- تعليمات
- التفاعل
- التفاعلية
- مصلحة
- IT
- انها
- م
- واحد فقط
- نوع
- تُشير
- لغة
- كبير
- إلى حد كبير
- آخر
- إطلاق
- الأقل
- يترك
- أقل
- مثل
- لينكس
- قائمة
- ll
- اللاما نوع من الجمال
- LLM
- محلي
- محليا
- بحث
- يبدو مثل
- أبحث
- الكثير
- خفض
- حظ
- لجنة الهدنة العسكرية
- كتيب
- كثير
- هائل
- ماكس
- مايو..
- يعني
- مكبر الصوت : يدعم، مع دعم ميكروفون مدمج لمنع الضوضاء
- القائمة
- ربما
- أدنى
- دقيقة
- دقيقة
- موضة
- نموذج
- عارضات ازياء
- الأكثر من ذلك
- محلي
- قرب
- حاجة
- إحتياجات
- شبكة
- عصبي
- الشبكة العصبية
- أحدث
- أخبار
- لا
- وأشار
- NVIDIA
- of
- خصم
- عروض
- on
- مرة
- ONE
- جاكيت
- المصدر المفتوح
- افتتاح
- بصراحة
- تعمل
- نظام التشغيل
- مشغلي
- or
- OS
- أخرى
- أخرى
- لنا
- خارج
- الناتج
- على مدى
- المعلمات
- PC
- أجهزة الكمبيوتر
- إلى
- أداء
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- بلايستشن
- بوويرشيل
- دقة
- جميل
- سابق
- برو
- المحتمل
- الملكية
- جودة
- الأسئلة المتكررة
- سباقات
- رامات
- نطاق
- نادي القراءة
- واقع
- سبب
- الأخيرة
- نوصي
- موصى به
- توصي
- بغض النظر
- نسبيا
- إزالة
- إزالة
- الموارد
- نتيجة
- حق
- RTX
- RTX 3060
- يجري
- تشغيل
- يدير
- s
- تضحية
- نفسه
- القسم
- ضبط
- سبعة
- عدة
- مشاركة
- ينبغي
- بساطة
- بساطة
- منذ
- So
- بعض
- شيء
- مصدر
- شفرة المصدر
- تختص
- بداية
- ابتداء
- لا يزال
- مستقيم
- هذه
- جناح
- الدعم
- مدعومة
- بالتأكيد
- بشكل مفاجئ
- بناء الجملة
- نظام
- مع الأخذ
- حديث
- المهام
- تقنية
- يميل
- محطة
- اختبار
- الاختبار
- من
- أن
- •
- المصدر
- منهم
- هناك.
- تشبه
- الأشياء
- تفكير
- هؤلاء
- على الرغم من؟
- إلى
- أدوات
- قادة الإيمان
- مشكلة
- محاولة
- ما لم
- تحديث
- تحديث
- مستعمل
- المستخدمين
- استخدام
- عادة
- استخدام
- تختلف
- الإصدار
- الإصدارات
- تريد
- مطلوب
- we
- أسابيع
- حسن
- التي
- في حين
- كامل
- واسع
- مدى واسع
- سوف
- نوافذ
- مع
- في غضون
- كلمة
- للعمل
- عامل
- أعمال
- اكتب
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت