10 منٹ سے بھی کم وقت میں اپنے پی سی پر مقامی طور پر ایل ایل ایم کیسے چلائیں۔

10 منٹ سے بھی کم وقت میں اپنے پی سی پر مقامی طور پر ایل ایل ایم کیسے چلائیں۔

ٹائم سٹیمپ: 17 مارچ 2024 صبح 10:00 بجے

ہاتھ پر بڑے پیمانے پر مشین لرننگ ٹریننگ کلسٹرز اور اے آئی پی سی کی تمام باتوں کے ساتھ آپ کو یہ سوچنے پر معاف کر دیا جائے گا کہ آپ کو گھر پر ٹیکسٹ اور کوڈ بنانے والے بڑے لینگویج ماڈلز (LLMs) کے ساتھ کھیلنے کے لیے کسی خاص ہارڈ ویئر کی ضرورت ہے۔

حقیقت میں، ایک اچھا موقع ہے کہ آپ جس ڈیسک ٹاپ سسٹم پر اسے پڑھ رہے ہیں۔ قابلیت سے زیادہ ایل ایل ایم کی ایک وسیع رینج کو چلانے کا، بشمول چیٹ بوٹس جیسے Mistral یا سورس کوڈ جنریٹرز جیسے Codellama۔

درحقیقت، Ollama، LM Suite، اور Llama.cpp جیسے کھلے عام دستیاب ٹولز کے ساتھ، ان ماڈلز کو آپ کے سسٹم پر چلانا نسبتاً آسان ہے۔

سادگی اور کراس پلیٹ فارم مطابقت کے مفاد میں، ہم اس پر غور کرنے جا رہے ہیں۔ علامہ، جو ایک بار انسٹال ہونے کے بعد ونڈوز، لینکس اور میکس میں کم و بیش ایک جیسا کام کرتا ہے۔

کارکردگی، مطابقت، اور AMD GPU سپورٹ پر ایک لفظ:

عام طور پر، Mistral یا Llama 2 جیسے بڑے لینگوئج ماڈلز سرشار ایکسلریٹر کے ساتھ بہترین چلتے ہیں۔ اس کی ایک وجہ ہے کہ ڈیٹا سینٹر آپریٹرز 10,000 یا اس سے زیادہ کے کلسٹرز میں GPUs خرید رہے ہیں اور تعینات کر رہے ہیں، حالانکہ آپ کو اس طرح کے وسائل کے سب سے بڑے حصے کی ضرورت ہوگی۔

اولاما Nvidia اور Apple کے M-series GPUs کے لیے مقامی مدد فراہم کرتا ہے۔ کم از کم 4GB میموری والے Nvidia GPUs کو کام کرنا چاہیے۔ ہم نے 12GB RTX 3060 کے ساتھ تجربہ کیا، حالانکہ ہم M-series Macs کے لیے کم از کم 16GB میموری کی تجویز کرتے ہیں۔

لینکس کے صارفین چاہیں گے کہ Nvidia کا جدید ترین ملکیتی ڈرائیور اور شاید CUDA بائنریز پہلے انسٹال ہوں۔ اسے ترتیب دینے کے بارے میں مزید معلومات موجود ہیں۔ یہاں.

اگر آپ Radeon 7000-series GPU یا اس سے جدید تر کر رہے ہیں، تو AMD کے پاس آپ کے سسٹم پر LLM چلانے کے بارے میں مکمل گائیڈ ہے، جسے آپ تلاش کر سکتے ہیں۔ یہاں.

اچھی خبر یہ ہے کہ، اگر آپ کے پاس تعاون یافتہ گرافکس کارڈ نہیں ہے، تو اولاما پھر بھی AVX2-مطابقت پذیر CPU پر چلے گا، حالانکہ اگر آپ کے پاس تعاون یافتہ GPU تھا تو اس سے بہت زیادہ سست ہے۔ اور جب کہ 16 جی بی میموری کی سفارش کی جاتی ہے، آپ کوانٹائزڈ ماڈل کا انتخاب کرکے کم کے ساتھ حاصل کرنے کے قابل ہوسکتے ہیں - اس پر ایک منٹ میں مزید۔

اولامہ کو انسٹال کرنا

آپ کے بنیادی آپریٹنگ سسٹم سے قطع نظر، اولاما کو انسٹال کرنا بالکل سیدھا ہے۔ یہ اوپن سورس ہے، جسے آپ چیک کر سکتے ہیں۔ یہاں.

ونڈوز یا میک او ایس چلانے والوں کے لیے، آگے بڑھیں۔ ollama.com اور کسی بھی دوسری ایپلی کیشن کی طرح اسے ڈاؤن لوڈ اور انسٹال کریں۔

لینکس چلانے والوں کے لیے، یہ اور بھی آسان ہے: بس اس ون لائنر کو چلائیں — آپ انسٹالیشن کی ہدایات دستی تلاش کر سکتے ہیں۔ یہاں، اگر آپ انہیں چاہتے ہیں - اور آپ ریس میں شامل ہیں۔

curl -fsSL https://ollama.com/install.sh | ایسیچ

اپنا پہلا ماڈل انسٹال کرنا

آپ کے آپریٹنگ سسٹم سے قطع نظر، Ollama کے ساتھ کام کرنا زیادہ تر ایک جیسا ہے۔ اولاما سے شروع کرنے کا مشورہ دیتے ہیں۔ لاما 2 7B، ایک سات بلین پیرامیٹر ٹرانسفارمر پر مبنی نیورل نیٹ ورک، لیکن اس گائیڈ کے لیے ہم اس پر ایک نظر ڈالیں گے۔ Mistral 7B چونکہ یہ کافی قابل ہے اور کچھ کا ذریعہ رہا ہے۔ تنازعات حالیہ ہفتوں میں.

پاور شیل یا ٹرمینل ایمولیٹر کھول کر اور ماڈل کو انٹرایکٹو چیٹ موڈ میں ڈاؤن لوڈ اور شروع کرنے کے لیے درج ذیل کمانڈ پر عمل کرکے شروع کریں۔

ollama رن mistral

ڈاؤن لوڈ کرنے پر، آپ کو ایک چیٹ پرامپٹ پر بھیج دیا جائے گا جہاں آپ ChatGPT، Copilot، یا Google Gemini کی طرح ماڈل کے ساتھ بات چیت شروع کر سکتے ہیں۔

ایل ایل ایمز، جیسے Mistral 7B، اس 2 سالہ M1 Max MacBook Pro پر حیرت انگیز طور پر اچھی طرح سے چلتے ہیں۔

ایل ایل ایمز، جیسے Mistral 7B، حیرت انگیز طور پر اس 2 سالہ M1 Max MacBook Pro پر چلتے ہیں - بڑا کرنے کے لیے کلک کریں

اگر آپ کو کچھ حاصل نہیں ہوتا ہے، تو آپ کو پہلے ونڈوز کے اسٹارٹ مینو یا میک پر ایپلیکیشنز فولڈر سے اولاما کو لانچ کرنے کی ضرورت پڑسکتی ہے۔

ماڈلز، ٹیگز، اور کوانٹائزیشن

Mistal 7B کئی LLMs میں سے ایک ہے، بشمول ماڈل کے دوسرے ورژن، جو Ollama کے استعمال سے قابل رسائی ہیں۔ آپ ہر ایک کو چلانے کے لیے ہدایات کے ساتھ مکمل فہرست تلاش کر سکتے ہیں۔ یہاں، لیکن عام نحو کچھ اس طرح ہے:

ollama run model-name:model-tag

ماڈل ٹیگز کا استعمال یہ بتانے کے لیے کیا جاتا ہے کہ آپ جس ماڈل کا ورژن ڈاؤن لوڈ کرنا چاہتے ہیں۔ اگر آپ اسے چھوڑ دیتے ہیں تو، اولاما فرض کریں کہ آپ کو تازہ ترین ورژن چاہیے۔ ہمارے تجربے میں، یہ ماڈل کا 4 بٹ کوانٹائزڈ ورژن ہوتا ہے۔

اگر، مثال کے طور پر، آپ FP2 پر Meta's Llama7 16B چلانا چاہتے ہیں، تو یہ اس طرح نظر آئے گا:

ollama run llama2:7b-chat-fp16

لیکن اس سے پہلے کہ آپ اسے آزمائیں، ہو سکتا ہے کہ آپ دوگنا چیک کرنا چاہیں کہ آپ کے سسٹم میں کافی میموری ہے۔ Mistral کے ساتھ ہماری پچھلی مثال نے 4 بٹ کوانٹائزیشن کا استعمال کیا، جس کا مطلب ہے کہ ماڈل کو ہر 1 بلین پیرامیٹرز کے لیے آدھی گیگا بائٹ میموری کی ضرورت ہے۔ اور مت بھولنا: اس کے سات ارب پیرامیٹرز ہیں۔

کوانٹائزیشن ایک تکنیک ہے جو ماڈل کو اس کے وزن اور ایکٹیویشن کو کم درستگی میں تبدیل کرکے کمپریس کرنے کے لیے استعمال کی جاتی ہے۔ یہ Mistral 7B کو GPU یا سسٹم RAM کے 4GB کے اندر چلنے کی اجازت دیتا ہے، عام طور پر آؤٹ پٹ کے معیار میں کم سے کم قربانی کے ساتھ، اگرچہ آپ کا مائلیج مختلف ہو سکتا ہے۔

اوپر استعمال شدہ Llama 2 7B مثال نصف درستگی (FP16) پر چلتی ہے۔ نتیجے کے طور پر، آپ کو فی بلین پیرامیٹرز کے لیے درحقیقت 2GB میموری کی ضرورت ہوگی، جو اس صورت میں صرف 14GB تک کام کرتی ہے۔ جب تک کہ آپ کے پاس 16GB یا اس سے زیادہ vRAM کے ساتھ ایک نیا GPU نہیں ہے، ہو سکتا ہے آپ کے پاس اتنے وسائل نہ ہوں کہ ماڈل کو اس درستگی سے چلا سکیں۔

اولاما کا انتظام

Ollama کا استعمال کرتے ہوئے انسٹال کردہ ماڈلز کا نظم و نسق، اپ ڈیٹ کرنا اور ہٹانا کسی بھی شخص کے لیے گھر میں ٹھیک محسوس کرنا چاہیے جس نے پہلے Docker CLI جیسی چیزیں استعمال کی ہوں۔

اس سیکشن میں ہم چند عام کاموں کو دیکھیں گے جنہیں آپ انجام دینا چاہتے ہیں۔

انسٹال کردہ ماڈلز کی فہرست حاصل کرنے کے لیے چلائیں:

ollama فہرست

ماڈل کو ہٹانے کے لیے، آپ چلائیں گے:

ollama rm ماڈل کا نام: ماڈل ٹیگ

موجودہ ماڈل کو کھینچنے یا اپ ڈیٹ کرنے کے لیے، چلائیں:

اولاما پل ماڈل کا نام: ماڈل ٹیگ

اضافی اولاما کمانڈز کو چلا کر پایا جا سکتا ہے:

ollama -- مدد

جیسا کہ ہم نے پہلے نوٹ کیا، اولاما مقامی LLMs کو چلانے اور جانچنے کے لیے بہت سے فریم ورکس میں سے ایک ہے۔ اگر آپ اس کے ساتھ مصیبت میں بھاگتے ہیں، تو آپ کو دوسروں کے ساتھ زیادہ قسمت مل سکتی ہے۔ اور نہیں، ایک AI نے یہ نہیں لکھا۔

رجسٹر مستقبل قریب میں آپ کو LLMs کے استعمال کے بارے میں مزید معلومات فراہم کرنے کا مقصد ہے، لہذا تبصرے کے سیکشن میں اپنے AI PC سوالات کو ضرور شیئر کریں۔ اور مت بھولنا سپلائی چین سیکورٹی. ۔

ٹائم اسٹیمپ:

سے زیادہ رجسٹر