اوسط AI دکان کے لئے، ویرل ماڈل اور سستی میموری جیت جائے گا

بڑے پیمانے پر زبان کے سرکردہ ماڈلز جتنے مجبور ہوسکتے ہیں، حقیقت یہ ہے کہ صرف سب سے بڑی کمپنیوں کے پاس وسائل ہیں کہ وہ انہیں بامعنی پیمانے پر تعینات اور تربیت دیں۔

مسابقتی فائدہ کے لیے AI کا فائدہ اٹھانے کے خواہشمند اداروں کے لیے، ایک سستا، پریڈ ڈاؤن متبادل بہتر فٹ ہو سکتا ہے، خاص طور پر اگر اسے مخصوص صنعتوں یا ڈومینز کے لیے بنایا جا سکتا ہے۔

یہی وہ جگہ ہے جہاں AI اسٹارٹ اپس کا ایک ابھرتا ہوا سیٹ ایک جگہ بنانے کی امید کر رہا ہے: ویرل، موزوں ماڈلز بنا کر جو شاید اتنے طاقتور نہ ہوں GPT-3, انٹرپرائز کے استعمال کے معاملات کے لیے کافی اچھے ہیں اور ہارڈ ویئر پر چلتے ہیں جو کموڈٹی DDR کے لیے مہنگی ہائی بینڈوتھ میموری (HBM) کو کھو دیتے ہیں۔

جرمن AI سٹارٹ اپ Aleph Alpha ایسی ہی ایک مثال ہے۔ 2019 میں قائم کیا گیا، Heidelberg، جرمنی میں قائم کمپنی کا برائٹ قدرتی زبان کا ماڈل OpenAI کے GPT-3 جیسی ہی ہیڈ لائن پکڑنے والی بہت سی خصوصیات کا حامل ہے: کاپی رائٹنگ، درجہ بندی، خلاصہ، اور ترجمہ، چند ایک کے نام۔

ماڈل سٹارٹ اپ نے گرافکور کے ساتھ مل کر برطانوی زبان میں ویرل زبان کے ماڈلز کو دریافت کرنے اور تیار کیا ہے۔ چپ ساز کا ہارڈ ویئر.

"Graphcore کے IPUs جدید تکنیکی طریقوں کا جائزہ لینے کا ایک موقع پیش کرتے ہیں جیسے کہ مشروط sparsity،" Aleph Alpha کے سی ای او جوناس اینڈرولیس نے کہا۔ بیان. "یہ فن تعمیرات بلاشبہ ایلف الفا کی مستقبل کی تحقیق میں ایک کردار ادا کریں گے۔"

Graphcore کی sparsity پر بڑی شرط

مشروط طور پر ویرل ماڈلز - جنہیں بعض اوقات ماہرین کا مرکب یا روٹڈ ماڈل کہا جاتا ہے - صرف قابل اطلاق پیرامیٹرز کے خلاف ڈیٹا پر کارروائی کرتے ہیں، جو انہیں چلانے کے لیے درکار کمپیوٹ وسائل کو نمایاں طور پر کم کر سکتا ہے۔

مثال کے طور پر، اگر کسی زبان کے ماڈل کو انٹرنیٹ پر تمام زبانوں میں تربیت دی گئی تھی، اور پھر اس سے روسی میں سوال پوچھا جاتا ہے، تو اس ڈیٹا کو پورے ماڈل کے ذریعے چلانا کوئی معنی نہیں رکھتا، صرف روسی زبان سے متعلق پیرامیٹرز، کے ساتھ ایک انٹرویو میں، گرافکور سی ٹی او سائمن نولس نے وضاحت کی۔ رجسٹر.

"یہ مکمل طور پر واضح ہے. اس طرح آپ کا دماغ کام کرتا ہے، اور یہ بھی ہے کہ AI کو کس طرح کام کرنا چاہیے،" اس نے کہا۔ "میں نے یہ کئی بار کہا ہے، لیکن اگر ایک AI بہت سی چیزیں کر سکتا ہے، تو اسے ایک کام کرنے کے لیے اپنے تمام علم تک رسائی حاصل کرنے کی ضرورت نہیں ہے۔"

نولز، جس کی کمپنی اس قسم کے ماڈلز کے لیے تیار کیے گئے ایکسلریٹر بناتی ہے، حیران کن طور پر یقین رکھتے ہیں کہ وہ AI کا مستقبل ہیں۔ انہوں نے مزید کہا کہ "مجھے حیرت ہوگی اگر، اگلے سال تک، کوئی بھی گھنی زبان کے ماڈلز بنا رہا ہے۔"

HBM-2 مہنگا؟ اس کے بجائے ڈی ڈی آر پر کیش ان کریں۔

ویرل زبان کے ماڈل ان کے چیلنجوں کے بغیر نہیں ہیں۔ نولس کے مطابق سب سے زیادہ دباؤ میں سے ایک کا تعلق میموری سے ہے۔ ان ماڈلز کے لیے ضروری بینڈوڈتھ اور صلاحیتوں کو حاصل کرنے کے لیے اعلیٰ درجے کے GPUs میں استعمال ہونے والا HBM مہنگا ہے اور اس سے بھی زیادہ مہنگے ایکسلریٹر سے منسلک ہے۔

انہوں نے وضاحت کی کہ یہ گھنے زبان کے ماڈلز کے لیے کوئی مسئلہ نہیں ہے جہاں آپ کو ان تمام کمپیوٹ اور میموری کی ضرورت ہو سکتی ہے، لیکن یہ ویرل ماڈلز کے لیے ایک مسئلہ پیدا کرتا ہے، جو کمپیوٹ پر میموری کو ترجیح دیتے ہیں۔

انٹرکنیکٹ ٹیک، جیسے Nvidia کے NVLink، کو ایک سے زیادہ GPUs میں میموری کو پول کرنے کے لیے استعمال کیا جا سکتا ہے، لیکن اگر ماڈل کو ان تمام کمپیوٹ کی ضرورت نہیں ہے، تو GPUs کو بیکار چھوڑ دیا جا سکتا ہے۔ نولز نے کہا کہ "یہ میموری خریدنے کا ایک بہت مہنگا طریقہ ہے۔

گرافکور کے ایکسلریٹر اس چیلنج کو دور کرنے کی کوشش کرتے ہیں ایک ایسی تکنیک کو ادھار لے کر جو خود کمپیوٹنگ کے طور پر پرانی ہے: کیچنگ۔ ان ماڈلز کی بینڈوتھ کی ضروریات کو پورا کرنے کے لیے ہر IPU میں نسبتاً بڑا SRAM کیش — 1GB — ہوتا ہے، جب کہ سستی DDR4 میموری کے بڑے تالابوں کا استعمال کرتے ہوئے خام صلاحیت حاصل کی جاتی ہے۔

نولز نے کہا کہ "آپ کو جتنا زیادہ SRAM ملے گا، اتنی ہی کم DRAM بینڈوڈتھ کی آپ کو ضرورت ہوگی، اور یہی چیز ہمیں HBM استعمال نہ کرنے کی اجازت دیتی ہے،" نولز نے کہا۔

ایکسلریٹر سے میموری کو ڈیکپل کرنے سے، یہ بہت کم مہنگا ہے — چند اجناس کے ڈی ڈی آر ماڈیولز کی قیمت — کاروباری اداروں کے لیے بڑے اے آئی ماڈلز کو سپورٹ کرنے کے لیے۔

سستی میموری کو سپورٹ کرنے کے علاوہ، نولز کا دعویٰ ہے کہ کمپنی کے آئی پی یوز کو جی پی یوز پر تعمیراتی فائدہ بھی حاصل ہے، کم از کم جب یہ ویرل ماڈلز کی بات ہو۔

قلیل تعداد میں بڑے میٹرکس ملٹی پلائرز پر چلنے کے بجائے — جیسا کہ آپ ٹینسر پروسیسنگ یونٹ میں تلاش کرتے ہیں — گرافکور کے چپس میں بڑی تعداد میں چھوٹے میٹرکس میتھ یونٹس ہیں جو میموری کو آزادانہ طور پر ایڈریس کر سکتے ہیں۔

یہ ویرل ماڈلز کے لیے زیادہ گرانولریٹی فراہم کرتا ہے، جہاں "آپ کو متعلقہ ذیلی سیٹیں حاصل کرنے کی آزادی کی ضرورت ہے، اور آپ جتنا چھوٹا یونٹ لانے کے پابند ہوں گے، اتنی ہی زیادہ آزادی آپ کے پاس ہوگی،" انہوں نے وضاحت کی۔

فیصلہ ابھی باقی ہے۔

ایک ساتھ رکھیں، نولز کا استدلال ہے کہ یہ نقطہ نظر اس کے IPUs کو GPUs کے مقابلے میں کافی کم قیمت پر سینکڑوں بلین یا کھربوں پیرامیٹرز کے ساتھ بڑے AI/ML ماڈلز کو تربیت دینے کے قابل بناتا ہے۔

تاہم، انٹرپرائز AI مارکیٹ ابھی بھی ابتدائی دور میں ہے، اور گرافکور کو اس جگہ میں بڑے، زیادہ قائم کردہ حریفوں سے سخت مقابلے کا سامنا ہے۔

لہٰذا جب کہ الٹرا اسپارس، کٹ ریٹ لینگویج ماڈلز پر AI کے لیے جلد ہی کسی بھی وقت کم ہونے کا امکان نہیں ہے، یہ دیکھنا باقی ہے کہ آیا یہ Graphcore کا IPUs ہوگا یا کسی اور کا ایکسلریٹر جو انٹرپرائز AI کے کام کے بوجھ کو طاقت دیتا ہے۔ ®