بائٹ ڈانس AWS Inferentia کا استعمال کرتے ہوئے تاخیر کو کم کرنے اور تھرو پٹ میں اضافہ کرتے ہوئے تخمینہ لاگت پر 60% تک بچاتا ہے۔

یہ ایک مہمان بلاگ پوسٹ ہے جسے Bytedance سے Minghui Yu اور Jianzhe Xiao کے ساتھ مل کر لکھا گیا ہے۔

ByteDance ایک ٹیکنالوجی کمپنی ہے جو تمام زبانوں، ثقافتوں اور جغرافیوں میں لوگوں کو مطلع کرنے، تعلیم دینے، تفریح ​​کرنے اور ان کی حوصلہ افزائی کے لیے مواد کے پلیٹ فارمز کی ایک رینج چلاتی ہے۔ صارفین ہمارے مواد پلیٹ فارمز پر بھروسہ کرتے ہیں اور ان سے لطف اندوز ہوتے ہیں کیونکہ ان کے فراہم کردہ بھرپور، بدیہی، اور محفوظ تجربات۔ یہ تجربات ہمارے مشین لرننگ (ML) بیک اینڈ انجن کے ذریعے ممکن ہوئے ہیں، جس میں مواد کی اعتدال، تلاش، سفارش، اشتہارات، اور نئے بصری اثرات کے لیے بنائے گئے ML ماڈلز ہیں۔

ByteDance AML (Applied Machine Learning) ٹیم کمپنی کے کاروبار کے لیے انتہائی پرفارمنس، قابل بھروسہ، اور قابل توسیع ML سسٹمز اور اینڈ ٹو اینڈ ایم ایل سروسز فراہم کرتی ہے۔ ہم جوابی اوقات میں اضافہ کیے بغیر لاگت کو کم کرنے کے لیے اپنے ML انفرنس سسٹم کو بہتر بنانے کے طریقوں پر تحقیق کر رہے تھے۔ جب AWS کا آغاز ہوا۔ AWS Inferentia، AWS کی طرف سے تعمیر کردہ ایک اعلی کارکردگی والی ML inference چپ، ہم نے اپنی AWS اکاؤنٹ ٹیم کے ساتھ یہ جانچنے کے لیے مشغول کیا کہ آیا AWS Inferentia ہمارے اصلاحی اہداف کو پورا کر سکتا ہے۔ ہم نے تصور کے کئی ثبوت چلائے، جس کے نتیجے میں T60 GPU پر مبنی EC4 G2dn مثالوں کے مقابلے میں 4% تک کم تخمینہ لاگت اور 25% تک کم قیاس میں تاخیر ہوئی۔ لاگت کی ان بچتوں اور کارکردگی میں بہتری کو محسوس کرنے کے لیے، ہم نے AWS Inferentia پر مبنی ماڈلز کو تعینات کرنے کا فیصلہ کیا۔ ایمیزون لچکدار کمپیوٹ کلاؤڈ (ایمیزون EC2) پیداوار میں Inf1 مثالیں۔

مندرجہ ذیل چارٹ ہمارے چہرے کا پتہ لگانے والے ماڈلز میں سے ایک کے لیے تاخیر میں بہتری کو ظاہر کرتا ہے جو پہلے Tensor RT کے ساتھ GPUs پر تعینات کیا گیا تھا۔ اوسط تاخیر میں 20% کی کمی واقع ہوئی ہے (50 ملی سیکنڈ سے 40 ملی سیکنڈ تک) اور p99 کی تاخیر میں 25% کی کمی ہوئی ہے (200 ملی سیکنڈ سے 150 ملی سیکنڈ تک)۔

اس پوسٹ میں، ہم بتاتے ہیں کہ ہم نے AWS Inferentia کا استعمال کرتے ہوئے تاخیر کو کم کرتے ہوئے اور تھرو پٹ میں اضافہ کرتے ہوئے تخمینہ لاگت کو کیسے بچایا۔

اعلی کارکردگی، سرمایہ کاری مؤثر کمپیوٹ کی تلاش میں

بائٹ ڈانس اے ایم ایل ٹیم جدید ترین ایم ایل سسٹمز کی تحقیق اور ان کے نفاذ اور متضاد کمپیوٹنگ وسائل کی ضرورت پر توجہ مرکوز کرتی ہے۔ ہم سفارش کرنے والے، قدرتی زبان کی پروسیسنگ (NLP)، اور کمپیوٹر وژن (CV) ماڈلز کی وسیع اقسام کے لیے بڑے پیمانے پر تربیت اور تخمینہ کا نظام بناتے ہیں۔ یہ ماڈلز انتہائی پیچیدہ ہیں اور بائٹ ڈانس چلانے والے بہت سے مواد پلیٹ فارمز سے ڈیٹا کی ایک بڑی مقدار پر کارروائی کرتے ہیں۔ ان ماڈلز کی تعیناتی کے لیے اہم GPU وسائل کی ضرورت ہوتی ہے، چاہے وہ کلاؤڈ میں ہو یا احاطے میں۔ لہذا، ان انفرنس سسٹمز کے حسابی اخراجات کافی زیادہ ہیں۔

ہم تھرو پٹ یا تاخیر کو متاثر کیے بغیر ان اخراجات کو کم کرنا چاہتے تھے۔ ہم کلاؤڈ کی لچک اور تیز تر ڈیلیوری سائیکل چاہتے تھے، جو آن پریمیسس سیٹ اپ کے لیے درکار سائیکل سے بہت چھوٹا ہے۔ اور اگرچہ ہم تیز رفتار ML کے لیے نئے اختیارات تلاش کرنے کے لیے تیار تھے، ہم ایک ہموار ڈویلپر تجربہ بھی چاہتے تھے۔

ہم نے اپنی AWS ٹیم سے سیکھا کہ AWS Inferentia پر مبنی EC2 Inf1 مثالیں کلاؤڈ میں سب سے کم لاگت-فی-انفرنس پر اعلی کارکردگی کا ML تخمینہ فراہم کرتی ہیں۔ ہم ان کو دریافت کرنے کے لیے متجسس تھے اور ان کو ہمارے استعمال کے معاملے کے لیے موزوں پایا، کیونکہ ہم بڑی مقدار میں امیج، آبجیکٹ، اسپیچ، اور ٹیکسٹ ڈیٹا پر کافی مشین لرننگ چلاتے ہیں۔ وہ یقینی طور پر ہمارے اہداف کے لیے موزوں تھے، کیونکہ ہم اپنے ماڈلز کی پیچیدگی اور روزانہ کی پیشین گوئیوں کے حجم کو دیکھتے ہوئے لاگت میں بڑی بچت کا احساس کر سکتے ہیں۔ مزید برآں، AWS Inferentia میں بڑی مقدار میں آن چپ میموری ہے، جسے آپ بڑے ماڈلز کو چپ سے محفوظ کرنے کے بجائے کیش کرنے کے لیے استعمال کر سکتے ہیں۔ ہم نے تسلیم کیا کہ اس کا قیاس کی تاخیر کو کم کرنے میں اہم اثر پڑ سکتا ہے کیونکہ AWS Inferentia کے پروسیسنگ کور، جسے NeuronCores کہتے ہیں، ان ماڈلز تک تیز رفتار رسائی رکھتے ہیں جو آن چپ میموری میں محفوظ ہوتے ہیں اور آف چپ میموری سے محدود نہیں ہوتے۔ بینڈوڈتھ.

بالآخر، کئی اختیارات کا جائزہ لینے کے بعد، ہم نے EC2 Inf1 مثالوں کو ان کی بہتر کارکردگی/قیمت کے تناسب کے لیے G4dn مثالوں اور NVIDIA T4 کے مقابلے میں منتخب کیا۔ ہم Inf1 کی قیمت اور کارکردگی کے فوائد کو غیر مقفل کرنے کے لیے AWS ٹیم کے ساتھ مسلسل تکرار کے چکر میں مصروف ہیں۔

AWS Inferentia پر انفرنس ورک بوجھ کو تعینات کرنا

AWS نیوران SDK کا استعمال کرتے ہوئے AWS Inferentia کے ساتھ شروع کرنے میں دو مراحل شامل ہیں: ماڈل کوڈ کی تالیف اور Inf1 مثالوں پر تعیناتی۔ جیسا کہ ML ماڈلز کو کسی بھی نئے انفراسٹرکچر میں منتقل کرتے وقت عام بات ہے، کچھ چیلنجز تھے جن کا ہم نے سامنا کیا۔ ہم اپنی AWS ٹیم کی مستعدی اور تعاون سے ان چیلنجوں پر قابو پانے میں کامیاب ہوئے۔ مندرجہ ذیل حصوں میں، ہم AWS Inferentia پر انفرنس ورک بوجھ کو تعینات کرنے کے اپنے تجربے کی بنیاد پر کئی مفید تجاویز اور مشاہدات کا اشتراک کرتے ہیں۔

OCR کے لیے کنفارمر ماڈل

ہمارا آپٹیکل کریکٹر ریکگنیشن (OCR) کنفارمر ماڈل تصاویر کے اندر موجود متن کا پتہ لگاتا اور پڑھتا ہے۔ ہم نے تاخیر کو کم رکھتے ہوئے مختلف قسم کے بیچ سائزز کے لیے اعلیٰ کارکردگی (QPS) حاصل کرنے کے لیے متعدد اصلاحوں پر کام کیا۔ کچھ کلیدی اصلاح ذیل میں نوٹ کی گئی ہیں:

• کمپائلر کی اصلاح - پہلے سے طے شدہ طور پر، Inferentia ایک مقررہ ترتیب کی لمبائی کے ساتھ ان پٹ پر بہترین کارکردگی کا مظاہرہ کرتا ہے، جس نے ایک چیلنج پیش کیا کیونکہ متنی ڈیٹا کی لمبائی طے نہیں ہے۔ اس پر قابو پانے کے لیے، ہم نے اپنے ماڈل کو دو حصوں میں تقسیم کیا: ایک انکوڈر اور ایک ڈیکوڈر۔ ہم نے ان دونوں ذیلی ماڈلز کو الگ الگ مرتب کیا اور پھر انہیں TorchScript کے ذریعے ایک ہی ماڈل میں ضم کیا۔ CPUs پر لوپ کنٹرول کے بہاؤ کو چلانے سے، اس نقطہ نظر نے Inferentia پر متغیر ترتیب کی لمبائی کے لیے تعاون کو فعال کیا۔
• گہرائی سے کنولوشن کی کارکردگی - ہمیں گہرائی کے لحاظ سے کنولوشن آپریشن میں ایک DMA رکاوٹ کا سامنا کرنا پڑا، جو ہمارے کنفرمر ماڈل کے ذریعہ بہت زیادہ استعمال کیا جاتا ہے۔ ہم نے AWS نیوران ٹیم کے ساتھ مل کر ڈی ایم اے تک رسائی کی کارکردگی کی رکاوٹ کی نشاندہی کرنے اور اسے حل کرنے کے لیے کام کیا، جس نے اس آپریشن کی کارکردگی کو بہتر بنایا اور ہمارے OCR ماڈل کی مجموعی کارکردگی کو بہتر بنایا۔

ہم نے Inferentia پر اپنی تعیناتی کو بہتر بنانے کے لیے دو نئے ماڈل کی شکلیں بنائیں:

• مشترکہ اور انرول شدہ انکوڈر/ڈیکوڈر - آزادانہ طور پر مرتب کردہ انکوڈر اور ڈیکوڈر کو استعمال کرنے کے بجائے، ہم نے انکوڈر اور مکمل طور پر انرول شدہ ڈیکوڈر کو ایک ماڈل میں ملایا اور اس ماڈل کو ایک واحد NEFF کے طور پر مرتب کیا۔ ڈیکوڈر کو انرول کرنے سے کسی بھی سی پی یو آپریشنز کا استعمال کیے بغیر انفرینشیا پر تمام ڈیکوڈر کنٹرول فلو کو چلانا ممکن ہو جاتا ہے۔ اس نقطہ نظر کے ساتھ، ڈیکوڈر کی ہر تکرار بالکل اس ٹوکن کے لیے ضروری کمپیوٹ کی مقدار کا استعمال کرتی ہے۔ یہ نقطہ نظر کارکردگی کو بہتر بناتا ہے کیونکہ ہم اس اضافی گنتی کو نمایاں طور پر کم کرتے ہیں جو پہلے پیڈنگ ان پٹ کے ذریعہ متعارف کرایا گیا تھا۔ مزید برآں، ڈیکوڈر تکرار کے درمیان Inferentia سے CPU میں ڈیٹا کی منتقلی ضروری نہیں ہے، جو I/O وقت کو کافی حد تک کم کرتا ہے۔ ماڈل کا یہ ورژن جلد روکنے کی حمایت نہیں کرتا ہے۔
• تقسیم شدہ انرولڈ ڈیکوڈر - مشترکہ مکمل طور پر انرول شدہ ماڈل کی طرح، ماڈل کا یہ قسم ڈیکوڈر کے متعدد تکرار کو کھولتا ہے اور انہیں ایک ہی عمل کے طور پر مرتب کرتا ہے (لیکن اس میں انکوڈر شامل نہیں ہے)۔ مثال کے طور پر، 75 کی زیادہ سے زیادہ ترتیب کی لمبائی کے لیے، ہم ڈیکوڈر کو 3 پارٹیشنز میں انرول کر سکتے ہیں جو ٹوکن 1-25، 26-50، اور 51-75 کی گنتی کرتے ہیں۔ I/O کے لحاظ سے، یہ بھی نمایاں طور پر تیز ہے کیونکہ ہمیں ہر تکرار میں ایک بار انکوڈر آؤٹ پٹ کو منتقل کرنے کی ضرورت نہیں ہے۔ اس کے بجائے، آؤٹ پٹ ہر ڈیکوڈر پارٹیشن میں صرف ایک بار منتقل ہوتے ہیں۔ ماڈل کا یہ ورژن جلد روکنے کی حمایت کرتا ہے، لیکن صرف تقسیم کی حدود پر۔ تقسیم کی حدود کو ہر مخصوص ایپلیکیشن کے لیے ٹیون کیا جا سکتا ہے تاکہ یہ یقینی بنایا جا سکے کہ زیادہ تر درخواستیں صرف ایک پارٹیشن پر عمل درآمد کرتی ہیں۔

کارکردگی کو مزید بہتر بنانے کے لیے، ہم نے میموری کے استعمال کو کم کرنے یا رسائی کی کارکردگی کو بہتر بنانے کے لیے درج ذیل اصلاحات کی ہیں۔

• ٹینسر کی نقل اور کم کاپیاں - یہ ایک کمپائلر آپٹیمائزیشن ہے جو خلائی کارکردگی کو بہتر بنانے کے لیے ٹینسرز کو دوبارہ استعمال کرکے غیر رول شدہ ماڈلز کے سائز اور ہدایات/میموری تک رسائی کی تعداد کو نمایاں طور پر کم کرتی ہے۔
• کم کردہ ہدایات - یہ ایک کمپائلر آپٹیمائزیشن ہے جسے ڈیکوڈر کے نان پیڈڈ ورژن کے ساتھ استعمال کیا جاتا ہے تاکہ ہدایات کی کل تعداد کو نمایاں طور پر کم کیا جا سکے۔
• ملٹی کور ڈپلیکیشن - یہ ایک رن ٹائم آپٹیمائزیشن ہے جو ٹینسر ڈیڈپلیکیشن کا متبادل ہے۔ اس آپشن کے ساتھ، تمام ملٹی کور ماڈل نمایاں طور پر زیادہ جگہ کے موثر ہوں گے۔

تصویر کی درجہ بندی کے لیے ResNet50 ماڈل

ResNet-50 تصویر کی درجہ بندی کے لیے پہلے سے تربیت یافتہ ڈیپ لرننگ ماڈل ہے۔ یہ ایک Convolutional Neural Network (CNN یا ConvNet) ہے جو بصری تصویروں کا تجزیہ کرنے کے لیے عام طور پر لاگو ہوتا ہے۔ ہم نے Inferentia پر اس ماڈل کی کارکردگی کو بہتر بنانے کے لیے درج ذیل تکنیکوں کا استعمال کیا:

• ماڈل کی تبدیلی - ByteDance کے بہت سے ماڈلز ONNX فارمیٹ میں برآمد کیے جاتے ہیں، جن کی Inferentia فی الحال مقامی طور پر حمایت نہیں کرتی ہے۔ ان ONNX ماڈلز کو ہینڈل کرنے کے لیے، AWS نیوران ٹیم نے ہمارے ماڈلز کو ONNX فارمیٹ سے PyTorch ماڈلز میں تبدیل کرنے کے لیے اسکرپٹ فراہم کیے، جنہیں torch-neuron کا استعمال کرتے ہوئے Inferentia کے لیے براہ راست مرتب کیا جا سکتا ہے۔
• کارکردگی کی اصلاح - ہم نے مل کر کام کیا۔ AWS نیوران ہمارے ResNet-50 ماڈلز کی کارکردگی کو بہتر بنانے کے لیے کمپائلر میں شیڈولنگ ہیورسٹک کو ٹیون کرنے کے لیے ٹیم۔

مواد کی اعتدال کے لیے ملٹی موڈل ماڈل

ہمارا ملٹی ماڈل ڈیپ لرننگ ماڈل متعدد الگ الگ ماڈلز کا مجموعہ ہے۔ اس ماڈل کا سائز نسبتاً بڑا ہے، جس کی وجہ سے Inferentia پر ماڈل لوڈنگ میں ناکامی ہوئی۔ AWS نیوران ٹیم نے ڈیوائس میموری کے استعمال کو کم کرنے کے لیے وزن کی تقسیم کا استعمال کرکے کامیابی سے اس مسئلے کو حل کیا۔ نیوران ٹیم نے یہ وزن کم کرنے کی خصوصیت کو نیوران libnrt لائبریری میں جاری کیا اور مزید درست میٹرکس کے لیے نیوران ٹولز کو بھی بہتر بنایا۔ رن ٹائم ویٹ ڈی ڈپلیکیشن فیچر کو انفرنس چلانے سے پہلے درج ذیل ماحولیاتی متغیر کو ترتیب دے کر فعال کیا جا سکتا ہے۔

NEURON_RT_MULTI_INSTANCE_SHARED_WEIGHTS=1

اپ ڈیٹ کردہ نیورون SDK نے ہمارے ڈپلیکیٹ ماڈلز کی مجموعی میموری کی کھپت کو کم کر دیا، جس نے ہمیں ملٹی کور انفرنس کے لیے اپنے ملٹی موڈل ماڈل کو تعینات کرنے کے قابل بنایا۔

مزید ماڈلز کو AWS Inferentia میں منتقل کرنا

ByteDance میں، ہم تقریباً 2 بلین ماہانہ فعال صارفین کو صارف کے خوشگوار تجربات فراہم کرنے کے لیے جدید ڈیپ لرننگ ماڈلز کی تعیناتی جاری رکھتے ہیں۔ ہم جس بڑے پیمانے پر کام کرتے ہیں اس کے پیش نظر، ہم لاگت بچانے اور کارکردگی کو بہتر بنانے کے طریقے تلاش کر رہے ہیں۔ ہم ماڈلز کو AWS Inferentia میں منتقل کرنا جاری رکھیں گے تاکہ اس کی اعلی کارکردگی اور لاگت کی کارکردگی سے فائدہ اٹھایا جا سکے۔ ہم یہ بھی چاہتے ہیں کہ AWS مزید AWS Inferentia پر مبنی مثال کی قسمیں شروع کرے، جیسے کہ پہلے سے کام کرنے کے لیے زیادہ vCPUs والے۔ آگے بڑھتے ہوئے، ByteDance امید کر رہا ہے کہ ML ایپلی کیشنز کے لیے بہترین قیمت کی کارکردگی فراہم کرنے کے لیے AWS سے مزید سلکان اختراعات دیکھیں۔

اگر آپ اس بارے میں مزید جاننے میں دلچسپی رکھتے ہیں کہ کس طرح AWS Inferentia آپ کی انفرنس ایپلی کیشنز کے لیے کارکردگی کو بہتر بناتے ہوئے اخراجات بچانے میں آپ کی مدد کر سکتا ہے، تو ملاحظہ کریں۔ ایمیزون EC2 Inf1 مثالیں۔ پروڈکٹ پیج

---

مصنفین کے بارے میں

منگھوئی یو بائٹ ڈانس میں ایک سینئر مشین لرننگ ٹیم لیڈ ہے۔ اس کا فوکس ایریا AI کمپیوٹنگ ایکسلریشن اور مشین لرننگ سسٹم ہے۔ وہ مور کے بعد کے دور میں متفاوت کمپیوٹنگ اور کمپیوٹر فن تعمیر میں بہت دلچسپی رکھتے ہیں۔ اپنے فارغ وقت میں اسے باسکٹ بال اور تیر اندازی پسند ہے۔

جیانزے ژاؤ بائٹ ڈانس میں اے ایم ایل ٹیم میں ایک سینئر سافٹ ویئر انجینئر ٹیم لیڈ ہے۔ اس کا موجودہ کام کاروباری ٹیم کو ماڈل کی تعیناتی کے عمل کو تیز کرنے اور ماڈل کی تخمینہ کارکردگی کو بہتر بنانے میں مدد کرنے پر مرکوز ہے۔ کام سے باہر، وہ پیانو بجانے سے لطف اندوز ہوتا ہے۔

تیان شی AWS میں ایک سینئر سولیوشن آرکیٹیکٹ ہے۔ اس کا فوکس ایریا ڈیٹا اینالیٹکس، مشین لرننگ اور سرور لیس ہے۔ وہ کلاؤڈ پر قابل اعتماد اور توسیع پذیر حلوں کو ڈیزائن کرنے اور بنانے میں صارفین کی مدد کرنے کا پرجوش ہے۔ اپنے فارغ وقت میں، وہ تیراکی اور پڑھنے سے لطف اندوز ہوتا ہے۔

جیا ڈونگ AWS میں کسٹمر سلوشنز مینیجر ہے۔ وہ AWS AI/ML سروسز کے بارے میں سیکھنے اور صارفین کے لیے حل تیار کرکے ان کے کاروباری نتائج کو پورا کرنے میں مدد کرتی ہے۔ کام سے باہر، جیا کو سفر، یوگا اور فلموں کا شوق ہے۔

جوناتھن لنٹ ایمیزون میں ایک سافٹ ویئر انجینئر ہے جس کی توجہ ایم ایل فریم ورک کی ترقی پر ہے۔ اپنے کیریئر کے دوران اس نے ڈیٹا سائنس کے کرداروں کی مکمل وسعت کے ذریعے کام کیا ہے جس میں ماڈل کی ترقی، انفراسٹرکچر کی تعیناتی، اور ہارڈ ویئر کے لیے مخصوص اصلاح شامل ہے۔

جوشوا ہنن ایمیزون میں مشین لرننگ انجینئر ہے۔ وہ بڑے پیمانے پر کمپیوٹر وژن اور قدرتی زبان کی پروسیسنگ ایپلی کیشنز کے لیے گہری سیکھنے کے ماڈلز کو بہتر بنانے پر کام کرتا ہے۔

شروتی کوپارکر AWS میں ایک سینئر پروڈکٹ مارکیٹنگ مینیجر ہے۔ وہ صارفین کو ان کی مشین لرننگ کی ضروریات کے لیے EC2 ایکسلریٹڈ کمپیوٹنگ انفراسٹرکچر کو دریافت کرنے، جانچنے اور اپنانے میں مدد کرتی ہے۔