ایمیزون سرچ کس طرح کم تاخیر، اعلی تھرو پٹ T5 کا اندازہ AWS پر NVIDIA Triton کے ساتھ حاصل کرتی ہے۔

ایمیزون سرچ کا وژن صارفین کو آسانی سے تلاش کرنے کے قابل بنانا ہے۔ ہماری ہجے کی تصحیح آپ کو مطلوبہ الفاظ کی درست ہجے نہ جانے کے باوجود آپ کی مطلوبہ چیز تلاش کرنے میں مدد کرتی ہے۔ ماضی میں، ہم ہجے کی اصلاح کے لیے دستی فیچر انجینئرنگ کے ساتھ کلاسیکل مشین لرننگ (ML) الگورتھم استعمال کرتے تھے۔ ہجے کی تصحیح کی کارکردگی میں اگلی نسل کی چھلانگ لگانے کے لیے، ہم متعدد گہری سیکھنے کے طریقوں کو اپنا رہے ہیں، جن میں ترتیب سے ترتیب والے ماڈلز شامل ہیں۔ ڈیپ لرننگ (DL) ماڈلز ٹریننگ اور انفرنس دونوں میں کمپیوٹ کے لحاظ سے بہت زیادہ ہوتے ہیں، اور ان اخراجات نے تاریخی طور پر DL ماڈلز کو Amazon کے پیمانے پر پروڈکشن سیٹنگ میں ناقابل عمل بنا دیا ہے۔ اس پوسٹ میں، ہم انفرنس آپٹیمائزیشن کے تجربات کے نتائج پیش کرتے ہیں جہاں ہم ان رکاوٹوں پر قابو پاتے ہیں اور مقبول Hugging Face T534 ٹرانسفارمر کے لیے 5% انفرنس اسپیڈ اپ حاصل کرتے ہیں۔

چیلنج

ٹیکسٹ ٹو ٹیکسٹ ٹرانسفارمر ٹرانسفارمر (T5، یونیفائیڈ ٹیکسٹ ٹو ٹیکسٹ ٹرانسفارمر کے ساتھ ٹرانسفر لرننگ کی حدود کو تلاش کرنا, Reffel et al) جدید ترین قدرتی زبان پروسیسنگ (NLP) ماڈل فن تعمیر ہے۔ T5 املا کی اصلاح کے لیے ایک امید افزا فن تعمیر ہے، جسے ہم نے اپنے تجربات میں اچھی کارکردگی کا مظاہرہ کرتے ہوئے پایا۔ اوپن سورس ڈیپ لرننگ فریم ورک اور جاری تعلیمی اور انٹرپرائز ریسرچ کی بدولت T5 ماڈلز تحقیق، ترقی اور تربیت کے لیے آسان ہیں۔

تاہم، T5 کے ساتھ پیداواری درجہ، کم تاخیر کا اندازہ حاصل کرنا مشکل ہے۔ مثال کے طور پر، PyTorch T5 کے ساتھ ایک واحد اندازہ چار NVIDIA V45 Tensor Core GPUs میں سے ایک پر 100 ملی سیکنڈ لیتا ہے جو Amazon Elastic Compute Cloud (EC2) p3.8xlarge مثال سے لیس ہے۔ (اطلاع کردہ تمام انفرنس نمبرز 9 ٹوکنز کے ان پٹ اور 11 ٹوکنز کے آؤٹ پٹ کے لیے ہیں۔ T5 آرکیٹیکچرز کی لیٹنسی ان پٹ اور آؤٹ پٹ کی لمبائی دونوں کے لیے حساس ہے۔)

پیمانہ پر کم تاخیر، لاگت سے موثر T5 کا اندازہ ایک معلوم مشکل ہے جس کی اطلاع Amazon تلاش سے آگے کے کئی AWS صارفین نے دی ہے، جو اس پوسٹ میں حصہ ڈالنے کے لیے ہماری حوصلہ افزائی کو بڑھاتی ہے۔ ایک آف لائن، سائنسی کامیابی سے گاہک کا سامنا کرنے والی پروڈکشن سروس تک جانے کے لیے، Amazon تلاش کو درج ذیل چیلنجز کا سامنا ہے:

• تاخیر - 5 ملی سیکنڈ سے کم P50 لیٹینسی میں T99 کا اندازہ کیسے لگایا جائے۔
• انحصار - بڑے پیمانے پر ہم آہنگی کی درخواستوں کو کیسے ہینڈل کریں۔
• کارکردگی کا تخمینہ - اخراجات کو کنٹرول میں کیسے رکھا جائے۔

اس پوسٹ کے بقیہ حصے میں، ہم وضاحت کرتے ہیں کہ کس طرح NVIDIA inference optimization stack — یعنی NVIDIA TensorRT کمپائلر اور اوپن سورس NVIDIA ٹرائٹن انفرنس سرور- ان چیلنجوں کو حل کرتا ہے۔ پڑھیں NVIDIA کی پریس ریلیز اپ ڈیٹس کے بارے میں جاننے کے لیے۔

NVIDIA TensorRT: تخمینہ کی اصلاح کے ساتھ لاگت اور تاخیر کو کم کرنا

گہرے سیکھنے کے فریم ورک سائنس پر تیزی سے اعادہ کرنے کے لیے آسان ہیں، اور سائنسی ماڈلنگ، ڈیٹا لوڈنگ، اور تربیت کی اصلاح کے لیے متعدد افعال کے ساتھ آتے ہیں۔ تاہم، ان میں سے زیادہ تر ٹولز تخمینہ کے لیے سب سے بہتر ہیں، جن کے لیے صرف میٹرکس ضرب اور ایکٹیویشن کے افعال کے لیے آپریٹرز کے ایک کم سے کم سیٹ کی ضرورت ہوتی ہے۔ لہذا، گہرے سیکھنے کے ترقیاتی فریم ورک میں انفرنس کو چلانے کے بجائے ایک خصوصی، صرف پیشین گوئی کی ایپلی کیشن کا استعمال کرکے اہم فوائد حاصل کیے جا سکتے ہیں۔

NVIDIA TensorRT اعلی کارکردگی کے گہرے سیکھنے کا اندازہ لگانے کے لیے ایک SDK ہے۔ TensorRT NVIDIA GPUs پر دستیاب نچلے درجے کے آپٹمائزڈ کرنل کا استعمال کرتے ہوئے ایک بہترین رن ٹائم فراہم کرتا ہے، اور ایک صرف تخمینہ ماڈل گراف، جو ایک بہتر ترتیب میں قیاس کی گنتی کو دوبارہ ترتیب دیتا ہے۔

مندرجہ ذیل حصے میں، ہم TensorRT کے پیچھے ہونے والی تفصیلات اور یہ کارکردگی کو تیز کرنے کے بارے میں بات کریں گے۔

1. کم صحت سے متعلق درستگی کو برقرار رکھتے ہوئے FP16 یا INT8 کے ساتھ ماڈلز کو کوانٹائز کر کے تھرو پٹ کو زیادہ سے زیادہ کرتا ہے۔
2. پرت اور ٹینسر فیوژن کرنل لانچ میں تاخیر سے بچنے کے لیے کرنل میں نوڈس کو فیوز کر کے GPU میموری اور بینڈوتھ کے استعمال کو بہتر بناتا ہے۔
3. کرنل آٹو ٹیوننگ ہدف GPU پلیٹ فارم اور ڈیٹا کرنل کی شکلوں کی بنیاد پر بہترین ڈیٹا لیئرز اور الگورتھم کا انتخاب کرتا ہے۔
4. متحرک ٹینسر میموری انٹرمیڈیٹ نتائج کی غیر ضروری میموری کی کھپت کو آزاد کرکے میموری کے نقش کو کم کرتا ہے اور ٹینسر کے لیے میموری کو موثر طریقے سے دوبارہ استعمال کرتا ہے۔
5. ملٹی اسٹریم ایگزیکیوشن وقف شدہ CUDA اسٹریمز کے ساتھ متوازی طور پر متعدد ان پٹ اسٹریمز کو پروسیس کرنے کے لیے توسیع پذیر ڈیزائن کا استعمال کرتا ہے۔
6. ٹائم فیوژن متحرک طور پر تیار کردہ دانا کے ساتھ وقت کے ساتھ بار بار چلنے والے اعصابی نیٹ ورکس کو بہتر بناتا ہے۔

T5 اپنے فن تعمیر کے لیے ٹرانسفارمر کی تہوں کو بلڈنگ بلاکس کے طور پر استعمال کرتا ہے۔ NVIDIA TensorRT 8.2 کی تازہ ترین ریلیز T5 اور GPT-2 ماڈلز کے لیے حقیقی وقت کے تخمینے کے لیے نئی اصلاحات متعارف کراتی ہے۔ مندرجہ ذیل جدول میں، ہم Amazon EC5G2dn مثالوں پر چلنے والے کچھ عوامی T4 ماڈلز پر TensorRT کے ساتھ اسپیڈ اپ دیکھ سکتے ہیں، NVIDIA T4 GPUs اور EC2 G5 مثالوں سے تقویت یافتہ، NVIDIA A10G GPUs کے ذریعے تقویت یافتہ۔

 

ماڈل	مثال	بیس لائن Pytorch لیٹنسی (ms)			TensorRT 8.2 لیٹنسی (ms)						اسپیڈ اپ بمقابلہ HF بیس لائن
		FP32			FP32			FP16			FP32	FP16
		مرموزکار	کوٹواچک	آخر سے آخر تک	مرموزکار	کوٹواچک	آخر سے آخر تک	مرموزکار	کوٹواچک	آخر سے آخر تک	آخر سے آخر تک	آخر سے آخر تک
t5-چھوٹا	g4dn.xlarge	5.98	9.74	30.71	1.28	2.25	7.54	0.93	1.59	5.91	407.40٪	519.34٪
	g5.xlarge	4.63	7.56	24.22	0.61	1.05	3.99	0.47	0.80	3.19	606.66٪	760.01٪
t5-بیس	g4dn.xlarge	11.61	19.05	78.44	3.18	5.45	19.59	3.15	2.96	13.76	400.48٪	569.97٪
	g5.xlarge	8.59	14.23	59.98	1.55	2.47	11.32	1.54	1.65	8.46	530.05٪	709.20٪

منسلک کارکردگی کی اصلاح اور نقل کے بارے میں مزید معلومات کے لیے، رجوع کریں۔ NVIDIA TensorRT کے ساتھ ریئل ٹائم انفرنس کے لیے T5 اور GPT-2 کو بہتر بنانا.

یہ نوٹ کرنا ضروری ہے کہ تالیف ماڈل کی درستگی کو محفوظ رکھتی ہے، کیونکہ یہ قیاس کے ماحول اور کمپیوٹیشن شیڈولنگ پر کام کرتی ہے، جس سے ماڈل سائنس میں کوئی تبدیلی نہیں ہوتی - وزن ہٹانے کے کمپریشن جیسے ڈسٹلیشن یا کٹائی کے برعکس۔ NVIDIA TensorRT مزید فوائد کے لیے تالیف کو کوانٹائزیشن کے ساتھ جوڑنے کی اجازت دیتا ہے۔ کوانٹائزیشن کے حالیہ NVIDIA ہارڈویئر پر دوہرے فائدے ہیں: یہ میموری کے استعمال کو کم کرتا ہے، اور NVIDIA Tensor Cores، DL- مخصوص سیلز کے استعمال کو قابل بناتا ہے جو مخلوط درستگی میں ایک فیوزڈ میٹرکس-ملٹی پلائی ایڈ چلاتے ہیں۔

Hugging Face T5 ماڈل کے ساتھ Amazon تلاش کے تجربے کے معاملے میں، ماڈل کے تخمینے کے لیے PyTorch کو TensorRT سے تبدیل کرنے سے رفتار میں 534% اضافہ ہوتا ہے۔

NVIDIA Triton: کم تاخیر، اعلی تھرو پٹ انفرنس سرونگ

جدید ماڈل پیش کرنے والے حل آف لائن تربیت یافتہ ماڈلز کو کسٹمر کا سامنا کرنے والے ML سے چلنے والی مصنوعات میں تبدیل کر سکتے ہیں۔ اس پیمانے پر معقول لاگت کو برقرار رکھنے کے لیے، یہ ضروری ہے کہ اوور ہیڈ کم سرونگ کرتے رہیں (HTTP ہینڈلنگ، پری پروسیسنگ اور پوسٹ پروسیسنگ، CPU-GPU کمیونیکیشن)، اور GPUs کی متوازی پروسیسنگ کی اہلیت سے پوری طرح فائدہ اٹھائیں۔

NVIDIA Triton ایک انفرنس پیش کرنے والا سافٹ ویئر ہے جو ماڈل رن ٹائمز (NVIDIA TensorRT، ONNX، PyTorch، XGBoost دوسروں کے درمیان) اور انفراسٹرکچر بیک اینڈز بشمول GPUs، CPU اور وسیع تعاون کی تجویز پیش کرتا ہے۔ AWS Inferentia.

ایم ایل پریکٹیشنرز متعدد وجوہات کی بناء پر ٹریٹن سے محبت کرتے ہیں۔ اس کی متحرک بیچنگ کی قابلیت صارف کی طرف سے طے شدہ تاخیر کے دوران اور زیادہ سے زیادہ صارف کی وضاحت کردہ بیچ سائز کے اندر تخمینہ کی درخواستیں جمع کرنے کی اجازت دیتی ہے، تاکہ GPU تخمینہ کو بیچ دیا جائے، CPU-GPU کمیونیکیشن اوور ہیڈ کو بڑھاوا دے کر۔ نوٹ کریں کہ متحرک بیچنگ سرور کی طرف اور بہت کم وقت کے فریموں کے اندر ہوتی ہے، تاکہ درخواست کرنے والے کلائنٹ کے پاس اب بھی ہم آہنگ، قریب قریب حقیقی وقت کی درخواست کا تجربہ ہو۔ ٹرائٹن کے صارفین اس کے ہم آہنگ ماڈل پر عملدرآمد کی صلاحیت سے بھی لطف اندوز ہوتے ہیں۔ GPUs طاقتور ملٹی ٹاسکرز ہیں جو متوازی طور پر کمپیوٹ-انٹینسیو ورک بوجھ کو انجام دینے میں بہترین ہیں۔ ٹریٹن متعدد ماڈل مثالوں کو بیک وقت چلانے کے لیے CUDA اسٹریمز کا استعمال کرکے GPU کے استعمال اور تھرو پٹ کو زیادہ سے زیادہ کرتا ہے۔ یہ ماڈل مثالیں مختلف استعمال کے معاملات کے لیے مختلف فریم ورک سے مختلف ماڈلز، یا ایک ہی ماڈل کی براہ راست کاپی ہو سکتی ہیں۔ جب آپ کے پاس کافی بیکار GPU میموری ہو تو یہ براہ راست تھرو پٹ بہتری میں ترجمہ کرتا ہے۔ نیز، جیسا کہ ٹرائٹن کسی مخصوص ڈی ایل ڈیولپمنٹ فریم ورک سے منسلک نہیں ہے، یہ سائنسدانوں کو اپنی پسند کے ٹول میں، خود کو مکمل طور پر اظہار کرنے کی اجازت دیتا ہے۔

AWS پر Triton کے ساتھ، Amazon تلاش بہتر خدمت کی توقع رکھتی ہے۔ Amazon.com صارفین اور کم قیمت پر تاخیر کی ضروریات کو پورا کریں۔ TensorRT رن ٹائم اور Triton سرور کے درمیان سخت انضمام ترقی کے تجربے کو آسان بناتا ہے۔ AWS کلاؤڈ انفراسٹرکچر کا استعمال تھرو پٹ کی ضروریات کی بنیاد پر منٹوں میں اوپر یا نیچے کی پیمائش کرنے کی اجازت دیتا ہے، جبکہ بار کو زیادہ یا قابل اعتماد اور سیکورٹی کو برقرار رکھتا ہے۔

AWS داخلے کی رکاوٹ کو کیسے کم کرتا ہے۔

جبکہ Amazon Search نے Amazon EC2 انفراسٹرکچر پر یہ تجربہ کیا، دیگر AWS سروسز جدید ترین گہرے سیکھنے کے حل کی ترقی، تربیت اور میزبانی میں سہولت فراہم کرنے کے لیے موجود ہیں۔

مثال کے طور پر، AWS اور NVIDIA نے ٹریٹن انفرنس سرور کے ایک منظم نفاذ کو جاری کرنے کے لیے تعاون کیا ہے۔ ایمیزون سیج میکر ; مزید معلومات کے لیے دیکھیں Amazon SageMaker میں NVIDIA Triton Inference Server کے ساتھ تیز اور توسیع پذیر AI تعینات کریں۔. AWS نے Amazon SageMaker اور Hugging Face Transformers کے درمیان ایک منظم، آپٹمائزڈ انضمام کو تیار کرنے کے لیے Hugging Face کے ساتھ بھی تعاون کیا، اوپن سورس فریم ورک جس سے Amazon Search T5 ماڈل اخذ کیا گیا ہے۔ پر مزید پڑھیں https://aws.amazon.com/machine-learning/hugging-face/.

ہم تاخیر سے متعلق حساس CPU اور GPU ڈیپ لرننگ سرونگ ایپلی کیشنز والے صارفین کو AWS پر NVIDIA TensorRT اور Triton پر غور کرنے کی ترغیب دیتے ہیں۔ ہمیں بتائیں کہ آپ کیا بناتے ہیں!

ایمیزون تلاش کے لیے گہری سیکھنے اور گہری سیکھنے پر مبنی حل تیار کرنے کے بارے میں پرجوش ہیں؟ ہمارے چیک کریں کیریئر پیج

---

مصنفین کے بارے میں

RJ تلاش M5 ٹیم میں ایک انجینئر ہے جو تربیت اور تخمینہ کے لیے بڑے پیمانے پر گہرے سیکھنے کے نظام کی تعمیر کی کوششوں کی رہنمائی کرتا ہے۔ کام سے باہر وہ کھانے کے مختلف پکوان دریافت کرتا ہے اور ریکٹ کھیل کھیلتا ہے۔

ہیمنت پگلیہ سرچ M5 میں ایک اپلائیڈ سائنٹسٹ ہے۔ وہ دنیا بھر میں Amazon خریداری پر صارفین کے تجربے کو بہتر بنانے کے لیے جدید ترین قدرتی زبان کی پروسیسنگ اور گہری سیکھنے کی تحقیق کو لاگو کرنے پر کام کرتا ہے۔ اس کی تحقیقی دلچسپیوں میں قدرتی زبان کی پروسیسنگ اور بڑے پیمانے پر مشین لرننگ سسٹم شامل ہیں۔ کام سے باہر، وہ پیدل سفر، کھانا پکانے اور پڑھنے سے لطف اندوز ہوتا ہے۔

اینڈی سن تلاش ہجے کی اصلاح کے لیے سافٹ ویئر انجینئر اور تکنیکی رہنما ہے۔ اس کی تحقیقی دلچسپیوں میں گہری سیکھنے کے تخمینے میں تاخیر کو بہتر بنانا، اور تیز تجرباتی پلیٹ فارم بنانا شامل ہے۔ کام کے علاوہ، وہ فلم سازی، اور ایکروبیٹکس سے لطف اندوز ہوتے ہیں.

لی کائی ایمیزون سرچ میں سافٹ ویئر انجینئر ہے۔ وہ صارفین کی خریداری کے تجربے میں مدد کرنے کے لیے تلاش کے املا کی تصحیح کی کارکردگی کو بہتر بنانے پر کام کرتا ہے۔ وہ گہرے سیکھنے کے ماڈل کے لیے اعلیٰ کارکردگی کے آن لائن اندازہ اور تقسیم شدہ تربیتی اصلاح پر توجہ مرکوز کر رہا ہے۔ کام سے باہر، وہ اسکیئنگ، ہائیکنگ اور سائیکلنگ سے لطف اندوز ہوتا ہے۔

انتھونی کو فی الحال سرچ ایم 5 پالو آلٹو، سی اے میں سافٹ ویئر انجینئر کے طور پر کام کر رہا ہے۔ وہ ماڈل کی تعیناتی اور انفرنس آپٹیمائزیشن کے لیے ٹولز اور مصنوعات بنانے پر کام کرتا ہے۔ کام سے باہر، وہ کھانا پکانے اور ریکٹ کھیل کھیلنا پسند کرتا ہے۔

اولیور کروچنٹ فرانس میں مقیم AWS میں مشین لرننگ اسپیشلسٹ سولیوشن آرکیٹیکٹ ہے۔ Olivier AWS صارفین کی مدد کرتا ہے – چھوٹے سٹارٹ اپ سے لے کر بڑے اداروں تک – پروڈکشن گریڈ مشین لرننگ ایپلی کیشنز کو تیار اور تعینات کرتا ہے۔ اپنے فارغ وقت میں، وہ تحقیقی مقالے پڑھنے اور دوستوں اور خاندان کے ساتھ بیابانوں کی سیر کرنے سے لطف اندوز ہوتے ہیں۔

انیش موہن NVIDIA میں ایک مشین لرننگ آرکیٹیکٹ ہے اور سیئٹل کے بڑے علاقے میں اپنے صارفین کے ساتھ ML اور DL مصروفیات کے لیے تکنیکی رہنما ہے۔

جیاہونگ لیو NVIDIA میں کلاؤڈ سروس پرووائیڈر ٹیم میں ایک حل آرکیٹیکٹ ہے۔ وہ مشین لرننگ اور AI سلوشنز کو اپنانے میں کلائنٹس کی مدد کرتا ہے جو NVIDIA ایکسلریٹڈ کمپیوٹنگ کو ان کی ٹریننگ اور انفرنس چیلنجز سے نمٹنے کے لیے فائدہ اٹھاتے ہیں۔ اپنے فارغ وقت میں، وہ اوریگامی، DIY پروجیکٹس، اور باسکٹ بال کھیلنا پسند کرتا ہے۔

ایلیوتھ ٹریانا NVIDIA میں ڈیولپر ریلیشنز مینیجر ہے۔ وہ Amazon ML/DL کام کے بوجھ، EC2 مصنوعات، اور AWS AI خدمات کو تیز کرنے کے لیے Amazon اور AWS پروڈکٹ لیڈروں، ڈویلپرز، اور سائنسدانوں کو NVIDIA تکنیکی ماہرین اور پروڈکٹ لیڈروں سے جوڑتا ہے۔ اس کے علاوہ، ایلیوتھ ایک پرجوش ماؤنٹین بائیکر، اسکیئر، اور پوکر کھلاڑی ہے۔

• سکے سمارٹ۔ یورپ کا بہترین بٹ کوائن اور کرپٹو ایکسچینج۔
• پلیٹو بلاک چین۔ Web3 Metaverse انٹیلی جنس۔ علم میں اضافہ۔ مفت رسائی۔
• کرپٹو ہاک۔ Altcoin ریڈار. مفت جانچ.
• ماخذ: https://aws.amazon.com/blogs/machine-learning/how-amazon-search-achieves-low-latency-high-throughput-t5-inference-with-nvidia-triton-on-aws/