گزشتہ چند سالوں میں نیچرل لینگویج پروسیسنگ (NLP) کے میدان میں تیزی سے ترقی ہوئی ہے۔ اگرچہ ہارڈ ویئر میں بہتری آئی ہے، جیسے کہ NVIDIA اور Amazon کے ایکسلریٹرز کی تازہ ترین نسل کے ساتھ، ایڈوانسڈ مشین لرننگ (ML) پریکٹیشنرز اب بھی متعدد GPU کے بڑے لینگویج ماڈلز کو اسکیل کرنے کے مسائل سے دوچار ہیں۔
اس بلاگ پوسٹ میں، ہم مختصراً بڑے اور چھوٹے پیمانے کے NLP ماڈلز کے عروج کا خلاصہ کرتے ہیں، بنیادی طور پر Hugging Face کے ذریعے فراہم کردہ تجرید کے ذریعے اور Amazon SageMaker کے ماڈیولر بیک اینڈ کے ساتھ۔ خاص طور پر ہم SageMaker ماڈل متوازی لائبریری کے اندر چار اضافی خصوصیات کے اجراء کو اجاگر کرتے ہیں جو 175 بلین پیرامیٹر NLP ماڈل کی پری ٹریننگ اور صارفین کے لیے فائن ٹیوننگ کو کھولتے ہیں۔
ہم نے اس لائبریری کو SageMaker ٹریننگ پلیٹ فارم پر استعمال کیا اور 32 ml.p120d.4x بڑی مثالوں اور 24 بلین پیرامیٹرز پر 175 نمونے فی سیکنڈ کا تھرو پٹ حاصل کیا۔ ہم توقع کرتے ہیں کہ اگر ہم اسے 240 واقعات تک بڑھاتے ہیں، تو مکمل ماڈل کو تربیت میں 25 دن لگیں گے۔
ماڈل متوازی کے بارے میں مزید معلومات کے لیے، کاغذ دیکھیں ایمیزون سیج میکر ماڈل متوازی: بڑے ماڈل ٹریننگ کے لیے ایک عام اور لچکدار فریم ورک.
آپ GPT2 نوٹ بک بھی دیکھ سکتے ہیں جو ہم نے اپنے پرفارمنس نمبرز بنانے کے لیے استعمال کیے تھے۔ GitHub ذخیرہ.
SageMaker ماڈل کے متوازی اندر نئی خصوصیات کو استعمال کرنے کے طریقے کے بارے میں مزید جاننے کے لیے، ملاحظہ کریں۔ PyTorch کے لیے SageMaker ماڈل متوازی لائبریری کی توسیعی خصوصیات، اور SageMaker Python SDK کے ساتھ استعمال کریں۔.
ایمیزون سیج میکر پر این ایل پی - گلے لگانا چہرہ اور ماڈل کی ہم آہنگی۔
اگر آپ Hugging Face اور NLP میں نئے ہیں، تو سب سے بڑی خاص بات جو آپ کو جاننے کی ضرورت ہے وہ یہ ہے کہ نیچرل لینگویج پروسیسنگ (NLP) استعمال کرنے والی ایپلیکیشنز انسانی سطح کی کارکردگی کو حاصل کرنا شروع کر رہی ہیں۔ یہ بڑی حد تک سیکھنے کے طریقہ کار کے ذریعے چلایا جاتا ہے، جسے کہا جاتا ہے۔ توجہ، جس نے ایک گہری سیکھنے کے ماڈل کو جنم دیا، جسے کہا جاتا ہے۔ ٹرانسفارمر، یہ پچھلے گہرے سیکھنے کے ترتیب وار طریقوں سے کہیں زیادہ قابل توسیع ہے۔ اب مشہور BERT ماڈل ٹرانسفارمر سے فائدہ اٹھانے کے لیے تیار کیا گیا تھا، اور راستے میں کئی مفید NLP حربے تیار کیے تھے۔ ٹرانسفارمرز اور ماڈلز کا سوٹ، NLP کے اندر اور باہر دونوں، جو سب BERT سے متاثر ہوئے ہیں، آپ کے Google تلاش کے نتائج کے پیچھے بنیادی انجن ہیں۔، آپ میں گوگل ترجمہ کے نتائج، اور نئے اسٹارٹ اپس کی ایک بڑی تعداد.
SageMaker اور Hugging Face نے صارفین کے لیے پہلے سے کہیں زیادہ آسان بنانے کے لیے شراکت کی۔ ہم نے آپ کے لیے Hugging Face ڈیپ لرننگ کنٹینرز (DLC's) کا آغاز کیا ہے تاکہ آپ پہلے سے تربیت یافتہ ماڈلز کو براہ راست Hugging Face سے تربیت دے سکیں 26,000 سے زیادہ ماڈلز کا ذخیرہ۔ ہم نے لانچ کر دیا ہے۔ سیج میکر ٹریننگ کمپائلر تاکہ آپ اپنے ہیگنگ فیس ٹریننگ لوپس کے رن ٹائم کو 50% تک تیز کر سکیں۔ ہم نے بھی ضم کر لیا ہے۔ ہیگنگ فیس فلیگ شپ ٹرانسفارمرز SDK ساتھ ہماری تقسیم شدہ تربیتی لائبریریاں اپنے NLP ماڈلز کو پہلے سے کہیں زیادہ آسان بنانے کے لیے۔
Amazon SageMaker پر Hugging Face Transformer ماڈلز کے بارے میں مزید معلومات کے لیے، دیکھیں ہگنگ فیس ٹرانسفارمر ماڈلز کے لیے سپورٹ۔
SageMaker ماڈل متوازی لائبریری کے ساتھ بڑے پیمانے پر NLP ماڈل کی تربیت کے لیے نئی خصوصیات
AWS re:Invent 2020 میں، SageMaker نے تقسیم شدہ لائبریریاں شروع کیں جو کمپیوٹر وژن ماڈلز کی تربیت کے لیے کلاؤڈ پر بہترین کارکردگی فراہم کرتی ہیں۔ ماسک-RCNN اور NLP ماڈل جیسے T5-3B۔ یہ بہتر کمیونیکیشن پرائمیٹوز کے ذریعے ممکن ہے جو AWS پر NCCL سے 20-40% تیز ہے، اور ماڈل ڈسٹری بیوشن تکنیک جو انتہائی بڑے لینگویج ماڈلز کو دسیوں سے لے کر ہزاروں GPUs تک پیمانہ کرنے کے قابل بناتی ہے۔
SageMaker ماڈل متوازی لائبریری (SMP) نے ہمیشہ آپ کو PyTorch میں اپنے پہلے سے طے شدہ NLP ماڈل کو لے جانے کی صلاحیت فراہم کی ہے، چاہے وہ Hugging Face کے ذریعے ہو یا کسی اور جگہ، اور اس ماڈل کو اپنے کلسٹر میں متعدد GPUs پر تقسیم کر دیں۔ دوسرے طریقے سے کہا، SMP آپ کے ماڈل کو چھوٹے حصوں میں تقسیم کرتا ہے تاکہ آپ کو میموری (OOM) کی خرابیوں کا سامنا نہ ہو۔ ہمیں میموری بچانے کی اضافی تکنیک شامل کرنے پر خوشی ہے جو بڑے پیمانے پر ماڈلز کے لیے اہم ہیں، یعنی:
- ٹینسر متوازی
- آپٹیمائزر سٹیٹ شارڈنگ
- ایکٹیویشن چیک پوائنٹ
- ایکٹیویشن آف لوڈنگ
آپ ان چار خصوصیات کو یکجا کر سکتے ہیں تاکہ میموری کو زیادہ موثر طریقے سے استعمال کیا جا سکے اور انتہائی پیمانے کے NLP ماڈلز کی اگلی نسل کو تربیت دی جا سکے۔
تقسیم شدہ تربیت اور ٹینسر متوازی
ٹینسر کے متوازی کو سمجھنے کے لیے، یہ جاننا مفید ہے کہ تقسیم شدہ تربیت کی کئی قسمیں ہیں، یا متوازی. آپ شاید پہلے ہی سب سے عام قسم سے واقف ہیں، ڈیٹا متوازی ڈیٹا کی ہم آہنگی کا بنیادی حصہ اس طرح کام کرتا ہے: آپ اپنے کلسٹر میں ایک اضافی نوڈ شامل کرتے ہیں، جیسے کہ آپ کے SageMaker تخمینہ کار میں ایک سے دو ml.EC2 مثالوں تک جانا۔ پھر، آپ ڈیٹا متوازی فریم ورک استعمال کرتے ہیں جیسے Horovod، PyTorch Distributed Data Parallel، یا SageMaker Distributed. یہ آپ کے ماڈل کی نقل تیار کرتا ہے، ایک فی ایکسلریٹر، اور آپ کے نیورل نیٹ ورک کے بیک پروپیگیشن مرحلے کے دوران تمام نتائج کو ایک ساتھ لانے کے ساتھ، ہر نوڈ پر ڈیٹا کو شارڈنگ کرنے کا انتظام کرتا ہے۔ تقسیم شدہ تدریجی نزول کے بارے میں سوچیں۔ ڈیٹا متوازی سرورز کے اندر بھی مقبول ہے۔ آپ اپنے تمام نوڈس پر تمام GPUs، اور کبھی کبھار CPUs میں ڈیٹا شیئر کر رہے ہیں۔ مندرجہ ذیل خاکہ اعداد و شمار کے متوازی کو واضح کرتا ہے۔
ماڈل متوازی تھوڑا مختلف ہے. ایک ہی ماڈل کی کاپیاں بنانے کے بجائے، ہم آپ کے ماڈل کو ٹکڑوں میں تقسیم کرتے ہیں۔ پھر ہم اسے چلانے کا انتظام کرتے ہیں، لہذا آپ کا ڈیٹا ابھی بھی آپ کے نیورل نیٹ ورک کے ذریعے بالکل اسی طرح ریاضی کے مطابق بہہ رہا ہے، لیکن آپ کے ماڈل کے مختلف ٹکڑے مختلف GPUs پر بیٹھے ہیں۔ اگر آپ ml.p3.8xlarge استعمال کر رہے ہیں، تو آپ کے پاس چار NVIDIA V100 ہیں، اس لیے آپ شاید اپنے ماڈل کو 4 ٹکڑوں میں تقسیم کرنا چاہیں گے، ایک ٹکڑا فی GPU۔ اگر آپ دو ml.p4d.24xlarge's تک چھلانگ لگاتے ہیں، تو یہ آپ کے کلسٹر میں 16 A100 ہے، لہذا آپ اپنے ماڈل کو 16 ٹکڑوں میں توڑ سکتے ہیں۔ اسے کبھی کبھی کہا جاتا ہے۔ پائپ لائن متوازی اس کی وجہ یہ ہے کہ نیٹ ورک میں پرتوں کا سیٹ پورے GPUs میں تقسیم کیا جاتا ہے، اور GPU کے استعمال کو زیادہ سے زیادہ کرنے کے لیے پائپ لائن میں چلایا جاتا ہے۔ مندرجہ ذیل خاکہ ماڈل کی ہم آہنگی کو واضح کرتا ہے۔
ماڈل کی ہم آہنگی کو پیمانے پر کرنے کے لیے، ہمیں تقسیم کی تیسری قسم کی ضرورت ہے: ٹینسر متوازی. ٹینسر کی ہم آہنگی ایک قدم اور آگے انہی تصورات کا اطلاق کرتی ہے — ہم آپ کے اعصابی نیٹ ورک کی سب سے بڑی تہوں کو توڑ دیتے ہیں اور تہوں کے کچھ حصے خود مختلف آلات پر رکھ دیتے ہیں۔ یہ اس وقت متعلقہ ہے جب آپ 175 بلین پیرامیٹرز یا اس سے زیادہ کے ساتھ کام کر رہے ہوں، اور اس ٹرانسفارمر کو تربیت دینے کے لیے، اپنے ماڈل کے حصوں کے ساتھ، RAM میں بھی کچھ ریکارڈز فٹ کرنے کی کوشش کر رہے ہوں۔ مندرجہ ذیل خاکہ ٹینسر کے متوازی کو واضح کرتا ہے۔
چالو کرنے کے لئے tensor parallelism، اسے smp اختیارات میں سیٹ کریں۔ آپ اپنے تخمینہ لگانے والے کے پاس جاتے ہیں۔
پچھلے کوڈ میں، pipeline_parallel_degree
یہ بیان کرتا ہے کہ آپ کے ماڈل کو کتنے حصوں میں شارڈ کیا جانا چاہئے، پائپ لائن کے متوازی کی بنیاد پر جس پر ہم نے اوپر بات کی ہے۔ اس کے لیے ایک اور لفظ ہے۔ سکور.
ٹینسر متوازی کو فعال کرنے کے لیے، سیٹ کریں۔ tensor_parallel_degree
اپنی مطلوبہ سطح پر۔ اس بات کو یقینی بنائیں کہ آپ فی مثال GPU کی تعداد کے برابر یا اس سے چھوٹا نمبر منتخب کر رہے ہیں، لہذا ml.p8d.4xlarge مشینوں کے لیے 24 سے زیادہ نہیں۔ اسکرپٹ میں اضافی تبدیلیوں کے لیے، رجوع کریں۔ Tensor Parallelism کے ساتھ SageMaker تقسیم شدہ ماڈل متوازی تربیتی جاب چلائیں.
ڈی ڈی پی پیرامیٹر سے مراد تقسیم شدہ ڈیٹا متوازی ہے۔ آپ عام طور پر اس کو فعال کرتے ہیں اگر آپ ڈیٹا متوازی یا ٹینسر متوازی استعمال کر رہے ہیں، کیونکہ ماڈل متوازی لائبریری ان خصوصیات کے لیے DDP پر انحصار کرتی ہے۔
آپٹیمائزر اسٹیٹ شارڈنگ، ایکٹیویشن آف لوڈنگ اور چیک پوائنٹس
اگر آپ کے پاس ایک بہت بڑا ماڈل ہے، تو آپ کو ایک انتہائی بڑی اصلاح کنندہ حالت کی بھی ضرورت ہے۔ ایس ایم پی کے لیے اپنے آپٹیمائزر کو تیار کرنا سیدھا سیدھا ہے: بس اسے اپنی اسکرپٹ میں ڈسک سے اٹھائیں اور اس میں لوڈ کریں۔ smp.DistributedOptimizer()
اعتراض
یقینی بنائیں کہ آپ اسے تخمینہ لگانے والے پر ترتیب دے کر فعال کرتے ہیں۔ shard_optimizer_state
میں سچ ہے smp_options
آپ SMP کو ترتیب دینے کے لیے استعمال کرتے ہیں:
ٹینسر اور پائپ لائن کے متوازی کی طرح، SMP آپ کے ماڈل اور آپ کے عالمی سائز (آپ کے تمام ٹریننگ نوڈس میں GPUs کی کل تعداد) کی بہترین جگہ کا تعین کرنے کی حکمت عملیوں کو تلاش کرتا ہے۔
گہری سیکھنے میں انٹرمیڈیٹ لیئر آؤٹ پٹ کو ایکٹیویشن بھی کہا جاتا ہے، اور ان کو فارورڈ پاس کے دوران اسٹور کرنے کی ضرورت ہوتی ہے۔ اس کی وجہ یہ ہے کہ انہیں پسماندہ پاس میں گریڈینٹ کمپیوٹیشن کے لیے استعمال کرنے کی ضرورت ہے۔ ایک بڑے ماڈل میں، ان تمام ایکٹیویشنز کو بیک وقت میموری میں محفوظ کرنے سے یادداشت میں اہم رکاوٹیں پیدا ہو سکتی ہیں۔ اس رکاوٹ کو دور کرنے کے لیے، آپ استعمال کر سکتے ہیں۔ ایکٹیویشن چیک پوائنٹنگ، SageMaker ماڈل متوازی لائبریری میں تیسری نئی خصوصیت۔ ایکٹیویشن چیک پوائنٹنگ، یا تدریجی چیک پوائنٹنگ, کچھ پرتوں کی ایکٹیویشن کو صاف کرکے اور پسماندہ پاس کے دوران ان کی دوبارہ گنتی کرکے میموری کے استعمال کو کم کرنے کی ایک تکنیک ہے۔ یہ مؤثر طریقے سے میموری کے استعمال میں کمی کے لیے اضافی حسابی وقت کی تجارت کرتا ہے۔
آخر میں، ایکٹیویشن آف لوڈنگ براہ راست ایکٹیویشن چیک پوائنٹ استعمال کرتا ہے۔ یہ ماڈل ٹریننگ کے دوران GPU RAM پر صرف چند ٹینسر ایکٹیویشنز رکھنے کی حکمت عملی ہے۔ خاص طور پر، ہم فارورڈ پاس کے دوران چیک پوائنٹ شدہ ایکٹیویشنز کو CPU میموری میں منتقل کرتے ہیں اور ایک مخصوص مائیکرو بیچ کے پسماندہ پاس کے لیے انہیں واپس GPU پر لوڈ کرتے ہیں۔
مائیکرو بیچز اور پلیسمنٹ کی حکمت عملی
دوسرے موضوعات جو بعض اوقات صارفین کو الجھن کا باعث بنتے ہیں وہ ہیں مائیکرو بیچز اور پلیسمنٹ کی حکمت عملی۔ یہ دونوں ہائپر پیرامیٹر ہیں جو آپ SageMaker ماڈل متوازی لائبریری کو فراہم کر سکتے ہیں۔ خاص طور پر مائیکرو بیچز ایسے ماڈلز کو نافذ کرتے وقت متعلقہ ہوتے ہیں جو پائپ لائن کے متوازی پر انحصار کرتے ہیں، جیسے کہ سائز میں کم از کم 30 بلین پیرامیٹرز یا اس سے زیادہ۔
مائیکرو بیچز منی بیچز کے ذیلی سیٹ ہیں۔ جب آپ کا ماڈل اپنے ٹریننگ لوپ میں ہوتا ہے، تو آپ ریکارڈز کی ایک خاص تعداد کی وضاحت کرتے ہیں کہ وہ پرتوں کے ذریعے آگے اور پیچھے گزریں- اسے کہا جاتا ہے منی بیچ، یا کبھی کبھی صرف a بیچ. آپ کے ڈیٹاسیٹ کے ذریعے مکمل پاس کو کہا جاتا ہے۔ عہد. پائپ لائن کے متوازی کے ساتھ آگے اور پیچھے گزرنے کے لیے، SageMaker ماڈل متوازی لائبریری بیچوں کو چھوٹے سب سیٹوں میں شارڈ کرتی ہے جسے مائیکرو بیچز کہتے ہیں، جو کہ GPU کے استعمال کو زیادہ سے زیادہ کرنے کے لیے ایک وقت میں ایک ہی چلائے جاتے ہیں۔ نتیجے میں، فی GPU مثالوں کے بہت چھوٹے سیٹ کو مائیکرو بیچ کہا جاتا ہے۔ ہماری GPT-2 مثال میں، ہم نے 1 مائکرو بیچ کا ڈیفالٹ براہ راست ٹریننگ اسکرپٹ میں شامل کیا۔.
جیسا کہ آپ اپنی تربیت کی ترتیب کو بڑھاتے ہیں، آپ کو اس کے مطابق اپنے بیچ کا سائز اور مائیکرو بیچ سائز تبدیل کرنے کی سختی سے سفارش کی جاتی ہے۔. اچھی کارکردگی کو یقینی بنانے کا یہ واحد طریقہ ہے: پائپ لائن کے متوازی پر انحصار کرتے وقت آپ کو بیچ سائز اور مائیکرو بیچ کے سائز کو اپنے مجموعی عالمی سائز کے فنکشن کے طور پر غور کرنا چاہیے۔
پلیسمنٹ کی حکمت عملی یہ ہے کہ سیج میکر کو جسمانی طور پر کیسے بتایا جائے کہ اپنے ماڈل پارٹیشنز کو کہاں رکھنا ہے۔ اگر آپ ماڈل متوازی اور ڈیٹا متوازی، سیٹنگ دونوں استعمال کر رہے ہیں۔ placement_strategy
کرنے کے لئے “cluster”
ڈیوائس آئی ڈی (GPUs) میں ماڈل کی نقلیں رکھتا ہے جو جسمانی طور پر ایک دوسرے کے قریب ہیں۔ تاہم، اگر آپ واقعی اپنی متوازی حکمت عملی کے بارے میں مزید وضاحتی بننا چاہتے ہیں، تو آپ اسے تین حروف کے مختلف مجموعوں کے ساتھ ایک ہی تار میں توڑ سکتے ہیں: ڈیٹا کے متوازی کے لیے D، P
پائپ لائن متوازی کی طرف اشارہ کرتا ہے، اور T
ٹینسر متوازی کے لیے۔ ہم عام طور پر کی ڈیفالٹ پلیسمنٹ رکھنے کی تجویز کرتے ہیں۔ "cluster"
کیونکہ یہ بڑے پیمانے پر ماڈل ٹریننگ کے لیے موزوں ترین ہے۔ "کلسٹر" کی جگہ کا تعین "کے مساوی ہےDPT
".
تقرری کی حکمت عملیوں کے بارے میں مزید معلومات کے لیے، دیکھیں ٹینسر متوازی کے ساتھ پلیسمنٹ کی حکمت عملی.
مثال استعمال کیس
آئیے تصور کریں کہ آپ کی تربیتی ملازمت میں ایک ملی لیٹر پی3.16x بڑا ہے۔ یہ آپ کو دیتا ہے۔ 8 NVIDIA V100's فی نوڈ. یاد رکھیں، جب بھی آپ کوئی اضافی مثال شامل کرتے ہیں، آپ کو اضافی بینڈوتھ اوور ہیڈ کا تجربہ ہوتا ہے، اس لیے ایک نوڈ پر زیادہ GP'Us رکھنا ہمیشہ بہتر ہے۔ اس صورت میں، آپ ایک ml.p3.16xlarge کے ساتھ بہتر ہیں، مثال کے طور پر، دو ml.p3.8xlarges سے۔ اگرچہ GPUs کی تعداد یکساں ہے، اضافی نوڈ کا اضافی بینڈوڈتھ اوور ہیڈ آپ کے تھرو پٹ کو سست کر دیتا ہے۔
مندرجہ ذیل خاکہ دو طرفہ ڈیٹا متوازی کے ساتھ مل کر چار طرفہ ماڈل متوازی کی وضاحت کرتا ہے۔ اس کا مطلب ہے کہ آپ کے پاس اپنے ماڈل کی دو نقلیں ہیں (سوچیں ڈیٹا متوازی)، ان میں سے ہر ایک کو چار GPU (ماڈل متوازی) میں تقسیم کیا گیا ہے۔
اگر ان ماڈل پارٹیشنز میں سے کوئی ایک واحد GPU پر فٹ ہونے کے لیے بہت بڑا ہے، تو آپ اسے تھوکنے اور دونوں ڈیوائسز کو استعمال کرنے کے لیے ایک اضافی قسم کی ڈسٹری بیوشن – ٹینسر ہم آہنگی شامل کر سکتے ہیں۔
نتیجہ
اس بلاگ پوسٹ میں ہم نے سیج میکر کی تقسیم شدہ تربیتی لائبریریوں پر تبادلہ خیال کیا، خاص طور پر ماڈل متوازی پر توجہ مرکوز کرتے ہوئے۔ ہم نے اپنے تازہ ترین ٹیسٹ سے کارکردگی کے بینچ مارکس کا اشتراک کیا، جس میں Amazon SageMaker پر 32 ml.p120d.4x بڑی مثالوں اور 24B پیرامیٹرز میں فی سیکنڈ 175 نمونے حاصل کیے گئے۔ ہم توقع کرتے ہیں کہ اگر ہم اسے 240 p4 تک بڑھا دیتے ہیں تو ہم 175 دنوں میں 25B پیرامیٹر ماڈل کو تربیت دے سکتے ہیں۔
ہم نے جدید ترین خصوصیات پر بھی تبادلہ خیال کیا جو بڑے پیمانے پر تربیت کو قابل بناتی ہیں، یعنی ٹینسر متوازی، آپٹیمائزر اسٹیٹ شارڈنگ، ایکٹیویشن چیک پوائنٹ، اور ایکٹیویشن آف لوڈنگ۔ ہم نے Amazon SageMaker پر تربیت کے ذریعے اسے فعال کرنے کے لیے کچھ تجاویز اور ترکیبیں شیئر کیں۔
اسے خود آزمائیں۔ اسی نوٹ بک کا استعمال کرتے ہوئے جس نے ہمارے نمبر بنائے، جو یہاں GitHub پر دستیاب ہے۔. آپ اپنے AWS اکاؤنٹ کے لیے مزید GPUs کی درخواست بھی کر سکتے ہیں۔ یہاں سروس کی حد کی منظوری کی درخواست کرنا.
مصنفین کے بارے میں
ایملی ویبر SageMaker کے لانچ ہونے کے فوراً بعد AWS میں شامل ہوا، اور تب سے دنیا کو اس کے بارے میں بتانے کی کوشش کر رہا ہے! صارفین کے لیے ایم ایل کے نئے تجربات بنانے کے علاوہ، ایملی کو تبتی بدھ مت کا مراقبہ اور مطالعہ کرنا پسند ہے۔
آدتیہ بندل اے ڈبلیو ایس ڈیپ لرننگ کے لیے ایک سینئر پروڈکٹ مینیجر ہے۔ وہ ایسی مصنوعات پر کام کرتا ہے جو صارفین کے لیے AWS پر گہری سیکھنے کے ماڈلز کو تربیت دینا آسان بناتی ہیں۔ اپنے فارغ وقت میں، وہ اپنی بیٹی کے ساتھ وقت گزارنے، ٹینس کھیلنے، تاریخی افسانے پڑھنے اور سفر کرنے میں لطف اندوز ہوتے ہیں۔
لوئس کوئنٹیلا AWS SageMaker ماڈل متوازی لائبریری کے لیے سافٹ ویئر ڈیولپر مینیجر ہے۔ اپنے فارغ وقت میں، وہ SF بے ایریا میں اپنے ہارلے پر سوار پایا جا سکتا ہے۔
- سکے سمارٹ۔ یورپ کا بہترین بٹ کوائن اور کرپٹو ایکسچینج۔
- پلیٹو بلاک چین۔ Web3 Metaverse انٹیلی جنس۔ علم میں اضافہ۔ مفت رسائی۔
- کرپٹو ہاک۔ Altcoin ریڈار. مفت جانچ.
- ماخذ: https://aws.amazon.com/blogs/machine-learning/train-175-billion-parameter-nlp-models-with-model-parallel-additions-and-hugging-face-on-amazon-sagemaker/
- "
- 000
- 100
- 2020
- 39
- ہمارے بارے میں
- مسرع
- اکاؤنٹ
- حاصل کیا
- کے پار
- ایڈیشنل
- پتہ
- اعلی درجے کی
- تمام
- پہلے ہی
- ایمیزون
- ایک اور
- ایپلی کیشنز
- رقبہ
- دستیاب
- AWS
- خلیج
- BEST
- سب سے بڑا
- ارب
- بلاگ
- عمارت
- کیونکہ
- تبدیل
- بادل
- کوڈ
- کے مجموعے
- کامن
- مواصلات
- ترتیب
- الجھن
- کنٹینر
- کور
- سکتا ہے
- گاہکوں
- اعداد و شمار
- ترقی یافتہ
- ڈیولپر
- ترقی
- آلہ
- کے الات
- مختلف
- تقسیم کئے
- تقسیم
- نیچے
- کارفرما
- کو فعال کرنا
- خاص طور پر
- مثال کے طور پر
- تجربہ
- تجربات
- انتہائی
- چہرہ
- تیز تر
- نمایاں کریں
- خصوصیات
- افسانے
- فٹ
- کے بعد
- آگے
- ملا
- فریم ورک
- مکمل
- تقریب
- جنرل
- پیدا
- GitHub کے
- جا
- اچھا
- گوگل
- Google تلاش
- GPU
- ہارڈ ویئر
- مدد گار
- نمایاں کریں
- تاریخی
- کس طرح
- کیسے
- HTTPS
- سینکڑوں
- اضافہ
- معلومات
- متاثر
- ضم
- مسائل
- IT
- ایوب
- شامل ہو گئے
- کودنے
- رکھتے ہوئے
- زبان
- بڑے
- تازہ ترین
- شروع
- جانیں
- سیکھنے
- سطح
- لائبریری
- لوڈ
- مشین
- مشین لرننگ
- مشینیں
- بنانا
- مینیجر
- یاد داشت
- ML
- ماڈل
- ماڈل
- ماڈیولر
- سب سے زیادہ
- منتقل
- یعنی
- قدرتی
- نیٹ ورک
- نئی خصوصیات
- نوڈس
- نوٹ بک
- تعداد
- دیگر
- کاغذ.
- شراکت دار
- کارکردگی
- ٹکڑا
- پلیٹ فارم
- مقبول
- ممکن
- پرائمری
- مصنوعات
- حاصل
- پروفائلز
- فراہم
- RAM
- RE
- پڑھنا
- سفارش
- ریکارڈ
- کو کم
- نتائج کی نمائش
- رن
- چل رہا ہے
- کہا
- توسیع پذیر
- پیمانے
- سکیلنگ
- sdk
- تلاش کریں
- سروس
- مقرر
- قائم کرنے
- شارڈنگ
- مشترکہ
- اہم
- سائز
- So
- سافٹ ویئر کی
- خاص طور پر
- تیزی
- خرچ کرنا۔
- تقسیم
- حالت
- حکمت عملیوں
- حکمت عملی
- فراہمی
- حکمت عملی
- تکنیک
- ٹیسٹ
- دنیا
- ہزاروں
- کے ذریعے
- وقت
- تجاویز
- تجاویز اور ترکیبیں
- مل کر
- موضوعات
- تجارت
- ٹریننگ
- سمجھ
- استعمال کی شرائط
- استعمال
- نقطہ نظر
- کے اندر
- کام کر
- کام کرتا ہے
- دنیا
- سال