کثیر کرایہ دار SaaS استعمال کے کیسز کے لیے مشین لرننگ انفرنس کو کیسے پیمانہ کریں۔

یہ پوسٹ Zendesk میں Swmya Manusani، سینئر اسٹاف مشین لرننگ انجینئر کے ساتھ مل کر لکھی گئی ہے۔

ZenDesk کے ایک SaaS کمپنی ہے جو بنیاد کے طور پر سادگی کے ساتھ ہر ایک کے لیے سپورٹ، سیلز، اور گاہک کی مشغولیت کا سافٹ ویئر بناتی ہے۔ یہ دنیا بھر میں 170,000 سے زیادہ کمپنیاں بنانے میں ترقی کرتی ہے جو اپنے لاکھوں صارفین کو مؤثر طریقے سے خدمت کرتی ہے۔ Zendcaesk میں مشین لرننگ ٹیم کسٹمر کے تجربے کی ٹیموں کو بہتر بنانے کے لیے ذمہ دار ہے۔ ڈیٹا اور لوگوں کی طاقت کو ملا کر، Zendesk ذہین پروڈکٹس فراہم کرتا ہے جو دستی کام کو خودکار کر کے اپنے صارفین کو زیادہ پیداواری بناتی ہے۔

Zendesk 2015 سے ML مصنوعات بنا رہا ہے، بشمول جواب بوٹ, اطمینان کی پیشن گوئی, مواد کے اشارے, تجویز کردہ میکرو، اور بہت کچھ۔ پچھلے کچھ سالوں میں، گہری سیکھنے میں ترقی کے ساتھ، خاص طور پر NLP میں، انہوں نے کام کے بہاؤ کو خودکار کرنے اور Zendesk کے حل کے ساتھ اپنے صارفین کی مدد کرنے میں ایجنٹوں کی مدد کرنے کے بہت سارے مواقع دیکھے۔ Zendesk فی الحال گہری سیکھنے کے ماڈل بنانے کے لیے TensorFlow اور PyTorch کا استعمال کرتا ہے۔

Zendesk جیسے صارفین نے Amazon Web Services (AWS) پر ایک سروس (SaaS) کاروبار کے طور پر کامیاب، اعلیٰ درجے کا سافٹ ویئر بنایا ہے۔ ایک کامیاب SaaS کاروباری ماڈل کے لیے ایک اہم ڈرائیور درخواست اور انفراسٹرکچر میں کثیر کرایہ داری کو لاگو کرنے کی صلاحیت ہے۔ یہ لاگت اور آپریشنل افادیت کو قابل بناتا ہے کیونکہ ایپلیکیشن کو صرف ایک بار بنانے کی ضرورت ہوتی ہے، لیکن اسے کئی بار استعمال کیا جا سکتا ہے اور انفراسٹرکچر کا اشتراک کیا جا سکتا ہے۔ ہم دیکھتے ہیں کہ بہت سے گاہک AWS پر اسٹیک کی تمام پرتوں پر کمپیوٹ، سٹوریج، ڈیٹا بیس سے لے کر نیٹ ورکنگ تک محفوظ، کم خرچ، کثیر کرایہ دار نظام بناتے ہیں، اور اب ہم دیکھ رہے ہیں کہ گاہکوں کو اسے مشین لرننگ (ML) پر لاگو کرنے کی ضرورت ہے۔ )۔

ماڈل کے دوبارہ استعمال اور ہائپر پرسنلائزیشن کے درمیان مشکل تجارت کرنا

SaaS کاروباروں کے لیے ملٹی کرایہ داری کا عام طور پر مطلب یہ ہوتا ہے کہ ایک ہی ایپلیکیشن کو بہت سے صارفین (SaaS صارفین) کے درمیان دوبارہ استعمال کیا جاتا ہے۔ یہ لاگت کی استعداد پیدا کرتا ہے اور آپریشنل اوور ہیڈ کو کم کرتا ہے۔ تاہم، درست پیشین گوئیاں کرنے کے لیے مشین لرننگ ماڈلز کو بعض اوقات اعلیٰ درجے کی خصوصیت (ہائپر پرسنلائزڈ) کے لیے ذاتی نوعیت کا بنانا پڑتا ہے۔ اس کا مطلب ہے "ایک بار بنائیں، کئی بار استعمال کریں" SaaS پیراڈائم کو ہمیشہ ML پر لاگو نہیں کیا جا سکتا اگر ماڈلز میں کوئی خاصیت ہو۔ مثال کے طور پر کسٹمر سپورٹ پلیٹ فارمز کے استعمال کا معاملہ لیں۔ صارف سپورٹ ٹکٹ میں جو زبان شامل کرتے ہیں وہ اس بات پر منحصر ہوتی ہے کہ آیا یہ رائیڈ شیئر کا مسئلہ ہے ("سوار بہت زیادہ وقت لگا") یا کپڑے کی خریداری کا مسئلہ ("دھونے پر رنگین ہو جانا")۔ استعمال کے اس معاملے میں، بہترین تدارک کے عمل کی پیشین گوئی کی درستگی کو بہتر بنانے کے لیے کسی کاروباری ڈومین یا صنعت کے عمودی کے لیے مخصوص ڈیٹاسیٹ پر قدرتی لینگویج پروسیسنگ (NLP) ماڈل کی تربیت کی ضرورت پڑ سکتی ہے۔ Zendesk کو بالکل اسی چیلنج کا سامنا کرنا پڑتا ہے جب ان کے حل میں ML کا فائدہ اٹھانے کی کوشش کی جاتی ہے۔ انہیں ہزاروں انتہائی حسب ضرورت ایم ایل ماڈلز بنانے کی ضرورت تھی، ہر ایک مخصوص گاہک کے لیے تیار کیا گیا تھا۔ مؤثر طریقے سے لاگت سے ہزاروں ماڈلز کی تعیناتی کے اس چیلنج کو حل کرنے کے لیے، Zendesk نے Amazon SageMaker کا رخ کیا۔

اس پوسٹ میں، ہم دکھاتے ہیں کہ کی کچھ نئی خصوصیات کو کیسے استعمال کیا جائے۔ ایمیزون سیج میکر، ایک مکمل طور پر منظم مشین لرننگ سروس، ایک کثیر کرایہ دار ML انفرنس کی صلاحیت کو بنانے کے لیے۔ ہم اس کی ایک حقیقی دنیا کی مثال بھی شیئر کرتے ہیں کہ کس طرح Zendesk نے اپنے ML ماڈلز میں ہائپر پرسنلائزیشن کو سپورٹ کرنے کے قابل ہونے اور SageMaker ملٹی ماڈل اینڈ پوائنٹس کا استعمال کرتے ہوئے بنیادی ڈھانچے کے مشترکہ استعمال کے درمیان ایک خوشگوار میڈیم کی تعیناتی سے کامیابی کے ساتھ وہی نتیجہ حاصل کیا۔ ایم ایم ای)۔

سیج میکر ملٹی ماڈل اینڈ پوائنٹس

سیج میکر ملٹی ماڈل اینڈ پوائنٹس آپ کو ایک ہی انفرنس اینڈ پوائنٹ کے پیچھے متعدد ماڈلز تعینات کرنے کے قابل بناتے ہیں جس میں ایک یا زیادہ مثالیں شامل ہوسکتی ہیں۔ ہر مثال کو اس کی میموری اور CPU کی گنجائش تک متعدد ماڈلز کو لوڈ کرنے اور پیش کرنے کے لیے ڈیزائن کیا گیا ہے۔ اس آرکیٹیکچر کے ساتھ، ایک SaaS کاروبار متعدد ماڈلز کی میزبانی کی لکیری طور پر بڑھتی ہوئی لاگت کو توڑ سکتا ہے اور ایپلیکیشن اسٹیک میں کہیں اور لاگو کیے گئے ملٹی ٹینسی ماڈل کے مطابق انفراسٹرکچر کا دوبارہ استعمال حاصل کر سکتا ہے۔

درج ذیل خاکہ سیج میکر ملٹی ماڈل اینڈ پوائنٹ کے فن تعمیر کو واضح کرتا ہے۔

سیج میکر ملٹی ماڈل اینڈ پوائنٹ متحرک طور پر ماڈلز سے لوڈ کرتا ہے۔ ایمیزون سادہ اسٹوریج سروس (Amazon S3) کی درخواست کرنے پر، تمام ماڈلز کو ڈاؤن لوڈ کرنے کے بجائے جب اینڈ پوائنٹ پہلی بار بنایا گیا ہو۔ نتیجے کے طور پر، کسی ماڈل کے لیے ابتدائی درخواست میں بعد کے انفرنسز کے مقابلے میں زیادہ قیاس میں تاخیر نظر آسکتی ہے، جو کم تاخیر کے ساتھ مکمل ہوتے ہیں۔ اگر ماڈل پہلے ہی کنٹینر پر بھری ہوئی ہے جب درخواست کی جاتی ہے، تو ڈاؤن لوڈ کا مرحلہ چھوڑ دیا جاتا ہے اور ماڈل کم تاخیر کے ساتھ نتائج کو واپس کرتا ہے۔ مثال کے طور پر، فرض کریں کہ آپ کے پاس ایک ماڈل ہے جو دن میں صرف چند بار استعمال ہوتا ہے۔ یہ خود بخود ڈیمانڈ پر لوڈ ہو جاتا ہے، جب کہ کثرت سے رسائی حاصل کرنے والے ماڈلز کو میموری میں برقرار رکھا جاتا ہے اور مستقل طور پر کم تاخیر کے ساتھ استعمال کیا جاتا ہے۔

آئیے اس پر قریبی نظر ڈالتے ہیں کہ کس طرح Zendesk نے SageMaker MME کو اپنی تجویز کردہ میکروس ML خصوصیت کے ساتھ لاگت سے موثر، ہائپر اسکیل ML تعیناتی حاصل کرنے کے لیے استعمال کیا۔

زینڈیسک نے ہائپر پرسنلائزڈ ماڈل کیوں بنائے

Zendesk کے صارفین عالمی سطح پر مختلف صنعتی عمودی حصوں میں مختلف سپورٹ ٹکٹ سیمنٹکس کے ساتھ پھیلے ہوئے ہیں۔ لہذا، اپنے صارفین کی بہترین خدمت کرنے کے لیے، انہیں اکثر ذاتی نوعیت کے ماڈلز بنانے ہوتے ہیں جو کہ کسٹمر کے مخصوص سپورٹ ٹکٹ کے ڈیٹا پر تربیت یافتہ ہوتے ہیں تاکہ صحیح طریقے سے ارادے، میکروز اور مزید کی شناخت کی جا سکے۔

اکتوبر 2021 میں، انہوں نے ایک نیا NLP ML فیچر، Suggested Macros جاری کیا، جو ہزاروں کسٹمر کے مخصوص ماڈل کی پیشین گوئیوں کی بنیاد پر میکروز (پہلے سے طے شدہ اعمال) کی سفارش کرتا ہے۔ Zendesk کی ML ٹیم نے TensorFlow پر مبنی NLP کلاسیفائر ماڈل بنایا جس کی تربیت ٹکٹ کے مواد کی پچھلی تاریخ اور فی گاہک میکرو ہے۔ دستیاب ان ماڈلز کے ساتھ، جب بھی کوئی ایجنٹ ٹکٹ دیکھتا ہے (جیسا کہ مندرجہ ذیل اسکرین شاٹ میں دکھایا گیا ہے)، ایک میکرو پیشین گوئی کی سفارش کی جاتی ہے، جو صارفین کو تیزی سے خدمت کرنے میں ایجنٹ کی مدد کرتا ہے۔ چونکہ میکرو صارفین کے لیے مخصوص ہیں، اس لیے Zendesk کو درست پیشین گوئیاں پیش کرنے کے لیے گاہک کے لیے مخصوص ماڈلز کی ضرورت ہے۔

Zendesk کے تجویز کردہ میکروز کے نیچے

تجویز کردہ میکروس ماڈلز NLP پر مبنی نیورل نیٹ ہیں جن کا سائز تقریباً 7-15 MB ہے۔ اہم چیلنج ان ہزاروں ماڈلز کو لاگت سے موثر، قابل بھروسہ، اور توسیع پذیر حل کے ساتھ پیداوار میں رکھنا ہے۔

ہر ماڈل میں ٹریفک کے مختلف نمونے ہوتے ہیں، جس میں فی سیکنڈ کم از کم دو درخواستیں ہوتی ہیں اور فی سیکنڈ سینکڑوں درخواستوں کی چوٹی ہوتی ہے، جب ماڈل میموری میں دستیاب ہوتا ہے تو تقریباً 100 ملی سیکنڈ کے ماڈل لیٹینسی کے ساتھ روزانہ لاکھوں پیشین گوئیاں پیش کرتے ہیں۔ SageMaker اینڈ پوائنٹس کو متعدد AWS ریجنز میں تعینات کیا گیا ہے، جو فی منٹ فی اینڈ پوائنٹ پر ہزاروں درخواستیں پیش کرتے ہیں۔

ایک ہی اینڈ پوائنٹ پر ایک سے زیادہ ماڈلز کی میزبانی کرنے کی صلاحیت کے ساتھ، SageMaker نے Zendesk کو تعیناتی اوور ہیڈ کو کم کرنے اور ایک لاگت سے موثر حل بنانے میں مدد کی جب فی صارف سنگل ماڈل اینڈ پوائنٹ کی تعیناتی کے مقابلے میں۔ یہاں ٹریڈ آف فی ماڈل مینجمنٹ پر کم کنٹرول ہے۔ تاہم، یہ ایک ایسا علاقہ ہے جہاں Zendesk ملٹی ماڈل اینڈ پوائنٹس کو بہتر بنانے کے لیے AWS کے ساتھ تعاون کر رہا ہے۔

SageMaker ملٹی ماڈل فیچرز میں سے ایک ماڈلز کی سست لوڈنگ ہے، یعنی جب پہلی بار طلب کیا جاتا ہے تو ماڈلز کو میموری میں لوڈ کیا جاتا ہے۔ یہ میموری کے استعمال کو بہتر بنانے کے لیے ہے۔ تاہم، یہ پہلے لوڈ پر رسپانس ٹائم اسپائکس کا سبب بنتا ہے، جسے کولڈ اسٹارٹ مسئلہ کے طور پر دیکھا جا سکتا ہے۔ تجویز کردہ میکروز کے لیے، یہ ایک چیلنج تھا۔ تاہم، Zendesk نے پروڈکشن ٹریفک کو پیش کرنے سے پہلے ماڈلز کو میموری میں لوڈ کرنے کے لیے SageMaker اینڈ پوائنٹ کے اوپر ایک پری لوڈنگ فعالیت کو نافذ کرکے اس پر قابو پالیا۔ دوم، MME کبھی کبھار استعمال ہونے والے ماڈلز کو میموری سے اتارتا ہے، اس لیے تمام ماڈلز پر مسلسل کم تاخیر کو حاصل کرنے اور دوسرے کم فعال ماڈلز پر اثر انداز ہونے والے "شور پڑوسیوں" سے بچنے کے لیے، Zendesk AWS کے ساتھ نئی خصوصیات شامل کرنے کے لیے تعاون کر رہا ہے، جس پر پوسٹ میں بعد میں بحث کی گئی ہے، تاکہ اسے فعال کیا جا سکے۔ زیادہ واضح فی ماڈل مینجمنٹ۔ مزید برآں، ایک عبوری حل کے طور پر، Zendesk نے بہت زیادہ ماڈلز کو اتارنے کو کم کرنے کے لیے MME فلیٹ کو دائیں سائز کا بنایا ہے۔ اس کے ساتھ، Zendesk اپنے تمام صارفین کو کم لیٹنسی، تقریباً 100 ملی سیکنڈز کے ساتھ پیشین گوئیاں کرنے کے قابل ہے، اور پھر بھی وقف شدہ اختتامی پوائنٹس کے مقابلے میں 90% لاگت کی بچت حاصل کر سکتا ہے۔

دائیں سائز والے MME پر، Zendesk نے لوڈ ٹیسٹنگ کے دوران مشاہدہ کیا کہ MME کے پیچھے زیادہ تعداد میں چھوٹی مثالیں (افقی اسکیلنگ پر تعصب) کم بڑی میموری مثالوں (عمودی اسکیلنگ) سے بہتر انتخاب تھا۔ Zendesk نے مشاہدہ کیا کہ ایک بڑی میموری مثال پر بہت سارے ماڈلز (ان کے کیس میں 500 TensorFlow ماڈلز سے زیادہ) کو پیک کرنا اچھا کام نہیں کرتا ہے کیونکہ میموری واحد وسیلہ نہیں ہے جو ایک رکاوٹ بن سکتا ہے۔ مزید خاص طور پر، انہوں نے مشاہدہ کیا کہ TensorFlow نے فی ماڈل ایک سے زیادہ تھریڈز (3 x کل مثال کے vCPUs) کو جنم دیا، لہذا ایک مثال پر 500 سے زیادہ ماڈلز لوڈ کرنے سے دھاگوں کی زیادہ سے زیادہ تعداد پر کرنل لیول کی حدیں ٹوٹ گئیں جو ایک مثال پر پیدا کیے جا سکتے ہیں۔ کم، بڑی مثالوں کے استعمال کے ساتھ ایک اور مسئلہ اس وقت پیش آیا جب Zendesk نے MME کے پیچھے کچھ مثالوں پر تھروٹلنگ (حفاظتی طریقہ کار کے طور پر) کا تجربہ کیا کیونکہ منفرد ماڈل کی درخواست فی سیکنڈ کی شرح سے زیادہ تھی۔ ملٹی ماڈل سرور (MMS) کسی ایک مثال پر مثال کو براؤن کیے بغیر محفوظ طریقے سے سنبھال سکتا ہے۔ یہ ایک اور مسئلہ تھا جسے زیادہ اور چھوٹی مثالوں کے استعمال سے حل کیا گیا تھا۔

مشاہداتی نقطہ نظر سے، جو کسی بھی پروڈکشن ایپلی کیشن کا ایک اہم جزو ہے، ایمیزون کلاؤڈ واچ انووکیشنز، سی پی یو، میموری یوٹیلائزیشن، اور ملٹی ماڈل مخصوص میٹرکس جیسے میموری میں لوڈ شدہ ماڈلز، ماڈل لوڈنگ ٹائم، ماڈل لوڈ انتظار کا وقت، اور ماڈل کیش ہٹ معلوماتی ہیں۔ خاص طور پر، ماڈل لیٹنسی کے ٹوٹنے سے Zendesk کو کولڈ اسٹارٹ کے مسئلے اور اس کے اثرات کو سمجھنے میں مدد ملی۔

ایم ایم ای آٹو اسکیلنگ کے تحت

ہر ملٹی ماڈل اینڈ پوائنٹ کے پیچھے، ماڈل ہوسٹنگ کی مثالیں ہیں، جیسا کہ مندرجہ ذیل خاکہ میں دکھایا گیا ہے۔ یہ مثالیں ماڈلز کے ٹریفک پیٹرن کی بنیاد پر میموری میں اور ان سے متعدد ماڈلز کو لوڈ اور بے دخل کرتی ہیں۔

سیج میکر کسی ماڈل کے لیے انفرنس کی درخواستوں کو اس صورت میں روٹ کرنا جاری رکھتا ہے جہاں ماڈل پہلے ہی اس طرح سے لوڈ ہو کہ درخواستیں کیشڈ ماڈل کاپی سے پیش کی جائیں (مندرجہ ذیل خاکہ دیکھیں، جو پہلی پیشین گوئی کی درخواست کے لیے درخواست کا راستہ دکھاتا ہے بمقابلہ کیش شدہ پیشن گوئی کی درخواست راستہ)۔ تاہم، اگر ماڈل کو بہت ساری درخواستیں موصول ہوتی ہیں، اور ملٹی ماڈل اینڈ پوائنٹ کے لیے اضافی مثالیں موجود ہیں، تو SageMaker کچھ درخواستوں کو کسی اور مثال کے لیے روٹ کرتا ہے تاکہ اضافہ کو ایڈجسٹ کیا جا سکے۔ SageMaker میں خودکار ماڈل اسکیلنگ کا فائدہ اٹھانے کے لیے، یقینی بنائیں کہ آپ کے پاس موجود ہے۔ مثال کے طور پر آٹو اسکیلنگ سیٹ اپ اضافی مثال کی گنجائش فراہم کرنے کے لیے۔ اختتامی بیڑے میں مزید مثالیں شامل کرنے کے لیے اپنی اینڈ پوائنٹ لیول اسکیلنگ پالیسی کو حسب ضرورت پیرامیٹرز یا درخواست فی منٹ (تجویز کردہ) کے ساتھ ترتیب دیں۔

ایم ایم ای کے لیے موزوں ترین کیسز استعمال کریں۔

SageMaker ملٹی ماڈل اینڈ پوائنٹس ملتے جلتے ماڈلز کی ایک بڑی تعداد کی میزبانی کے لیے موزوں ہیں جنہیں آپ مشترکہ سرونگ کنٹینر کے ذریعے پیش کر سکتے ہیں اور ایک ہی وقت میں تمام ماڈلز تک رسائی کی ضرورت نہیں ہے۔ MME ان ماڈلز کے لیے بہترین موزوں ہے جو سائز اور درخواست میں تاخیر سے ملتے جلتے ہیں۔ ماڈل کے سائز میں کچھ تغیر قابل قبول ہے۔ مثال کے طور پر، Zendesk کے ماڈلز کی حد 10-50 Mb ہے، جو ٹھیک کام کرتی ہے، لیکن سائز میں تغیرات جو 10، 50، یا 100 گنا زیادہ کا عنصر ہیں مناسب نہیں ہیں۔ بڑے ماڈلز زیادہ تعداد میں لوڈ اور چھوٹے ماڈلز کو اتارنے کا سبب بن سکتے ہیں تاکہ میموری کی کافی جگہ مل سکے، جس کے نتیجے میں اختتامی نقطہ پر اضافی تاخیر ہو سکتی ہے۔ بڑے ماڈلز کی کارکردگی کی خصوصیات میں فرق CPU جیسے وسائل کو غیر مساوی طور پر استعمال کر سکتا ہے، جو مثال کے طور پر دوسرے ماڈلز کو متاثر کر سکتا ہے۔

MME کو شریک ہوسٹنگ ماڈلز کے لیے بھی ڈیزائن کیا گیا ہے جو ایک ہی ML فریم ورک کا استعمال کرتے ہیں کیونکہ وہ ایک سے زیادہ ماڈلز کو لوڈ کرنے کے لیے مشترکہ کنٹینر کا استعمال کرتے ہیں۔ اس لیے، اگر آپ کے ماڈل فلیٹ میں ML فریم ورک کا مرکب ہے (جیسے کہ PyTorch اور TensorFlow)، SageMaker وقف شدہ اختتامی پوائنٹس یا ملٹی کنٹینر ہوسٹنگ ایک بہتر انتخاب ہے۔ آخر میں، MME ایسی ایپلی کیشنز کے لیے موزوں ہے جو کبھی کبھار کولڈ اسٹارٹ لیٹنسی پنالٹی کو برداشت کر سکتی ہیں کیونکہ کثرت سے استعمال کیے جانے والے ماڈلز کے حق میں آف لوڈ کیے جا سکتے ہیں۔ اگر آپ کے پاس کبھی کبھار ہی رسائی حاصل کرنے والے ماڈلز کی لمبی دم ہے، تو ایک ملٹی ماڈل اینڈ پوائنٹ اس ٹریفک کو مؤثر طریقے سے پیش کر سکتا ہے اور قیمت کی اہم بچت کو فعال کر سکتا ہے۔

خلاصہ

اس پوسٹ میں، آپ نے سیکھا کہ SaaS اور کثیر کرایہ داری کا ML سے کیا تعلق ہے اور کس طرح SageMaker ملٹی ماڈل اینڈ پوائنٹس کثیر کرایہ داری اور ML تخمینہ کے لیے لاگت کی کارکردگی کو قابل بناتے ہیں۔ آپ نے Zendesk کے فی گاہک ML ماڈلز کے کثیر کرایہ دار استعمال کے کیس کے بارے میں سیکھا اور کس طرح انہوں نے SageMaker MME میں اپنی تجویز کردہ میکروس خصوصیت کے لیے ہزاروں ML ماڈلز کی میزبانی کی اور سرشار اختتامی پوائنٹس کے مقابلے میں %90 لاگت کی بچت حاصل کی۔ ہائپر پرسنلائزیشن کے استعمال کے کیسز میں ہزاروں ایم ایل ماڈلز کی ضرورت پڑسکتی ہے، اور اس استعمال کے کیس کے لیے ایم ایم ای ایک سرمایہ کاری مؤثر انتخاب ہے۔ ہم MME میں اضافہ کرنا جاری رکھیں گے تاکہ آپ کو کم تاخیر والے ماڈلز کی میزبانی کرنے کے قابل بنایا جا سکے اور ہر ذاتی نوعیت کے ماڈل کے لیے زیادہ دانے دار کنٹرول کے ساتھ۔ MME کے ساتھ شروع کرنے کے لیے، دیکھیں ایک اختتامی نقطہ کے پیچھے ایک کنٹینر میں متعدد ماڈلز کی میزبانی کریں۔.

---

مصنفین کے بارے میں

سید جعفری AWS کے ساتھ ایک Sr. Solutions آرکیٹیکٹ ہے۔ وہ درمیانے درجے کی تنظیموں سے لے کر بڑے کاروباری اداروں تک، ISVs کو مالیاتی خدمات، کلاؤڈ میں محفوظ، لچکدار، توسیع پذیر، اور اعلی کارکردگی کی ایپلی کیشنز بنانے اور چلانے میں ان کی مدد کرنے کے لیے کام کرتا ہے۔

سومیا مانوسانی Zendesk میں ایک سینئر اسٹاف مشین لرننگ انجینئر ہے۔ وہ NLP پر مبنی مشین لرننگ خصوصیات کو تیار کرنے پر کام کرتی ہے جو Zendesk Enterprise کے ہزاروں صارفین کے لیے ایجنٹ کی پیداواری صلاحیت کو بہتر بنانے پر مرکوز ہے۔ اسے ہزاروں پرسنلائزڈ ماڈلز کے لیے خودکار ٹریننگ پائپ لائنز بنانے اور محفوظ، لچکدار، توسیع پذیر، اور اعلیٰ کارکردگی والی ایپلی کیشنز کا استعمال کرتے ہوئے ان کی خدمت کرنے کا تجربہ ہے۔ اپنے فارغ وقت میں وہ پہیلیاں حل کرنا اور پینٹنگ کرنا پسند کرتی ہیں۔

سوربھ تریکنڈے Amazon SageMaker Inference کے لیے ایک سینئر پروڈکٹ مینیجر ہے۔ وہ صارفین کے ساتھ کام کرنے اور مشین لرننگ کو مزید قابل رسائی بنانے کا شوق رکھتا ہے۔ اپنے فارغ وقت میں، سوربھ کو پیدل سفر کرنا، اختراعی ٹیکنالوجیز کے بارے میں سیکھنا، TechCrunch کی پیروی کرنا اور اپنے خاندان کے ساتھ وقت گزارنا پسند ہے۔

دیپتی راگھا۔ ایمیزون سیج میکر ٹیم میں سافٹ ویئر ڈویلپمنٹ انجینئر ہے۔ اس کا موجودہ کام مشین لرننگ ماڈلز کو مؤثر طریقے سے میزبانی کرنے کے لیے خصوصیات بنانے پر مرکوز ہے۔ اپنے فارغ وقت میں، وہ سفر، پیدل سفر اور پودوں کو اگانے سے لطف اندوز ہوتی ہے۔

• سکے سمارٹ۔ یورپ کا بہترین بٹ کوائن اور کرپٹو ایکسچینج۔
• پلیٹو بلاک چین۔ Web3 Metaverse انٹیلی جنس۔ علم میں اضافہ۔ مفت رسائی۔
• کرپٹو ہاک۔ Altcoin ریڈار. مفت جانچ.
• ماخذ: https://aws.amazon.com/blogs/machine-learning/how-to-scale-machine-learning-inference-for-multi-tenant-saas-use-cases/