کس طرح میڈیڈیٹا نے ایمیزون سیج میکر کے غیر مطابقت پذیر تخمینے کا استعمال کیا تاکہ ML تخمینہ کی پیشین گوئیوں کو 30 گنا زیادہ تیز کیا جا سکے۔

یہ پوسٹ میڈیڈیٹا سے رجنیش جین، پرینکا کلکرنی اور ڈینیئل جانسن کے ساتھ مل کر لکھی گئی ہے۔

میڈیڈیٹا لائف سائنسز کی ڈیجیٹل تبدیلی کی قیادت کر رہا ہے، لاکھوں مریضوں کے لیے امید پیدا کر رہا ہے۔ میڈیڈیٹا ثبوت اور بصیرت پیدا کرنے میں مدد کرتا ہے تاکہ فارماسیوٹیکل، بائیوٹیک، طبی آلات، اور تشخیصی کمپنیوں کے ساتھ ساتھ تعلیمی محققین کو قیمت کو تیز کرنے، خطرے کو کم کرنے اور ان کے حل کے لیے بہتر نتائج حاصل کرنے میں مدد ملے۔ 1,900 سے زیادہ صارفین اور شراکت داروں میں ایک ملین سے زیادہ رجسٹرڈ صارفین طبی ترقی، تجارتی اور حقیقی دنیا کے ڈیٹا کے لیے دنیا کے سب سے قابل اعتماد پلیٹ فارم تک رسائی حاصل کرتے ہیں۔

Medidata کی AI ٹیم بے مثال کلینیکل ڈیٹا، جدید تجزیات، اور صنعت کی مہارت کو یکجا کرتی ہے تاکہ لائف سائنسز کے رہنماؤں کو دوبارہ سوچنے میں مدد ملے کہ کیا ممکن ہے، پراعتماد فیصلے کرنے کے لیے پیش رفت کی بصیرت سے پردہ اٹھایا جائے، اور مسلسل جدت کو آگے بڑھایا جائے۔ میڈیڈیٹا کے حل کے AI سوٹ کو سائنسدانوں، معالجین، تکنیکی ماہرین، اور سابق ریگولیٹری حکام کی ایک مربوط ٹیم کی حمایت حاصل ہے جو کہ 27,000 سے زیادہ ٹرائلز اور 8 ملین مریضوں پر مشتمل Medidata کے بنیادی پلیٹ فارم پر بنایا گیا ہے۔

ایمیزون سیج میکر محفوظ AWS لینڈ سکیپ کے اندر ایک مکمل طور پر منظم مشین لرننگ (ML) پلیٹ فارم ہے۔ SageMaker کے ساتھ، ڈیٹا سائنسدان اور ڈویلپرز ایم ایل ماڈلز کو تیزی سے اور آسانی سے تیار اور تربیت دے سکتے ہیں، اور پھر انہیں براہ راست پیداوار کے لیے تیار میزبان ماحول میں تعینات کر سکتے ہیں۔ تربیت یافتہ ML ماڈلز کی میزبانی کے لیے، SageMaker اختیارات کی ایک وسیع صف پیش کرتا ہے۔ ٹریفک پیٹرن اور تاخیر کے تقاضوں کی قسم پر منحصر ہے، آپ ان متعدد اختیارات میں سے ایک کا انتخاب کر سکتے ہیں۔ مثال کے طور پر، حقیقی وقت کا اندازہ ملی سیکنڈ لیٹینسی کی ضروریات، 6 MB تک پے لوڈ سائز، اور 60 سیکنڈ تک پروسیسنگ کے اوقات کے ساتھ مستقل کام کے بوجھ کے لیے موزوں ہے۔ کے ساتھ سرور کے بغیر اندازہ، آپ بنیادی انفراسٹرکچر کو ترتیب دینے یا اس کا انتظام کیے بغیر فوری طور پر ML ماڈلز کو اندازہ کے لیے تعینات کر سکتے ہیں، اور آپ صرف تخمینہ کی درخواستوں پر کارروائی کرنے کے لیے استعمال ہونے والی کمپیوٹ صلاحیت کے لیے ادائیگی کرتے ہیں، جو وقفے وقفے سے کام کے بوجھ کے لیے مثالی ہے۔ 1 جی بی تک پے لوڈ سائز کے ساتھ بڑے غیر ساختہ ڈیٹا کے ساتھ درخواستوں کے لیے، 15 منٹ تک پروسیسنگ کے اوقات کے ساتھ، اور ریئل ٹائم لیٹنسی کی ضروریات کے قریب، آپ استعمال کر سکتے ہیں۔ متضاد تخمینہ. بیچ کی تبدیلی سامنے دستیاب ڈیٹا کے بڑے بیچوں پر آف لائن پیشین گوئیوں کے لیے مثالی ہے۔

اس اشتراکی پوسٹ میں، ہم یہ ظاہر کرتے ہیں کہ کس طرح AWS نے میڈیڈیٹا کو SageMaker کے اندر مختلف ہوسٹنگ صلاحیتوں سے فائدہ اٹھانے میں مدد کی تاکہ مجوزہ کلینیکل ٹرائلز کی آپریشنل کامیابی کی پیشین گوئی کرنے کے لیے مختلف فن تعمیر کے انتخاب کے ساتھ تجربہ کیا جا سکے۔ ہم اس بات کی بھی توثیق کرتے ہیں کہ کیوں Medidata نے اپنے حتمی ڈیزائن کے لیے SageMaker غیر مطابقت پذیر تخمینہ کا انتخاب کیا اور کس طرح اس حتمی فن تعمیر نے Medidata کو ML انفراسٹرکچر کی لاگت کو نسبتاً کم رکھتے ہوئے 30 گنا زیادہ تیزی سے پیشین گوئیوں کے ساتھ اپنے صارفین کی خدمت کرنے میں مدد کی۔

فن تعمیر کا ارتقاء

سسٹم ڈیزائن ایک صحیح فن تعمیر کے انتخاب کے بارے میں نہیں ہے۔ یہ متعدد ممکنہ طریقوں پر بحث کرنے اور تجربہ کرنے کی صلاحیت ہے اور ہمارے استعمال کے معاملے کے لیے دی گئی ضروریات کو پورا کرنے میں ان کے تجارتی نقصانات کو تولتا ہے۔ اس عمل کے دوران، مختلف قسم کے تقاضوں اور موجودہ مشترکہ نظاموں کے بارے میں پیشگی معلومات کو مدنظر رکھنا ضروری ہے جو ہمارے مجوزہ ڈیزائن کے ساتھ تعامل کر سکتے ہیں۔ کسی سسٹم کی اسکیل ایبلٹی اس کے لیے مختص وسائل کو آسانی سے اور لاگت سے مؤثر طریقے سے مختلف کرنے کی صلاحیت ہے تاکہ بوجھ میں تبدیلی کو پورا کیا جا سکے۔ اس کا اطلاق صارف کی تعداد میں اضافہ یا کمی دونوں پر ہوتا ہے یا سسٹم کی درخواستوں پر ہوتا ہے۔

مندرجہ ذیل حصوں میں، ہم اس بات پر تبادلہ خیال کرتے ہیں کہ کس طرح میڈیڈیٹا نے ممکنہ توسیع پذیر فن تعمیر کے ڈیزائنوں کی فہرست کو دہرانے میں AWS کے ساتھ کام کیا۔ ہم خاص طور پر ارتقاء کے سفر، ڈیزائن کے انتخاب، اور حتمی انتخاب تک پہنچنے کے لیے جن تجارتی معاملات سے گزرے ہیں، پر توجہ مرکوز کرتے ہیں۔

سیج میکر بیچ ٹرانسفارم

Medidata اصل میں استعمال کیا جاتا ہے سیج میکر بیچ ٹرانسفارم موجودہ تقاضوں کو پورا کرنے اور ایپلیکیشن کے کم استعمال اور ڈھیلے کارکردگی کی ضروریات کی وجہ سے ایک نئے پیشن گوئی حل کے لیے ML تخمینہ کے لیے کم از کم قابل عمل پروڈکٹ (MVP) تیار کرنا۔ جب بیچ ٹرانسفارم جاب شروع ہوتا ہے، سیج میکر کمپیوٹ کی مثالوں کو شروع کرتا ہے اور ان کے درمیان تخمینہ یا پری پروسیسنگ ورک بوجھ کو تقسیم کرتا ہے۔ یہ ڈیٹا کو تبدیل کرنے اور انفرنس پیدا کرنے کے لیے ایک اعلیٰ کارکردگی اور اعلیٰ تھرو پٹ طریقہ ہے۔ یہ ان منظرناموں کے لیے مثالی ہے جہاں آپ ڈیٹا کے بڑے بیچوں سے نمٹ رہے ہیں، آپ کو سب سیکنڈ لیٹینسی کی ضرورت نہیں ہے، اور ڈیٹا کو پہلے سے پروسیس کرنے یا تبدیل کرنے کی ضرورت ہے یا اس پر بیچ کی پیشین گوئیوں کو تقسیم شدہ طریقے سے چلانے کے لیے تربیت یافتہ ماڈل استعمال کرنے کی ضرورت ہے۔ سیج میکر بیچ ٹرانسفارم ورک فلو بھی استعمال کرتا ہے۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) مستقل پرت کے طور پر، جو ہماری ڈیٹا کی ضروریات میں سے ایک کو نقشہ بناتی ہے۔

ابتدائی طور پر، SageMaker بیچ ٹرانسفارم کا استعمال MVP کے لیے اچھا کام کرتا تھا، لیکن جیسا کہ تقاضے تیار ہوتے گئے اور Medidata کو اپنے صارفین کو قریب قریب حقیقی وقت میں سپورٹ کرنے کی ضرورت تھی، بیچ ٹرانسفارم مناسب نہیں تھا کیونکہ یہ ایک آف لائن طریقہ تھا اور صارفین کو 5– کے درمیان کہیں بھی انتظار کرنا پڑتا ہے۔ جوابات کے لیے 15 منٹ۔ اس میں بنیادی طور پر بنیادی کمپیوٹ کلسٹر کے لیے شروع ہونے والی لاگت شامل تھی جب بھی بیچ کے کام کے بوجھ پر کارروائی کی ضرورت ہوتی ہے۔ اس فن تعمیر کو بھی ترتیب دینے کی ضرورت ہے۔ ایمیزون کلاؤڈ واچ برطرف شدہ ملازمت کی ریاستوں اور میٹا ڈیٹا کو ٹریک کرنے کے لیے پسند کے ڈیٹا بیس کو ملازمت دینے کے ساتھ ساتھ بیچ کی پیشن گوئی کی نوکری کی پیشرفت کو ٹریک کرنے کے لیے ایونٹ کے قواعد۔ MVP فن تعمیر کو درج ذیل خاکہ میں دکھایا گیا ہے۔

اس فن تعمیر کا بہاؤ اس طرح ہے:

1. آنے والا بلک پے لوڈ S3 مقام پر ان پٹ کے طور پر برقرار رہتا ہے۔ یہ واقعہ بدلے میں ایک کو متحرک کرتا ہے۔ او ڈبلیو ایس لامبڈا۔ فنکشن جمع کروائیں۔
2. سبمٹ فنکشن SageMaker رن ٹائم کلائنٹ کا استعمال کرتے ہوئے SageMaker بیچ ٹرانسفارم جاب کو شروع کرتا ہے۔
3. جمع کرنے کا فنکشن جاب آئی ڈی کے ساتھ پسند کے اسٹیٹ اور میٹا ڈیٹا ٹریکر ڈیٹا بیس کو بھی اپ ڈیٹ کرتا ہے اور نوکری کی حیثیت کو سیٹ کرتا ہے inProgress. فنکشن ملازمت کی شناخت کو اس کے متعلقہ میٹا ڈیٹا کی معلومات کے ساتھ بھی اپ ڈیٹ کرتا ہے۔
4. عارضی (آن ڈیمانڈ) کمپیوٹ کلسٹر جس کو پے لوڈ پر کارروائی کرنے کے لیے درکار ہے، سیج میکر بیچ ٹرانسفارم جاب کا آغاز کرتا ہے۔ ایک ہی وقت میں، جاب اسٹیٹس کی اطلاعات اور دیگر لاگنگ کی معلومات کو CloudWatch لاگز میں بھی بھیجتی ہے۔
5. CloudWatch ایونٹ کا اصول بیچ ٹرانسفارم جاب کی حیثیت کو پکڑتا ہے اور ایک اسٹیٹس کی اطلاع بھیجتا ہے ایمیزون سادہ نوٹیفکیشن سروس (Amazon SNS) موضوع اس معلومات کو حاصل کرنے کے لیے ترتیب دیا گیا ہے۔
6. ایس این ایس ٹاپک کو نوٹیفکیشن لیمبڈا فنکشن کے ذریعہ سبسکرائب کیا جاتا ہے جو ہر بار جب CloudWatch کے ذریعہ ایونٹ رول فائر کیا جاتا ہے اور جب SNS موضوع میں کوئی پیغام ہوتا ہے تو متحرک ہوتا ہے۔
7. نوٹیفکیشن فنکشن پھر ٹریکنگ ڈیٹا بیس میں کامیابی یا ناکامی کے لیے ٹرانسفارم جاب کی حیثیت کو اپ ڈیٹ کرتا ہے۔

متبادل حکمت عملیوں اور فن تعمیرات کی کھوج کے دوران، Medidata نے محسوس کیا کہ ایپلی کیشن کے لیے ٹریفک کا نمونہ مختصر برسٹ پر مشتمل ہے جس کے بعد غیرفعالیت کے ادوار ہوتے ہیں۔ اس موجودہ MVP فن تعمیر کی خرابیوں کی توثیق کرنے کے لیے، Medidata نے اس پائپ لائن کی رکاوٹوں کو سمجھنے اور انہیں ترجیح دینے کے لیے کچھ ابتدائی بینچ مارکنگ کی ہے۔ جیسا کہ مندرجہ ذیل خاکہ میں دکھایا گیا ہے، ہر ایک بڑی درخواست کے ساتھ نئے وسائل کو گھماؤ کی وجہ سے اندازہ لگانے کے لیے ماڈل کو چلانے سے پہلے سب سے بڑی رکاوٹ منتقلی کا وقت تھا۔ بلک درخواست کی تعریف یہاں ایک پے لوڈ سے مماثل ہے جو کسی درخواست کی ایک مثال کے بجائے کارروائی کرنے والے آپریشنل سائٹ ڈیٹا کا مجموعہ ہے۔ دوسری سب سے بڑی رکاوٹ آؤٹ پٹ کو بچانے اور لکھنے کا وقت تھا، جو بیچ ماڈل آرکیٹیکچر کی وجہ سے بھی متعارف کرایا گیا تھا۔

جیسے جیسے کلائنٹس کی تعداد میں اضافہ ہوا اور استعمال میں کئی گنا اضافہ ہوا، Medidata نے کارکردگی کے تقاضوں کو سخت کر کے صارف کے تجربے کو ترجیح دی۔ لہذا، Medidata نے بیچ ٹرانسفارم ورک فلو کو تیز تر متبادل کے ساتھ تبدیل کرنے کا فیصلہ کیا۔ اس کی وجہ سے میڈیڈیٹا نے متعدد فن تعمیر کے ڈیزائنوں کے ساتھ تجربہ کیا۔ سیج میکر ریئل ٹائم اندازہ، لیمبڈا، اور سیج میکر غیر مطابقت پذیر تخمینہ. مندرجہ ذیل حصوں میں، ہم گہرائی میں ان تشخیص شدہ ڈیزائنوں کا موازنہ کرتے ہیں اور Medidata کے استعمال کے معاملے کے لیے ایک کو دوسرے پر منتخب کرنے کی تکنیکی وجوہات کا تجزیہ کرتے ہیں۔

سیج میکر ریئل ٹائم اندازہ

آپ اپنے ماڈلز کو کم تاخیر کے ساتھ حقیقی وقت میں پیشین گوئیاں پیش کرنے کے لیے SageMaker ریئل ٹائم اینڈ پوائنٹس استعمال کر سکتے ہیں۔ آپ کی پیشین گوئیاں حقیقی وقت میں پیش کرنے کے لیے ایک ماڈل پیش کرنے والے اسٹیک کی ضرورت ہوتی ہے جس میں نہ صرف آپ کا تربیت یافتہ ماڈل ہو، بلکہ ایک ہوسٹنگ اسٹیک بھی ان پیشین گوئیوں کو پورا کرنے کے قابل ہو۔ ہوسٹنگ اسٹیک میں عام طور پر ایک قسم کی پراکسی، ایک ویب سرور شامل ہوتا ہے جو آپ کے بھرے ہوئے سرونگ کوڈ اور آپ کے تربیت یافتہ ماڈل کے ساتھ تعامل کر سکتا ہے۔ اس کے بعد آپ کا ماڈل کلائنٹ ایپلی کیشنز کے ذریعے ریئل ٹائم انووک API درخواست کے ذریعے استعمال کیا جا سکتا ہے۔ جب آپ اینڈ پوائنٹ کی درخواست کرتے ہیں تو بھیجی گئی درخواست پے لوڈ کو لوڈ بیلنسر پر روٹ کیا جاتا ہے اور پھر آپ کے ML مثال یا ان مثالوں پر روٹ کیا جاتا ہے جو پیشین گوئی کے لیے آپ کے ماڈلز کی میزبانی کر رہے ہیں۔ SageMaker ریئل ٹائم انفرنس مذکورہ بالا تمام اجزاء کے ساتھ آتا ہے اور مطابقت پذیر ریئل ٹائم انفرنس کے لیے کسی بھی قسم کے ML ماڈل کی میزبانی کرنا نسبتاً سیدھا بناتا ہے۔

سیج میکر ریئل ٹائم انفرنس میں اینڈ پوائنٹ انوکیشن کے لیے 60 سیکنڈ کا ٹائم آؤٹ ہے، اور انوکیشن کے لیے زیادہ سے زیادہ پے لوڈ سائز 6 MB تک محدود ہے۔ چونکہ Medidata کی قیاس منطق پیچیدہ ہے اور اکثر 60 سیکنڈ سے زیادہ کی ضرورت ہوتی ہے، اس لیے صرف حقیقی وقت کا اندازہ ہی بڑی درخواستوں سے نمٹنے کے لیے ایک قابل عمل آپشن نہیں ہو سکتا جس کے لیے عام طور پر موجودہ ML پائپ لائن کو دوبارہ تعمیر کیے بغیر بہت سے انفرادی آپریشنل شناخت کنندگان کو انرول اور پروسیس کرنے کی ضرورت ہوتی ہے۔ مزید برآں، چوٹی کے بوجھ کو سنبھالنے کے لیے ریئل ٹائم انفرنس اینڈ پوائنٹس کو سائز کرنے کی ضرورت ہے۔ یہ مشکل ہو سکتا ہے کیونکہ Medidata میں تیز ٹریفک بہت زیادہ ہے۔ آٹو اسکیلنگ ممکنہ طور پر اس مسئلے کو حل کر سکتی ہے، لیکن اس کے لیے دستی ٹیوننگ کی ضرورت ہوگی تاکہ یہ یقینی بنایا جا سکے کہ کسی بھی وقت تمام درخواستوں کو سنبھالنے کے لیے کافی وسائل موجود ہیں۔ متبادل طور پر، ہم ایک مقررہ وقت پر ہم آہنگی کی درخواستوں کی تعداد کو محدود کرنے کے لیے ایک درخواست کی قطار کا انتظام کر سکتے ہیں، لیکن یہ اضافی اوور ہیڈ متعارف کرائے گا۔

لامڈا

لیمبڈا جیسی سرور لیس پیشکش سرورز کی فراہمی اور انتظام کی پریشانی کو ختم کرتی ہے، اور مختلف کام کے بوجھ کے جواب میں خود بخود اسکیلنگ کا خیال رکھتی ہے۔ وہ کم والیوم سروسز کے لیے بھی بہت سستے ہو سکتے ہیں کیونکہ وہ 24/7 نہیں چلتی ہیں۔ لیمبڈا کام کے بوجھ کے لیے اچھی طرح کام کرتا ہے جو وقفے وقفے سے غیرفعالیت کے بعد شروع ہونے والی سردی کو برداشت کر سکتا ہے۔ اگر کوئی سرور لیس فنکشن تقریباً 15 منٹ تک نہیں چلایا گیا ہے، تو اگلی درخواست کا تجربہ ہوتا ہے جسے کولڈ اسٹارٹ کہا جاتا ہے کیونکہ فنکشن کا کنٹینر لازمی طور پر فراہم کیا جانا چاہیے۔

میڈیڈیٹا نے لیمبڈا کا دوسرے متبادلات سے موازنہ کرنے کے لیے کئی ثبوت آف تصور (POC) فن تعمیر کے ڈیزائن بنائے۔ پہلے سادہ نفاذ کے طور پر، ایم ایل انفرنس کوڈ کو ڈوکر امیج کے طور پر پیک کیا گیا تھا اور لیمبڈا کا استعمال کرتے ہوئے ایک کنٹینر کے طور پر تعینات کیا گیا تھا۔ اس سیٹ اپ کے ساتھ تیز تر پیشین گوئیوں کو آسان بنانے کے لیے، لامبڈا فنکشن کو ایک بڑے پروویژنڈ میموری فوٹ پرنٹ کی ضرورت ہے۔ بڑے پے لوڈز کے لیے، لیمبڈا ڈوکر اینڈ پوائنٹ کو کال کرنے سے پہلے ان پٹ کو کمپریس کرنے کے لیے ایک اضافی اوور ہیڈ موجود ہے۔ CloudWatch ایونٹ کے قواعد کے لیے اضافی کنفیگریشنز کی بھی ضرورت ہے تاکہ ان پٹس اور آؤٹ پٹس کو محفوظ کیا جا سکے، درخواست کی پیشرفت کو ٹریک کیا جا سکے، اور برطرف شدہ درخواستوں کی اندرونی حالتوں اور میٹا ڈیٹا کو ٹریک کرنے کے لیے انتخاب کے ڈیٹا بیس کو استعمال کیا جائے۔ مزید برآں، Amazon S3 پر ڈیٹا پڑھنے اور لکھنے کے لیے ایک آپریشنل اوور ہیڈ بھی ہے۔ Medidata نے استعمال کے تخمینے کی بنیاد پر Lambda اپروچ کی متوقع لاگت کا حساب لگایا اور طے کیا کہ یہ SageMaker سے کہیں زیادہ مہنگی ہو گی جس میں کوئی اضافی فوائد نہیں ہیں۔

سیج میکر غیر مطابقت پذیر تخمینہ

غیر مطابقت پذیر تخمینہ SageMaker میں تازہ ترین پیش کشوں میں سے ایک ہے جو آنے والی درخواستوں کے لیے اندرونی قطار کا استعمال کرتا ہے اور ان پر غیر مطابقت پذیری سے کارروائی کرتا ہے۔ یہ آپشن بڑے پے لوڈ سائز (1 جی بی تک) یا طویل پروسیسنگ اوقات (15 منٹ تک) والے انفرنسز کے لیے مثالی ہے جن پر درخواستوں کے آتے ہی کارروائی کی ضرورت ہے۔ غیر مطابقت پذیر تخمینہ آپ کو لاگت کو بچانے کے قابل بناتا ہے جب آپ پر کارروائی کرنے کی کوئی درخواست نہیں ہوتی ہے تو مثال کی گنتی کو صفر پر لے کر آپ لاگت کو بچانے کے قابل بناتا ہے، لہذا آپ صرف اس وقت ادائیگی کرتے ہیں جب آپ کا اختتامی نقطہ درخواستوں پر کارروائی کر رہا ہو۔

استعمال کے ایسے معاملات کے لیے جو چند منٹ کے کولڈ اسٹارٹ جرمانے کو برداشت کر سکتے ہیں، آپ اختیاری طور پر اختتامی نقطہ مثال کی گنتی کو صفر تک سکیل کر سکتے ہیں جب کوئی بقایا درخواستیں نہ ہوں اور نئی درخواستوں کے آتے ہی بیک اپ سکیل کر سکیں تاکہ آپ صرف اس مدت کے لیے ادائیگی کریں اختتامی نقطہ فعال طور پر درخواستوں پر کارروائی کر رہے ہیں۔

ایک غیر مطابقت پذیر انفرنس اینڈ پوائنٹ بنانا ریئل ٹائم اینڈ پوائنٹ بنانے کے مترادف ہے۔ آپ اپنا موجودہ SageMaker استعمال کر سکتے ہیں۔ ماڈل اور صرف اضافی کی وضاحت کرنے کی ضرورت ہے۔ غیر مطابقت پذیر تخمینہ ترتیب اپنے اختتامی نقطہ کی ترتیب بناتے وقت پیرامیٹرز۔ اس کے علاوہ، آپ اپنی اسکیلنگ کی ضروریات کے مطابق ایک آٹو اسکیلنگ پالیسی کو اینڈ پوائنٹ کے ساتھ منسلک کرسکتے ہیں۔ اختتامی نقطہ کی درخواست کرنے کے لیے، آپ کو Amazon S3 میں درخواست کا پے لوڈ رکھنا ہوگا اور درخواست کی درخواست کے حصے کے طور پر پے لوڈ کو ایک پوائنٹر فراہم کرنا ہوگا۔ درخواست کرنے پر، سیج میکر پروسیسنگ کی درخواست کو قطار میں کھڑا کرتا ہے اور جواب کے طور پر آؤٹ پٹ لوکیشن واپس کرتا ہے۔ پروسیسنگ کے بعد، SageMaker پہلے سے واپس کیے گئے Amazon S3 مقام میں تخمینہ جواب دیتا ہے۔ آپ اختیاری طور پر Amazon SNS کے ذریعے کامیابی یا خرابی کی اطلاعات موصول کرنے کا انتخاب کر سکتے ہیں۔

پہلے زیر بحث آرکیٹیکچر کے مختلف ڈیزائنوں کی بنیاد پر، ہم نے ان فن تعمیر کے ساتھ کئی رکاوٹوں اور پیچیدگی کے چیلنجوں کی نشاندہی کی۔ غیر مطابقت پذیر تخمینہ کے آغاز کے ساتھ اور ہمارے وسیع تجربات اور کارکردگی کی بینچ مارکنگ کی بنیاد پر، Medidata نے پہلے بیان کی گئی متعدد وجوہات کی بنا پر میزبانی کے لیے اپنے حتمی فن تعمیر کے لیے SageMaker غیر مطابقت پذیر تخمینہ کو منتخب کرنے کا فیصلہ کیا۔ سیج میکر کو ایم ایل ورک بوجھ کو سپورٹ کرنے کے لیے زمین سے ڈیزائن کیا گیا ہے، جبکہ لیمبڈا ایک عام مقصد کا ٹول ہے۔ ہمارے مخصوص استعمال کے کیس اور کام کے بوجھ کی قسم کے لیے، SageMaker غیر مطابقت پذیر تخمینہ Lambda سے سستا ہے۔ نیز، SageMaker غیر مطابقت پذیر قیاس کا ٹائم آؤٹ 15 سیکنڈ کے ریئل ٹائم انفرنس ٹائم آؤٹ کے مقابلے میں بہت لمبا (60 منٹ) ہے۔ یہ اس بات کو یقینی بناتا ہے کہ غیر مطابقت پذیر تخمینہ ترمیم کے بغیر Medidata کے تمام کام کے بوجھ کو سہارا دے سکتا ہے۔ مزید برآں، SageMaker غیر مطابقت پذیر تخمینہ ٹریفک کے فوری پھٹنے کے دوران درخواستوں کو چھوڑنے کے بجائے قطار میں کھڑا کرتا ہے، جو کہ ہمارے استعمال کے معاملے کے مطابق ایک سخت ضرورت تھی۔ آپ کے لیے استثنیٰ اور غلطی سے نمٹنے کا خود بخود خیال رکھا جاتا ہے۔ غیر مطابقت پذیر اندازہ بھی بڑے پے لوڈ سائز کو ہینڈل کرنا آسان بناتا ہے، جو کہ ہماری قیاس کی ضروریات کے ساتھ ایک عام نمونہ ہے۔ SageMaker غیر مطابقت پذیر تخمینہ کا استعمال کرتے ہوئے حتمی فن تعمیر کا خاکہ مندرجہ ذیل شکل میں دکھایا گیا ہے۔

ہمارے آخری فن تعمیر کا بہاؤ مندرجہ ذیل ہے:

1. جمع کرنے کا فنکشن اپ اسٹریم کنزیومر ایپلی کیشنز سے بلک پے لوڈ وصول کرتا ہے اور اسے ایونٹ سے چلنے کے لیے ترتیب دیا گیا ہے۔ یہ فنکشن پے لوڈ کو پہلے سے نامزد Amazon S3 مقام پر اپ لوڈ کرتا ہے۔
2. جمع کرنے کا فنکشن پھر SageMaker غیر مطابقت پذیر اختتامی نقطہ کو طلب کرتا ہے، اسے Amazon S3 پوائنٹر کے ساتھ اپ لوڈ کردہ پے لوڈ پر فراہم کرتا ہے۔
3. فنکشن درخواست کی حالت کو بھی اپ ڈیٹ کرتا ہے۔ inProgress ریاست اور میٹا ڈیٹا ٹریکر ڈیٹا بیس میں۔
4. SageMaker غیر مطابقت پذیر انفرنس اینڈ پوائنٹ Amazon S3 سے ان پٹ کو پڑھتا ہے اور inference logic چلاتا ہے۔ جب ML تخمینہ کامیاب یا ناکام ہو جاتا ہے، تو تخمینہ آؤٹ پٹ واپس Amazon S3 پر لکھا جاتا ہے اور اسٹیٹس کو SNS موضوع پر بھیج دیا جاتا ہے۔
5. ایک نوٹیفیکیشن لیمبڈا فنکشن SNS موضوع کو سبسکرائب کرتا ہے۔ جب بھی موضوع پر اسٹیٹس اپ ڈیٹ کی اطلاع شائع کی جاتی ہے تو فنکشن کا مطالبہ کیا جاتا ہے۔
6. نوٹیفکیشن فنکشن ریاست اور میٹا ڈیٹا ٹریکر ڈیٹا بیس میں کامیابی یا ناکامی کی درخواست کی حیثیت کو اپ ڈیٹ کرتا ہے۔

دوبارہ حاصل کرنے کے لیے، بیچ ٹرانسفارم MVP فن تعمیر جس کے ساتھ ہم نے شروع کیا اسے ان پٹ کے سائز کے لحاظ سے چلنے میں 5-15 منٹ لگے۔ غیر مطابقت پذیر تخمینہ پر سوئچ کے ساتھ، نیا حل 10-60 سیکنڈ میں اختتام سے اختتام تک چلتا ہے۔ ہم بڑے ان پٹس کے لیے کم از کم پانچ گنا تیز اور چھوٹے ان پٹس کے لیے 30 گنا تیز رفتار دیکھتے ہیں، جس کی وجہ سے کارکردگی کے نتائج سے بہتر کسٹمر کی اطمینان ہوتی ہے۔ نظرثانی شدہ حتمی فن تعمیر پچھلے غیر مطابقت پذیر فین آؤٹ/فین ان فن تعمیر کو بہت آسان بناتا ہے کیونکہ ہمیں آنے والے پے لوڈ کو تقسیم کرنے، کارکنوں کو سپون کرنے، اور ورکر لیمبڈا فنکشنز کے درمیان کام سونپنے اور مضبوط کرنے کے بارے میں فکر کرنے کی ضرورت نہیں ہے۔

نتیجہ

SageMaker غیر مطابقت پذیر تخمینہ کے ساتھ، اس نئی پیشین گوئی کی ایپلی کیشن کو استعمال کرنے والے Medidata کے صارفین اب اس رفتار کا تجربہ کر رہے ہیں جو پیشین گوئیوں کے لیے 30 گنا زیادہ تیز ہے۔ ٹریفک میں اضافے کے دوران درخواستوں کو نہیں چھوڑا جاتا کیونکہ غیر مطابقت پذیر انفرنس اینڈ پوائنٹ درخواستوں کو چھوڑنے کے بجائے قطار میں کھڑا کرتا ہے۔ بلٹ ان SNS نوٹیفکیشن اپنی مرضی کے مطابق CloudWatch ایونٹ لاگ نوٹیفکیشن پر قابو پانے کے قابل تھا جسے Medidata نے کام مکمل ہونے پر ایپ کو مطلع کرنے کے لیے بنایا تھا۔ اس صورت میں، غیر مطابقت پذیر تخمینہ نقطہ نظر Lambda سے سستا ہے۔ اگر آپ کی ٹیم لاگت کو کم کرنے کی کوشش کرتے ہوئے برسٹ ٹریفک کے ساتھ بھاری ML ورک بوجھ چلا رہی ہے تو SageMaker غیر مطابقت پذیر تخمینہ ایک بہترین آپشن ہے۔ یہ حدوں کو آگے بڑھانے اور زیادہ سے زیادہ کارکردگی کے لیے بلیڈنگ ایج ٹیکنالوجی کا استعمال کرنے کے لیے AWS ٹیم کے ساتھ تعاون کی ایک بہترین مثال ہے۔

غیر مطابقت پذیر انفرنس اینڈ پوائنٹس بنانے، ان کو چلانے اور مانیٹر کرنے کے بارے میں تفصیلی اقدامات کے لیے، ملاحظہ کریں دستاویزات، جس میں ایک بھی شامل ہے۔ نمونہ نوٹ بک شروع کرنے میں آپ کی مدد کرنے کے لیے۔ قیمتوں کی معلومات کے لیے، ملاحظہ کریں۔ ایمیزون سیج میکر قیمتوں کا تعین. کمپیوٹر ویژن اور نیچرل لینگویج پروسیسنگ (NLP) جیسے غیر ساختہ ڈیٹا کے ساتھ غیر مطابقت پذیر تخمینہ استعمال کرنے کی مثالوں کے لیے، دیکھیں ایمیزون سیج میکر غیر مطابقت پذیر اختتامی پوائنٹس کے ساتھ بڑی ویڈیوز پر کمپیوٹر وژن کا اندازہ چلائیں۔ اور Hugging Face اور Amazon SageMaker کے ساتھ اعلیٰ قدر کی تحقیق کو بہتر بنائیںبالترتیب.

---

مصنفین کے بارے میں

رجنیش جین NYC میں مقیم Medidata AI میں انجینئرنگ کے سینئر ڈائریکٹر ہیں۔ رجنیش ایسے ایپلی کیشنز کے لیے انجینئرنگ کے سربراہ ہیں جو AWS پر مشین لرننگ کا استعمال کرتے ہیں تاکہ صارفین کو مجوزہ کلینیکل ٹرائلز کی آپریشنل کامیابی کو بہتر بنانے میں مدد ملے۔ وہ کاروباری مسائل کو حل کرنے کے لیے مشین لرننگ کے استعمال کے بارے میں پرجوش ہے۔

پرینکا کلکرنی Medidata Solutions میں Acorn AI کے اندر لیڈ سافٹ ویئر انجینئر ہے۔ وہ بڑے پیمانے پر ML پیشین گوئیوں کو سپورٹ کرنے کے لیے معمار اور حل اور بنیادی ڈھانچہ تیار کرتی ہے۔ وہ ڈیٹا سے چلنے والی انجینئر ہے جو کسٹمر کی کامیابی کے لیے جدید سافٹ ویئر سلوشنز بنانے میں یقین رکھتی ہے۔

ڈینیل جانسن Medidata Solutions میں Acorn AI کے اندر ایک سینئر سافٹ ویئر انجینئر ہے۔ وہ مجوزہ کلینیکل ٹرائلز کی فزیبلٹی کے ارد گرد ML پیشین گوئیوں کی حمایت کرنے کے لیے APIs بناتا ہے۔

ارون پرستھ شنکر AWS کے ساتھ ایک سینئر AI/ML سپیشلسٹ سولیوشنز آرکیٹیکٹ ہے، جو عالمی صارفین کو اپنے AI سلوشنز کو کلاؤڈ میں موثر اور مؤثر طریقے سے سکیل کرنے میں مدد کرتا ہے۔ اپنے فارغ وقت میں، ارون کو سائنس فائی فلمیں دیکھنا اور کلاسیکی موسیقی سننا پسند ہے۔

راگھو رمیشا۔ ایمیزون سیج میکر سروس ٹیم کے ساتھ ایم ایل سلوشنز آرکیٹیکٹ ہے۔ وہ صارفین کی ایم ایل پروڈکشن ورک بوجھ کو SageMaker پر پیمانے پر بنانے، تعینات کرنے اور منتقل کرنے میں مدد کرنے پر توجہ مرکوز کرتا ہے۔ وہ مشین لرننگ، AI، اور کمپیوٹر ویژن ڈومینز میں مہارت رکھتا ہے، اور UT Dallas سے کمپیوٹر سائنس میں ماسٹر ڈگری رکھتا ہے۔ اپنے فارغ وقت میں وہ سفر اور فوٹو گرافی سے لطف اندوز ہوتے ہیں۔