نیٹ ویسٹ گروپ میں AWS کلاؤڈ ٹکنالوجی کو اپنانے کا مطلب ہے کہ ہمارے مشین لرننگ (ML) کے کام کے بوجھ کو زیادہ مضبوط اور قابل توسیع حل کی طرف لے جانا ہے، جبکہ اپنے صارفین کو بہترین مصنوعات اور خدمات فراہم کرنے کے لیے ہمارے وقت گزارنے کے وقت کو کم کرنا ہے۔
کلاؤڈ گود لینے کے اس سفر میں، ہم نے AWS میں منتقل ہونے کے لیے کسٹمر لائف ٹائم ویلیو (CLV) ماڈل کا انتخاب کیا۔ ماڈل ہمیں اپنے صارفین کو بہتر طریقے سے سمجھنے اور ذاتی نوعیت کے حل فراہم کرنے کے قابل بناتا ہے۔ CLV ماڈل الگ الگ ML ماڈلز کی ایک سیریز پر مشتمل ہوتا ہے جو ایک ہی پائپ لائن میں اکٹھے ہوتے ہیں۔ اس کے لیے ایک قابل توسیع حل کی ضرورت ہوتی ہے، اس ڈیٹا کی مقدار کو دیکھتے ہوئے جس پر یہ عمل کرتا ہے۔
یہ چار حصوں پر مشتمل سیریز کی آخری پوسٹ ہے جس میں بتایا گیا ہے کہ کیسے نیٹ ویسٹ گروپ۔ ساتھ مل کر AWS پروفیشنل سروسز ایک توسیع پذیر، محفوظ، اور پائیدار MLOps پلیٹ فارم بنانے کے لیے۔ اس پوسٹ کا مقصد ML انجینئرز، ڈیٹا سائنسدانوں، اور C-suites کے ایگزیکٹوز کے لیے ہے جو یہ سمجھنا چاہتے ہیں کہ کس طرح پیچیدہ حل استعمال کرتے ہوئے ایمیزون سیج میکر. یہ پلیٹ فارم کی لچک کو ثابت کرتا ہے کہ کس طرح، کچھ سٹارٹر کوڈ ٹیمپلیٹس کو دیکھتے ہوئے، آپ ایک پیچیدہ، توسیع پذیر استعمال کیس کو جلدی اور بار بار فراہم کر سکتے ہیں۔
پوری سیریز پڑھیں:
|
چیلنجز
نیٹ ویسٹ گروپ، ریگولیٹری ذمہ داریوں کے مطابق رہتے ہوئے اپنے صارفین کو خوش کرنے کے اپنے مشن پر، ML ورک بوجھ کو لاگو کرنے اور تیار کرنے کے لیے ایک معیاری اور محفوظ حل تیار کرنے کے لیے AWS کے ساتھ کام کر رہا ہے۔ تنظیم میں پچھلے نفاذ کے نتیجے میں ڈیٹا سائلوس اور ماحول کے لیے طویل لیڈ ٹائم اوپر اور نیچے گھومتا ہے۔ اس سے کمپیوٹ کے وسائل کو بھی کم استعمال کیا گیا ہے۔ اس کو بہتر بنانے میں مدد کرنے کے لیے، AWS اور NatWest نے AWS سروسز کا استعمال کرتے ہوئے ML پروجیکٹ اور ماحولیاتی ٹیمپلیٹس کی ایک سیریز تیار کرنے میں تعاون کیا۔
نیٹ ویسٹ گروپ ML کا استعمال نئی بصیرتیں حاصل کرنے کے لیے کر رہا ہے تاکہ ہم بینک کے خوردہ، دولت، اور تجارتی آپریشنز میں اپنے صارفین کی مستقبل کی بینکنگ ضروریات کی پیش گوئی اور موافقت کر سکیں۔ ایک ماڈل تیار کرتے وقت اور اسے پروڈکشن میں تعینات کرتے وقت، بینک کے معیارات کی تعمیل کو یقینی بنانے کے لیے بہت سی باتوں پر توجہ دینے کی ضرورت ہوتی ہے۔ ان میں ماڈل کی وضاحت، تعصب، ڈیٹا کوالٹی، اور ڈرفٹ مانیٹرنگ کے تقاضے شامل ہیں۔ اس تعاون کے ذریعے تیار کردہ ٹیمپلیٹس میں ان نکات کا اندازہ لگانے کے لیے خصوصیات شامل کی گئی ہیں، اور اب نیٹ ویسٹ ٹیموں کے ذریعے سیج میکر کا استعمال کرتے ہوئے ایک محفوظ ملٹی اکاؤنٹ سیٹ اپ میں اپنے استعمال کے کیسز کو آن بورڈ اور تیار کرنے کے لیے استعمال کیا جاتا ہے۔
ٹیمپلیٹس SageMaker میں MLOps کی صلاحیتوں کا استعمال کرتے ہوئے AWS بہترین طریقوں کو شامل کرکے پروڈکشن کے لیے تیار ML ورک فلو کے معیارات کو سرایت کرتے ہیں۔ ان میں AWS ML سروسز اور ڈیٹا سروسز کے لیے سیلف سروس، محفوظ، ملٹی اکاؤنٹ انفراسٹرکچر کی تعیناتی بھی شامل ہے۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3)۔
ٹیمپلیٹس نیٹ ویسٹ کے اندر کیس ٹیموں کو درج ذیل کام کرنے میں مدد کرتے ہیں۔
- NatWest MLOps کے میچورٹی ماڈل کے مطابق صلاحیتیں بنانا
- SageMaker سروسز میں MLOps کی صلاحیتوں کے لیے AWS کے بہترین طریقوں کو نافذ کریں۔
- پروڈکشن کے لیے تیار ایم ایل ورک فلوز کو تیار کرنے کے لیے ٹیمپلیٹڈ معیارات بنائیں اور استعمال کریں۔
- AWS ML سروسز کے لیے سیلف سروس، محفوظ انفراسٹرکچر کی تعیناتی فراہم کریں۔
- منیجڈ اپروچ کا استعمال کرتے ہوئے پراجیکٹس کے لیے ماحول کو گھماؤ اور گھماؤ کا وقت کم کریں۔
- عمل کی معیاری کاری، آٹومیشن، اور آن ڈیمانڈ کمپیوٹ کی وجہ سے دیکھ بھال کی لاگت کو کم کریں۔
- پروڈکشنائز کوڈ، جو موجودہ ماڈلز کی منتقلی کی اجازت دیتا ہے جہاں کوڈ کو فعال طور پر گل جاتا ہے تاکہ آن ڈیمانڈ کلاؤڈ آرکیٹیکچرز کا فائدہ اٹھانے کے ساتھ ساتھ کوڈ پڑھنے کی اہلیت کو بہتر بنایا جا سکے اور تکنیکی قرض کو ہٹایا جا سکے۔
- تصور کے ثبوت (PoC) کے لیے مسلسل انضمام، تعیناتی، اور تربیت کا استعمال کریں اور کیس ڈیولپمنٹ کا استعمال کریں، نیز MLOps کی اضافی خصوصیات کو فعال کریں (ماڈل کی نگرانی، وضاحت کی اہلیت، اور حالت کے اقدامات)
مندرجہ ذیل حصے اس بات پر بات کرتے ہیں کہ نیٹ ویسٹ ان ٹیمپلیٹس کو موجودہ پروجیکٹس کو منتقل کرنے یا نئے بنانے کے لیے کس طرح استعمال کرتا ہے۔
کسٹم سیج میکر ٹیمپلیٹس اور فن تعمیر
NatWest اور AWS نے موجودہ SageMaker پروجیکٹ ٹیمپلیٹس کی صلاحیتوں کے ساتھ حسب ضرورت پروجیکٹ ٹیمپلیٹس بنائے، اور انہیں پیداواری ماحول میں تعینات کرنے کے لیے انفراسٹرکچر ٹیمپلیٹس کے ساتھ مربوط کیا۔ یہ سیٹ اپ پہلے سے ہی تربیت اور تخمینہ کے لیے مثال پائپ لائنز پر مشتمل ہے، اور نیٹ ویسٹ کے صارفین کو فوری طور پر ملٹی اکاؤنٹ کی تعیناتی کا استعمال کرنے کی اجازت دیتا ہے۔
ملٹی اکاؤنٹ سیٹ اپ ترقی کے ماحول کو محفوظ رکھتا ہے جبکہ پیداوار جیسے ماحول میں جانچ کی اجازت دیتا ہے۔ یہ پروجیکٹ ٹیموں کو ML ورک بوجھ پر توجہ مرکوز کرنے کے قابل بناتا ہے۔ پروجیکٹ ٹیمپلیٹس بنیادی ڈھانچے، وسائل کی فراہمی، سیکورٹی، آڈٹ ایبلٹی، تولیدی صلاحیت، اور وضاحت کی اہلیت کا خیال رکھتے ہیں۔ وہ لچک کی بھی اجازت دیتے ہیں تاکہ صارف اپنی مخصوص استعمال کے کیس کی ضروریات کی بنیاد پر ٹیمپلیٹ کو بڑھا سکیں۔
حل جائزہ
NatWest میں ایک استعمال کیس ٹیم کے طور پر شروع کرنے کے لیے، NatWest کی طرف سے بنائے گئے اور فراہم کردہ ٹیمپلیٹس کی بنیاد پر درج ذیل اقدامات کی ضرورت ہے۔ AWS سروس کیٹلاگ:
- پروجیکٹ کا مالک نئے AWS اکاؤنٹس کی فراہمی کرتا ہے، اور آپریشنز ٹیم ان نئے اکاؤنٹس کے لیے MLOps کا لازمی بنیادی ڈھانچہ ترتیب دیتی ہے۔
- پروجیکٹ کا مالک ایک تخلیق کرتا ہے۔ ایمیزون سیج میکر اسٹوڈیو AWS سروس کیٹلاگ کا استعمال کرتے ہوئے ڈیٹا سائنس ماحول۔
- ڈیٹا سائنٹسٹ لیڈ ایک نیا پروجیکٹ شروع کرتا ہے اور AWS سروس کیٹلاگ میں فراہم کردہ ٹیمپلیٹس کے ذریعے SageMaker اسٹوڈیو کے صارفین کو تخلیق کرتا ہے۔
- پروجیکٹ ٹیم پروجیکٹ پر کام کرتی ہے، ٹیمپلیٹ کے فولڈر کے ڈھانچے کو اپ ڈیٹ کر کے ان کے استعمال کے معاملے میں مدد کرتی ہے۔
درج ذیل اعداد و شمار سے پتہ چلتا ہے کہ ہم نے اپنی CLV استعمال کے کیس کی ضروریات کو پورا کرنے کے لیے ٹیمپلیٹ فن تعمیر کو کس طرح ڈھال لیا۔ یہ ظاہر کرتا ہے کہ کس طرح ایک سے زیادہ ٹریننگ پائپ لائنز تیار کی جاتی ہیں اور ترقیاتی ماحول میں چلائی جاتی ہیں۔ اس کے بعد تعینات کردہ ماڈلز کو پری پروڈکشن اور پروڈکشن ماحول میں جانچا اور تیار کیا جا سکتا ہے۔
CLV ماڈل مختلف ماڈلز کی ایک ترتیب ہے، جس میں مختلف درختوں پر مبنی ماڈلز اور ایک انفرنس سیٹ اپ شامل ہے جو ان سے حاصل ہونے والے تمام نتائج کو یکجا کرتا ہے۔ اس ایم ایل ورک بوجھ میں استعمال ہونے والا ڈیٹا مختلف ذرائع سے جمع کیا گیا ہے اور اس کی مقدار نصف بلین قطاروں اور تقریباً 1,900 فیچرز کے برابر ہے۔ تمام پروسیسنگ، فیچر انجینئرنگ، ماڈل ٹریننگ، اور احاطے میں انفرنس کے کام PySpark یا Python کا استعمال کرتے ہوئے کیے گئے تھے۔
سیج میکر پائپ لائن ٹیمپلیٹس
CLV متعدد ماڈلز پر مشتمل ہے جو ایک ترتیب میں بنائے گئے ہیں۔ ہر ماڈل دوسرے میں فیڈ کرتا ہے، لہذا ہمیں ہر ایک کے لیے ایک وقف ٹریننگ پائپ لائن کی ضرورت ہوتی ہے۔ ایمیزون سیج میکر پائپ لائنز ہمیں سیج میکر ماڈل رجسٹری کا استعمال کرتے ہوئے متعدد ماڈلز کو تربیت دینے اور رجسٹر کرنے کی اجازت دیتا ہے۔ ہر پائپ لائن کے لیے، موجودہ نیٹ ویسٹ کوڈ کو سیج میکر پائپ لائنز میں فٹ کرنے کے لیے ری فیکٹر کیا گیا تھا، جبکہ پروسیسنگ، فیچر انجینئرنگ، اور ماڈل ٹریننگ کے منطقی اجزاء کو یقینی بناتے ہوئے یکساں رہیں۔
اس کے علاوہ، ماڈلز کو لگاتار اندازہ لگانے کے لیے لاگو کرنے کے کوڈ کو ایک پائپ لائن میں ری فیکٹر کیا گیا تھا لہذا، استعمال کے معاملے میں متعدد ٹریننگ پائپ لائنز کی ضرورت تھی لیکن صرف ایک انفرنس پائپ لائن۔
ہر ٹریننگ پائپ لائن کے نتیجے میں ایم ایل ماڈل کی تخلیق ہوتی ہے۔ اس ماڈل کو تعینات کرنے کے لیے، ماڈل منظور کرنے والے سے منظوری (NatWest میں ML استعمال کے معاملات کے لیے بیان کردہ کردار) کی ضرورت ہے۔ تعیناتی کے بعد، ماڈل کو دستیاب ہے سیج میکر انفرنس پائپ لائن. انفرنس پائپ لائن تربیت یافتہ ماڈلز کو ترتیب میں نئے ڈیٹا پر لاگو کرتی ہے۔ یہ تخمینہ بیچوں میں انجام دیا جاتا ہے، اور پیشین گوئیوں کو جوڑا جاتا ہے تاکہ ہر گاہک کے لیے حتمی کسٹمر لائف ٹائم ویلیو فراہم کر سکے۔
ٹیمپلیٹ میں درج ذیل مراحل کے ساتھ ایک معیاری MLOps مثال ہے:
- پی اسپارک پروسیسنگ
- ڈیٹا کوالٹی چیک اور ڈیٹا بائیس چیک
- ماڈل ٹریننگ
- شرط
- ماڈل بنائیں
- ماڈل رجسٹری
- تبدیل
- ماڈل تعصب کی جانچ پڑتال، وضاحت کی جانچ پڑتال، اور معیار کی جانچ پڑتال
اس پائپ لائن کو حصہ 3 میں مزید تفصیل سے بیان کیا گیا ہے: NatWest گروپ نے Amazon SageMaker کے ساتھ قابل سماعت، دوبارہ پیدا کرنے کے قابل، اور قابل وضاحت ML ماڈلز کیسے بنائے۔
مندرجہ ذیل تصویر ٹیمپلیٹ کے ذریعہ فراہم کردہ مثال پائپ لائن کے ڈیزائن کو ظاہر کرتی ہے۔
ڈیٹا کو پہلے سے پروسیس کیا جاتا ہے اور ماڈل (ٹریننگ) کو تربیت دینے سے پہلے ٹرین، ٹیسٹ، اور توثیق سیٹ (پروسیسنگ مرحلہ) میں تقسیم کیا جاتا ہے۔ ماڈل کے تعینات ہونے کے بعد (ماڈل بنائیں)، اس کا استعمال بیچ کی پیشین گوئیاں (ٹرانسفارم) بنانے کے لیے کیا جاتا ہے۔ اس کے بعد پیشین گوئیوں کو پوسٹ پروسیس کیا جاتا ہے اور Amazon S3 (پروسیسنگ) میں محفوظ کیا جاتا ہے۔
ڈیٹا کے معیار اور ڈیٹا کی تعصب کی جانچ تربیت کے لیے استعمال کیے جانے والے ڈیٹا پر بنیادی معلومات فراہم کرتی ہے۔ ماڈل کی تعصب، وضاحت کی اہلیت، اور معیار کی جانچیں ماڈل کے رویے کی مزید چھان بین کرنے کے لیے ٹیسٹ ڈیٹا پر پیشین گوئیوں کا استعمال کرتی ہیں۔ اس معلومات کے ساتھ ساتھ ماڈل کی تشخیص (پروسیسنگ) سے ماڈل میٹرکس بعد میں ماڈل رجسٹری کے اندر دکھائے جاتے ہیں۔ ماڈل صرف اس وقت رجسٹرڈ ہوتا ہے جب پچھلے بہترین ماڈلز کے حوالے سے ایک خاص شرط پوری ہو جاتی ہے (حالات کا مرحلہ)۔
پائپ لائن چلانے پر بنائے گئے کسی بھی نمونے اور ڈیٹاسیٹس کو Amazon S3 میں محفوظ کیا جاتا ہے جو ٹیمپلیٹ کی فراہمی کے وقت خود بخود بن جاتی ہیں۔
پائپ لائنوں کو اپنی مرضی کے مطابق بنانا
ہمیں ٹیمپلیٹ کو اپنی مرضی کے مطابق بنانے کی ضرورت تھی تاکہ یہ یقینی بنایا جا سکے کہ موجودہ کوڈبیس کے منطقی اجزاء کو منتقل کیا گیا ہے۔
ہم نے استعمال کیا لائٹ جی بی ایم ہمارے ماڈلز کی تعمیر میں فریم ورک۔ اس استعمال کے معاملے میں بنائے گئے ماڈلز میں سے پہلا ماڈل ٹریننگ کے دوران مخصوص فیچر سپلٹس کو نافذ کرنے کے لیے ایک سادہ فیصلہ ٹری ہے۔ مزید برآں، ہم دی گئی خصوصیت کی بنیاد پر ڈیٹا کو تقسیم کرتے ہیں۔ اس طریقہ کار کے نتیجے میں دو الگ الگ فیصلے کے درخت کے ماڈلز کی تربیت مؤثر طریقے سے ہوئی۔
ہم دو قسم کی پیشین گوئیاں لاگو کرنے کے لیے درختوں کا استعمال کر سکتے ہیں: قدر اور پتی۔ ہمارے معاملے میں، ہم ماڈل کی تشخیص کے لیے حسب ضرورت میٹرکس کا حساب لگانے کے لیے ٹیسٹ سیٹ پر قدر کی پیشین گوئیوں کا استعمال کرتے ہیں، اور ہم تخمینے کے لیے لیف کی پیشن گوئی کا استعمال کرتے ہیں۔
لہذا، ہمیں ٹیمپلیٹ کے ذریعہ فراہم کردہ ٹریننگ اور انفرنس پائپ لائن میں وضاحتیں شامل کرنے کی ضرورت ہے۔ استعمال کیس کے ماڈل کی طرف سے فراہم کردہ پیچیدگی کے ساتھ ساتھ ٹیمپلیٹ کی لچک کو ظاہر کرنے کے لیے، ہم نے پائپ لائن میں اضافی اقدامات شامل کیے اور مطلوبہ کوڈ کو لاگو کرنے کے لیے اقدامات کو حسب ضرورت بنایا۔
مندرجہ ذیل اعداد و شمار ہمارے اپ ڈیٹ کردہ ٹیمپلیٹ کو ظاہر کرتا ہے۔ یہ یہ بھی ظاہر کرتا ہے کہ آپ کی ضرورت کے مطابق آپ کے پاس کیسے تعینات کردہ ماڈل ہوسکتے ہیں، جنہیں آپ انفرنس پائپ لائن تک پہنچا سکتے ہیں۔
ہمارا پہلا ماڈل کاروباری علم کو نافذ کرتا ہے اور دی گئی خصوصیت پر ڈیٹا کو تقسیم کرتا ہے۔ اس ٹریننگ پائپ لائن کے لیے، ہمیں ہر ڈیٹاسیٹ کے لیے دو مختلف LightGBM ماڈلز کو رجسٹر کرنا تھا۔
ان کی تربیت میں شامل اقدامات تقریباً ایک جیسے تھے۔ لہذا، معیاری ٹیمپلیٹ کے مقابلے میں ہر ڈیٹا کی تقسیم کے لیے تمام اقدامات دو بار کیے گئے—سوائے پہلے پروسیسنگ کے مراحل کے۔ ایک دوسرا پروسیسنگ مرحلہ منفرد ڈیٹا سیٹس کے ساتھ مختلف ماڈلز کو پورا کرنے کے لیے لاگو کیا جاتا ہے۔
مندرجہ ذیل حصوں میں، ہم اپنی مرضی کے مطابق اقدامات پر مزید تفصیل سے گفتگو کرتے ہیں۔
پروسیسنگ
ہر پروسیسنگ مرحلہ ایک پروسیسر مثال کے ساتھ فراہم کیا جاتا ہے، جو SageMaker پروسیسنگ کے کاموں کو سنبھالتا ہے۔ یہ استعمال کیس Python کوڈ کو چلانے کے لیے دو قسم کے پروسیسرز کا استعمال کرتا ہے۔
- پی اسپارک پروسیسر - PySpark پروسیسر کے ساتھ پروسیسنگ کا ہر کام کام کو بہتر بنانے کے لیے اسپارک کنفیگریشن کا اپنا سیٹ استعمال کرتا ہے۔
- اسکرپٹ پروسیسر - ہم پیشین گوئیوں اور فراہم کردہ اصل ڈیٹا کی بنیاد پر حسب ضرورت میٹرکس بنانے کے لیے استعمال کے کیس سے موجودہ Python کوڈ کا استعمال کرتے ہیں، اور ماڈل رجسٹری (JSON) میں بعد میں دیکھنے کے لیے آؤٹ پٹ کو فارمیٹ کرتے ہیں۔ ہم ٹیمپلیٹ کے ذریعے بنائی گئی اپنی مرضی کی تصویر استعمال کرتے ہیں۔
ہر معاملے میں، ہم مثال کی قسم، مثال کی گنتی، اور سائز کو GB میں تبدیل کر سکتے ہیں۔ ایمیزون لچکدار بلاک اسٹور (ایمیزون ای بی ایس) حجم ٹریننگ پائپ لائن کی ضروریات کو ایڈجسٹ کرنے کے لئے. اس کے علاوہ، ہم ٹیمپلیٹ کے ذریعے بنائی گئی حسب ضرورت کنٹینر امیجز کا اطلاق کرتے ہیں، اور اگر ضرورت ہو تو ہم پہلے سے طے شدہ لائبریریوں کو بڑھا سکتے ہیں۔
ماڈل ٹریننگ
سیج میکر۔ تربیتی اقدامات ML فریم ورک کی ایک قسم کے لیے منظم تربیت اور تخمینہ کی حمایت کرتا ہے۔ ہمارے معاملے میں، ہم استعمال کرتے ہیں اپنی مرضی کے مطابق سکیٹ سیکھنے کی تصویر کے ساتھ مل کر ایمیزون ای سی آر کا استعمال کرتے ہوئے فراہم کیا گیا ہے۔ اسکیٹ لرن کا تخمینہ لگانے والا ہمارے دو LightGBM ماڈلز کو تربیت دینے کے لیے۔
فیصلے کے درخت کے ماڈل کے پچھلے ڈیزائن میں ایک حسب ضرورت کلاس شامل تھی، جو پیچیدہ تھی اور ڈیٹا کے فلٹر شدہ سلائسوں میں الگ الگ فیصلے کے درختوں کو فٹ کر کے آسان بنانا تھا۔ ہم نے ہر ماڈل کے لیے درکار مختلف پیرامیٹر اور ڈیٹا ان پٹس کے ساتھ دو تربیتی مراحل کو لاگو کرکے اسے پورا کیا۔
شرط
مشروط اقدامات سیج میکر پائپ لائنز قدموں کی دوڑ میں مشروط برانچنگ کی حمایت کرتی ہیں۔ اگر کنڈیشن لسٹ میں موجود تمام شرائط کا درست اندازہ لگایا جاتا ہے، تو "اگر" اقدامات کو چلانے کے لیے تیار کے طور پر نشان زد کیا جاتا ہے۔ بصورت دیگر، "دوسرے" اقدامات کو چلانے کے لیے تیار کے طور پر نشان زد کیا جاتا ہے۔ ہمارے استعمال کے معاملے کے لیے، ہم یہ تعین کرنے کے لیے دو شرط کے مراحل (ConditionLessThan) استعمال کرتے ہیں کہ آیا ہر ماڈل کے لیے موجودہ کسٹم میٹرکس (مثال کے طور پر ٹیسٹ سیٹ پر اوسط مطلق غلطی کا حساب) کارکردگی کی حد سے نیچے ہے۔ اس طرح، ہم ماڈلز کو صرف اس وقت رجسٹر کرتے ہیں جب ماڈل کا معیار قابل قبول ہو۔
ماڈل بنائیں
۔ ماڈل قدم بنائیں تخمینہ کے کاموں کے لیے ماڈلز کو دستیاب کرنے میں مدد کرتا ہے اور پیشین گوئیاں بنانے کے لیے استعمال کیے جانے والے کوڈ کو بھی وراثت میں دیتا ہے۔ چونکہ ہمارے استعمال کے معاملے کو دو مختلف ماڈلز کے لیے قدر اور پتی کی پیشن گوئی کی ضرورت ہے، اس لیے ٹریننگ پائپ لائنز میں چار مختلف تخلیقی ماڈل کے مراحل ہوتے ہیں۔
ہر قدم کو ایک انٹری پوائنٹ فائل دی جاتی ہے اس پر منحصر ہے کہ آیا لگاتار تبدیلی کا مرحلہ دیئے گئے ڈیٹا پر کسی پتی یا قدر کی پیش گوئی کرنا ہے۔
تبدیل
ہر قدم کو تبدیل کریں پیشین گوئیاں واپس کرنے کے لیے ایک ماڈل (create model step کے ذریعے تخلیق کردہ) استعمال کرتا ہے۔ ہمارے معاملے میں، ہمارے پاس ہر تخلیق کردہ ماڈل کے لیے ایک ہے، جس کے نتیجے میں کل چار تبدیلی کے مراحل ہوتے ہیں۔ ان مراحل میں سے ہر ایک ماڈل میں سے ہر ایک کے لیے یا تو پتی یا قدر کی پیشین گوئیاں لوٹاتا ہے۔ پائپ لائن کے اگلے مرحلے کے لحاظ سے آؤٹ پٹ کو اپنی مرضی کے مطابق بنایا گیا ہے۔ مثال کے طور پر، قدر کی پیشین گوئیوں کے لیے ٹرانسفارم سٹیپ میں مختلف آؤٹ پٹ فلٹرز ہوتے ہیں تاکہ پائپ لائن میں درج ذیل ماڈل کی جانچ کے مراحل کے لیے ایک مخصوص ان پٹ کی ضرورت ہو۔
ماڈل رجسٹری
آخر میں، ٹریننگ پائپ لائن کے اندر دونوں ماڈل برانچز ایک منفرد ہیں۔ ماڈل رجسٹری مرحلہ. معیاری سیٹ اپ کی طرح، ہر ماڈل رجسٹری مرحلہ تمام جانچ کے مراحل (معیار، وضاحت کی اہلیت، اور تعصب) کے ساتھ ساتھ حسب ضرورت میٹرکس اور ماڈل نوادرات سے ماڈل کے لیے مخصوص معلومات لیتا ہے۔ ہر ماڈل ایک منفرد کے ساتھ رجسٹرڈ ہے۔ ماڈل پیکیج گروپ.
مثال کے طور پر کوڈ بیس میں استعمال کے معاملے سے متعلق تبدیلیوں کو لاگو کرتے ہوئے، پائپ لائنز ڈیبگنگ کے تجربے کو بڑھانے کے لیے ہر پائپ لائن مرحلے کے لیے کیش کنفیگریشنز کا استعمال کرتے ہوئے چلتی ہیں۔ سیج میکر پائپ لائنز تیار کرتے وقت کیشنگ کے اقدامات کارآمد ہوتے ہیں کیونکہ اس سے لاگت کم ہوتی ہے اور پائپ لائنوں کی جانچ کرتے وقت وقت کی بچت ہوتی ہے۔
ہم ہر اس مرحلے کی ترتیبات کو بہتر بنا سکتے ہیں جس کے لیے ایک مثال کی قسم اور شمار (اور اگر قابل اطلاق EBS والیوم) کی ضرورت ہوتی ہے تو استعمال کے کیس کی ضروریات کے مطابق آن ڈیمانڈ مثالوں کے لیے۔
فوائد
AWS-NatWest تعاون نے SageMaker پائپ لائنز اور MLOps بہترین طریقوں کے ذریعے ML ماڈلز کے نفاذ میں جدت لائی ہے۔ نیٹ ویسٹ گروپ اب لچکدار کسٹم ٹیمپلیٹس کے ذریعے AWS پر ML ورک بوجھ کو نافذ کرنے اور تیار کرنے کے لیے ایک معیاری اور محفوظ حل استعمال کرتا ہے۔ مزید برآں، اس پوسٹ میں تفصیلی ماڈل کی منتقلی نے متعدد فوری اور جاری کاروباری فوائد پیدا کیے ہیں۔
سب سے پہلے، ہم نے معیاری کاری کے ذریعے پیچیدگی کو کم کیا:
- ہم دوبارہ قابل استعمال حل بنانے کے لیے حسب ضرورت تھرڈ پارٹی ماڈلز کو SageMaker میں انتہائی ماڈیولر طریقے سے ضم کر سکتے ہیں۔
- ہم ٹیمپلیٹس کا استعمال کرتے ہوئے غیر معیاری پائپ لائنیں بنا سکتے ہیں، اور یہ ٹیمپلیٹس معیاری MLOps پروڈکشن ماحول میں معاون ہیں۔
ہم نے سافٹ ویئر اور انفراسٹرکچر انجینئرنگ میں درج ذیل فوائد دیکھے:
- ہم انفرادی استعمال کے معاملات کی بنیاد پر ٹیمپلیٹس کو اپنی مرضی کے مطابق بنا سکتے ہیں۔
- اصل ماڈل کوڈ کو فنکشنل طور پر گلنا اور ری فیکٹر کرنا ہمیں دوبارہ تعمیر کرنے، میراثی کوڈ کی وجہ سے ایک اہم تکنیکی قرض کو ہٹانے، اور اپنی پائپ لائنوں کو ایک منظم آن ڈیمانڈ پر عملدرآمد کے ماحول میں منتقل کرنے کی اجازت دیتا ہے۔
- ہم معیاری ٹیمپلیٹس کے ذریعے دستیاب اضافی صلاحیتوں کو ماڈل کی وضاحت کی صلاحیت کو اپ گریڈ کرنے اور معیاری بنانے کے ساتھ ساتھ ڈیٹا اور ماڈل کے معیار اور تعصب کو چیک کرنے کے لیے استعمال کر سکتے ہیں۔
- نیٹ ویسٹ پروجیکٹ ٹیم کو تقریباً مکمل طور پر سیلف سروس ماحول میں ماحول فراہم کرنے، ماڈلز کو نافذ کرنے اور ماڈل تیار کرنے کا اختیار حاصل ہے۔
آخر میں، ہم نے بہتر پیداوری اور دیکھ بھال کی کم لاگت حاصل کی:
- ایم ایل پروجیکٹس کے لیے رہنے کے لیے کم وقت - اب ہم عام ٹیمپلیٹس کے ساتھ پراجیکٹس شروع کر سکتے ہیں جو کوڈ کے معیارات، یونٹ ٹیسٹ، اور CI/CD پائپ لائنوں کو پروڈکشن ریڈی یوز کیس ڈویلپمنٹ کے لیے لاگو کرتے ہیں۔ نئی معیاری کاری کا مطلب یہ ہے کہ ہم مستقبل میں استعمال کے کیسز میں وقت کم ہونے کی توقع کر سکتے ہیں۔
- کلاؤڈ میں ML ورک فلو چلانے کے لیے کم لاگت - اب ہم ڈیٹا پروسیسنگ اور ایم ایل ورک فلوز کو منظم فن تعمیر کے ساتھ چلا سکتے ہیں اور معیاری ٹیمپلیٹس کا استعمال کرتے ہوئے کیس کی ضروریات کو استعمال کرنے کے لیے بنیادی ڈھانچے کو ڈھال سکتے ہیں۔
- پروجیکٹ ٹیموں کے درمیان تعاون میں اضافہ - ماڈلز کی معیاری ترقی کا مطلب یہ ہے کہ ہم نے انفرادی ٹیموں کے ذریعہ تیار کردہ ماڈل کے افعال کی دوبارہ استعمال کی اہلیت میں اضافہ کیا ہے۔ اس سے ترقی اور آپریشن دونوں میں مسلسل بہتری کی حکمت عملیوں کو نافذ کرنے کا موقع ملتا ہے۔
- باؤنڈری لیس ڈیلیوری - یہ حل ہمیں اپنے لچکدار آن ڈیمانڈ انفراسٹرکچر کو 24/7 دستیاب کرنے کی اجازت دیتا ہے۔
- مسلسل انضمام، ترسیل، اور جانچ - ترقی کی تکمیل اور پیداوار کی دستیابی کے درمیان تعیناتی کے اوقات میں کمی درج ذیل فوائد کا باعث بنتی ہے:
- ہم ماڈل ٹریننگ اور انفرنس رن ٹائم کے لیے اپنے انفراسٹرکچر اور سافٹ ویئر کی ترتیب کو بہتر بنا سکتے ہیں۔
- عمل کی معیاری کاری، آٹومیشن، اور آن ڈیمانڈ کمپیوٹ کی وجہ سے دیکھ بھال کی جاری لاگت کم ہوتی ہے۔ لہذا، پیداوار میں، ہم مہینے میں صرف ایک بار دوبارہ تربیت اور تخمینہ کے دوران رن ٹائم کے اخراجات اٹھاتے ہیں۔
نتیجہ
SageMaker اور AWS جدت طرازی کی قیادت کی مدد سے، NatWest نے ایک ML پروڈکٹیویٹی کا دائرہ بنایا ہے۔ ٹیمپلیٹس، ماڈیولر اور دوبارہ قابل استعمال کوڈ، اور معیاری کاری نے پروجیکٹ ٹیم کو ڈیلیوری کی موجودہ رکاوٹوں سے آزاد کر دیا۔ مزید برآں، MLOps آٹومیشن نے ٹیم کو دیگر استعمال کے معاملات اور پروجیکٹس پر کام کرنے، یا موجودہ ماڈلز اور عمل کو بہتر بنانے کے لیے مدد کی کوششوں کو آزاد کیا۔
نیٹ ویسٹ گروپ اور AWS پروفیشنل سروسز کے درمیان اسٹریٹجک تعاون پر چار حصوں پر مشتمل سیریز کی یہ چوتھی پوسٹ ہے۔ مندرجہ ذیل عنوانات کے لیے سیریز کے بقیہ حصے کو دیکھیں۔
- حصہ 1 وضاحت کرتا ہے کہ کس طرح نیٹ ویسٹ گروپ نے ایک قابل توسیع، محفوظ اور پائیدار MLOps پلیٹ فارم بنانے کے لیے AWS پروفیشنل سروسز کے ساتھ شراکت کی۔
- حصہ 2 بیان کرتا ہے کہ کس طرح نیٹ ویسٹ گروپ نے AWS سروس کیٹلاگ اور SageMaker کو اپنے مطابق اور سیلف سروس MLOps پلیٹ فارم کو تعینات کرنے کے لیے استعمال کیا
- حصہ 3 اس بات کا ایک جائزہ فراہم کرتا ہے کہ نیٹ ویسٹ گروپ کس طرح قابل سماعت، قابل تولید، اور قابل وضاحت ML ماڈلز بنانے کے لیے SageMaker سروسز کا استعمال کرتا ہے۔
مصنفین کے بارے میں
پولین ٹنگ AWS پروفیشنل سروسز ٹیم میں ڈیٹا سائنٹسٹ ہے۔ وہ مالیاتی اور کھیلوں اور میڈیا کی صنعتوں میں صارفین کو AI/ML حل تیار کرکے ان کے کاروباری نتائج کو حاصل کرنے اور اس میں تیزی لانے میں معاونت کرتی ہے۔ اپنے فارغ وقت میں، پاؤلین سفر کرنے، سرفنگ کرنے اور میٹھے کے نئے مقامات کو آزمانے سے لطف اندوز ہوتی ہے۔
مارین سلیمان AWS پروفیشنل سروسز میں ڈیٹا سائنٹسٹ ہے۔ وہ تمام صنعتوں کے صارفین کے ساتھ کام کرتی ہے جو ان کے کاروباری نتائج حاصل کرنے کے لیے AI/ML کی طاقت کو ظاہر کرتی ہے۔ اپنے فارغ وقت میں، وہ کِک باکسنگ سے لطف اندوز ہوتی ہے، شاندار نظاروں تک پیدل سفر اور بورڈ گیم کی راتوں میں۔
کریگ سم نیٹ ویسٹ گروپ میں ایک سینئر ڈیٹا سائنٹسٹ ہے جس میں ڈیٹا سائنس ریسرچ کا شوق ہے، خاص طور پر گراف مشین لرننگ ڈومین کے اندر، اور MLOps کے بہترین طریقوں کا استعمال کرتے ہوئے ماڈل ڈیولپمنٹ کے عمل کو بہتر بنانا۔ کریگ کو مالیاتی خدمات کے اندر سافٹ ویئر انجینئرنگ اور ٹیکنیکل پروگرام مینجمنٹ کا بھی وسیع تجربہ ہے۔ کریگ نے ڈیٹا سائنس میں MSc، سافٹ ویئر انجینئرنگ میں PGDip اور مکینیکل اور الیکٹریکل انجینئرنگ میں BEng (آنرز) کیا ہے۔ کام سے باہر کریگ ایک شوقین گولفر ہے، جو جونیئر اور سینئر کاؤنٹی سطح پر کھیل چکا ہے۔ کریگ خوش قسمت تھا کہ وہ اپنے MSc ڈیٹا سائنس تھیسس کے لیے PGA یورپی ٹور اور ورلڈ گالف رینکنگ کے ساتھ تعاون کرکے، ڈیٹا سائنس کے ساتھ، اپنی گولف کی دلچسپی کو شامل کرنے میں کامیاب رہا۔ کریگ کو ٹینس اور اسکیئنگ بھی پسند ہے اور وہ تین بچوں کا شادی شدہ باپ ہے، جو اب بالغ، بچوں کا ہے۔
شعیب خان نیٹ ویسٹ گروپ میں ڈیٹا سائنٹسٹ ہیں۔ وہ کاروباری مسائل کو حل کرنے کے لیے پرجوش ہے خاص طور پر کسٹمر لائف ٹائم ویلیو اور قیمتوں کے تعین میں MLOps کے بہترین طریقوں کا استعمال کرتے ہوئے۔ وہ ایک بڑے مشین لرننگ کوڈبیس کے انتظام کے ساتھ اچھی طرح لیس ہے اور نئے ٹولز اور پیکجز کی جانچ کرنے کے لیے ہمیشہ پرجوش رہتا ہے۔ اپنے ارد گرد دوسروں کو تعلیم دینا پسند کرتا ہے کیونکہ وہ کنورج ایم ایل نامی یوٹیوب چینل چلاتا ہے۔ اپنے فارغ وقت میں لمبی چہل قدمی اور سفر سے لطف اندوز ہوتا ہے۔
- "
- &
- 100
- مطلق
- تیز
- کے مطابق
- اکاؤنٹ
- حاصل کیا
- کے پار
- اس کے علاوہ
- ایڈیشنل
- منہ بولابیٹا بنانے
- فائدہ
- تمام
- اجازت دے رہا ہے
- پہلے ہی
- ایمیزون
- رقم
- مقدار
- ایک اور
- قابل اطلاق
- درخواست دینا
- فن تعمیر
- ارد گرد
- میشن
- دستیابی
- دستیاب
- AWS
- بینکنگ
- بیس لائن
- شروع
- فوائد
- BEST
- بہترین طریقوں
- ارب
- بلاک
- بورڈ
- تعمیر
- عمارت
- کاروبار
- صلاحیتوں
- پرواہ
- مقدمات
- وجہ
- کچھ
- چیک
- بچوں
- سرکل
- طبقے
- بادل
- کلاؤڈ ٹیکنالوجی
- کوڈ
- تعاون
- تعاون
- مجموعہ
- مل کر
- تجارتی
- مقابلے میں
- مکمل طور پر
- پیچیدہ
- تعمیل
- شکایت
- پر مشتمل
- کمپیوٹنگ
- تصور
- شرط
- ترتیب
- مسلسل
- کنٹینر
- پر مشتمل ہے
- اخراجات
- کاؤنٹی
- تخلیق
- بنائی
- پیدا
- مخلوق
- موجودہ
- اپنی مرضی کے
- گاہک
- گاہکوں
- اعداد و شمار
- ڈیٹا پروسیسنگ
- ڈیٹا سائنس
- ڈیٹا سائنسدان
- قرض
- وقف
- ترسیل
- منحصر ہے
- تعیناتی
- تعینات
- تعینات
- تعیناتی
- تعینات
- بیان کیا
- ڈیزائن
- تفصیل
- تفصیلی
- اس بات کا تعین
- ترقی
- ترقی یافتہ
- ترقی
- ترقی
- مختلف
- بات چیت
- ڈومین
- نیچے
- تعلیم
- کوشش
- کو چالو کرنے کے
- انجنیئرنگ
- انجینئرز
- کو یقینی بنانے ہے
- ماحولیات
- لیس
- یورپی
- اندازہ
- تشخیص
- مثال کے طور پر
- پھانسی
- ایگزیکٹوز
- موجودہ
- توقع ہے
- تجربہ
- توسیع
- وسیع
- نمایاں کریں
- خصوصیات
- اعداد و شمار
- فلٹر
- مالی
- مالیاتی خدمات
- پہلا
- فٹ
- لچک
- لچکدار
- توجہ مرکوز
- کے بعد
- فارمیٹ
- فریم ورک
- مزید
- مستقبل
- کھیل ہی کھیل میں
- پیدا
- عظیم
- گروپ
- ہونے
- مدد
- مدد کرتا ہے
- انتہائی
- کس طرح
- کیسے
- HTTPS
- تصویر
- فوری طور پر
- پر عملدرآمد
- نفاذ
- پر عمل درآمد
- کو بہتر بنانے کے
- بہتر
- شامل
- شامل ہیں
- اضافہ
- انفرادی
- صنعتوں
- معلومات
- انفراسٹرکچر
- جدت طرازی
- ان پٹ
- بصیرت
- ضم
- ضم
- انضمام
- دلچسپی
- کی تحقیقات
- ملوث
- IT
- ایوب
- علم
- بڑے
- قیادت
- قیادت
- سیکھنے
- قیادت
- کی وراست
- سطح
- زندگی
- لائن
- لسٹ
- لانگ
- مشین
- مشین لرننگ
- میں کامیاب
- انتظام
- مینیجنگ
- پختگی
- میڈیا
- پیمائش کا معیار
- مشن
- ML
- ماڈل
- ماڈل
- ماڈیولر
- نگرانی
- مہینہ
- زیادہ
- منتقل
- منتقل
- ایک سے زیادہ
- فرائض
- جاری
- آپریشنز
- مواقع
- کی اصلاح کریں
- تنظیم
- دیگر
- دوسری صورت میں
- خود
- مالک
- خاص طور پر
- شراکت دار
- جذباتی
- کارکردگی
- پلیٹ فارم
- پی او سی
- پوائنٹ
- پوائنٹس
- طاقت
- پیشن گوئی
- کی پیشن گوئی
- پیشن گوئی
- پچھلا
- قیمتوں کا تعین
- مسائل
- عمل
- عمل
- پروسیسنگ
- پروسیسر
- پیداوار
- پیداوری
- حاصل
- پیشہ ورانہ
- پروگرام
- منصوبے
- منصوبوں
- ثبوت
- تصور کا ثبوت
- ثابت ہوتا ہے
- فراہم
- فراہم کرتا ہے
- معیار
- جلدی سے
- کو کم کرنے
- رجسٹر
- رجسٹرڈ
- ریگولیٹری
- باقی
- کی ضرورت
- ضرورت
- ضروریات
- تحقیق
- وسائل
- وسائل
- باقی
- نتائج کی نمائش
- خوردہ
- واپسی
- واپسی
- رن
- چل رہا ہے
- توسیع پذیر
- سائنس
- سائنسدان
- سائنسدانوں
- محفوظ بنانے
- سیکورٹی
- منتخب
- سیریز
- سروس
- سروسز
- مقرر
- سیٹ اپ
- اہم
- سادہ
- سائز
- So
- سافٹ ویئر کی
- سافٹ ویئر انجینئرنگ
- حل
- حل
- کچھ
- وضاحتیں
- سپن
- تقسیم
- الگ ہوجاتا ہے
- اسپورٹس
- معیار
- معیار
- شروع کریں
- شروع
- شروع ہوتا ہے
- ذخیرہ
- حکمت عملی
- حکمت عملیوں
- سٹوڈیو
- حمایت
- تائید
- کی حمایت کرتا ہے
- پائیدار
- لینے
- کاموں
- ٹیم
- ٹیکنیکل
- ٹیکنالوجی
- سانچے
- ٹیسٹ
- ٹیسٹنگ
- ٹیسٹ
- لہذا
- تیسری پارٹی
- کے ذریعے
- وقت
- مل کر
- اوزار
- موضوعات
- ٹریننگ
- تبدیل
- سفر
- سفر
- سمجھ
- منفرد
- us
- استعمال کی شرائط
- صارفین
- توثیق
- قیمت
- مختلف اقسام کے
- مختلف
- حجم
- ویلتھ
- چاہے
- جبکہ
- ڈبلیو
- کے اندر
- کام
- کام کر
- کام کرتا ہے
- دنیا
- یو ٹیوب پر