یہ چار حصوں پر مشتمل سیریز کی دوسری پوسٹ ہے جس میں بتایا گیا ہے کہ کیسے نیٹ ویسٹ گروپ۔ایک اہم مالیاتی خدمات کا ادارہ، جس کے ساتھ شراکت داری کی ہے۔ AWS پروفیشنل سروسز ایک نیا مشین لرننگ آپریشنز (MLOps) پلیٹ فارم بنانے کے لیے۔ اس پوسٹ میں، ہم بتاتے ہیں کہ نیٹ ویسٹ گروپ نے کس طرح AWS کو استعمال کرتے ہوئے اپنے معیاری، محفوظ، اور مطابقت پذیر MLOps پلیٹ فارم کی سیلف سروس تعیناتی کو فعال کیا۔ AWS سروس کیٹلاگ اور ایمیزون سیج میکر. اس کی وجہ سے نئے ماحول فراہم کرنے میں لگنے والے وقت میں دنوں سے صرف چند گھنٹوں تک کی کمی واقع ہوئی ہے۔
ہمیں یقین ہے کہ فیصلہ ساز اس مواد سے فائدہ اٹھا سکتے ہیں۔ CTOs، CDAOs، سینئر ڈیٹا سائنسدان، اور سینئر کلاؤڈ انجینئرز اپنی ڈیٹا سائنس اور انجینئرنگ ٹیموں کے لیے اختراعی حل فراہم کرنے کے لیے اس طرز پر عمل کر سکتے ہیں۔
پوری سیریز پڑھیں:
|
نیٹ ویسٹ گروپ میں ٹیکنالوجی
نیٹ ویسٹ گروپ ڈیجیٹل دنیا کے لیے ایک رشتہ دار بینک ہے جو برطانیہ بھر میں 19 ملین سے زیادہ صارفین کو مالی خدمات فراہم کرتا ہے۔ گروپ کے پاس ایک متنوع ٹیکنالوجی کا پورٹ فولیو ہے، جہاں کاروباری چیلنجوں کے حل اکثر بیسپوک ڈیزائن اور طویل ٹائم لائنز کے ساتھ فراہم کیے جاتے ہیں۔
حال ہی میں، نیٹ ویسٹ گروپ نے کلاؤڈ فرسٹ حکمت عملی اپنائی ہے، جس نے کمپنی کو آن ڈیمانڈ کمپیوٹ اور اسٹوریج کے وسائل کی فراہمی کے لیے منظم خدمات کا استعمال کرنے کے قابل بنایا ہے۔ اس اقدام سے مجموعی استحکام، اسکیل ایبلٹی، اور کاروباری حلوں کی کارکردگی میں بہتری آئی ہے، جبکہ لاگت میں کمی اور ترسیل کی رفتار میں تیزی آئی ہے۔ مزید برآں، کلاؤڈ پر منتقل ہونے سے نیٹ ویسٹ گروپ کو ریگولیٹری تقاضوں کو پورا کرنے اور کنٹرول شدہ طریقے سے کام کرنے کے لیے مستقل، دوبارہ قابل، اور پہلے سے منظور شدہ حل ڈیزائنوں کے سیٹ کو نافذ کر کے اپنے ٹیکنالوجی اسٹیک کو آسان بنانے کی اجازت ملتی ہے۔
چیلنجز
کلاؤڈ فرسٹ اپروچ کو اپنانے کے پائلٹ مراحل میں متعدد تجربات اور تشخیص کے مراحل شامل تھے تجزیاتی خدمات AWS پر ڈیٹا سائنس کے کام کے بوجھ کے لیے نیٹ ویسٹ گروپ کے کلاؤڈ پلیٹ فارم کی پہلی تکرار نے مستقل، محفوظ، اور موافق کلاؤڈ ماحول کی فراہمی کے ساتھ چیلنجوں کا سامنا کیا۔ نئے ماحول کی تخلیق کے عمل میں چند دنوں سے ہفتوں یا مہینوں تک کا وقت لگتا ہے۔ بنیادی ڈھانچے اور ڈیٹا کے ذرائع کی تعمیر، فراہمی، محفوظ، تعیناتی اور انتظام کے لیے مرکزی پلیٹ فارم ٹیموں پر انحصار نے نئی ٹیموں کو کلاؤڈ میں کام کرنے کے لیے آن بورڈ کرنا مشکل بنا دیا۔
AWS اکاؤنٹس میں بنیادی ڈھانچے کی ترتیب میں تفاوت کی وجہ سے، جن ٹیموں نے اپنے کام کے بوجھ کو کلاؤڈ پر منتقل کرنے کا فیصلہ کیا انہیں تعمیل کے وسیع عمل سے گزرنا پڑا۔ انفراسٹرکچر کے ہر جزو کا الگ الگ تجزیہ کرنا پڑا، جس سے سیکیورٹی آڈٹ کی ٹائم لائنز میں اضافہ ہوا۔
AWS میں ترقی کے ساتھ شروع کرنے میں پلیٹ فارم ٹیموں کے ذریعہ لکھے گئے دستاویزاتی گائیڈز کا ایک سیٹ پڑھنا شامل ہے۔ ابتدائی ماحول کے سیٹ اپ کے اقدامات میں تصدیق کے لیے عوامی اور نجی کلیدوں کا انتظام کرنا، ریموٹ سروسز سے کنکشن ترتیب دینا شامل ہے۔ AWS کمانڈ لائن انٹرفیس (AWS CLI) یا مقامی ترقیاتی ماحول سے SDK، اور مقامی IDEs کو کلاؤڈ سروسز سے منسلک کرنے کے لیے حسب ضرورت اسکرپٹ چلانا۔ تکنیکی چیلنجوں نے اکثر ٹیم کے نئے ارکان کو جہاز میں رکھنا مشکل بنا دیا۔ ترقی کے ماحول کو ترتیب دینے کے بعد، پیداوار میں سافٹ ویئر کو جاری کرنے کا راستہ اسی طرح پیچیدہ اور لمبا تھا۔
جیسا کہ اس سیریز کے حصہ 1 میں بیان کیا گیا ہے، مشترکہ پروجیکٹ ٹیم نے نئے ڈیٹا سائنس اور MLOps پلیٹ فارم کی تعمیر سے پہلے نیٹ ویسٹ گروپ کی ٹیموں سے صارف کے تجربے اور ضروریات پر بڑی مقدار میں تاثرات اکٹھے کیے ہیں۔ اس فیڈ بیک میں ایک عام تھیم AWS پر فوری اور موثر پروجیکٹ کی فراہمی کے پیش خیمہ کے طور پر آٹومیشن اور معیاری کاری کی ضرورت تھی۔ نیا پلیٹ فارم لاگت کو بہتر بنانے، پلیٹ فارم کنفیگریشن کی کوششوں کو کم کرنے، اور غیر ضروری طور پر بڑی کمپیوٹ جابز کو چلانے سے کاربن فوٹ پرنٹ کو کم کرنے کے لیے AWS کے زیر انتظام خدمات کا استعمال کرتا ہے۔ معیاری کاری پلیٹ فارم کے مرکز میں سرایت کر گئی ہے، پہلے سے منظور شدہ، مکمل طور پر ترتیب شدہ، محفوظ، تعمیل، اور دوبارہ قابل استعمال بنیادی ڈھانچے کے اجزاء کے ساتھ جو ڈیٹا اور تجزیاتی ٹیموں کے درمیان قابل اشتراک ہیں۔
سیج میکر اسٹوڈیو کیوں؟
ٹیم نے انتخاب کیا۔ ایمیزون سیج میکر اسٹوڈیو ایم ایل پائپ لائنوں کی تعمیر اور تعیناتی کے لیے اہم ٹول کے طور پر۔ اسٹوڈیو ایک واحد ویب پر مبنی انٹرفیس فراہم کرتا ہے جو صارفین کو ماڈلز کی تعمیر، تربیت اور تعیناتی کے لیے درکار ہر مرحلے تک مکمل رسائی، کنٹرول اور مرئیت فراہم کرتا ہے۔ ماڈل کی ترقی، میٹا ڈیٹا ٹریکنگ، آرٹفیکٹ مینجمنٹ، اور تعیناتی کے لیے اسٹوڈیو IDE (مربوط ترقیاتی ماحول) کی پختگی ان خصوصیات میں شامل تھی جس نے نیٹ ویسٹ گروپ کی ٹیم کو بھرپور اپیل کی۔
نیٹ ویسٹ گروپ کے ڈیٹا سائنس دان ڈیٹا کا تجزیہ، ڈیٹا رینگلنگ، اور فیچر انجینئرنگ انجام دینے کے لیے ماڈل ڈیولپمنٹ کے ابتدائی مراحل کے دوران سٹوڈیو کے اندر SageMaker نوٹ بک کے ساتھ کام کرتے ہیں۔ صارفین کے اس ابتدائی کام کے نتائج سے خوش ہونے کے بعد، کوڈ کو ڈیٹا ٹرانسفارمیشن، ماڈل ٹریننگ، انفرنس، لاگنگ، اور یونٹ ٹیسٹ کے لیے آسانی سے کمپوز ایبل فنکشنز میں تبدیل کر دیا جاتا ہے تاکہ یہ پروڈکشن کے لیے تیار حالت میں ہو۔
ماڈل ڈویلپمنٹ لائف سائیکل کے بعد کے مراحل میں کا استعمال شامل ہے۔ ایمیزون سیج میکر پائپ لائنز، جس کا سٹوڈیو میں بصری طور پر معائنہ اور نگرانی کی جا سکتی ہے۔ پائپ لائنوں کو ڈی اے جی (ڈائریکٹڈ ایکائیلک گراف) میں تصور کیا جاتا ہے جو پائپ لائن کے چلنے کے دوران ان کی حالت کی بنیاد پر قدموں کو رنگین کرتا ہے۔ اس کے علاوہ، کا خلاصہ ایمیزون کلاؤڈ واچ لاگز ناکام اقدامات کی ڈیبگنگ کی سہولت کے لیے ڈی اے جی کے آگے دکھایا جاتا ہے۔ ڈیٹا سائنسدانوں کو ایک کوڈ ٹیمپلیٹ فراہم کیا جاتا ہے جس میں سیج میکر پائپ لائن کے تمام بنیادی مراحل شامل ہوتے ہیں۔ یہ ایک معیاری فریم ورک فراہم کرتا ہے (تعاون اور علم کے اشتراک کو آسان بنانے کے لیے پلیٹ فارم کے تمام صارفین کے لیے مطابقت رکھتا ہے) جس میں ڈویلپرز بیسپوک منطق اور ایپلیکیشن کوڈ شامل کر سکتے ہیں جو خاص طور پر اس کاروباری چیلنج کے لیے ہے جسے وہ حل کر رہے ہیں۔
ڈویلپرز اسٹوڈیو IDE کے اندر پائپ لائنز چلاتے ہیں تاکہ یہ یقینی بنایا جا سکے کہ ان کے کوڈ کی تبدیلیاں پائپ لائن کے دیگر مراحل کے ساتھ صحیح طریقے سے ضم ہو جاتی ہیں۔ کوڈ کی تبدیلیوں کا جائزہ لینے اور منظوری دینے کے بعد، یہ پائپ لائنیں ایک مین گٹ ریپوزٹری برانچ ٹرگر کی بنیاد پر خود بخود بنی اور چلائی جاتی ہیں۔ ماڈل ٹریننگ کے دوران، ماڈل ایویلیویشن میٹرکس کو SageMaker Experiments میں محفوظ اور ٹریک کیا جاتا ہے، جنہیں ہائپر پیرامیٹر ٹیوننگ کے لیے استعمال کیا جا سکتا ہے۔ ایک ماڈل کی تربیت کے بعد، ماڈل آرٹفیکٹ کو میں محفوظ کیا جاتا ہے۔ سیج میکر ماڈل رجسٹری، ماڈل کنٹینرز سے متعلق میٹا ڈیٹا کے ساتھ، تربیت کے دوران استعمال ہونے والا ڈیٹا، ماڈل کی خصوصیات، اور ماڈل کوڈ۔ ماڈل رجسٹری ماڈل کی تعیناتی کے عمل میں کلیدی کردار ادا کرتی ہے کیونکہ یہ ماڈل کی تمام معلومات کو پیک کرتی ہے اور پیداواری ماحول میں ماڈل کے فروغ کے آٹومیشن کو قابل بناتی ہے۔
MLOps انجینئرز کی تعیناتی کا انتظام کیا گیا۔ سیج میکر بیچ ملازمتوں کو تبدیل کرتا ہے۔کام کے بوجھ کے تقاضوں کو پورا کرنے کے لیے کون سا پیمانہ۔ اینڈ پوائنٹ کے ذریعے پیش کیے جانے والے آف لائن بیچ انفرنس جابز اور آن لائن ماڈلز دونوں SageMaker کے زیر انتظام انفرنس فنکشنلٹی کا استعمال کرتے ہیں۔ اس سے پلیٹ فارم اور بزنس ایپلیکیشن ٹیموں دونوں کو فائدہ ہوتا ہے کیونکہ پلیٹ فارم انجینئرز اب ماڈل کے تخمینے کے لیے بنیادی ڈھانچے کے اجزاء کو ترتیب دینے میں زیادہ وقت نہیں لگاتے ہیں، اور کاروباری ایپلیکیشن ٹیمیں کمپیوٹ مثالوں کو ترتیب دینے اور ان کے ساتھ تعامل کرنے کے لیے اضافی بوائلر پلیٹ کوڈ نہیں لکھتی ہیں۔
AWS سروس کیٹلاگ کیوں؟
ٹیم نے محفوظ، مطابقت پذیر، اور پہلے سے منظور شدہ انفراسٹرکچر ٹیمپلیٹس کا کیٹلاگ بنانے کے لیے AWS سروس کیٹلاگ کا انتخاب کیا۔ AWS سروس کیٹلاگ پروڈکٹ میں بنیادی ڈھانچے کے اجزاء کو نیٹ ویسٹ گروپ کی حفاظتی ضروریات کو پورا کرنے کے لیے پہلے سے ترتیب دیا گیا ہے۔ رول تک رسائی کا انتظام، وسائل کی پالیسیاں، نیٹ ورکنگ کنفیگریشن، اور مرکزی کنٹرول کی پالیسیاں AWS سروس کیٹلاگ پروڈکٹ میں پیک کیے گئے ہر وسائل کے لیے ترتیب دی جاتی ہیں۔ مصنوعات کو ایک معیاری عمل کی پیروی کرتے ہوئے ایپلیکیشن ٹیموں کے ساتھ ورژن بنایا جاتا ہے اور ان کا اشتراک کیا جاتا ہے جو ڈیٹا سائنس اور انجینئرنگ ٹیموں کو اپنے AWS اکاؤنٹس تک رسائی حاصل کرنے کے فوراً بعد خود خدمت کرنے اور انفراسٹرکچر کو تعینات کرنے کے قابل بناتا ہے۔
پلیٹ فارم ڈویلپمنٹ ٹیمیں وقت کے ساتھ ساتھ AWS سروس کیٹلاگ پروڈکٹس کو آسانی سے تیار کر سکتی ہیں تاکہ کاروباری ضروریات کی بنیاد پر نئی خصوصیات کے نفاذ کو ممکن بنایا جا سکے۔ مصنوعات میں بار بار تبدیلیاں AWS سروس کیٹلاگ پروڈکٹ ورژننگ کی مدد سے کی جاتی ہیں۔ جب ایک نیا پروڈکٹ ورژن جاری کیا جاتا ہے، تو پلیٹ فارم ٹیم کوڈ کی تبدیلیوں کو مرکزی Git برانچ میں ضم کر دیتی ہے اور AWS سروس کیٹلاگ پروڈکٹ کے ورژن میں اضافہ کرتی ہے۔ بنیادی ڈھانچے کو اپ ڈیٹ کرنے میں خود مختاری اور لچک کی ایک حد ہوتی ہے کیونکہ کاروباری ایپلیکیشن اکاؤنٹس تازہ ترین ورژن میں منتقل ہونے سے پہلے مصنوعات کے پرانے ورژن استعمال کر سکتے ہیں۔
حل جائزہ
درج ذیل اعلیٰ سطحی فن تعمیر کا خاکہ دکھاتا ہے کہ کس طرح ایک عام کاروباری ایپلیکیشن استعمال کیس AWS پر لگایا جاتا ہے۔ مندرجہ ذیل حصے اکاؤنٹ کے ڈھانچے کے بارے میں مزید تفصیل میں جاتے ہیں، کس طرح انفراسٹرکچر کو تعینات کیا جاتا ہے، صارف تک رسائی کا انتظام، اور کس طرح مختلف AWS سروسز کو ML سلوشنز بنانے کے لیے استعمال کیا جاتا ہے۔
جیسا کہ آرکیٹیکچر ڈایاگرام میں دکھایا گیا ہے، اکاؤنٹس ایک حب اور اسپوک ماڈل کی پیروی کرتے ہیں۔ ایک مشترکہ پلیٹ فارم اکاؤنٹ ایک حب اکاؤنٹ کے طور پر کام کرتا ہے، جہاں کاروباری ایپلیکیشن ٹیم (اسپوک) اکاؤنٹس کے لیے درکار وسائل پلیٹ فارم ٹیم کے ذریعے ہوسٹ کیے جاتے ہیں۔ ان وسائل میں درج ذیل شامل ہیں:
- محفوظ، معیاری بنیادی ڈھانچے کی مصنوعات کی ایک لائبریری جو سیلف سروس انفراسٹرکچر کی تعیناتیوں کے لیے استعمال ہوتی ہے، جس کی میزبانی AWS سروس کیٹلاگ کے ذریعے کی جاتی ہے۔
- ڈاکر کی تصاویر، اس میں محفوظ کی گئی ہیں۔ ایمیزون لچکدار کنٹینر رجسٹری (ایمیزون ای سی آر)، جو سیج میکر پائپ لائن اسٹیپس اور ماڈل انفرنس کے دوران استعمال ہوتے ہیں۔
- AWS CodeArtifact ریپوزٹریز، جو پہلے سے منظور شدہ ازگر پیکجوں کی میزبانی کرتی ہیں۔
یہ وسائل خود بخود AWS سروس کیٹلاگ پورٹ فولیو شیئرنگ اور امپورٹ فیچر کے ذریعے اسپاک اکاؤنٹس کے ساتھ شیئر کیے جاتے ہیں، اور AWS شناخت اور رسائی کا انتظام (IAM) Amazon ECR اور CodeArtifact دونوں کے معاملے میں پالیسیوں پر اعتماد کریں۔
ہر کاروباری ایپلیکیشن ٹیم کو نیٹ ویسٹ گروپ کے بنیادی ڈھانچے کے ماحول میں تین AWS اکاؤنٹس فراہم کیے جاتے ہیں: ترقی، پری پروڈکشن، اور پروڈکشن۔ ماحول کے نام ڈیٹا سائنس ڈیولپمنٹ لائف سائیکل میں اکاؤنٹ کے مطلوبہ کردار کا حوالہ دیتے ہیں۔ ڈیولپمنٹ اکاؤنٹ کا استعمال ڈیٹا کا تجزیہ اور جھگڑا کرنے، ماڈل اور ماڈل پائپ لائن کوڈ لکھنے، ٹرین ماڈلز، اور SageMaker اسٹوڈیو کے ذریعے پری پروڈکشن اور پروڈکشن ماحول میں ماڈل کی تعیناتیوں کو ٹرگر کرنے کے لیے استعمال کیا جاتا ہے۔ پری پروڈکشن اکاؤنٹ پروڈکشن اکاؤنٹ کے سیٹ اپ کا آئینہ دار ہوتا ہے اور اسے پروڈکشن میں جاری ہونے سے پہلے ماڈل کی تعیناتیوں اور بیچ کو تبدیل کرنے والی ملازمتوں کو جانچنے کے لیے استعمال کیا جاتا ہے۔ پروڈکشن اکاؤنٹ ماڈلز کی میزبانی کرتا ہے اور پروڈکشن انفرنسنگ ورک بوجھ چلاتا ہے۔
صارفی انتظام
نیٹ ویسٹ گروپ کے پاس صارف کے کردار کی علیحدگی کو نافذ کرنے کے لیے سخت حکمرانی کے عمل ہیں۔ ہر صارف کی شخصیت کے لیے پانچ الگ الگ IAM رولز بنائے گئے ہیں۔
پلیٹ فارم ٹیم درج ذیل کرداروں کا استعمال کرتی ہے:
- پلیٹ فارم سپورٹ انجینئر - اس کردار میں کاروبار کے لیے معمول کے کاموں کی اجازت اور پلیٹ فارم کی نگرانی اور ڈیبگ کرنے کے لیے باقی ماحول کا صرف پڑھنے کا نظارہ شامل ہے۔
- پلیٹ فارم فکس انجینئر - یہ کردار بلند اجازتوں کے ساتھ بنایا گیا ہے۔ اس کا استعمال اس صورت میں کیا جاتا ہے جب پلیٹ فارم کے ساتھ مسائل ہوں جن میں دستی مداخلت کی ضرورت ہو۔ یہ کردار صرف ایک منظور شدہ، وقت کے محدود انداز میں فرض کیا جاتا ہے۔
بزنس ایپلی کیشن ڈویلپمنٹ ٹیموں کے تین الگ الگ کردار ہیں:
- تکنیکی قیادت - یہ کردار ایپلیکیشن ٹیم کی قیادت کو تفویض کیا جاتا ہے، جو اکثر ایک سینئر ڈیٹا سائنسدان ہوتا ہے۔ اس صارف کو AWS سروس کیٹلاگ پروڈکٹس کو تعینات کرنے اور ان کا نظم کرنے، پیداوار میں ریلیز کو متحرک کرنے اور ماحول کی حالت کا جائزہ لینے کی اجازت ہے، جیسے AWS کوڈ پائپ لائن سٹیٹس اور لاگز۔ اس کردار کو SageMaker ماڈل رجسٹری میں ماڈل کو منظور کرنے کی اجازت نہیں ہے۔
- ڈیولپر - یہ کردار ٹیم کے تمام اراکین کو تفویض کیا جاتا ہے جو SageMaker اسٹوڈیو کے ساتھ کام کرتے ہیں، جس میں انجینئرز، ڈیٹا سائنسدان، اور اکثر ٹیم کی قیادت شامل ہوتی ہے۔ اس کردار کو اسٹوڈیو کھولنے، کوڈ لکھنے، اور SageMaker پائپ لائنوں کو چلانے اور تعینات کرنے کی اجازت ہے۔ تکنیکی لیڈ کی طرح، اس کردار کو ماڈل رجسٹری میں ماڈل کو منظور کرنے کی اجازت نہیں ہے۔
- ماڈل منظور کنندہ - اس کردار کے پاس ماڈل رجسٹری میں ماڈلز کو دیکھنے، منظور کرنے اور مسترد کرنے سے متعلق محدود اجازتیں ہیں۔ اس علیحدگی کی وجہ کسی بھی ایسے صارفین کو روکنا ہے جو ماڈلز کو تیار اور تربیت دے سکتے ہیں اور اپنے ماڈلز کو بڑھے ہوئے ماحول میں جاری کرنے سے روک سکتے ہیں۔
ڈویلپرز اور ماڈل منظور کرنے والوں کے لیے علیحدہ اسٹوڈیو صارف پروفائلز بنائے گئے ہیں۔ یہ حل IAM پالیسی بیانات اور SageMaker صارف پروفائل ٹیگز کے امتزاج کا استعمال کرتا ہے تاکہ صارفین کو صرف ایک صارف پروفائل کھولنے کی اجازت ہو جو ان کے صارف کی قسم سے مماثل ہو۔ یہ اس بات کو یقینی بناتا ہے کہ جب صارف اسٹوڈیو IDE کھولتا ہے تو اسے صحیح SageMaker ایگزیکیوشن IAM رول (اور اس وجہ سے اجازتیں) تفویض کیا جاتا ہے۔
AWS سروس کیٹلاگ کے ساتھ سیلف سروس کی تعیناتیاں
اختتامی صارفین ڈیٹا سائنس کے بنیادی ڈھانچے کی مصنوعات کو تعینات کرنے کے لیے AWS سروس کیٹلاگ کا استعمال کرتے ہیں، جیسے کہ درج ذیل:
- اسٹوڈیو کا ماحول
- اسٹوڈیو صارف پروفائلز
- ماڈل تعیناتی پائپ لائنز
- ٹریننگ پائپ لائنز
- انفرنس پائپ لائنز
- مانیٹرنگ اور الرٹ کرنے کا نظام
اختتامی صارفین ان مصنوعات کو براہ راست AWS سروس کیٹلاگ UI کے ذریعے تعینات کرتے ہیں، یعنی ماحول کی فراہمی کے لیے مرکزی پلیٹ فارم ٹیموں پر کم انحصار ہوتا ہے۔ اس سے صارفین کو نئے کلاؤڈ ماحول تک رسائی حاصل کرنے میں لگنے والے وقت کو کافی حد تک کم کر دیا گیا ہے، کئی دنوں سے لے کر صرف چند گھنٹوں تک، جو بالآخر وقت سے قدر میں نمایاں بہتری کا باعث بنا ہے۔ AWS سروس کیٹلاگ پروڈکٹس کے مشترکہ سیٹ کا استعمال پورے انٹرپرائز میں پروجیکٹس کے اندر مستقل مزاجی کی حمایت کرتا ہے اور تعاون اور دوبارہ استعمال میں رکاوٹ کو کم کرتا ہے۔
چونکہ ڈیٹا سائنس کے تمام بنیادی ڈھانچے کو اب بنیادی ڈھانچے کی مصنوعات کے مرکزی طور پر تیار کردہ کیٹلاگ کے ذریعے تعینات کیا گیا ہے، اس لیے ان مصنوعات میں سے ہر ایک کو سیکیورٹی کو مدنظر رکھتے ہوئے بنانے کا خیال رکھا گیا ہے۔ خدمات کو اندر اندر مواصلت کرنے کے لیے ترتیب دیا گیا ہے۔ ایمیزون ورچوئل پرائیویٹ کلاؤڈ (ایمیزون وی پی سی) تاکہ ٹریفک عوامی انٹرنیٹ کو عبور نہ کرے۔ ڈیٹا کو ٹرانزٹ میں اور آرام کے وقت انکرپٹ کیا جاتا ہے۔ AWS کلیدی انتظام کی خدمت (AWS KMS) کیز۔ کم از کم استحقاق کے اصول پر عمل کرنے کے لیے IAM کے کردار بھی مرتب کیے گئے ہیں۔
آخر میں، AWS سروس کیٹلاگ کے ساتھ، پلیٹ فارم ٹیم کے لیے یہ آسان ہے کہ وہ مسلسل نئی مصنوعات اور خدمات کو جاری کریں کیونکہ وہ کاروباری ایپلیکیشن ٹیموں کے لیے دستیاب یا مطلوب ہیں۔ یہ نئے بنیادی ڈھانچے کی مصنوعات کی شکل اختیار کر سکتے ہیں، مثال کے طور پر اختتامی صارفین کے لیے اپنی مصنوعات کو تعینات کرنے کی صلاحیت فراہم کرنا۔ ایمیزون ای ایم آر کلسٹرز، یا موجودہ بنیادی ڈھانچے کی مصنوعات کی اپ ڈیٹس۔ کیونکہ AWS سروس کیٹلاگ پروڈکٹ کی ورژننگ کو سپورٹ کرتا ہے اور استعمال کرتا ہے۔ AWS کلاؤڈ فارمیشن پردے کے پیچھے، موجودہ مصنوعات کے نئے ورژن جاری ہونے پر جگہ جگہ اپ گریڈ استعمال کیے جا سکتے ہیں۔ یہ پلیٹ فارم ٹیموں کو پیچیدہ اپ گریڈ کے عمل کو تیار کرنے کے بجائے مصنوعات کی تعمیر اور بہتری پر توجہ مرکوز کرنے کی اجازت دیتا ہے۔
نیٹ ویسٹ کے موجودہ IaC سافٹ ویئر کے ساتھ انضمام
AWS سروس کیٹلاگ سیلف سروس ڈیٹا سائنس انفراسٹرکچر کی تعیناتیوں کے لیے استعمال کیا جاتا ہے۔ مزید برآں، نیٹ ویسٹ کا معیاری انفراسٹرکچر بطور کوڈ (IaC) ٹول، Terraform، AWS اکاؤنٹس میں انفراسٹرکچر بنانے کے لیے استعمال ہوتا ہے۔ ابتدائی اکاؤنٹ سیٹ اپ کے عمل کے دوران پلیٹ فارم ٹیموں کے ذریعہ ٹیرافارم کا استعمال بنیادی ڈھانچے کے وسائل جیسے VPCs، سیکورٹی گروپس، کو تعینات کرنے کے لیے کیا جاتا ہے۔ AWS سسٹمز مینیجر پیرامیٹرز، KMS کیز، اور معیاری سیکیورٹی کنٹرولز۔ حب اکاؤنٹ میں انفراسٹرکچر، جیسا کہ AWS سروس کیٹلاگ پورٹ فولیوز اور ڈوکر امیجز بنانے کے لیے استعمال ہونے والے وسائل، کی بھی Terraform کے استعمال سے تعریف کی گئی ہے۔ تاہم، AWS سروس کیٹلاگ کی مصنوعات خود معیاری CloudFormation ٹیمپلیٹس کا استعمال کرتے ہوئے بنائی گئی ہیں۔
SageMaker پروجیکٹس کے ساتھ ڈویلپر کی پیداواری صلاحیت اور کوڈ کے معیار کو بہتر بنانا
سیج میکر پروجیکٹس سیج میکر اسٹوڈیو کو چھوڑے بغیر ڈویلپرز اور ڈیٹا سائنسدانوں کو فوری شروع ہونے والے پروجیکٹس تک رسائی فراہم کریں۔ یہ فوری شروع ہونے والے منصوبے آپ کو صرف چند کلکس میں ایک ہی وقت میں متعدد بنیادی ڈھانچے کے وسائل کو تعینات کرنے کی اجازت دیتے ہیں۔ ان میں ایک Git ذخیرہ شامل ہے جس میں منتخب ماڈل کی قسم کے لیے معیاری پروجیکٹ ٹیمپلیٹ شامل ہے، ایمیزون سادہ اسٹوریج سروس (Amazon S3) ڈیٹا، سیریلائزڈ ماڈلز اور آرٹفیکٹس، اور ماڈل ٹریننگ اور انفرنس کوڈ پائپ لائن پائپ لائنز کو ذخیرہ کرنے کے لیے بالٹیاں۔
معیاری کوڈ بیس آرکیٹیکچرز اور ٹولنگ کا تعارف اب ڈیٹا سائنسدانوں اور انجینئرز کے لیے پروجیکٹوں کے درمیان منتقل ہونا اور کوڈ کا معیار بلند رہنے کو یقینی بناتا ہے۔ مثال کے طور پر، سافٹ ویئر انجینئرنگ کے بہترین طریقوں جیسے لنٹنگ اور فارمیٹنگ چیک (دونوں خودکار چیک اور پری کمٹ ہکس کے طور پر چلائیں)، یونٹ ٹیسٹ، اور کوریج رپورٹس اب ٹریننگ پائپ لائنز کے حصے کے طور پر خودکار ہیں، جو تمام پروجیکٹس میں معیاری کاری فراہم کرتی ہیں۔ اس سے ایم ایل پروجیکٹس کی دیکھ بھال میں بہتری آئی ہے اور ان منصوبوں کو پیداوار میں منتقل کرنا آسان ہو جائے گا۔
خودکار ماڈل کی تعیناتی۔
ماڈل ٹریننگ کا عمل سیج میکر پائپ لائنز کا استعمال کرتے ہوئے ترتیب دیا گیا ہے۔ ماڈلز کی تربیت کے بعد، وہ SageMaker ماڈل رجسٹری میں محفوظ ہو جاتے ہیں۔ ماڈل کی منظوری دینے والے کا کردار تفویض کردہ صارفین ماڈل رجسٹری کو کھول سکتے ہیں اور تربیتی عمل سے متعلق معلومات حاصل کر سکتے ہیں، جیسے کہ ماڈل کو کب تربیت دی گئی تھی، ہائپر پیرامیٹر کی قدریں، اور تشخیصی میٹرکس۔ یہ معلومات صارف کو یہ فیصلہ کرنے میں مدد کرتی ہے کہ آیا ماڈل کو منظور کرنا ہے یا مسترد کرنا ہے۔ ماڈل کو مسترد کرنا ماڈل کو بڑھے ہوئے ماحول میں تعینات ہونے سے روکتا ہے، جب کہ ماڈل کو منظور کرنے سے CodePipeline کے ذریعے ماڈل پروموشن پائپ لائن شروع ہوتی ہے جو ماڈل کو خود بخود پری پروڈکشن AWS اکاؤنٹ میں کاپی کر دیتی ہے، جو کام کے بوجھ کی جانچ کے لیے تیار ہے۔ ٹیم کی جانب سے اس بات کی تصدیق کرنے کے بعد کہ ماڈل پری پروڈکشن میں صحیح طریقے سے کام کرتا ہے، اسی پائپ لائن میں ایک دستی مرحلہ منظور ہو جاتا ہے اور ماڈل خود بخود پروڈکشن اکاؤنٹ میں کاپی ہو جاتا ہے، جو پروڈکشن انفرنسنگ ورک بوجھ کے لیے تیار ہے۔
نتائج
نیٹ ویسٹ اور AWS کے درمیان اس باہمی تعاون کے منصوبے کا ایک اہم مقصد ڈیٹا سائنس کلاؤڈ ماحولیات اور ایم ایل ماڈلز کو پیداوار میں فراہم کرنے اور ان کی تعیناتی میں لگنے والے وقت کو کم کرنا تھا۔ یہ حاصل کر لیا گیا ہے — نیٹ ویسٹ اب دنوں یا حتیٰ کہ ہفتوں کے مقابلے میں گھنٹوں کے معاملے میں نئے، توسیع پذیر، اور محفوظ AWS ماحول فراہم کر سکتا ہے۔ ڈیٹا سائنسدانوں اور انجینئروں کو اب یہ اختیار دیا گیا ہے کہ وہ AWS سروس کیٹلاگ کا استعمال کرتے ہوئے خود ڈیٹا سائنس کے بنیادی ڈھانچے کو تعینات اور منظم کریں، جس سے مرکزی پلیٹ فارم ٹیموں پر انحصار کم ہو جائے۔ مزید برآں، سیج میکر پروجیکٹس کا استعمال صارفین کو منٹوں میں کوڈنگ اور ٹریننگ ماڈلز شروع کرنے کے قابل بناتا ہے، جبکہ پروجیکٹ کے معیاری ڈھانچے اور ٹولنگ بھی فراہم کرتا ہے۔
چونکہ AWS سروس کیٹلاگ ڈیٹا سائنس کے بنیادی ڈھانچے کو تعینات کرنے کے لیے مرکزی طریقہ کار کے طور پر کام کرتا ہے، اس لیے پلیٹ فارم کو مستقبل میں آسانی سے بڑھا اور اپ گریڈ کیا جا سکتا ہے۔ ضرورت پڑنے پر نئی AWS خدمات اختتامی صارفین کو فوری طور پر پیش کی جا سکتی ہیں، اور موجودہ AWS سروس کیٹلاگ مصنوعات کو نئی خصوصیات سے فائدہ اٹھانے کے لیے اپ گریڈ کیا جا سکتا ہے۔
آخر میں، AWS پر منظم خدمات کی طرف پیش قدمی کا مطلب ہے کہ کمپیوٹ وسائل فراہم کیے جاتے ہیں اور طلب پر بند کردیئے جاتے ہیں۔ اس نے لاگت کی بچت اور لچک فراہم کی ہے، جبکہ اس کے ساتھ موافقت بھی کی ہے۔ نیٹ ویسٹ کا 2050 تک خالص صفر ہونے کا عزائم CO میں تخمینہ 75% کمی کی وجہ سے2 اخراج.
نتیجہ
نیٹ ویسٹ گروپ میں کلاؤڈ فرسٹ حکمت عملی کو اپنانے سے ایک مضبوط AWS حل پیدا ہوا جو پوری تنظیم میں کاروباری ایپلیکیشن ٹیموں کی ایک بڑی تعداد کو سپورٹ کر سکتا ہے۔ AWS سروس کیٹلاگ کے ساتھ انفراسٹرکچر کے انتظام نے کلاؤڈ آن بورڈنگ کے عمل کو محفوظ، مطابقت پذیر، اور پہلے سے منظور شدہ بنیادی ڈھانچے کے بلڈنگ بلاکس کا استعمال کرتے ہوئے نمایاں طور پر بہتر کیا ہے جنہیں آسانی سے بڑھایا جا سکتا ہے۔ SageMaker کے زیر انتظام بنیادی ڈھانچے کے اجزاء نے ماڈل کی ترقی کے عمل کو بہتر بنایا ہے اور ML منصوبوں کی ترسیل کو تیز کیا ہے۔
نیٹ ویسٹ گروپ میں پروڈکشن کے لیے تیار ایم ایل ماڈلز بنانے کے عمل کے بارے میں مزید جاننے کے لیے، نیٹ ویسٹ گروپ اور AWS پروفیشنل سروسز کے درمیان اسٹریٹجک تعاون پر اس چار حصوں کی سیریز کے باقی حصے پر ایک نظر ڈالیں:
- حصہ 1 وضاحت کرتا ہے کہ کس طرح نیٹ ویسٹ گروپ نے ایک قابل توسیع، محفوظ اور پائیدار MLOps پلیٹ فارم بنانے کے لیے AWS پروفیشنل سروسز کے ساتھ شراکت کی۔
- حصہ 3 اس بات کا ایک جائزہ فراہم کرتا ہے کہ نیٹ ویسٹ گروپ کس طرح قابل سماعت، قابل تولید، اور قابل وضاحت ML ماڈلز بنانے کے لیے SageMaker سروسز کا استعمال کرتا ہے۔
- حصہ 4 تفصیلات بتاتی ہیں کہ نیٹ ویسٹ ڈیٹا سائنس ٹیمیں اپنے موجودہ ماڈلز کو سیج میکر آرکیٹیکچرز میں کیسے منتقل کرتی ہیں
مصنفین کے بارے میں
جنید بابا میں DevOps کنسلٹنٹ ہے۔ AWS پروفیشنل سروسز وہ Kubernetes، تقسیم شدہ کمپیوٹنگ، AI/MLOps میں اپنے تجربے کا فائدہ اٹھاتا ہے تاکہ یو کے مالیاتی خدمات کی صنعت کے صارفین کو تیز رفتار کلاؤڈ اپنایا جا سکے۔ جنید جون 2018 سے AWS کے ساتھ ہیں۔ اس سے پہلے، جنید نے کئی مالیاتی اسٹارٹ اپس کے ساتھ کام کیا جو ڈی او اوپس پریکٹس چلاتا تھا۔ کام کے علاوہ اسے ٹریکنگ، ماڈرن آرٹ اور اسٹیل فوٹوگرافی میں دلچسپی ہے۔
یوردانکا ایوانووا نیٹ ویسٹ گروپ میں ڈیٹا انجینئر ہے۔ اسے مالیاتی خدمات کی صنعت میں کمپنیوں کے لیے ڈیٹا سلوشنز بنانے اور فراہم کرنے کا تجربہ ہے۔ NatWest میں شامل ہونے سے پہلے، Yordanka نے ایک تکنیکی مشیر کے طور پر کام کیا جہاں اس نے متعدد کلاؤڈ پلیٹ فارمز پر کاروباری نتائج فراہم کرنے کے لیے مختلف قسم کی کلاؤڈ سروسز اور اوپن سورس ٹیکنالوجیز سے فائدہ اٹھانے کا تجربہ حاصل کیا۔ اپنے فارغ وقت میں، Yordanka ورزش کرنے، سفر کرنے اور گٹار بجانے سے لطف اندوز ہوتی ہے۔
مائیکل انگلینڈ نیٹ ویسٹ گروپ میں ڈیٹا سائنس اور انوویشن ٹیم میں سافٹ ویئر انجینئر ہے۔ وہ کلاؤڈ میں بڑے پیمانے پر مشین لرننگ کام کے بوجھ کو چلانے کے لیے حل تیار کرنے کا پرجوش ہے۔ نیٹ ویسٹ گروپ میں شامل ہونے سے پہلے، مائیکل نے مالیاتی خدمات اور سفری صنعتوں میں اہم ایپلی کیشنز تیار کرنے والی سافٹ ویئر انجینئرنگ ٹیموں میں کام کیا اور ان کی قیادت کی۔ اپنے فارغ وقت میں، وہ گٹار بجانے، سفر کرنے اور اپنی موٹر سائیکل پر دیہی علاقوں کی سیر کرنے سے لطف اندوز ہوتا ہے۔
- سکے سمارٹ۔ یورپ کا بہترین بٹ کوائن اور کرپٹو ایکسچینج۔
- پلیٹو بلاک چین۔ Web3 Metaverse انٹیلی جنس۔ علم میں اضافہ۔ مفت رسائی۔
- کرپٹو ہاک۔ Altcoin ریڈار. مفت جانچ.
- ماخذ: https://aws.amazon.com/blogs/machine-learning/part-2-how-natwest-group-built-a-secure-compliant-self-service-mlops-platform-using-aws-service- catalog-and-amazon-sagemaker/
- "
- 100
- ہمارے بارے میں
- تیز
- تیز
- تک رسائی حاصل
- اکاؤنٹ
- کے پار
- اس کے علاوہ
- ایڈیشنل
- منہ بولابیٹا بنانے
- فائدہ
- تمام
- ایمیزون
- کے درمیان
- رقم
- مقدار
- تجزیہ
- تجزیاتی
- درخواست
- ایپلی کیشنز
- نقطہ نظر
- منظور
- فن تعمیر
- فن
- تفویض
- آڈٹ
- کی توثیق
- آٹومیٹڈ
- میشن
- آٹومیشن اور معیاری کاری
- دستیاب
- AWS
- بینک
- بن
- پردے کے پیچھے
- کیا جا رہا ہے
- فائدہ
- فوائد
- BEST
- بہترین طریقوں
- تعمیر
- عمارت
- کاروبار
- کاربن
- پرواہ
- مرکزی
- چیلنج
- چیلنجوں
- چیک
- بادل
- کلاؤڈ پلیٹ فارم
- بادل کی خدمات
- کوڈ
- کوڈنگ
- تعاون
- مجموعہ
- کامن
- کمپنیاں
- کمپنی کے
- مقابلے میں
- پیچیدہ
- تعمیل
- شکایت
- جزو
- کمپیوٹنگ
- کمپیوٹنگ
- ترتیب
- کنکشن
- کنسلٹنٹ
- کنٹینر
- کنٹینر
- پر مشتمل ہے
- مواد
- مسلسل
- کنٹرول
- بنائی
- تخلیق
- مخلوق
- اہم
- اپنی مرضی کے
- گاہکوں
- اعداد و شمار
- ڈیٹا تجزیہ
- ڈیٹا سائنس
- ڈیٹا سائنسدان
- ڈیلیور
- ترسیل
- ترسیل
- ڈیمانڈ
- مطالبات
- تعیناتی
- تعینات
- تعینات
- تعیناتی
- تعینات
- بیان کیا
- ڈیزائن
- تفصیل
- تفصیلات
- ترقی یافتہ
- ڈیولپر
- ڈویلپرز
- ترقی
- ترقی
- مختلف
- مشکل
- ڈیجیٹل
- براہ راست
- تقسیم کئے
- تقسیم کمپیوٹنگ
- میں Docker
- نہیں کرتا
- نیچے
- ڈرائیونگ
- آسانی سے
- ہنر
- کوششوں
- تفصیل
- کو چالو کرنے کے
- اختتام پوائنٹ
- انجینئر
- انجنیئرنگ
- انجینئرز
- انٹرپرائز
- ماحولیات
- اندازے کے مطابق
- تشخیص
- تیار
- مثال کے طور پر
- پھانسی
- موجودہ
- تجربہ
- نمایاں کریں
- خصوصیات
- آراء
- مالی
- مالیاتی خدمات
- پہلا
- درست کریں
- لچک
- توجہ مرکوز
- پر عمل کریں
- کے بعد
- فوٹ پرنٹ
- فارم
- فریم ورک
- فعالیت
- مستقبل
- جاؤ
- گورننس
- گروپ
- گروپ کا
- ہدایات
- خوش
- مدد
- مدد کرتا ہے
- ہائی
- کس طرح
- HTTPS
- شناختی
- نفاذ
- بہتر
- شامل
- شامل
- شامل ہیں
- اضافہ
- صنعتوں
- صنعت
- معلومات
- انفراسٹرکچر
- جدت طرازی
- جدید
- انسٹی
- ضم
- ضم
- مفادات
- انٹرفیس
- انٹرنیٹ
- ملوث
- مسائل
- IT
- نوکریاں
- کلیدی
- چابیاں
- علم
- بڑے
- تازہ ترین
- قیادت
- جانیں
- سیکھنے
- قیادت
- لیتا ہے
- لیورنگنگ
- لائبریری
- لمیٹڈ
- لائن
- منسلک
- مقامی
- مشین
- مشین لرننگ
- بنا
- اہم
- بناتا ہے
- انتظام
- میں کامیاب
- انتظام
- مینیجنگ
- انداز
- دستی
- معاملہ
- پختگی
- مطلب
- اراکین
- پیمائش کا معیار
- دس لاکھ
- برا
- ML
- ماڈل
- ماڈل
- نگرانی
- ماہ
- زیادہ
- منتقل
- منتقل
- ایک سے زیادہ
- نام
- نیٹ ورکنگ
- نئی خصوصیات
- نیا پلیٹ فارم
- نئی مصنوعات
- نئی مصنوعات
- تعداد
- کی پیشکش کی
- آف لائن
- جہاز
- آن لائن
- کھول
- آپریشنز
- کی اصلاح کریں
- تنظیم
- دیگر
- مجموعی طور پر
- خود
- خاص طور پر
- شراکت دار
- جذباتی
- پاٹرن
- کارکردگی
- فوٹو گرافی
- پائلٹ
- پلیٹ فارم
- پلیٹ فارم
- کھیل
- پالیسیاں
- پالیسی
- پورٹ فولیو
- محکموں
- اصول
- نجی
- نجی چابیاں
- عمل
- عمل
- مصنوعات
- پیداوار
- پیداوری
- حاصل
- پیشہ ورانہ
- پروفائل
- پروفائلز
- منصوبے
- منصوبوں
- فروغ کے
- فراہم
- فراہم کرتا ہے
- فراہم کرنے
- عوامی
- معیار
- فوری
- جلدی سے
- پڑھنا
- کو کم
- کو کم کرنے
- ریگولیٹری
- تعلقات
- جاری
- جاری
- ریلیز
- انحصار
- رپورٹیں
- ذخیرہ
- کی ضرورت
- ضرورت
- ضروریات
- وسائل
- وسائل
- باقی
- نتائج کی نمائش
- کا جائزہ لینے کے
- روٹ
- رن
- چل رہا ہے
- اسکیل ایبلٹی
- توسیع پذیر
- پیمانے
- مناظر
- سائنس
- سائنسدان
- سائنسدانوں
- sdk
- محفوظ بنانے
- سیکورٹی
- منتخب
- سیریز
- سروس
- سروسز
- مقرر
- سیٹ اپ
- سیکنڈ اور
- مشترکہ
- اہم
- اسی طرح
- سادہ
- So
- سافٹ ویئر کی
- سافٹ ویئر انجنیئر
- سافٹ ویئر انجینئرنگ
- حل
- حل
- خرچ
- استحکام
- ڈھیر لگانا
- معیار
- شروع اپ
- شروع
- حالت
- بیانات
- درجہ
- ذخیرہ
- حکمت عملی
- حکمت عملی
- سٹوڈیو
- حمایت
- کی حمایت کرتا ہے
- پائیدار
- کے نظام
- سسٹمز
- کاموں
- ٹیم
- ٹیکنیکل
- ٹیکنالوجی
- ٹیکنالوجی
- سانچے
- ٹیسٹ
- ٹیسٹنگ
- ٹیسٹ
- مشترکہ
- موضوع
- لہذا
- کے ذریعے
- وقت
- کے آلے
- کی طرف
- ٹریکنگ
- ٹریفک
- ٹریننگ
- تبدیل
- تبدیلی
- ٹرانزٹ
- سفر
- سفر
- بھروسہ رکھو
- ui
- Uk
- تازہ ترین معلومات
- استعمال کی شرائط
- صارفین
- استعمال
- استعمال کرنا۔
- مختلف اقسام کے
- لنک
- مجازی
- کی نمائش
- ویب پر مبنی ہے
- چاہے
- جبکہ
- ڈبلیو
- کے اندر
- بغیر
- کام
- کام کیا
- کام کر
- حل کرنا
- کام کرتا ہے
- دنیا