یارا ایمیزون سیج میکر کی ایم ایل او پی خصوصیات کو اپنے امونیا پلانٹس میں توانائی کی اصلاح کی پیمائش کے لیے کس طرح استعمال کر رہا ہے

Yara کی دنیا کی معروف کراپ نیوٹریشن کمپنی اور ماحولیاتی اور زرعی حل فراہم کرنے والی کمپنی ہے۔ یارا کی خواہش فطرت کے لیے مثبت خوراک کے مستقبل کو بڑھانے پر مرکوز ہے جو صارفین، شیئر ہولڈرز، اور معاشرے کے لیے بڑے پیمانے پر قدر پیدا کرتا ہے، اور ایک زیادہ پائیدار فوڈ ویلیو چین فراہم کرتا ہے۔ بھوک کے بغیر دنیا اور ایک قابل احترام سیارے کے بارے میں ہمارے وژن کی حمایت کرتے ہوئے، یارا پائیدار قدر میں اضافے کی حکمت عملی پر عمل پیرا ہے، موسم کے موافق فصلوں کی غذائیت اور صفر اخراج توانائی کے حل کو فروغ دیتا ہے۔ یارا دنیا کا سب سے بڑا امونیا، نائٹریٹ، اور پیدا کرنے والا ملک بھی ہے۔ این پی کے کھاد اس لیے ان کا پروڈکشن سیگمنٹ ان کے مشن کو پورا کرنے کے لیے ایک اٹوٹ بلڈنگ بلاک ہے — جس میں واضح طور پر بیان کردہ عزائم کے ساتھ حفاظت، ماحولیاتی اثرات، معیار، اور پیداواری لاگت جیسے میٹرکس پر عالمی سطح پر آگے بڑھنا ہے۔ یارا کا طویل مدتی ہدف صفر اخراج اور کم لاگت کے ساتھ "مستقبل کا پلانٹ" ہے۔

ایک دبلی پتلی تبدیلی کی بنیاد پر، یارا نے اپنے عزائم کو حاصل کرنے میں مدد کرنے کے لیے ڈیجیٹل حل پر اپنی توجہ مرکوز کی۔ اس کوشش کی قیادت کرنے کے لیے یارا نے ڈیجیٹل پروڈکشن کے نام سے ایک عالمی یونٹ قائم کیا۔ ڈیجیٹل پروڈکشن کی کامیابی اور اس کے حل یارا کے لیے ایک اہم ترجیح ہے، اور یارا نے اس شعبے میں اپنی کوششوں میں نمایاں اضافہ کیا۔ ایک اہم فوکس ایریا ان کے آپریشنز کے حصے کے طور پر پیدا ہونے والے ڈیٹا کی وسیع مقدار سے فائدہ اٹھانا ہے۔ لہذا، یارا ڈیٹا پر مبنی پروڈکٹس بنا رہا ہے جو انہیں پیداوار کو بہتر بنانے، مصنوعات کے معیار کو بڑھانے، پروڈکشن سائٹس کی بھروسے میں اضافہ، اخراج کو کم کرنے، کارکنوں کی حفاظت اور پیداواری صلاحیت کو بڑھانے، دستی عمل کو خود کار بنانے اور مزید بہت کچھ کرنے میں مدد فراہم کر رہا ہے۔

بہت سے پیداواری پلانٹس کے لیے توانائی ایک اہم لاگت کا جزو ہے۔ لہذا، توانائی کی کارکردگی کا منافع پر کافی اثر پڑتا ہے۔ تاہم، اچھی کارکردگی کیسی دکھتی ہے اور وہاں تک کیسے پہنچنا ہے اس کے لیے اکثر ٹھوس حوالوں کی کمی ہوتی ہے۔ Yara's Energy Load Curve (ELC) ایک ایسا حل ہے جو موجودہ کارکردگی کے مقابلے میں توانائی کی کھپت پر بہترین تاریخی کارکردگی کا استعمال کرتا ہے۔ اگر موجودہ کھپت تاریخی بہترین سے بہت زیادہ ہٹ جاتی ہے، تو یہ آلہ آپریٹرز کو توانائی کی کھپت کو آگے بڑھانے کے لیے سفارشات دیتا ہے۔

ELC کو پروڈکشن پلانٹس میں تعینات کرنے اور اسے پوری دنیا میں متعدد سائٹس پر پیمانہ کرنے کے لیے، یارا کو ایک MLOps پلیٹ فارم بنانے کی ضرورت تھی۔ یہ یقینی بنائے گا کہ یارا قابل اعتماد اور مؤثر طریقے سے ماڈلز کو تربیت، تعینات اور برقرار رکھے گا۔ مزید برآں، اسے متعدد سائٹس تک پیمانہ کرنے کے لیے، یارا کو تعیناتی اور دیکھ بھال کے عمل کو خودکار کرنے کی ضرورت تھی۔ اس پوسٹ میں، ہم بحث کرتے ہیں کہ یارا کس طرح استعمال کر رہا ہے۔ ایمیزون سیج میکر خصوصیات، بشمول ماڈل رجسٹری، ایمیزون سیج میکر ماڈل مانیٹر، اور ایمیزون سیج میکر پائپ لائنز MLOps طریقوں کو خودکار اور معیاری بنا کر مشین لرننگ (ML) لائف سائیکل کو ہموار کرنا۔ ہم سیٹ اپ کا ایک جائزہ فراہم کرتے ہیں، جس میں دنیا بھر میں پودوں کے لیے ایم ایل ماڈلز کی تعمیر، تربیت، تعیناتی، اور نگرانی کے عمل کو ظاہر کیا جاتا ہے۔

حل کا جائزہ

ELC ایک پلانٹ سے انٹرنیٹ آف تھنگز (IoT) سینسر ڈیٹا استعمال کرتا ہے۔ یہ سینسر میٹرکس کی پیمائش کرتے ہیں جیسے پروڈکشن تھرو پٹ، محیطی حالات، اور خام مال کے حالات وغیرہ۔ یہ ڈیٹا توانائی کی پیشین گوئی کے ماڈل کو تربیت دینے کے لیے استعمال کیا جاتا ہے جسے پھر گھنٹہ وار پیشین گوئیاں بنانے کے لیے استعمال کیا جاتا ہے۔ پلانٹ آپریٹرز توانائی کی اصل کھپت کی نگرانی کرتے ہیں اور اس کا موازنہ ELC کی پیش گوئی کے مطابق زیادہ سے زیادہ کھپت سے کرتے ہیں۔ اگر موجودہ توانائی کی کھپت بہترین نقطہ سے بہت زیادہ ہٹ جاتی ہے تو، ELC تجزیاتی ماڈلز کی بنیاد پر توانائی کی کارکردگی کو بہتر بنانے کے لیے اندرونی عمل کے متغیرات کو ایڈجسٹ کرنے کے لیے ایک کارروائی فراہم کرتا ہے۔

ELC کلاؤڈ میں ہوسٹ کیا جاتا ہے۔ ریئل ٹائم میں پلانٹ سے سینسر ڈیٹا کو اسٹریم کرنے کے لیے، یارا استعمال کرتا ہے۔ AWS IoT گرین گراس کے ساتھ محفوظ طریقے سے بات چیت کرنے کے لیے AWS IoT کور اور AWS کلاؤڈ پر IoT ڈیٹا برآمد کریں۔ AWS IoT SiteWise ایک منظم سروس ہے جو پیمانے پر صنعتی آلات سے آلات کا ڈیٹا اکٹھا، منظم، تلاش اور استعمال کر سکتی ہے۔ یارا نے APIs کا استعمال کرتے ہوئے بنایا ہے۔ ایمیزون API گیٹ وے ELC جیسی ایپلی کیشنز کے سامنے سینسر ڈیٹا کو ظاہر کرنے کے لیے۔

ELC ایپلیکیشن بیک اینڈ کو Amazon ECS کے ذریعے تعینات کیا جاتا ہے اور ELC ڈیش بورڈز کو فرنٹ اینڈ پر طاقت دیتا ہے جو پلانٹ آپریٹرز استعمال کرتے ہیں۔ ELC ایپلیکیشن پلانٹ آپریٹرز کو فی گھنٹہ پیش گوئی کرنے والی توانائی کی کھپت کی پیمائش فراہم کرنے کے لیے ذمہ دار ہے۔ ہر پلانٹ اس کے اپنے ماڈل سے لیس ہوتا ہے، کیونکہ ان کی توانائی کی کھپت کی خصوصیات مختلف ہوتی ہیں۔ مزید برآں، پودوں کو ان کے مقام کی بنیاد پر مختلف AWS علاقوں میں کلسٹر کیا جاتا ہے۔

مندرجہ ذیل خاکہ اس فن تعمیر کو واضح کرتا ہے۔

ELC بنانے اور ایک سے زیادہ پلانٹس کی پیمائش کرنے کے لیے، ہمیں ایک MLOps حل کی ضرورت تھی جو درج ذیل کو سپورٹ کرتا ہو:

• اسکیل ایبلٹی - یہ ڈیٹا کے حجم کے جواب میں پیمانہ کر سکتا ہے۔ کچھ پودے دوسروں سے زیادہ ڈیٹا تیار کرتے ہیں۔ ہر پلانٹ روزانہ کئی گیگا بائٹ ڈیٹا تیار کر سکتا ہے۔
• توسیع پذیری۔ - یہ نئے علاقوں اور اکاؤنٹس میں تعینات کر سکتا ہے۔
• Repeatability - اس میں عام ٹیمپلیٹس ہیں جنہیں ہم ایک نئے پلانٹ پر سوار کرنے کے لیے استعمال کر سکتے ہیں۔
• لچک - یہ ہر پلانٹ کی ضروریات کی بنیاد پر تعیناتی کی ترتیب کو تبدیل کر سکتا ہے۔
• وشوسنییتا اور نگرانی - یہ ٹیسٹ چلا سکتا ہے اور تمام فعال پودوں کی حالت میں واضح مرئیت رکھتا ہے۔ ناکامی کی صورت میں، یہ پچھلی مستحکم حالت میں واپس آ سکتا ہے۔
• بحالی - محلول میں کم دیکھ بھال کا اوور ہیڈ ہونا چاہیے۔ اسے بنیادی ڈھانچے کے نقوش کو کم کرنے کے لیے جہاں ممکن ہو سرور کے بغیر خدمات کا استعمال کرنا چاہیے۔

ایم ایل کے لیے، یارا نے سیج میکر استعمال کرنے کا فیصلہ کیا۔ SageMaker ایک مکمل طور پر منظم سروس ہے جو پورے ML ورک فلو کا احاطہ کرتی ہے۔ سیج میکر کے انتخاب میں درج ذیل خصوصیات اہم تھیں۔

• سیج میکر فریم ورک کنٹینرز - یارا نے TensorFlow پر ELC پیشین گوئی کرنے والے ماڈلز کو تربیت دی تھی، اور SageMaker فریم ورک کنٹینرز کے ساتھ، یارا ان ماڈلز کو SageMaker میں کم سے کم کوڈ تبدیلیوں کے ساتھ اٹھانے اور شفٹ کرنے کے قابل تھی۔
• سیج میکر پائپ لائنز - سیج میکر پائپ لائنز ڈیٹا سائنسدانوں کو ایم ایل پائپ لائنز لکھنے کے لیے ایک ازگر انٹرفیس پیش کرتی ہیں۔ ELC کوڈ کا ایک بڑا حصہ ٹریننگ اور انفرنس پائپ لائن پر مشتمل ہوتا ہے، جس کی وضاحت Python میں کی گئی ہے۔
• سیج میکر ماڈل رجسٹری - سیج میکر ماڈل رجسٹری کیٹلاگ اور ورژن کنٹرول ماڈلز کو ممکن بناتی ہے۔ مزید برآں، یہ ماڈل میٹا ڈیٹا کا نظم کرنا آسان بناتا ہے، جیسے کہ ٹریننگ میٹرکس۔
• سیج میکر ماڈل مانیٹر - یارا آنے والے ڈیٹا کے معیار اور تقسیم کے ساتھ ساتھ ELC ماڈل کی کارکردگی کی نگرانی کرنا چاہتا تھا۔ سیج میکر ماڈل مانیٹر APIs ڈیٹا اور ماڈل کے معیار کی نگرانی پیش کرتے ہیں۔

ایم ایل پائپ لائنز کے لیے مسلسل انضمام اور مسلسل ترسیل (CI/CD) کو منظم کرنے کے لیے، یارا استعمال کرتا ہے۔ ایمیزون تعیناتی کا فریم ورک (ADF)۔ ADF ایک اوپن سورس فریم ورک ہے جسے AWS نے AWS تنظیم کے اندر متعدد AWS اکاؤنٹس اور ریجنز میں وسائل کو منظم اور تعینات کرنے کے لیے تیار کیا ہے۔ ADF اس میں بیان کردہ ڈھانچے کے ذریعے ایپلیکیشنز یا وسائل کی مرحلہ وار، متوازی، ملٹی اکاؤنٹ، اور کراس ریجن کی تعیناتی کی اجازت دیتا ہے۔ AWS تنظیمیں، جیسے خدمات کا فائدہ اٹھاتے ہوئے AWS کوڈ پائپ لائن, AWS کوڈ بلڈ۔, AWS CodeCommit، اور AWS کلاؤڈ فارمیشن روایتی CI/CD سیٹ اپ کے مقابلے ہیوی لفٹنگ اور مینجمنٹ کو کم کرنے کے لیے۔

حل جائزہ

MLOps پلیٹ فارم کا پورا حل دو مہینوں کے اندر ایک مشترکہ کوشش میں بنایا گیا تھا۔ AWS پروفیشنل سروسز. پروجیکٹ پر کام کرنے والی ٹیم ڈیٹا سائنسدانوں، ڈیٹا انجینئرز، اور DevOps کے ماہرین پر مشتمل تھی۔ کثیر ٹیم کے ماحول میں تیز تر ترقی کی سہولت کے لیے، یارا نے استعمال کرنے کا انتخاب کیا۔ AWS لینڈنگ زوne اور تنظیمیں مرکزی طور پر مختلف AWS اکاؤنٹس بنانے، ان کا نظم کرنے اور ان پر حکومت کرنے کے لیے۔ مثال کے طور پر، یارا کا ایک مرکزی تعیناتی اکاؤنٹ ہے، اور کاروباری ایپلیکیشنز کی میزبانی کے لیے ورک لوڈ اکاؤنٹس کا استعمال کرتا ہے۔ ELC ایک پراسیس آپٹیمائزیشن استعمال کیس ہے اور اسے ورک لوڈ اکاؤنٹس کو بہتر بنانے کے لیے تعینات کیا جاتا ہے۔ یارا ڈیجیٹل پروڈکشن ٹیم اصلاح کے علاوہ دیگر شعبوں میں ایم ایل کے استعمال کے معاملات پر بھی کام کرتی ہے۔ MLOps فریم ورک کسی بھی ورک لوڈ اکاؤنٹس میں تعیناتی کی حمایت کرتا ہے جب تک کہ اکاؤنٹس تنظیموں کے ذریعے بنائے جاتے ہیں۔

مندرجہ ذیل خاکہ اس فن تعمیر کو واضح کرتا ہے۔

مرکزی تعیناتی اکاؤنٹ کا استعمال عام نمونے اور CI/CD پائپ لائنوں کا انتظام کرنا آسان بناتا ہے۔ رسائی کے انتظام اور ان عام نمونوں کی حفاظت کے لحاظ سے، یہ ایک آسان ڈیزائن ہے کیونکہ اجازت کی حدود اور خفیہ کاری کی چابیاں مرکزی طور پر ایک جگہ پر منظم ہوتی ہیں۔ درج ذیل حصوں میں، ہم آپ کو یارا کے MLOps پلیٹ فارم پر ایک نئے استعمال کے کیس کو آن بورڈ کرنے کے لیے درکار اقدامات کے بارے میں بتاتے ہیں۔

اکاؤنٹ کی حکمت عملی کے لحاظ سے، یارا کے پاس ایک سینڈ باکس، DEV، TEST، اور PROD سیٹ اپ ہے۔ سینڈ باکس اکاؤنٹ کو تجربہ کرنے اور نئے آئیڈیاز آزمانے کے لیے استعمال کیا جاتا ہے۔ DEV اکاؤنٹ CI/CD پائپ لائنوں کا نقطہ آغاز ہے، اور تمام ترقی یہاں سے شروع ہوتی ہے۔ تعیناتی اکاؤنٹ میں CI/CD پائپ لائن کی تعریف ہوتی ہے اور یہ DEV، TEST، اور PROD اکاؤنٹس میں تعینات کرنے کے قابل ہے۔ یہ اکاؤنٹ سیٹ اپ مندرجہ ذیل تصویر میں دکھایا گیا ہے۔

استعمال کے ایک نئے کیس پر آن بورڈنگ

اس پوسٹ کے لیے، ہم فرض کرتے ہیں کہ ہمارے پاس استعمال کے کیس کا ورکنگ پروٹو ٹائپ ہے، اور اب ہم اسے فعال کرنا چاہتے ہیں۔ اگر یہ استعمال کا معاملہ کسی نئے پروڈکٹ کے علاقے سے تعلق رکھتا ہے، تو ہمیں پہلے تنظیموں کا استعمال کرتے ہوئے اکاؤنٹس فراہم کرنے کی ضرورت ہے، جو خود بخود ADF کو ان اکاؤنٹس کو تعیناتی کے لیے بوٹسٹریپ کرنے کے لیے متحرک کرتا ہے۔ یارا ایک DEV>TEST>PROD اکاؤنٹ کی حکمت عملی پر عمل کرتا ہے۔ تاہم، یہ ترتیب لازمی نہیں ہے۔ ڈیٹا اکاؤنٹس ڈیٹا تک رسائی کے لیے APIs کو بے نقاب کرتے ہیں، اور استعمال کے نئے کیس کے لیے، کرداروں کو ضروری فراہم کرنے کی ضرورت ہوتی ہے۔ AWS شناخت اور رسائی کا انتظام (IAM) کی اجازت تاکہ وہ ڈیٹا APIs تک رسائی حاصل کر سکیں۔

اگلا، ہمیں اس بات کی وضاحت کرنے کی ضرورت ہے کہ اس استعمال کے کیس کو کن اکاؤنٹس میں تعینات کیا گیا ہے۔ یہ ADF میں تعیناتی کے نقشے کا استعمال کرتے ہوئے کیا جاتا ہے۔ تعیناتی کا نقشہ ایک کنفیگریشن فائل ہے جس میں پائپ لائن کے مراحل اور اہداف کی میپنگ ہوتی ہے۔ تعیناتی کا نقشہ چلانے کے لیے، ADF CodePipeline استعمال کرتا ہے۔ ADF فی ٹارگٹ ماحول کے پیرامیٹرز کو منظم کرنے کے لیے لچک فراہم کرتا ہے جس پر اسٹیک لگایا گیا ہے۔ اس سے تعیناتیوں کا انتظام کرنا اور چھوٹی مثالوں کے ساتھ جانچ کرنا آسان ہوجاتا ہے۔

تمام نمونے، جیسے کوڈ، ڈیٹا، اور ماڈل فائلوں کو خفیہ کرنے کے لیے، ہم ایک تخلیق کرتے ہیں AWS کلیدی انتظام کی خدمت (AWS KMS) کلید۔ آپ سرور سائڈ انکرپشن بھی استعمال کر سکتے ہیں۔ تاہم، چونکہ کچھ تخلیق کردہ نمونوں تک اکاؤنٹس تک رسائی حاصل کی جاتی ہے، اس لیے ہمیں اپنی کلید بنانے اور کراس اکاؤنٹ تک رسائی دینے کے لیے اس کی اجازت کی پالیسیوں کا نظم کرنے کی ضرورت ہے۔

آخر میں، ہمیں SageMaker ماڈل رجسٹری کا استعمال کرتے ہوئے ماڈل کے مختلف ورژنز کو گروپ کرنے کے لیے ایک ماڈل پیکج گروپ بنانے کی ضرورت ہے، جو کہ SageMaker کی صلاحیت ہے کہ وہ ماڈلز کو ٹریک کرنے اور ان کا نظم کرنے کی صلاحیت ہے جب وہ ML لائف سائیکل سے گزرتے ہیں۔

ماڈل ٹریننگ پائپ لائن

ELC کے لیے آن بورڈ کیے گئے ہر نئے پلانٹ کے لیے، ہم ایک نئی SageMaker ٹریننگ پائپ لائن بناتے ہیں۔ یہ پائپ لائن ڈیٹا پری پروسیسنگ اور ماڈل ٹریننگ کے مراحل پر مشتمل ہے۔ سیج میکر پائپ لائنز یارا کے لیے موزوں ہیں کیونکہ وہ ML ورک فلو کی وضاحت کے لیے ازگر کا انٹرفیس پیش کرتے ہیں۔ مزید برآں، ورک فلو کے مختلف مراحل کو مختلف پیمانے پر ترتیب دیا جا سکتا ہے۔ مثال کے طور پر، آپ ماڈل کی تشخیص کے مرحلے کے مقابلے میں تربیت کے لیے ایک بہت بڑی مثال کی وضاحت کر سکتے ہیں۔ پائپ لائن کے ہر قدم کے لیے ان پٹ اور آؤٹ پٹ پیرامیٹرز محفوظ کیے جاتے ہیں، جو ہر رن اور اس کے آؤٹ پٹس کو ٹریک کرنا آسان بناتا ہے۔ تربیتی ورک فلو کا اعلیٰ سطحی خاکہ حسب ذیل ہے۔

ماڈل کی تشخیص کے مرحلے کے حصے کے طور پر، ایک تشخیصی ڈیٹاسیٹ کا استعمال میٹرکس بنانے کے لیے کیا جاتا ہے، جیسے تربیت یافتہ ماڈل پر درستگی اور روٹ-مین-سکوائرڈ ایرر (RMSE) انحراف۔ ان میٹرکس کو ماڈل رجسٹری میں ماڈل رجسٹر کرنے سے پہلے ماڈل میٹا ڈیٹا میں شامل کیا جاتا ہے۔ فی الحال، ماڈلز کو دستی طور پر اعلیٰ ماحول میں فروغ دیا جاتا ہے، اور ماڈل کی منظوری دینے والا ماڈل میٹرکس دیکھ سکتا ہے تاکہ یہ یقینی بنایا جا سکے کہ نیا ورژن موجودہ ماڈل سے بہتر کارکردگی کا مظاہرہ کرے۔

ماڈلز کو ماڈل رجسٹری کے ذریعے کنٹرول کیا جاتا ہے، ہر پلانٹ کا اپنا ماڈل پیکیج گروپ ہوتا ہے۔ مزید برآں، آپ ماڈل رجسٹری کا استعمال یہ معلوم کرنے کے لیے کر سکتے ہیں کہ کون سے ماڈل ورژن کن ماحول میں تعینات کیے گئے ہیں۔ ایک ماڈل a میں ہو سکتا ہے۔ مسترد شدہ, دستی منظوری زیر التوا ہے۔، یا منظوری دے دی ریاست، اور صرف وہ ماڈل جو میں ہیں۔ منظوری دے دی ریاست تعینات کیا جا سکتا ہے. یہ ماڈل کے غیر منظور شدہ ورژن کو حادثاتی طور پر تعینات کرنے سے بھی تحفظ فراہم کرتا ہے۔

ماڈل انفرنس اور مانیٹرنگ پائپ لائن

ماڈل کو تعینات کرنے اور ماڈل کی نگرانی قائم کرنے کے لیے، ہم نے دوسری SageMaker پائپ لائن قائم کی۔ ELC ایپلیکیشن پلانٹ آپریٹرز کو مانگ کے مطابق پیشین گوئیاں فراہم کرتی ہے، اس لیے ماڈلز تک ELC بیک اینڈ سے کی گئی API کالز کے ذریعے رسائی حاصل کی جاتی ہے۔ سیج میکر انفرنس اینڈ پوائنٹس ایک API پرت کے ساتھ مکمل طور پر منظم ماڈل ہوسٹنگ حل فراہم کرتے ہیں۔ اینڈ پوائنٹس ماڈل ان پٹ کو بطور پے لوڈ اور واپسی کی پیشین گوئیاں لیتے ہیں۔ چونکہ لیٹنسی ان اختتامی صارفین کے لیے بھی ایک اہم عنصر ہے جو تازہ ترین پیشین گوئیاں حاصل کرنے سے پہلے زیادہ انتظار نہیں کرنا چاہتے، یارا نے SageMaker ریئل ٹائم انفرنس اینڈ پوائنٹس کا انتخاب کیا، جو خاص طور پر انتہائی کم تاخیر کی ضروریات کے ساتھ کام کے بوجھ کے لیے موزوں ہیں۔ آخر میں، چونکہ ELC ایپلیکیشن میں اپ ڈیٹ شدہ ماڈلز کے تعینات ہونے کے دوران ڈاؤن ٹائم نہیں ہو سکتا، اس لیے یہ SageMaker ریئل ٹائم اینڈ پوائنٹس کی نیلی/سبز تعیناتی کی صلاحیت پر انحصار کرتا ہے تاکہ یہ یقینی بنایا جا سکے کہ پرانا ماڈل ورژن پیشین گوئی کی خدمت جاری رکھے جب تک کہ نیا ورژن تعینات نہیں ہو جاتا۔ .

درج ذیل خاکہ تعیناتی اور نگرانی کے سیٹ اپ کو واضح کرتا ہے۔

ماڈل کی نگرانی کے لیے، یارا سیج میکر چلاتی ہے۔ ڈیٹا کی معیار, ماڈل کے معیار، اور ماڈل کی وضاحت نگرانی ڈیٹا کے معیار کی نگرانی مستقل مزاجی کی جانچ کرتی ہے اور ڈیٹا کی تقسیم کے اعدادوشمار تیار کرتی ہے۔ ماڈل کوالٹی مانیٹرنگ ماڈل کی کارکردگی کو چیک کرتی ہے اور ماڈل کی درستگی کا ٹریننگ میٹرکس سے موازنہ کرتی ہے۔. ماڈل مانیٹرنگ رپورٹس فی گھنٹہ کی بنیاد پر تیار کی جاتی ہیں۔ یہ رپورٹیں پیداوار میں ماڈل کی کارکردگی کی نگرانی کے لیے استعمال ہوتی ہیں۔ ماڈل کی وضاحت کی نگرانی کا استعمال یہ سمجھنے کے لیے کیا جاتا ہے کہ کون سی خصوصیات پیشین گوئی میں سب سے زیادہ حصہ ڈالتی ہیں۔

ماڈل کی وضاحت کے اس نتائج کو ELC ڈیش بورڈ پر شیئر کیا گیا ہے تاکہ پلانٹ آپریٹرز کو توانائی کی کھپت کو آگے بڑھانے کے حوالے سے مزید سیاق و سباق فراہم کیا جا سکے۔ یہ اندرونی عمل کو ایڈجسٹ کرنے کے عمل کا تعین کرنے میں بھی مدد کرتا ہے اگر توانائی کی کھپت بہترین نقطہ سے ہٹ جاتی ہے۔

CI/CD بہاؤ

تربیتی پائپ لائنوں کے لیے CI/CD کا بہاؤ DEV اکاؤنٹ میں شروع ہوتا ہے۔ یارا فیچر پر مبنی ڈیولپمنٹ ماڈل کی پیروی کرتا ہے اور جب کوئی نیا فیچر تیار کیا جاتا ہے تو فیچر برانچ کو ٹرنک میں ضم کر دیا جاتا ہے، جس سے تعیناتی شروع ہوتی ہے۔ ELC ماڈلز کو DEV اکاؤنٹ میں تربیت دی جاتی ہے اور ماڈل کی تربیت اور جانچ کے بعد، یہ ماڈل رجسٹری میں رجسٹرڈ ہو جاتا ہے۔ ایک ماڈل منظور کنندہ ماڈل کی حیثیت کو اپ ڈیٹ کرنے سے پہلے سنٹی چیک کرتا ہے۔ منظوری دے دی. یہ عمل ایک ایسا واقعہ پیدا کرتا ہے جو ماڈل انفرنس پائپ لائن کی تعیناتی کو متحرک کرتا ہے۔ ماڈل انفرنس پائپ لائن نئے ماڈل ورژن کو ڈی ای وی میں سیج میکر اینڈ پوائنٹ پر تعینات کرتی ہے۔

اختتامی نقطہ کی تعیناتی کے بعد، سیٹ اپ کے رویے کو جانچنے کے لیے ٹیسٹ شروع کیے جاتے ہیں۔ جانچ کے لیے، یارا استعمال کرتا ہے۔ کوڈ بلڈ ٹیسٹ رپورٹس. یہ خصوصیت ڈویلپرز کو یونٹ ٹیسٹ، کنفیگریشن ٹیسٹ، اور فنکشنل ٹیسٹ پہلے اور پوسٹ تعیناتی چلانے کی اجازت دیتی ہے۔ اس صورت میں، یارا SageMaker اینڈ پوائنٹس پر ٹیسٹ پے لوڈز پاس کرکے اور ردعمل کا جائزہ لے کر فنکشنل ٹیسٹ چلاتا ہے۔ ان ٹیسٹوں کے پاس ہونے کے بعد، پائپ لائن SageMaker کے اختتامی پوائنٹس کو TEST میں تعینات کرنے کے لیے آگے بڑھتی ہے۔ ELC بیک اینڈ کو TEST میں بھی لگایا گیا ہے، جو اس ماحول میں ایپ کے لیے اینڈ ٹو اینڈ ٹیسٹنگ ممکن بناتا ہے۔ مزید برآں، یارا TEST میں صارف کی قبولیت کی جانچ چلاتا ہے۔ TEST سے PROD تعیناتی تک کا محرک دستی منظوری کی کارروائی ہے۔ نئے ماڈل ورژن کے TEST میں فنکشنل اور صارف کی قبولیت دونوں ٹیسٹ پاس کرنے کے بعد، انجینئرنگ ٹیم PROD میں ماڈل کی تعیناتی کی منظوری دیتی ہے۔

مندرجہ ذیل اعداد و شمار اس ورک فلو کو واضح کرتا ہے۔

مشترکہ اجزاء

ELC کے لیے، ہم متعدد اجزاء استعمال کرتے ہیں جو تمام تعیناتی مراحل (DEV, TEST, PROD) اور ماڈلز کے لیے عام ہیں۔ یہ اجزاء ہمارے تعیناتی اکاؤنٹ میں رہتے ہیں، اور ان میں ماڈل ورژن کنٹرول، ایک کنٹینر امیج ریپوزٹری، ایک انکرپشن کلید، اور عام نمونے کو ذخیرہ کرنے کے لیے ایک بالٹی شامل ہے۔

عام نمونے استعمال کرنے کے کئی فائدے ہیں۔ مثال کے طور پر، وسائل کو ہر اکاؤنٹ کے لیے بنانے کی ضرورت نہیں ہے، جو اکاؤنٹس کے درمیان مطابقت کو نافذ کرتا ہے۔ اس کا مطلب ہے کہ ہم کنٹینر کی تصاویر ایک بار بناتے ہیں اور انہیں تمام ٹارگٹ اکاؤنٹس میں دوبارہ استعمال کرتے ہیں، جس سے تعمیر کا وقت کم ہوتا ہے۔

یہ پائپ لائن مختلف ماڈل ورژن کو تعیناتی اکاؤنٹ میں ایک عام ماڈل رجسٹری میں اسٹور کرتی ہے۔ اس مرکزی مقام سے، ماڈلز کو منتقل کیے بغیر تمام اکاؤنٹس میں تعینات کیا جا سکتا ہے۔ اسی طرح، مرکزی طور پر ذخیرہ شدہ انکرپشن کلید کا استعمال کلید اور کراس اکاؤنٹ کی اجازتوں کو منظم کرنا آسان بناتا ہے۔

عام نمونے استعمال کرنے کا ایک نقصان یہ ہے کہ استعمال کے نئے کیس کا آن بورڈنگ مرحلہ زیادہ وسیع ہو سکتا ہے۔ ایک نئے استعمال کے کیس کو آن بورڈ کرنے کے لیے، ایک نئے ماڈل کی رجسٹری بنائی جانی چاہیے اور اگر ضرورت ہو تو ایک نیا کنٹینر امیج ریپوزٹری۔ ہم وسائل اور ذخیرہ شدہ ڈیٹا کو سختی سے الگ کرنے کے لیے ایک نئی انکرپشن کلید بنانے کی بھی تجویز کرتے ہیں۔

نتیجہ

اس پوسٹ میں، ہم نے دکھایا کہ کس طرح یارا نے SageMaker اور ADF کو ایک انتہائی قابل توسیع MLOps پلیٹ فارم بنانے کے لیے استعمال کیا۔ ML ایک کراس فنکشنل صلاحیت ہے، اور ٹیمیں مختلف بزنس یونٹ اکاؤنٹس میں ماڈلز تعینات کرتی ہیں۔ لہذا، ADF، جو تنظیموں کے ساتھ مقامی انضمام کی پیشکش کرتا ہے، اسے CI/CD پائپ لائنوں کو ترتیب دینے کے لیے اکاؤنٹس کو بوٹسٹریپ کرنے کے لیے ایک مثالی امیدوار بناتا ہے۔ آپریشنل طور پر، ADF پائپ لائنیں مرکزی تعیناتی اکاؤنٹ میں چلتی ہیں، جس سے تعیناتیوں کا مجموعی صحت کا نظارہ حاصل کرنا آسان ہو جاتا ہے۔ آخر میں، ADF AWS کے زیر انتظام خدمات جیسے CodeBuild، CodeDeploy، CodePipeline، اور CloudFormation کا استعمال کرتا ہے، جس سے اسے ترتیب دینے اور برقرار رکھنے میں آسانی ہوتی ہے۔

SageMaker ML صلاحیتوں کا ایک وسیع میدان فراہم کرتا ہے، جو ٹیموں کو کاروباری مسائل کے حل پر زیادہ توجہ دینے اور بنیادی ڈھانچے کی تعمیر اور برقرار رکھنے پر کم توجہ دینے کے قابل بناتا ہے۔ مزید برآں، SageMaker Pipelines ML ورک فلوز بنانے، اپ ڈیٹ کرنے اور ان کو تعینات کرنے کے لیے APIs کا ایک بھرپور سیٹ فراہم کرتی ہے، جس سے یہ MLOps کے لیے بہترین فٹ ہے۔

آخر میں، MLOps قابل اعتماد اور مؤثر طریقے سے پیداوار میں ML ماڈلز کو تعینات اور برقرار رکھنے کے لیے بہترین طریقہ کار فراہم کرتا ہے۔ یہ ان ٹیموں کے لیے اہم ہے جو ایم ایل او پیز کو لاگو کرنے کے لیے پیمانے پر ML سلوشنز تخلیق اور تعینات کرتی ہیں۔ یارا کے معاملے میں، MLOps ایک نئے پلانٹ پر سوار ہونے، ELC میں اپ ڈیٹس لانے، اور معیار کے لیے ماڈلز کی نگرانی کو یقینی بنانے کے لیے درکار کوششوں کو نمایاں طور پر کم کر دیتا ہے۔

ADF کا استعمال کرتے ہوئے ایپلیکیشنز کو کیسے تعینات کیا جائے اس بارے میں مزید معلومات کے لیے، دیکھیں مثال کے طور پر.

---

مصنفین کے بارے میں

شہیر منصور AWS میں ڈیٹا سائنٹسٹ ہے۔ اس کی توجہ مشین لرننگ پلیٹ فارمز کی تعمیر پر ہے جو پیمانے پر AI سلوشنز کی میزبانی کر سکتے ہیں۔ اس کی دلچسپی کے شعبے MLOps، فیچر اسٹورز، ماڈل ہوسٹنگ، اور ماڈل مانیٹرنگ ہیں۔

ٹم بیکر یارا انٹرنیشنل میں ایک سینئر ڈیٹا سائنٹسٹ ہیں۔ ڈیجیٹل پروڈکشن کے اندر، اس کی توجہ امونیا اور نائٹرک ایسڈ کی پیداوار کے عمل کو بہتر بنانے پر ہے۔ اس نے تھرموڈینامکس میں پی ایچ ڈی کی ہے اور پروسیس انجینئرنگ اور مشین لرننگ کو اکٹھا کرنے کا شوق ہے۔

Yongyos Kaewpitakkun یارا انٹرنیشنل میں ڈیجیٹل پروڈکشن ٹیم میں ایک سینئر ڈیٹا سائنسدان ہیں۔ اس کے پاس AI/مشین لرننگ میں پی ایچ ڈی ہے اور مشکل کاروباری مسائل کو حل کرنے کے لیے مشین لرننگ، کمپیوٹر ویژن، اور قدرتی لینگویج پروسیسنگ ماڈلز سے فائدہ اٹھانے کا کئی سالوں کا تجربہ ہے۔