ایمیزون سیج میکر ایج مینیجر اور AWS IoT گرین گراس کے ساتھ کنارے پر MLOps

انٹرنیٹ آف تھنگز (IoT) نے متعدد صنعتوں جیسے کہ مینوفیکچرنگ، آٹوموٹیو اور توانائی کے صارفین کو حقیقی دنیا کے ماحول کی نگرانی اور کنٹرول کرنے کے قابل بنایا ہے۔ مختلف قسم کے کنارے والے IoT آلات جیسے کیمرے، تھرموسٹیٹ اور سینسرز کو تعینات کر کے، آپ ڈیٹا اکٹھا کر سکتے ہیں، اسے کلاؤڈ پر بھیج سکتے ہیں، اور بے ضابطگیوں، ناکامیوں اور مزید کی پیش گوئی کرنے کے لیے مشین لرننگ (ML) ماڈل بنا سکتے ہیں۔ تاہم، اگر استعمال کے معاملے میں حقیقی وقت کی پیشن گوئی کی ضرورت ہوتی ہے، تو آپ کو اپنے IoT حل کو ML at the edge (ML@Edge) کی صلاحیتوں سے مالا مال کرنے کی ضرورت ہے۔ ML@Edge ایک ایسا تصور ہے جو ML ماڈل کے لائف سائیکل کو ایپ لائف سائیکل سے الگ کرتا ہے اور آپ کو ایک اینڈ ٹو اینڈ ایم ایل پائپ لائن چلانے کی اجازت دیتا ہے جس میں ڈیٹا کی تیاری، ماڈل کی تعمیر، ماڈل کمپلیشن اور آپٹیمائزیشن، ماڈل کی تعیناتی (ایج ڈیوائسز کے بیڑے میں) شامل ہیں۔ ماڈل پر عملدرآمد، اور ماڈل مانیٹرنگ اور گورننگ۔ آپ ایپ کو ایک بار لگائیں اور جتنی بار آپ کی ضرورت ہو ML پائپ لائن چلائیں۔

جیسا کہ آپ تصور کر سکتے ہیں، ML@Edge تصور کے تجویز کردہ تمام اقدامات کو نافذ کرنا کوئی معمولی بات نہیں ہے۔ بہت سے سوالات ہیں جن کو مکمل ML@Edge حل کو نافذ کرنے کے لیے ڈویلپرز کو حل کرنے کی ضرورت ہے، مثال کے طور پر:

• میں کنارے پر موجود آلات کے بیڑے (سیکڑوں، ہزاروں، یا لاکھوں) پر ایم ایل ماڈلز کو کیسے چلا سکتا ہوں؟
• میں اپنے ماڈل کو کنارے پر تعینات اور چلاتے ہوئے اسے کیسے محفوظ بنا سکتا ہوں؟
• میں اپنے ماڈل کی کارکردگی کی نگرانی کیسے کروں اور ضرورت پڑنے پر اسے دوبارہ تربیت کیسے دوں؟

اس پوسٹ میں، آپ سیکھتے ہیں کہ ان تمام سوالوں کے جواب کیسے دیے جائیں اور اپنی ML@Edge پائپ لائن کو خودکار کرنے کے لیے اینڈ ٹو اینڈ حل تیار کریں۔ آپ دیکھیں گے کہ کس طرح استعمال کرنا ہے۔ ایمیزون سیج میکر ایج مینیجر, ایمیزون سیج میکر اسٹوڈیو، اور AWS IoT گرین گراس v2 ایک MLOps (ML Operations) ماحول بنانے کے لیے جو ML ماڈلز کو ایج ڈیوائسز کے بڑے بیڑے میں بنانے اور ان کی تعیناتی کے عمل کو خودکار بناتا ہے۔

اگلے حصوں میں، ہم ایک ریفرنس آرکیٹیکچر پیش کرتے ہیں جس میں تمام اجزاء اور ورک فلو کی تفصیل دی گئی ہے جو کہ کنارے کے کام کے بوجھ پر مرکوز MLOps کے لیے ایک مکمل حل تیار کرنے کے لیے درکار ہے۔ پھر ہم ان مراحل میں گہرائی میں ڈوبتے ہیں جو یہ حل ایک نیا ماڈل بنانے اور تیار کرنے کے لیے خود بخود چلتا ہے۔ ہم آپ کو یہ بھی دکھاتے ہیں کہ ایم ایل ماڈلز کی تعیناتی، چلانے، اور نگرانی شروع کرنے کے لیے ایج ڈیوائسز کو کیسے تیار کیا جائے، اور آپ کے ڈیوائسز کے بیڑے پر تعینات ایم ایل ماڈلز کی نگرانی اور دیکھ بھال کیسے کی جائے۔

حل جائزہ

مضبوط ایم ایل ماڈلز کی پیداوار کے لیے مخصوص آپریشنز (MLOps) کے بعد نیم خود کار بنیادی ڈھانچے کے تحت متعدد شخصیات، جیسے ڈیٹا سائنسدانوں، ML انجینئرز، ڈیٹا انجینئرز، اور کاروباری اسٹیک ہولڈرز کے اشتراک کی ضرورت ہوتی ہے۔ نیز، ماحول کی ماڈیولرائزیشن ضروری ہے تاکہ ان تمام مختلف افراد کو وہ جزو تیار کرنے یا بہتر بنانے کے لیے لچک اور چستی فراہم کی جائے جس کے لیے وہ ذمہ دار ہیں۔ اس طرح کے انفراسٹرکچر کی ایک مثال متعدد AWS اکاؤنٹس پر مشتمل ہے جو اس تعاون اور ML ماڈلز کی پیداوار کو کلاؤڈ اور ایج ڈیوائسز دونوں میں قابل بناتی ہے۔ مندرجہ ذیل ریفرنس آرکیٹیکچر میں، ہم دکھاتے ہیں کہ ہم نے کس طرح متعدد اکاؤنٹس اور سروسز کو منظم کیا جو ایم ایل ماڈلز بنانے اور انہیں کنارے پر تعینات کرنے کے لیے اس اینڈ ٹو اینڈ MLOps پلیٹ فارم کو تشکیل دیتے ہیں۔

یہ حل درج ذیل اکاؤنٹس پر مشتمل ہے:

• ڈیٹا لیک اکاؤنٹ - ڈیٹا انجینئرز متعدد ڈیٹا ذرائع سے ڈیٹا کو ہضم کرتے ہیں، اسٹور کرتے ہیں اور تیار کرتے ہیں، بشمول آن پریمیس ڈیٹا بیسز اور IoT آلات۔
• ٹولنگ اکاؤنٹ - آئی ٹی آپریٹرز ریموٹ ایج ڈیوائسز کے لیے پری پروڈکشن اور پروڈکشن اکاؤنٹس میں ایم ایل ماڈل پیکجوں کی خودکار مسلسل ڈیلیوری اور تعیناتی کے لیے CI/CD پائپ لائنوں کا انتظام اور جانچ کرتے ہیں۔ کے استعمال کے ذریعے CI/CD پائپ لائنوں کے رن خودکار ہوتے ہیں۔ ایمیزون ایونٹ برج، جو ایم ایل ماڈلز اور اہداف کی تبدیلی کی صورتحال پر نظر رکھتا ہے۔ AWS کوڈ پائپ لائن.
• تجربہ اور ترقی کا اکاؤنٹ - ڈیٹا سائنسدان ML کی بنیاد پر کاروباری مسائل کو حل کرنے کے لیے متعدد ماڈلنگ تکنیکوں اور الگورتھم کے ساتھ تحقیق اور تجربہ کر سکتے ہیں، تصور کے حل کا ثبوت پیدا کر سکتے ہیں۔ ایم ایل انجینئرز اور ڈیٹا سائنسدان تصور کے ثبوت کو پیمانہ کرنے کے لیے تعاون کرتے ہیں، اس کا استعمال کرتے ہوئے خودکار ورک فلو تخلیق کرتے ہیں۔ ایمیزون سیج میکر پائپ لائنز ڈیٹا تیار کرنے اور ایم ایل ماڈل بنانے، ٹرین کرنے اور پیک کرنے کے لیے۔ پائپ لائنوں کی تعیناتی CI/CD پائپ لائنوں کے ذریعے چلائی جاتی ہے، جبکہ ماڈلز کے ورژن کنٹرول کو استعمال کرتے ہوئے حاصل کیا جاتا ہے۔ ایمیزون سیج میکر ماڈل رجسٹری. ڈیٹا سائنسدان متعدد ماڈل ورژنز کے میٹرکس کا جائزہ لیتے ہیں اور CI/CD پائپ لائن کو متحرک کرکے بہترین ماڈل کو پروڈکشن میں فروغ دینے کی درخواست کرتے ہیں۔
• پری پروڈکشن اکاؤنٹ - ماڈل کو پروڈکشن ماحول میں فروغ دینے سے پہلے، نمونے کے ماحول میں مضبوطی کو یقینی بنانے کے لیے ماڈل کو جانچنے کی ضرورت ہے۔ لہذا، پری پروڈکشن ماحول پیداواری ماحول کا ایک سمیلیٹر ہے، جس میں سیج میکر ماڈل اینڈ پوائنٹس خود بخود تعینات اور جانچے جاتے ہیں۔ ٹیسٹ کے طریقوں میں انضمام ٹیسٹ، تناؤ کا ٹیسٹ، یا تخمینہ کے نتائج پر ML-مخصوص ٹیسٹ شامل ہو سکتے ہیں۔ اس صورت میں، پیداواری ماحول SageMaker ماڈل اینڈ پوائنٹ نہیں ہے بلکہ ایک ایج ڈیوائس ہے۔ پری پروڈکشن میں ایک کنارے والے آلے کی نقل کرنے کے لیے، دو طریقے ممکن ہیں: استعمال کریں۔ ایمیزون لچکدار کمپیوٹ کلاؤڈ (Amazon EC2) مثال کے طور پر اسی ہارڈ ویئر کی خصوصیات کے ساتھ، یا اصل آلات پر مشتمل لیب میں ٹیسٹ بیڈ استعمال کریں۔ اس بنیادی ڈھانچے کے ساتھ، CI/CD پائپ لائن ماڈل کو متعلقہ سمیلیٹر پر تعینات کرتی ہے اور متعدد ٹیسٹ خود بخود کرتی ہے۔ ٹیسٹوں کے کامیابی سے چلنے کے بعد، CI/CD پائپ لائن کو دستی منظوری کی ضرورت ہوتی ہے (مثال کے طور پر، ماڈل کو پروڈکشن میں فروغ دینے کے لیے IoT اسٹیک ہولڈر سے)۔
• پروڈکشن اکاؤنٹ - AWS کلاؤڈ پر ماڈل کی میزبانی کرنے کی صورت میں، CI/CD پائپ لائن پروڈکشن اکاؤنٹ پر SageMaker ماڈل اینڈ پوائنٹ تعینات کرتی ہے۔ اس صورت میں، پیداواری ماحول کنارے آلات کے متعدد بیڑے پر مشتمل ہوتا ہے۔ لہذا، CI/CD پائپ لائن ماڈلز کو آلات کے متعلقہ بیڑے میں تعینات کرنے کے لیے ایج مینیجر کا استعمال کرتی ہے۔
• ایج ڈیوائسز – ریموٹ ایج ڈیوائسز ہارڈویئر ڈیوائسز ہیں جو Edge Manager کا استعمال کرتے ہوئے ML ماڈل چلا سکتے ہیں۔ یہ ان آلات پر ایپلیکیشن کو ماڈلز کا نظم کرنے، ماڈلز کے خلاف تخمینہ چلانے اور ڈیٹا کو محفوظ طریقے سے حاصل کرنے کی اجازت دیتا ہے۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3)۔

سیج میکر پروجیکٹس ان اکاؤنٹس میں سے ہر ایک کے اندر وسائل کی فراہمی کے عمل کو خودکار بنانے میں آپ کی مدد کرتا ہے۔ ہم اس خصوصیت میں گہرائی میں نہیں جاتے ہیں، لیکن اس بارے میں مزید جاننے کے لیے کہ سیج میکر پروجیکٹ ٹیمپلیٹ کیسے بنایا جائے جو تمام اکاؤنٹس میں ایم ایل ماڈلز کو تعینات کرتا ہے، چیک آؤٹ کریں۔ ایمیزون سیج میکر پائپ لائنز کے ساتھ ملٹی اکاؤنٹ ماڈل کی تعیناتی۔.

پری پروڈکشن اکاؤنٹ: ڈیجیٹل جڑواں

تربیت کے عمل کے بعد، نتیجے میں ماڈل کا جائزہ لینے کی ضرورت ہے۔ پری پروڈکشن اکاؤنٹ میں، آپ کے پاس ایک مصنوعی ایج ڈیوائس ہے۔ یہ نمائندگی کرتا ہے۔ ڈیجیٹل جڑواں کنارے کے آلے کا جس پر ML ماڈل پروڈکشن میں چلتا ہے۔ اس ماحول کا دوہرا مقصد کلاسک ٹیسٹ (جیسے یونٹ، انضمام، اور دھواں) کو انجام دینے اور ترقیاتی ٹیم کے لیے کھیل کا میدان بننا ہے۔ اس ڈیوائس کو ایک EC2 مثال کا استعمال کرتے ہوئے نقل کیا گیا ہے جہاں ML ماڈل کو منظم کرنے کے لیے درکار تمام اجزاء تعینات کیے گئے تھے۔

متعلقہ خدمات درج ذیل ہیں:

• AWS IoT کور - ہم استعمال کرتے ہیں AWS IoT کور AWS IoT چیز کی اشیاء بنانے کے لیے، ایک ڈیوائس فلیٹ بنائیں، ڈیوائس فلیٹ کو رجسٹر کریں تاکہ یہ کلاؤڈ کے ساتھ تعامل کرسکے، AWS IoT Core سے ایج ڈیوائسز کی توثیق کرنے کے لیے X.509 سرٹیفکیٹ بنائیں، AWS IoT کور کے ساتھ رول عرف کو منسلک کریں جو اس وقت تیار کیا گیا تھا۔ بیڑے نے تخلیق کیا ہے، اسناد فراہم کرنے والے کے لیے AWS اکاؤنٹ کے لیے مخصوص اختتامی نقطہ حاصل کریں، ایک سرکاری Amazon Root CA فائل حاصل کریں، اور Amazon CA فائل کو Amazon S3 پر اپ لوڈ کریں۔
• ایمیزون سیج میکر نیو - سیج بنانے والا نو درستگی میں بغیر کسی نقصان کے تیزی سے چلنے کے لیے مشین لرننگ ماڈلز کو خود بخود بہتر بناتا ہے۔ یہ مشین لرننگ ماڈل کو سپورٹ کرتا ہے جو پہلے سے ہی DarkNet, Keras, MXNet, PyTorch, TensorFlow, TensorFlow-Lite, ONNX، یا XGBoost کے ساتھ بنایا گیا ہے اور Amazon SageMaker یا کسی اور جگہ پر تربیت یافتہ ہے۔ پھر آپ اپنے ٹارگٹ ہارڈویئر پلیٹ فارم کا انتخاب کرتے ہیں، جو کہ سیج میکر ہوسٹنگ مثال ہو سکتا ہے یا امبریلا، ایپل، اے آر ایم، انٹیل، میڈیا ٹیک، نیوڈیا، این ایکس پی، کوالکوم، راک چیپ، ٹیکساس انسٹرومینٹس، یا زیلینکس کے پروسیسرز پر مبنی ایک ایج ڈیوائس ہو سکتا ہے۔
• ایج مینیجر - ہم سیج میکر فلیٹس کے اندر ایج ڈیوائس کو رجسٹر کرنے اور اس کا نظم کرنے کے لیے ایج مینیجر کا استعمال کرتے ہیں۔ Fleets منطقی طور پر گروپ کردہ آلات کے مجموعے ہیں جنہیں آپ ڈیٹا اکٹھا کرنے اور تجزیہ کرنے کے لیے استعمال کر سکتے ہیں۔ اس کے علاوہ، Edge Manager packager، آپٹمائزڈ ماڈل کو پیک کرتا ہے اور AWS IoT Greengrass V2 جزو بناتا ہے جسے براہ راست تعینات کیا جا سکتا ہے۔ آپ سمارٹ کیمروں، سمارٹ اسپیکرز، روبوٹس، اور دیگر SageMaker ڈیوائس کے بیڑے پر ML ماڈلز کو چلانے کے لیے Edge Manager کا استعمال کر سکتے ہیں۔
• AWS IoT گرین گراس V2 - AWS IoT گرین گراس آپ کو EC2 مثال کا استعمال کرتے ہوئے مصنوعی آلات میں اجزاء کو تعینات کرنے کی اجازت دیتا ہے۔ EC2 مثالوں میں AWS IoT Greengrass V2 ایجنٹ کا استعمال کرکے، ہم Edge Manager ایجنٹ اور ماڈل تک آلات تک رسائی، انتظام اور تعیناتی کو آسان بنا سکتے ہیں۔ AWS IoT Greengrass V2 کے بغیر، Edge Manager کو استعمال کرنے کے لیے آلات اور بیڑے ترتیب دینے کے لیے آپ کو S3 ریلیز بالٹی سے ایجنٹ کو دستی طور پر کاپی کرنے کی ضرورت ہے۔ AWS IoT Greengrass V2 اور Edge Manager کے انضمام کے ساتھ، AWS IoT Greengrass V2 اجزاء استعمال کرنا ممکن ہے۔ اجزاء پہلے سے بنائے گئے سافٹ ویئر ماڈیول ہیں جو AWS سروسز یا تھرڈ پارٹی سروس سے AWS IoT Greengrass کے ذریعے ایج ڈیوائسز کو جوڑ سکتے ہیں۔
• ایج مینیجر ایجنٹ - ایج مینیجر ایجنٹ کو EC2 مثال میں AWS IoT Greengrass V2 کے ذریعے تعینات کیا گیا ہے۔ ایجنٹ ایک وقت میں متعدد ماڈلز لوڈ کر سکتا ہے اور ایج ڈیوائسز پر بھری ہوئی ماڈلز کے ساتھ اندازہ لگا سکتا ہے۔ ایجنٹ جتنے ماڈلز لوڈ کر سکتا ہے اس کا تعین ڈیوائس پر دستیاب میموری سے ہوتا ہے۔
• ایمیزون S3 - ہم ایج مینیجر ایجنٹ سے حاصل کردہ اعداد و شمار کو ذخیرہ کرنے کے لیے S3 بالٹی استعمال کرتے ہیں۔

ہم ML ماڈلز کو حقیقی کنارے والے آلات میں منتقل کرنے سے پہلے جانچنے کے لیے پہلے سے پروڈکشن اکاؤنٹ کو ڈیجیٹل جڑواں کے طور پر بیان کر سکتے ہیں۔ یہ درج ذیل فوائد پیش کرتا ہے:

• چستی اور لچک - ڈیٹا سائنسدانوں اور ML انجینئرز کو فوری طور پر توثیق کرنے کی ضرورت ہے کہ آیا ML ماڈل اور اس سے وابستہ اسکرپٹس (پری پروسیسنگ اور انفرنس اسکرپٹس) ڈیوائس کے کنارے پر کام کریں گی۔ تاہم، بڑے اداروں میں IoT اور ڈیٹا سائنس کے شعبے مختلف ادارے ہو سکتے ہیں۔ کلاؤڈ میں ٹیکنالوجی کے اسٹیک کو یکساں طور پر نقل کرتے ہوئے، ڈیٹا سائنسدان اور ایم ایل انجینئرز تعیناتی سے پہلے نمونے کو دوبارہ اور مضبوط کر سکتے ہیں۔
• تیز رفتار خطرے کی تشخیص اور پیداوار کا وقت - ایج ڈیوائس پر تعیناتی عمل کا آخری مرحلہ ہے۔ ایک الگ تھلگ اور خود ساختہ ماحول میں ہر چیز کی توثیق کرنے کے بعد، معیار، کارکردگی اور انضمام کے لحاظ سے کنارے کے لیے درکار تصریحات کے مطابق ہونے کے لیے اسے محفوظ بنائیں۔ اس سے IoT ڈیپارٹمنٹ میں دیگر لوگوں کی مزید شمولیت سے بچنے میں مدد ملتی ہے تاکہ آرٹیفیکٹ ورژنز کو ٹھیک اور اعادہ کیا جا سکے۔
• بہتر ٹیم تعاون اور بہتر معیار اور کارکردگی – ڈیولپمنٹ ٹیم ایج ہارڈویئر میٹرکس کا تجزیہ کرکے اور فریق ثالث کے ٹولز (مثلاً I/O ریٹ) کے ساتھ تعامل کی سطح کی پیمائش کرکے ایم ایل ماڈل کے اثرات کا فوری اندازہ لگا سکتی ہے۔ اس کے بعد، IoT ٹیم صرف پیداواری ماحول میں تعیناتی کے لیے ذمہ دار ہے، اور یقین رکھ سکتی ہے کہ نمونے پیداواری ماحول کے لیے درست ہیں۔
• ٹیسٹنگ کے لیے مربوط کھیل کا میدان - ML ماڈلز کے ہدف کو دیکھتے ہوئے، روایتی ورک فلو میں پری پروڈکشن ماحول کی نمائندگی کلاؤڈ ماحول سے باہر ایک کنارے والے آلے کے ذریعے کی جانی چاہیے۔ یہ پیچیدگی کی ایک اور سطح کا تعارف کرتا ہے۔ میٹرکس اور فیڈ بیک جمع کرنے کے لیے انضمام کی ضرورت ہے۔ اس کے بجائے، ڈیجیٹل جڑواں نقلی ماحول کا استعمال کرتے ہوئے، تعاملات کو کم کیا جاتا ہے اور مارکیٹ کے لیے وقت کم کیا جاتا ہے۔

پیداوار اکاؤنٹ اور کنارے ماحول

ٹیسٹ مکمل ہونے اور آرٹفیکٹ کے استحکام حاصل کرنے کے بعد، آپ پائپ لائنوں کے ذریعے پیداوار کی تعیناتی کے لیے آگے بڑھ سکتے ہیں۔ آرٹفیکٹ کی تعیناتی پروگرام کے مطابق اس وقت ہوتی ہے جب آپریٹر نے آرٹفیکٹ کی منظوری دے دی ہے۔ تاہم، تک رسائی AWS مینجمنٹ کنسول آپریٹرز کو صرف پڑھنے کے موڈ میں دیا جاتا ہے تاکہ وہ بیڑے سے وابستہ میٹا ڈیٹا کی نگرانی کر سکیں اور اس وجہ سے تعینات کردہ ML ماڈل کے ورژن اور لائف سائیکل سے وابستہ دیگر میٹرکس کے بارے میں بصیرت رکھتے ہوں۔

ایج ڈیوائس فلیٹس کا تعلق AWS پروڈکشن اکاؤنٹ سے ہے۔ اس اکاؤنٹ میں کلاؤڈ اور ایج ڈیوائسز کے درمیان مواصلت کی اجازت دینے کے لیے مخصوص سیکیورٹی اور نیٹ ورکنگ کنفیگریشنز ہیں۔ پروڈکشن اکاؤنٹ میں تعینات اہم AWS سروسز Edge Manager ہیں، جو ڈیوائس کے تمام فلیٹس کو منظم کرنے، ڈیٹا اکٹھا کرنے، اور ML ماڈلز کو چلانے کے لیے ذمہ دار ہے، اور AWS IoT Core، جو IoT چیزوں، سرٹیفکیٹس، رول عرف، اور اختتامی پوائنٹس کا انتظام کرتا ہے۔

ایک ہی وقت میں، ہمیں ML ماڈلز کو منظم کرنے کے لیے خدمات اور اجزاء کے ساتھ ایک کنارے ڈیوائس کو ترتیب دینے کی ضرورت ہے۔ اہم اجزاء مندرجہ ذیل ہیں:

• AWS IoT گرین گراس V2
• ایک ایج مینیجر ایجنٹ
• AWS IoT سرٹیفکیٹ
• Application.py، جو تخمینہ کے عمل کو ترتیب دینے کے لیے ذمہ دار ہے (ایج ڈیٹا سورس سے معلومات حاصل کرنا اور ایج مینیجر ایجنٹ اور بھری ہوئی ML ماڈل کا استعمال کرتے ہوئے اندازہ لگانا)
• ایمیزون ایس 3 یا ڈیٹا لیک اکاؤنٹ سے ایک کنکشن جس سے اندازہ لگایا گیا ڈیٹا اسٹور کیا جائے۔

خودکار ایم ایل پائپ لائن

اب جب کہ آپ تنظیم اور ریفرنس آرکیٹیکچر کے اجزاء کے بارے میں مزید جان چکے ہیں، ہم ML پائپ لائن میں مزید گہرائی تک جا سکتے ہیں جسے ہم ترقیاتی اکاؤنٹ کے اندر ML ماڈل کو بنانے، تربیت دینے اور جانچنے کے لیے استعمال کرتے ہیں۔

ایک پائپ لائن (استعمال کرتے ہوئے بنایا گیا ہے۔ ایمیزون سیج میکر ماڈل بلڈنگ پائپ لائنز) ایک دوسرے سے جڑے ہوئے اقدامات کا ایک سلسلہ ہے جس کی وضاحت JSON پائپ لائن کی تعریف سے ہوتی ہے۔ یہ پائپ لائن ڈیفینیشن ڈائریکٹڈ ایکائیلک گراف (DAG) کا استعمال کرتے ہوئے پائپ لائن کو انکوڈ کرتی ہے۔ یہ ڈی اے جی آپ کی پائپ لائن کے ہر قدم کے درمیان ضروریات اور تعلقات کے بارے میں معلومات فراہم کرتا ہے۔ پائپ لائن کے ڈی اے جی کی ساخت کا تعین مراحل کے درمیان ڈیٹا کے انحصار سے ہوتا ہے۔ یہ ڈیٹا انحصار اس وقت پیدا ہوتا ہے جب ایک قدم کے آؤٹ پٹ کی خصوصیات کو دوسرے مرحلے میں ان پٹ کے طور پر منتقل کیا جاتا ہے۔

ڈیٹا سائنس ٹیموں کو ML ماڈلز کے نئے ورژنز کی تخلیق کو آسانی سے خودکار بنانے کے لیے، ML ماڈلز کو مسلسل فیڈ کرنے اور بہتر بنانے کے لیے توثیق کے مراحل اور خودکار ڈیٹا متعارف کرانا ضروری ہے، نیز پائپ لائن کو متحرک کرنے کے لیے ماڈل کی نگرانی کی حکمت عملیوں کو متعارف کرانا ضروری ہے۔ مندرجہ ذیل خاکہ پائپ لائن کی مثال دکھاتا ہے۔

آٹومیشنز اور MLOps کی صلاحیتوں کو فعال کرنے کے لیے، دوبارہ قابل استعمال کوڈ آرٹفیکٹس بنانے کے لیے ماڈیولر اجزاء بنانا ضروری ہے جو مختلف مراحل اور ML استعمال کے کیسز میں شیئر کیے جا سکتے ہیں۔ یہ آپ کو ٹرانزیشن کو خودکار کرکے عمل درآمد کو تجرباتی مرحلے سے پیداواری مرحلے میں منتقل کرنے کے قابل بناتا ہے۔

ایم ایل ماڈلز کی مسلسل تربیت اور ورژن بنانے کے لیے ایم ایل پائپ لائن کی وضاحت کے لیے اقدامات درج ذیل ہیں:

• پیشگی کارروائی - ایم ایل الگورتھم کی تربیت کے لیے ڈیٹا کی صفائی، فیچر انجینئرنگ، اور ڈیٹاسیٹ کی تخلیق کا عمل
• ٹریننگ - ایم ایل ماڈل آرٹفیکٹ کا ایک نیا ورژن تیار کرنے کے لئے تیار کردہ ایم ایل الگورتھم کی تربیت کا عمل
• تشخیص - تربیتی مرحلے کے دوران نظر نہ آنے والے نئے ڈیٹا پر ماڈل کے رویے سے متعلق کلیدی میٹرکس نکالنے کے لیے تیار کردہ ایم ایل ماڈل کی تشخیص کا عمل
• رجسٹریشن - نئے تربیت یافتہ ML ماڈل کے نمونے کو تیار کردہ نمونے کے ساتھ نکالے گئے میٹرکس کو جوڑ کر ورژن بنانے کا عمل

آپ مندرجہ ذیل میں سیج میکر پائپ لائن کی تعمیر کے بارے میں مزید تفصیلات دیکھ سکتے ہیں۔ نوٹ بک.

EventBridge کا استعمال کرتے ہوئے CI/CD پائپ لائنوں کو متحرک کریں۔

جب آپ ماڈل کی تعمیر مکمل کر لیتے ہیں، تو آپ تعیناتی کا عمل شروع کر سکتے ہیں۔ پچھلے حصے میں بیان کردہ SageMaker پائپ لائن کا آخری مرحلہ مخصوص SageMaker ماڈل رجسٹری گروپ میں ماڈل کے ایک نئے ورژن کو رجسٹر کرتا ہے۔ ایم ایل ماڈل کے نئے ورژن کی تعیناتی کا انتظام ماڈل رجسٹری کی حیثیت سے کیا جاتا ہے۔ ایم ایل ماڈل ورژن کو دستی طور پر منظور یا مسترد کرنے سے، یہ مرحلہ ایک ایسے ایونٹ کو بڑھاتا ہے جسے EventBridge نے پکڑا ہے۔ اس کے بعد یہ ایونٹ AWS IoT گرین گراس جزو کا ایک نیا ورژن بنانے کے لیے ایک نئی پائپ لائن (اس بار CI/CD) شروع کر سکتا ہے جسے پھر پری پروڈکشن اور پروڈکشن اکاؤنٹس میں تعینات کیا جاتا ہے۔ مندرجہ ذیل اسکرین شاٹ ہمارے بیان کردہ EventBridge اصول کو ظاہر کرتا ہے۔

یہ اصول SageMaker ماڈل پیکج گروپ کی حالت میں ماڈل پیکجوں کی اپ ڈیٹس تلاش کر کے مانیٹر کرتا ہے۔ Approved or Rejected.

اس کے بعد ایونٹ برج کے اصول کو کوڈ پائپ لائن کو نشانہ بنانے کے لیے ترتیب دیا جاتا ہے، جو استعمال کرکے ایک نیا AWS IoT گرین گراس جزو بنانے کا ورک فلو شروع کرتا ہے۔ ایمیزون سیج میکر نیو اور ایج مینیجر۔

ہدف کے فن تعمیر کے لیے ML ماڈلز کو بہتر بنائیں

Neo آپ کو ML ماڈلز کو بہتر بنانے کی اجازت دیتا ہے تاکہ ایج ڈیوائسز (اور کلاؤڈ میں) کا اندازہ لگایا جا سکے۔ یہ ٹارگٹ فن تعمیر کی بنیاد پر بہتر کارکردگی کے لیے ایم ایل ماڈلز کو خود بخود بہتر بناتا ہے، اور ماڈل کو اصل فریم ورک سے الگ کرتا ہے، جس سے آپ اسے ہلکے پھلکے رن ٹائم پر چلا سکتے ہیں۔

مندرجہ ذیل سے رجوع کریں نوٹ بک Neo کا استعمال کرتے ہوئے PyTorch Resnet18 ماڈل کو کیسے مرتب کیا جائے اس کی مثال کے لیے۔

AWS IoT گرین گراس جزو کو شامل کرکے تعیناتی پیکیج بنائیں

ایج مینیجر آپ کو ایج ڈیوائسز کے بیڑے میں ماڈلز کا نظم کرنے، محفوظ کرنے، تعینات کرنے اور ان کی نگرانی کرنے کی اجازت دیتا ہے۔ درج ذیل میں نوٹ بک، آپ مزید تفصیلات دیکھ سکتے ہیں کہ کنارے والے آلات کا ایک کم سے کم بیڑا کیسے بنایا جائے اور اس خصوصیت کے ساتھ کچھ تجربات کیسے چلائے جائیں۔

آپ کے بیڑے کو ترتیب دینے اور ماڈل کو مرتب کرنے کے بعد، آپ کو ایک ایج مینیجر پیکیجنگ جاب چلانے کی ضرورت ہے، جو ماڈل کو بیڑے میں تعینات کرنے کے لیے تیار کرتا ہے۔ آپ Boto3 SDK استعمال کر کے پیکیجنگ کا کام شروع کر سکتے ہیں۔ اپنے پیرامیٹرز کے لیے، ہم آپٹمائزڈ ماڈل اور ماڈل میٹا ڈیٹا استعمال کرتے ہیں۔ درج ذیل پیرامیٹرز کو شامل کرکے OutputConfig، یہ کام ماڈل کے ساتھ AWS IoT Greengrass V2 جزو بھی تیار کرتا ہے:

• PresetDeploymentType
• PresetDeploymentConfig

درج ذیل کوڈ دیکھیں:

import boto3
import time

SageMaker_client = boto3.client('SageMaker')

SageMaker_client.create_edge_packaging_job(
    EdgePackagingJobName="mlops-edge-packaging-{}".format(int(time.time()*1000)),
    CompilationJobName=compilation_job_name,
    ModelName="PytorchMLOpsEdgeModel",
    ModelVersion="1.0.0",
    RoleArn=role,
    OutputConfig={
        'S3OutputLocation': 's3://{}/model/'.format(bucket_name),
        "PresetDeploymentType": "GreengrassV2Component",
        "PresetDeploymentConfig": json.dumps(
            {"ComponentName": component_name, "ComponentVersion": component_version}
        ),
    }
)

ایم ایل ماڈلز کو کنارے پر پیمانے پر تعینات کریں۔

اب وقت آگیا ہے کہ ماڈل کو اپنے کنارے والے آلات کے بیڑے میں تعینات کریں۔ سب سے پہلے، ہمیں اس بات کا یقین کرنے کی ضرورت ہے کہ ہمارے پاس ضروری ہے AWS شناخت اور رسائی کا انتظام (اے ایم آئی) اجازتیں ہمارے IoT آلات کی فراہمی اور اس میں اجزاء کو تعینات کرنے کے قابل ہیں۔ ہمیں اپنے IoT پلیٹ فارم میں آلات پر آن بورڈنگ شروع کرنے کے لیے دو بنیادی عناصر درکار ہیں:

• IAM پالیسی - یہ پالیسی ایسے آلات کی خودکار فراہمی کی اجازت دیتی ہے، جو صارف سے منسلک ہے یا پروویژننگ کو انجام دینے والے کردار سے منسلک ہے۔ اس کے پاس IoT چیز اور گروپ بنانے کے لیے IoT لکھنے کی اجازت ہونی چاہیے، نیز ڈیوائس کے ساتھ ضروری پالیسیاں منسلک کرنے کے لیے۔ مزید معلومات کے لیے رجوع کریں۔ وسائل کی فراہمی کے لیے انسٹالر کے لیے کم سے کم IAM پالیسی.
• IAM کا کردار - یہ کردار IoT چیزوں اور گروپوں سے منسلک ہے جو ہم بناتے ہیں۔ آپ بنیادی اجازتوں کے ساتھ فراہمی کے وقت یہ کردار بنا سکتے ہیں، لیکن اس میں Amazon S3 تک رسائی جیسی خصوصیات کی کمی ہوگی یا AWS کلیدی انتظام کی خدمت (AWS KMS) جس کی بعد میں ضرورت ہو سکتی ہے۔ آپ اس کردار کو پہلے سے بنا سکتے ہیں اور جب ہم آلہ فراہم کرتے ہیں تو اسے دوبارہ استعمال کر سکتے ہیں۔ مزید معلومات کے لیے رجوع کریں۔ بنیادی آلات کو AWS کے ساتھ تعامل کرنے کی اجازت دیں۔.

AWS IoT گرین گراس کی تنصیب اور فراہمی

آئی اے ایم کی پالیسی اور کردار کے بعد، ہم اس کے لیے تیار ہیں۔ خودکار وسائل کی فراہمی کے ساتھ AWS IoT Greengrass Core سافٹ ویئر انسٹال کریں۔. اگرچہ دستی اقدامات کے بعد IoT وسائل کی فراہمی ممکن ہے، لیکن AWS IoT Greengrass v2 نیوکلئس کی تنصیب کے دوران خود بخود ان وسائل کی فراہمی کا آسان طریقہ کار موجود ہے۔ پلیٹ فارم میں نئے آلات کو تیزی سے آن بورڈ کرنے کا یہ ترجیحی آپشن ہے۔ اس کے علاوہ default-jdk، دوسرے پیکجوں کو انسٹال کرنے کی ضرورت ہے، جیسے curl, unzip، اور python3.

جب ہم اپنے آلے کی فراہمی کرتے ہیں، تو IoT چیز کا نام بالکل وہی ہونا چاہیے جیسا کہ Edge Manager میں بیان کیا گیا ہے، بصورت دیگر ڈیٹا منزل S3 بالٹی میں نہیں لیا جائے گا۔

اگر انسٹالر موجود نہیں ہے تو انسٹالر انسٹالیشن کے دوران AWS IoT Greengrass رول اور عرف بنا سکتا ہے۔ تاہم، وہ کم سے کم اجازتوں کے ساتھ بنائے جائیں گے اور دیگر سروسز جیسے Amazon S3 کے ساتھ تعامل کے لیے دستی طور پر مزید پالیسیاں شامل کرنے کی ضرورت ہوگی۔ ہم ان IAM وسائل کو پہلے سے تیار کرنے کی تجویز کرتے ہیں جیسا کہ پہلے دکھایا گیا ہے، اور پھر ان کو دوبارہ استعمال کریں جب آپ اکاؤنٹ میں نئے آلات پر سوار ہوں۔

ماڈل اور انفرنس اجزاء کی پیکیجنگ

ہمارے کوڈ کے تیار ہونے کے بعد، ہم اپنے آلات میں کوڈ (تخصیص کے لیے) اور اپنے ML ماڈل دونوں کو بطور اجزاء تعینات کر سکتے ہیں۔

SageMaker میں ML ماڈل کی تربیت کے بعد، آپ Sagemaker کمپائلیشن جاب کا استعمال کرتے ہوئے Neo کے ساتھ ماڈل کو بہتر بنا سکتے ہیں۔ نتیجے میں مرتب شدہ ماڈل نمونے، پھر Edge Manager packager کا استعمال کرتے ہوئے GreenGrass V2 جزو میں پیک کیا جا سکتا ہے۔ پھر، اسے اپنی مرضی کے جزو کے طور پر رجسٹر کیا جا سکتا ہے۔ میرے اجزاء AWS IoT گرین گراس کنسول پر سیکشن۔ اس جزو میں پہلے سے ہی ہمارے آلے میں ماڈل آرٹفیکٹ کو ڈاؤن لوڈ اور ڈیکمپریس کرنے کے لیے ضروری لائف سائیکل کمانڈز موجود ہیں، تاکہ انفرنس کوڈ اس کے ذریعے کی گئی تصاویر بھیجنے کے لیے اسے لوڈ کر سکے۔

انفرنس کوڈ کے بارے میں، ہمیں کنسول کا استعمال کرتے ہوئے ایک جزو بنانا چاہیے یا AWS کمانڈ لائن انٹرفیس (AWS CLI)۔ سب سے پہلے، ہم اپنا سورس انفرنس کوڈ اور Amazon S3 پر ضروری انحصار پیک کرتے ہیں۔ کوڈ اپ لوڈ کرنے کے بعد، ہم مندرجہ ذیل مثال کی طرح .yaml یا JSON میں ترکیب استعمال کرکے اپنا جزو بنا سکتے ہیں۔

---
RecipeFormatVersion: 2020-01-25
ComponentName: dummymodel.inference
ComponentVersion: 0.0.1
ComponentDescription: Deploys inference code to a client
ComponentPublisher: Amazon Web Services, Inc.
ComponentDependencies:
  aws.GreenGrass.TokenExchangeService:
    VersionRequirement: '>=0.0.0'
    DependencyType: HARD
  dummymodel:
    VersionRequirement: '>=0.0.0'
    DependencyType: HARD
Manifests:
  - Platform:
      os: linux
      architecture: "*"
    Lifecycle:
      install: |-
        apt-get install python3-pip
        pip3 install numpy
        pip3 install sysv_ipc
        pip3 install boto3
        pip3 install grpcio-tools
        pip3 install grpcio
        pip3 install protobuf
        pip3 install SageMaker
        tar xf {artifacts:path}/sourcedir.tar.gz
      run:
        script: |-
          sleep 5 && sudo python3 {work:path}/inference.py 
    Artifacts:
      - URI: s3://BUCKET-NAME/path/to/inference/sourcedir.tar.gz
        Permission:
          Execute: OWNER

یہ نمونہ نسخہ ہمارے اجزاء کا نام اور تفصیل کے ساتھ ساتھ ہماری رن اسکرپٹ کمانڈ سے پہلے ضروری شرائط کو بھی دکھاتا ہے۔ نسخہ آلہ میں ورک فولڈر کے ماحول میں نمونے کو کھولتا ہے، اور ہم اپنے انفرنس کوڈ کو چلانے کے لیے اس راستے کا استعمال کرتے ہیں۔ ایسی ترکیب بنانے کے لیے AWS CLI کمانڈ یہ ہے:

aws greengrassv2 create-component-version --region $REGION 
                                          --inline-recipe fileb://path/to/recipe.yaml

اب آپ AWS IoT Greengrass کنسول پر بنائے گئے اس جزو کو دیکھ سکتے ہیں۔

اس حقیقت سے ہوشیار رہیں کہ اجزاء کا ورژن اہمیت رکھتا ہے، اور اسے ہدایت کی فائل میں بیان کیا جانا چاہیے۔ اسی ورژن نمبر کو دہرانے سے ایک خرابی لوٹ آئے گی۔

ہمارے ماڈل اور انفرنس کوڈ کو اجزاء کے طور پر ترتیب دینے کے بعد، ہم انہیں تعینات کرنے کے لیے تیار ہیں۔

AWS IoT Greengrass کا استعمال کرتے ہوئے ایپلیکیشن اور ماڈل کو تعینات کریں۔

پچھلے حصوں میں، آپ نے سیکھا کہ انفرنس کوڈ اور ایم ایل ماڈلز کو کیسے پیک کیا جائے۔ اب ہم متعدد اجزاء کے ساتھ ایک تعیناتی تشکیل دے سکتے ہیں جس میں ایج ڈیوائس میں ماڈل کے ساتھ تعامل کرنے کے لیے ہمارے انفرنس کوڈ کے لیے ضروری اجزاء اور کنفیگریشن دونوں شامل ہیں۔

ایج مینیجر ایجنٹ وہ جزو ہے جسے ہر کنارے کے آلے پر نصب کیا جانا چاہیے تاکہ ایج مینیجر کی تمام صلاحیتوں کو فعال کیا جا سکے۔ سیج میکر کنسول پر، ہمارے پاس ایک ڈیوائس فلیٹ کی وضاحت کی گئی ہے، جس میں ایک منسلک S3 بالٹی ہے۔ بحری بیڑے سے وابستہ تمام ایج ڈیوائسز اپنے ڈیٹا کو اس S3 پاتھ کو پکڑیں ​​گے اور رپورٹ کریں گے۔ ایجنٹ کو AWS IoT Greengrass v2 میں ایک جزو کے طور پر تعینات کیا جا سکتا ہے، جس سے اسے انسٹال کرنا اور کنفیگر کرنا آسان ہو جاتا ہے اگر ایجنٹ کو اسٹینڈ اسٹون موڈ میں تعینات کیا گیا ہو۔ ایجنٹ کو جزو کے طور پر تعینات کرتے وقت، ہمیں اس کے کنفیگریشن پیرامیٹرز، یعنی ڈیوائس فلیٹ اور S3 پاتھ کی وضاحت کرنے کی ضرورت ہوتی ہے۔

ہم اس ماڈل اور کوڈ کے لیے جو ہم نے ابھی بنایا ہے حسب ضرورت اجزاء کے ساتھ ایک تعیناتی کنفیگریشن بناتے ہیں۔ اس سیٹ اپ کی وضاحت JSON فائل میں کی گئی ہے جس میں تعیناتی کے نام اور ہدف کے ساتھ ساتھ تعیناتی کے اجزاء کی فہرست دی گئی ہے۔ ہم ہر جزو کے کنفیگریشن پیرامیٹرز کو شامل اور اپ ڈیٹ کر سکتے ہیں، جیسے کہ ایج مینیجر ایجنٹ میں، جہاں ہم فلیٹ کا نام اور بالٹی بتاتے ہیں۔

{
    "targetArn": "targetArn",
    "deploymentName": "dummy-deployment",
    "components": {
        "aws.GreenGrass.Nucleus": {
            "version": "2.5.3",
        },
        "aws.GreenGrass.Cli": {
            "version": "2.5.3"
        },
        "aws.GreenGrass.SageMakerEdgeManager": {
            "version": 1.1.0,
            "configurationUpdate": {
                "merge": {
                "DeviceFleetName": "FLEET-NAME",
                "BucketName": "BUCKET-NAME-URI"
                }
            }
        },
        "dummymodel.inference": {
            "version": "0.0.1"
        },
        "dummymodel": {
            "version": "0.0.1"
        }
    }
}

یہ بات قابل غور ہے کہ ہم نے نہ صرف ماڈل، انفرنس اجزاء، اور ایجنٹ کو شامل کیا ہے بلکہ AWS IoT Greengrass CLI اور نیوکلئس کو بھی اجزاء کے طور پر شامل کیا ہے۔ سابقہ ​​آلہ پر مقامی طور پر کچھ تعیناتیوں کو ڈیبگ کرنے میں مدد کرسکتا ہے۔ مؤخر الذکر کو تعیناتی میں شامل کیا جاتا ہے تاکہ ضرورت پڑنے پر خود ڈیوائس سے ضروری نیٹ ورک تک رسائی کو ترتیب دیا جا سکے (مثال کے طور پر، پراکسی سیٹنگز)، اور اگر آپ AWS IoT Greengrass v2 نیوکلئس کا OTA اپ گریڈ کرنا چاہتے ہیں۔ نیوکلئس کو تعینات نہیں کیا گیا ہے کیونکہ یہ ڈیوائس میں انسٹال ہے، اور صرف کنفیگریشن اپ ڈیٹ لاگو کیا جائے گا (جب تک کہ کوئی اپ گریڈ نہ ہو)۔ تعینات کرنے کے لیے، ہمیں صرف مندرجہ ذیل کمانڈ کو سابقہ ​​کنفیگریشن پر چلانے کی ضرورت ہے۔ ہدف ARN کو ترتیب دینا یاد رکھیں جس پر تعیناتی لاگو کی جائے گی (ایک IoT چیز یا IoT گروپ)۔ ہم ان اجزاء کو کنسول سے بھی تعینات کر سکتے ہیں۔

aws greengrassv2 create-deployment --region $REGION 
                                   --cli-input-json file://path/to/deployment.json

کنارے پر تعینات ایم ایل ماڈلز کی نگرانی اور ان کا نظم کریں۔

اب جبکہ آپ کی ایپلیکیشن ایج ڈیوائسز پر چل رہی ہے، یہ سمجھنے کا وقت ہے کہ گورننس، دیکھ بھال، اور مرئیت کو بہتر بنانے کے لیے فلیٹ کی نگرانی کیسے کی جائے۔ سیج میکر کنسول پر، منتخب کریں۔ ایج مینیجر نیویگیشن پین میں، پھر منتخب کریں۔ ایج ڈیوائس بیڑے. یہاں سے، اپنے بیڑے کا انتخاب کریں۔

بیڑے کے تفصیلی صفحہ پر، آپ ان ماڈلز کا کچھ میٹا ڈیٹا دیکھ سکتے ہیں جو آپ کے بیڑے کے ہر آلے پر چل رہے ہیں۔ بیڑے کی رپورٹ ہر 24 گھنٹے میں تیار کی جاتی ہے۔

Edge ایجنٹ کے ذریعے ہر ڈیوائس کے ذریعے حاصل کیا گیا ڈیٹا json لائنز فارمیٹ (JSONL) میں S3 بالٹی کو بھیجا جاتا ہے۔ کیپچر شدہ ڈیٹا بھیجنے کے عمل کو درخواست کے نقطہ نظر سے منظم کیا جاتا ہے۔ اس لیے آپ یہ فیصلہ کرنے کے لیے آزاد ہیں کہ آیا یہ ڈیٹا، کیسے اور کتنی بار بھیجنا ہے۔

آپ اس ڈیٹا کو بہت سی چیزوں کے لیے استعمال کر سکتے ہیں، جیسے ڈیٹا کے بڑھنے اور ماڈل کے معیار کی نگرانی، ایک نیا ڈیٹا سیٹ بنانا، ڈیٹا لیک کو افزودہ کرنا، اور بہت کچھ۔ اس ڈیٹا کو کس طرح استعمال کیا جائے اس کی ایک سادہ مثال یہ ہے کہ جب آپ کچھ ڈیٹا کے بڑھنے کی نشاندہی کرتے ہیں جس طرح سے صارفین آپ کی ایپلی کیشن کے ساتھ تعامل کر رہے ہیں اور آپ کو ایک نئے ماڈل کو تربیت دینے کی ضرورت ہے۔ اس کے بعد آپ کیپچر کیے گئے ڈیٹا کے ساتھ ایک نیا ڈیٹاسیٹ بنائیں اور اسے دوبارہ ڈیولپمنٹ اکاؤنٹ میں کاپی کریں۔ یہ خود بخود آپ کے ماحول کا ایک نیا رن شروع کر سکتا ہے جو ایک نیا ماڈل بناتا ہے اور اسے پورے بیڑے میں دوبارہ تعینات کرتا ہے تاکہ تعینات کردہ حل کی کارکردگی کو برقرار رکھا جا سکے۔

نتیجہ

اس پوسٹ میں، آپ نے AWS سروسز کا استعمال کرتے ہوئے MLOps اور ML@Edge کو یکجا کرنے والا ایک مکمل حل تیار کرنے کا طریقہ سیکھا۔ اس طرح کے حل کو بنانا کوئی معمولی بات نہیں ہے، لیکن ہم امید کرتے ہیں کہ اس پوسٹ میں پیش کیا گیا حوالہ فن تعمیر آپ کے اپنے کاروباری چیلنجوں کے لیے ایک ٹھوس فن تعمیر کی حوصلہ افزائی اور مدد کر سکتا ہے۔ آپ اس فن تعمیر کے صرف وہ حصے یا ماڈیولز بھی استعمال کر سکتے ہیں جو آپ کے موجودہ MLOps ماحول کے ساتھ ضم ہوتے ہیں۔ ایک وقت میں ایک واحد ماڈیول کو پروٹو ٹائپ کرکے اور اس چیلنج کے ہر ٹکڑے سے نمٹنے کے لیے مناسب AWS خدمات کا استعمال کرتے ہوئے، آپ سیکھ سکتے ہیں کہ کس طرح ایک مضبوط MLOps ماحول بنایا جائے اور حتمی فن تعمیر کو مزید آسان بنایا جائے۔

اگلے قدم کے طور پر، ہم آپ کو سیج میکر ایج مینیجر کو آزمانے کی ترغیب دیتے ہیں تاکہ اپنے ایم ایل کو ایج لائف سائیکل پر منظم کریں۔ ایج مینیجر کیسے کام کرتا ہے اس بارے میں مزید معلومات کے لیے، دیکھیں SageMaker ایج مینیجر کے ساتھ کنارے پر ماڈلز تعینات کریں۔ .

مصنفین کے بارے میں

برونو پسٹن میلان میں مقیم AWS کے لیے ایک AI/ML ماہر حل آرکیٹیکٹ ہے۔ وہ کسی بھی سائز کے صارفین کے ساتھ ان کی تکنیکی ضروریات کو گہرائی سے سمجھنے اور AI اور مشین لرننگ سلوشنز کو ڈیزائن کرنے میں ان کی مدد کرنے پر کام کرتا ہے جو AWS Cloud اور Amazon Machine Learning Stack کا بہترین استعمال کرتے ہیں۔ ان کی مہارت کا شعبہ مشین لرننگ اینڈ ٹو اینڈ، مشین لرننگ انڈسٹریلائزیشن اور ایم ایل او پیز ہیں۔ وہ اپنے دوستوں کے ساتھ وقت گزارنے اور نئی جگہوں کی تلاش کے ساتھ ساتھ نئی منزلوں کا سفر کرنے میں بھی لطف اندوز ہوتا ہے۔

Matteo Calabrese AWS پروفیشنل سروسز ٹیم میں AI/ML کسٹمر ڈیلیوری آرکیٹیکٹ ہے۔ وہ AI/ML پروجیکٹس پر EMEA بڑے اداروں کے ساتھ کام کرتا ہے، ML پروڈکشن ورک بوجھ کو تجویز کرنے، ڈیزائن کرنے، ڈیلیور کرنے، اسکیل کرنے اور بہتر بنانے میں ان کی مدد کرتا ہے۔ اس کی اہم مہارت ML آپریشن (MLOps) اور Edge میں مشین لرننگ ہیں۔ اس کا مقصد AWS کے بہترین طریقہ کار فراہم کر کے کاروباری نتائج کی قدر کرنے اور اس میں تیزی لانے کے لیے اپنا وقت کم کرنا ہے۔ اپنے فارغ وقت میں، وہ پیدل سفر اور سفر سے لطف اندوز ہوتا ہے۔

راؤل ڈیاز گارسیا AWS پروفیشنل سروسز ٹیم میں ایک Sr ڈیٹا سائنٹسٹ ہے۔ وہ پورے EMEA میں بڑے انٹرپرائز صارفین کے ساتھ کام کرتا ہے، جہاں وہ IoT اسپیس میں کمپیوٹر ویژن اور مشین لرننگ سے متعلق حل کو فعال کرنے میں ان کی مدد کرتا ہے۔

سوکراتیس کارتکس ایمیزون ویب سروسز کے لیے ایک سینئر مشین لرننگ اسپیشلسٹ سولیوشن آرکیٹیکٹ ہے۔ Sokratis انٹرپرائز صارفین کو AWS خدمات سے فائدہ اٹھا کر اور ان کے آپریٹنگ ماڈل، یعنی MLOps فاؤنڈیشن، اور بہترین ترقیاتی طریقوں سے فائدہ اٹھاتے ہوئے تبدیلی کے روڈ میپ کو تشکیل دے کر اپنے مشین لرننگ (ML) حل کو صنعتی بنانے کے قابل بنانے پر توجہ مرکوز کرتا ہے۔ اس نے توانائی، خوردہ، صحت، فنانس/بینکنگ، موٹر سپورٹس وغیرہ کے ڈومینز میں جدید اینڈ ٹو اینڈ پروڈکشن لیول ایم ایل اور انٹرنیٹ آف تھنگز (IoT) سلوشنز کی ایجاد، ڈیزائننگ، رہنمائی اور نفاذ پر 15+ سال گزارے ہیں۔ سوکراتیس اپنا فارغ وقت خاندان اور دوستوں کے ساتھ گزارنا یا موٹر سائیکل چلانا پسند کرتا ہے۔

سمیر آراوجو AWS میں AI/ML سلوشنز آرکیٹیکٹ ہے۔ وہ صارفین کو AI/ML حل بنانے میں مدد کرتا ہے جو AWS کا استعمال کرتے ہوئے ان کے کاروباری چیلنجوں کو حل کرتے ہیں۔ وہ کمپیوٹر ویژن، نیچرل لینگویج پروسیسنگ، پیشن گوئی، ML at the edge، اور مزید سے متعلق کئی AI/ML پروجیکٹس پر کام کر رہا ہے۔ وہ اپنے فارغ وقت میں ہارڈ ویئر اور آٹومیشن پروجیکٹس کے ساتھ کھیلنا پسند کرتا ہے، اور روبوٹکس میں اسے خاص دلچسپی ہے۔