اس پوسٹ کو جیوتی شرما اور شرمو سرکار نے ویریکاسٹ سے مل کر لکھا ہے۔
کسی بھی مشین لرننگ (ML) کے مسئلے کے لیے، ڈیٹا سائنسدان ڈیٹا کے ساتھ کام کرکے شروع کرتا ہے۔ اس میں ڈیٹا کے کاروباری اور تکنیکی پہلوؤں کو اکٹھا کرنا، تلاش کرنا، اور سمجھنا شامل ہے، اس کے ساتھ ساتھ کسی بھی ہیرا پھیری کا جائزہ لینا جو ماڈل بنانے کے عمل کے لیے درکار ہو سکتے ہیں۔ اس ڈیٹا کی تیاری کا ایک پہلو فیچر انجینئرنگ ہے۔
فیچر انجینئرنگ اس عمل سے مراد ہے جہاں متعلقہ متغیرات کی نشاندہی کی جاتی ہے، منتخب کیا جاتا ہے، اور خام ڈیٹا کو زیادہ مفید اور قابل استعمال شکلوں میں تبدیل کرنے کے لیے استعمال کیا جاتا ہے تاکہ ماڈل کو تربیت دینے اور اس کے خلاف تخمینہ لگانے کے لیے استعمال ہونے والے ML الگورتھم کے ساتھ استعمال کیا جا سکے۔ اس عمل کا مقصد الگورتھم اور نتیجے میں پیش گوئی کرنے والے ماڈل کی کارکردگی کو بڑھانا ہے۔ فیچر انجینئرنگ کے عمل میں کئی مراحل شامل ہیں، بشمول فیچر تخلیق، ڈیٹا ٹرانسفارمیشن، فیچر نکالنا، اور فیچر کا انتخاب۔
عام فیچر انجینئرنگ کے لیے ایک پلیٹ فارم بنانا ان صارفین کے لیے ایک عام کام ہے جنہیں مختلف ڈیٹا سیٹس کے ساتھ بہت سے ML ماڈل تیار کرنے کی ضرورت ہوتی ہے۔ اس قسم کے پلیٹ فارم میں ایک پروگرام سے چلنے والے عمل کو حتمی شکل دینے کے لیے تیار کیا جاتا ہے، فیچر انجنیئرڈ ڈیٹا کو تیار کیا جاتا ہے جو بہت کم انسانی مداخلت کے ساتھ ماڈل ٹریننگ کے لیے تیار ہو۔ تاہم، فیچر انجینئرنگ کو عام کرنا مشکل ہے۔ ہر کاروباری مسئلہ مختلف ہوتا ہے، ہر ڈیٹاسیٹ مختلف ہوتا ہے، ڈیٹا کی مقدار کلائنٹ سے کلائنٹ تک مختلف ہوتی ہے، اور ڈیٹا کی کوالٹی اور اکثر کسی خاص کالم کی بنیادی حیثیت (سٹرکچرڈ ڈیٹا کی صورت میں) فیچر انجینئرنگ کی پیچیدگی میں اہم کردار ادا کر سکتی ہے۔ عمل مزید برآں، گاہک کے ڈیٹا کی متحرک نوعیت کے نتیجے میں پروسیسنگ کے وقت اور وسائل کی ایک بڑی تبدیلی بھی ہو سکتی ہے جو فیچر انجینئرنگ کو بہترین طریقے سے مکمل کرنے کے لیے درکار ہے۔
AWS کسٹمر ویریکاسٹ ایک مارکیٹنگ سلوشنز کمپنی ہے جو اپنے کلائنٹس کے لیے مارکیٹنگ ROIs کو بڑھانے کے لیے ڈیٹا پر مبنی فیصلے کرتی ہے۔ Vericast کا اندرونی کلاؤڈ بیسڈ مشین لرننگ پلیٹ فارم، جو CRISP-ML(Q) عمل کے ارد گرد بنایا گیا ہے، مختلف AWS سروسز استعمال کرتا ہے، بشمول ایمیزون سیج میکر, ایمیزون سیج میکر پروسیسنگ, او ڈبلیو ایس لامبڈا۔، اور AWS اسٹیپ فنکشنز, بہترین ممکنہ ماڈل تیار کرنے کے لیے جو مخصوص کلائنٹ کے ڈیٹا کے مطابق بنائے گئے ہیں۔ اس پلیٹ فارم کا مقصد مختلف ایم ایل ورک فلوز کی تعمیر اور انہیں پلیٹ فارم کے اندر معیاری عام قابل ورک فلو ماڈیولز میں بنڈل کرنے والے اقدامات کی دوبارہ قابلیت کو حاصل کرنا ہے۔
اس پوسٹ میں، ہم شیئر کرتے ہیں کہ کس طرح Vericast نے SageMaker Processing کا استعمال کرتے ہوئے فیچر انجینئرنگ کو بہتر بنایا۔
حل جائزہ
ویریکاسٹ کا مشین لرننگ پلیٹ فارم موجودہ ورک فلو کی بنیاد پر نئے کاروباری ماڈلز کی تیزی سے تعیناتی یا نئے کلائنٹس کے لیے موجودہ ماڈلز کو تیزی سے فعال کرنے میں مدد کرتا ہے۔ مثال کے طور پر، براہ راست میل کے رجحان کی پیشن گوئی کرنے والا ماڈل ایک Vericast کلائنٹ کے صارفین کے ڈسکاؤنٹ کوپن کی حساسیت کی پیش گوئی کرنے والے ماڈل سے بالکل مختلف ہے۔ وہ مختلف کاروباری مسائل کو حل کرتے ہیں اور اس وجہ سے مارکیٹنگ مہم کے ڈیزائن میں استعمال کے مختلف منظرنامے ہوتے ہیں۔ لیکن ML کے نقطہ نظر سے، دونوں کو بائنری درجہ بندی کے ماڈل کے طور پر سمجھا جا سکتا ہے، اور اس وجہ سے ML ورک فلو کے نقطہ نظر سے بہت سے مشترکہ اقدامات کا اشتراک کر سکتے ہیں، بشمول ماڈل ٹیوننگ اور ٹریننگ، تشخیص، تشریح، تعیناتی، اور اندازہ۔
چونکہ یہ ماڈلز بائنری درجہ بندی کے مسائل ہیں (ML کے لحاظ سے)، ہم کمپنی کے صارفین کو دو کلاسوں (بائنری) میں الگ کر رہے ہیں: وہ جو مہم کا مثبت جواب دیں گے اور وہ جو نہیں کریں گے۔ مزید برآں، ان مثالوں کو ایک غیر متوازن درجہ بندی سمجھا جاتا ہے کیونکہ ماڈل کو تربیت دینے کے لیے استعمال ہونے والے ڈیٹا میں صارفین کی اتنی تعداد نہیں ہوگی جو موافق جواب دیں گے اور نہیں دیں گے۔
اس طرح کے ماڈل کی اصل تخلیق مندرجہ ذیل خاکہ میں دکھائے گئے عمومی نمونہ کی پیروی کرتی ہے۔
اس میں سے زیادہ تر عمل کسی بھی بائنری درجہ بندی کے لیے یکساں ہے سوائے فیچر انجینئرنگ کے قدم کے۔ اس عمل میں شاید یہ سب سے پیچیدہ ابھی تک کبھی کبھی نظر انداز قدم ہے. ایم ایل ماڈلز زیادہ تر انحصار ان خصوصیات پر ہوتے ہیں جو اسے بنانے کے لیے استعمال ہوتی ہیں۔
Vericast کے کلاؤڈ-نیٹیو مشین لرننگ پلیٹ فارم کا مقصد مختلف ML ورک فلوز کے لیے فیچر انجینئرنگ کے اقدامات کو عام اور خودکار بنانا ہے اور درج ذیل خصوصیات کا استعمال کرتے ہوئے لاگت بمقابلہ ٹائم میٹرک پر ان کی کارکردگی کو بہتر بنانا ہے۔
- پلیٹ فارم کی فیچر انجینئرنگ لائبریری - یہ تبدیلیوں کے ایک ہمیشہ سے ابھرتے ہوئے سیٹ پر مشتمل ہے جس کا تجربہ کلائنٹ کے مخصوص تصورات (مثال کے طور پر، کسٹمر ڈیموگرافکس، پروڈکٹ کی تفصیلات، لین دین کی تفصیلات، اور اسی طرح) کی بنیاد پر اعلیٰ معیار کی عام قابل خصوصیات حاصل کرنے کے لیے کیا گیا ہے۔
- ذہین وسائل کی اصلاح کرنے والے - یہ پلیٹ فارم AWS کی آن ڈیمانڈ انفراسٹرکچر کی صلاحیت کا استعمال کرتا ہے تاکہ مخصوص فیچر انجینئرنگ کے کام کے لیے بہترین قسم کے پروسیسنگ کے وسائل کو اسپن کرنے کے لیے اس قدم کی متوقع پیچیدگی اور ڈیٹا کی مقدار کی بنیاد پر اس کی ضرورت ہوتی ہے۔
- فیچر انجینئرنگ جابز کی ڈائنامک اسکیلنگ - اس کے لیے مختلف AWS سروسز کا ایک مجموعہ استعمال کیا جاتا ہے، لیکن خاص طور پر SageMaker Processing۔ یہ اس بات کو یقینی بناتا ہے کہ پلیٹ فارم لاگت سے موثر اور بروقت طریقے سے اعلیٰ معیار کی خصوصیات پیدا کرتا ہے۔
یہ پوسٹ اس فہرست میں تیسرے نکتے پر مرکوز ہے اور دکھاتی ہے کہ سیج میکر پروسیسنگ جابز کی ڈائنامک اسکیلنگ کیسے حاصل کی جائے تاکہ بڑے ڈیٹا والیومز کے لیے زیادہ منظم، پرفارمنس، اور لاگت سے موثر ڈیٹا پروسیسنگ فریم ورک حاصل کیا جا سکے۔
سیج میکر پروسیسنگ کام کے بوجھ کو قابل بناتی ہے جو ڈیٹا پری پروسیسنگ یا پوسٹ پروسیسنگ، فیچر انجینئرنگ، ڈیٹا کی توثیق، اور SageMaker پر ماڈل کی تشخیص کے لیے اقدامات کرتے ہیں۔ یہ ایک منظم ماحول بھی فراہم کرتا ہے اور کام کے بوجھ کو چلانے کے لیے درکار بنیادی ڈھانچے کو ترتیب دینے اور برقرار رکھنے کے لیے درکار غیر متفاوت ہیوی لفٹنگ کی پیچیدگی کو دور کرتا ہے۔ مزید برآں، سیج میکر پروسیسنگ کام کے بوجھ کو چلانے، نگرانی کرنے اور جانچنے کے لیے ایک API انٹرفیس فراہم کرتی ہے۔
سیج میکر پروسیسنگ جابز کو مکمل طور پر منظم سیج میکر کلسٹر کے اندر انجام پاتا ہے، جس میں انفرادی جابز کو رن ٹائم پر مثال کے کنٹینرز میں رکھا جاتا ہے۔ منظم کلسٹر، مثالیں، اور کنٹینرز میٹرکس کو رپورٹ کرتے ہیں۔ ایمیزون کلاؤڈ واچبشمول GPU، CPU، میموری، GPU میموری، ڈسک میٹرکس، اور ایونٹ لاگنگ کا استعمال۔
یہ خصوصیات Vericast ڈیٹا انجینئرز اور سائنس دانوں کو عام پری پروسیسنگ ورک فلو کی ترقی میں مدد کرکے اور پیدا شدہ ماحول کو برقرار رکھنے کی دشواری کو ختم کرکے فائدہ فراہم کرتی ہیں جس میں انہیں چلانا ہے۔ تکنیکی مسائل پیدا ہو سکتے ہیں، تاہم، اعداد و شمار کی متحرک نوعیت اور اس کی مختلف خصوصیات کے پیش نظر جنہیں اس طرح کے عمومی حل میں کھلایا جا سکتا ہے۔ نظام کو کلسٹر کے سائز اور اس کی تشکیل کرنے والی مثالوں کے بارے میں ایک تعلیم یافتہ ابتدائی اندازہ لگانا چاہیے۔ اس اندازے کو ڈیٹا کے معیار کا جائزہ لینے اور CPU، میموری اور ڈسک کی ضروریات کا اندازہ لگانے کی ضرورت ہے۔ یہ اندازہ بالکل مناسب ہو سکتا ہے اور کام کے لیے مناسب کارکردگی کا مظاہرہ کر سکتا ہے، لیکن دوسری صورتوں میں ایسا نہیں ہو سکتا۔ دیے گئے ڈیٹاسیٹ اور پری پروسیسنگ جاب کے لیے، سی پی یو کو چھوٹا کیا جا سکتا ہے، جس کے نتیجے میں پروسیسنگ کی کارکردگی زیادہ ہو جاتی ہے اور مکمل ہونے میں لمبا وقت ہوتا ہے۔ اس سے بھی بدتر، میموری ایک مسئلہ بن سکتا ہے، جس کے نتیجے میں یا تو خراب کارکردگی یا میموری سے باہر ہونے والے واقعات کی وجہ سے پورا کام ناکام ہوجاتا ہے۔
ان تکنیکی رکاوٹوں کو ذہن میں رکھتے ہوئے، Vericast ایک حل تیار کرنے کے لیے نکلا۔ انہیں فطرت میں عمومی رہنے اور پیشگی پروسیسنگ ورک فلو کے لچکدار ہونے کی بڑی تصویر میں فٹ ہونے کی ضرورت تھی۔ ان صورتوں میں جہاں کارکردگی سے سمجھوتہ کیا گیا تھا اور اس طرح کے کسی واقعہ سے یا جب کام کسی بھی وجہ سے وقت سے پہلے ختم ہو جائے تو ماحول کو بڑھانے کی ممکنہ ضرورت دونوں کو حل کرنا بھی ضروری تھا۔
اس مسئلے کو حل کرنے کے لیے Vericast کے ذریعے بنایا گیا حل اپنے کاروباری مقاصد تک پہنچنے کے لیے مل کر کام کرنے والی کئی AWS سروسز کا استعمال کرتا ہے۔ یہ سیج میکر پروسیسنگ کلسٹر کو دوبارہ شروع کرنے اور اسکیل کرنے کے لیے ڈیزائن کیا گیا تھا جس کی بنیاد پر کام کی نگرانی کرنے والے لیمبڈا فنکشنز کا استعمال کرتے ہوئے مشاہدہ کردہ کارکردگی میٹرکس کی بنیاد پر کیا گیا تھا۔ اسکیلنگ کا واقعہ پیش آنے پر کام سے محروم نہ ہونے یا غیر متوقع طور پر رک جانے والے کام سے بازیافت کرنے کے لیے، ایک چوکی پر مبنی سروس رکھی گئی تھی جو ایمیزون ڈائنومو ڈی بی اور جزوی طور پر پروسیس شدہ ڈیٹا کو اس میں اسٹور کرتا ہے۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) بالٹیاں جیسے ہی مراحل مکمل ہوں۔ حتمی نتیجہ ایک آٹو اسکیلنگ، مضبوط، اور متحرک طور پر نگرانی شدہ حل ہے۔
مندرجہ ذیل خاکہ اس بات کا اعلیٰ سطحی جائزہ دکھاتا ہے کہ نظام کیسے کام کرتا ہے۔
مندرجہ ذیل حصوں میں، ہم حل کے اجزاء پر مزید تفصیل سے بات کرتے ہیں۔
حل شروع کر رہا ہے۔
نظام فرض کرتا ہے کہ ایک الگ عمل حل شروع کرتا ہے۔ اس کے برعکس، یہ ڈیزائن اکیلے کام کرنے کے لیے نہیں بنایا گیا ہے کیونکہ اس سے کوئی نمونے یا آؤٹ پٹ نہیں ملے گا، بلکہ SageMaker پروسیسنگ جابز استعمال کرنے والے سسٹمز میں سے ایک کے لیے سائڈ کار کے نفاذ کے طور پر کام کرتا ہے۔ Vericast کے معاملے میں، حل بڑے سسٹم کے دوسرے ماڈیول میں شروع ہونے والے Step Functions کے قدم سے کال کے ذریعے شروع کیا جاتا ہے۔
ایک بار جب حل شروع ہو جاتا ہے اور پہلی رن شروع ہو جاتی ہے، ایک بنیادی معیاری ترتیب DynamoDB ٹیبل سے پڑھی جاتی ہے۔ یہ کنفیگریشن SageMaker پروسیسنگ جاب کے لیے پیرامیٹرز سیٹ کرنے کے لیے استعمال ہوتی ہے اور اس میں بنیادی ڈھانچے کی ضروریات کے ابتدائی مفروضے ہوتے ہیں۔ سیج میکر پروسیسنگ کا کام اب شروع ہو گیا ہے۔
میٹا ڈیٹا اور آؤٹ پٹ کی نگرانی
جب کام شروع ہوتا ہے، ایک لیمبڈا فنکشن جاب پروسیسنگ میٹا ڈیٹا (موجودہ جاب کنفیگریشن اور دیگر لاگ انفارمیشن) کو DynamoDB لاگ ٹیبل میں لکھتا ہے۔ یہ میٹا ڈیٹا اور لاگ انفارمیشن کام کی تاریخ، اس کی ابتدائی اور جاری کنفیگریشن، اور دیگر اہم ڈیٹا کو برقرار رکھتی ہے۔
کچھ پوائنٹس پر، جیسے ہی کام میں قدم مکمل ہوتے ہیں، چیک پوائنٹ کا ڈیٹا DynamoDB لاگ ٹیبل میں شامل کیا جاتا ہے۔ اگر ضرورت ہو تو فوری بحالی کے لیے پروسیس شدہ آؤٹ پٹ ڈیٹا Amazon S3 میں منتقل کر دیا جاتا ہے۔
یہ لیمبڈا فنکشن بھی سیٹ اپ کرتا ہے۔ ایمیزون ایونٹ برج قاعدہ جو اس کی ریاست کے لیے چلنے والے کام کی نگرانی کرتا ہے۔ خاص طور پر، یہ قاعدہ ملازمت کو دیکھ رہا ہے کہ آیا ملازمت کی حیثیت تبدیل ہوتی ہے۔ stopping
یا a میں ہے۔ stopped
حالت. یہ EventBridge قاعدہ کسی کام کو دوبارہ شروع کرنے میں اہم کردار ادا کرتا ہے اگر کوئی ناکامی ہو یا کوئی منصوبہ بند آٹو سکیلنگ واقعہ پیش آجائے۔
CloudWatch میٹرکس کی نگرانی کرنا
لیمبڈا فنکشن پروسیسنگ جاب پر میٹرک میتھ ایکسپریشن کی بنیاد پر کلاؤڈ واچ الارم بھی سیٹ کرتا ہے، جو سی پی یو کے استعمال، میموری کے استعمال، اور ڈسک کے استعمال کی تمام مثالوں کے میٹرکس کی نگرانی کرتا ہے۔ اس قسم کا الارم (میٹرک) CloudWatch الارم کی حد استعمال کرتا ہے۔ الارم متعدد اوقات کے دوران حد کے مقابلے میٹرک یا اظہار کی قدر کی بنیاد پر واقعات پیدا کرتا ہے۔
ویرکاسٹ کے استعمال کے معاملے میں، تھریشولڈ ایکسپریشن کو ڈرائیور اور ایگزیکیوٹر کی مثالوں کو الگ الگ سمجھنے کے لیے ڈیزائن کیا گیا ہے، ہر ایک کے لیے انفرادی طور پر میٹرکس کی نگرانی کی جاتی ہے۔ ان کو الگ کرنے سے، ویریکاسٹ کو معلوم ہوتا ہے کہ کون سا الارم کا سبب بن رہا ہے۔ یہ فیصلہ کرنا ضروری ہے کہ اس کے مطابق کس طرح پیمانہ کیا جائے:
- اگر ایگزیکیوٹر میٹرکس حد سے گزر رہے ہیں، تو افقی طور پر پیمانہ کرنا اچھا ہے
- اگر ڈرائیور میٹرکس حد کو عبور کرتا ہے تو، افقی طور پر پیمانہ کرنے سے شاید کوئی فائدہ نہیں ہوگا، لہذا ہمیں عمودی طور پر پیمانہ کرنا چاہیے
الارم میٹرکس کا اظہار
Vericast اسکیلنگ اور ناکامی کے لیے اپنی تشخیص میں درج ذیل میٹرکس تک رسائی حاصل کر سکتا ہے:
- CPUUtilization - ہر انفرادی CPU کور کے استعمال کا مجموعہ
- میموری کا استعمال - میموری کا فیصد جو ایک مثال پر کنٹینرز کے ذریعہ استعمال ہوتا ہے۔
- ڈسک کا استعمال - ایک مثال پر کنٹینرز کے ذریعہ استعمال کردہ ڈسک کی جگہ کا فیصد
- GPU استعمال - GPU یونٹس کا فیصد جو ایک مثال پر کنٹینرز کے ذریعہ استعمال کیا جاتا ہے۔
- GPUMemoryUtilization - ایک مثال پر کنٹینرز کے ذریعہ استعمال کردہ GPU میموری کا فیصد
اس تحریر کے مطابق، Vericast صرف غور کرتا ہے۔ CPUUtilization
, MemoryUtilization
، اور DiskUtilization
. مستقبل میں، وہ غور کرنے کا ارادہ رکھتے ہیں GPUUtilization
اور GPUMemoryUtilization
ساتھ ہی.
مندرجہ ذیل کوڈ CloudWatch الارم کی ایک مثال ہے جو Vericast آٹو اسکیلنگ کے لیے میٹرک ریاضی کے اظہار پر مبنی ہے:
یہ اظہار واضح کرتا ہے کہ CloudWatch الارم پر غور کر رہا ہے۔ DriverMemoryUtilization (memoryDriver)
, CPUUtilization (cpuDriver)
, DiskUtilization (diskDriver)
, ExecutorMemoryUtilization (memoryExec)
, CPUUtilization (cpuExec)
، اور DiskUtilization (diskExec)
مانیٹرنگ میٹرکس کے طور پر۔ پچھلے اظہار میں نمبر 80 کا مطلب حد کی قدر ہے۔
یہاں، IF((cpuDriver) > 80, 1, 0
اس کا مطلب یہ ہے کہ اگر ڈرائیور سی پی یو کا استعمال 80٪ سے آگے بڑھ جاتا ہے، تو 1 کو تھریشولڈ اور 0 کے طور پر تفویض کیا جاتا ہے۔ IF(AVG(METRICS("memoryExec")) > 80, 1, 0
اس کا مطلب ہے کہ سٹرنگ کے ساتھ تمام میٹرکس memoryExec
اس میں غور کیا جاتا ہے اور اس پر اوسط کا حساب لگایا جاتا ہے۔ اگر میموری کے استعمال کا اوسط فیصد 80 سے آگے بڑھ جاتا ہے تو، 1 کو حد کے طور پر تفویض کیا جاتا ہے اور 0۔
منطقی آپریٹر OR
ایکسپریشن میں تمام استعمالات کو یکجا کرنے کے لیے ایکسپریشن میں استعمال کیا جاتا ہے — اگر کوئی بھی استعمال اپنی حد تک پہنچ جائے تو الارم کو متحرک کریں۔
میٹرک ریاضی کے تاثرات پر مبنی CloudWatch میٹرک الارم استعمال کرنے کے بارے میں مزید معلومات کے لیے رجوع کریں۔ میٹرک ریاضی کے اظہار پر مبنی CloudWatch الارم بنانا.
CloudWatch الارم کی حدود
CloudWatch فی الارم میٹرکس کی تعداد کو 10 تک محدود کر دیتا ہے۔ اگر آپ کو اس سے زیادہ میٹرکس پر غور کرنے کی ضرورت ہو تو یہ حد بندیوں کا سبب بن سکتا ہے۔
اس حد کو دور کرنے کے لیے، Vericast نے کلسٹر سائز کی بنیاد پر الارم سیٹ کیے ہیں۔ ہر تین صورتوں میں ایک الارم بنایا جاتا ہے (تین مثالوں کے لیے، ایک الارم ہوگا کیونکہ اس سے نو میٹرکس کا اضافہ ہو جائے گا)۔ فرض کریں کہ ڈرائیور کی مثال کو الگ سے سمجھا جائے، ڈرائیور کی مثال کے لیے ایک اور الگ الارم بنایا جاتا ہے۔ لہذا، الارموں کی کل تعداد جو بنائے گئے ہیں تقریباً ایک تہائی ایگزیکیوٹر نوڈس کی تعداد اور ڈرائیور مثال کے لیے ایک اضافی کے برابر ہیں۔ ہر صورت میں، فی الارم میٹرکس کی تعداد 10 میٹرک کی حد سے کم ہے۔
الارم کی حالت میں کیا ہوتا ہے۔
اگر پہلے سے طے شدہ حد کو پورا کیا جاتا ہے تو، الارم ایک پر جاتا ہے۔ alarm
ریاست، جو استعمال کرتی ہے۔ ایمیزون سادہ نوٹیفکیشن سروس (ایمیزون ایس این ایس) اطلاعات بھیجنے کے لیے۔ اس صورت میں، یہ تمام صارفین کو پیغام میں الارم کے بارے میں تفصیلات کے ساتھ ایک ای میل اطلاع بھیجتا ہے۔
ایمیزون ایس این ایس کو لیمبڈا فنکشن کے محرک کے طور پر بھی استعمال کیا جاتا ہے جو اس وقت چل رہی سیج میکر پروسیسنگ جاب کو روکتا ہے کیونکہ ہم جانتے ہیں کہ یہ کام شاید ناکام ہو جائے گا۔ یہ فنکشن ایونٹ سے متعلق لاگ ٹیبل پر لاگز کو بھی ریکارڈ کرتا ہے۔
جاب اسٹارٹ پر ترتیب دیا گیا EventBridge قاعدہ یہ محسوس کرے گا کہ نوکری ایک میں چلی گئی ہے۔ stopping
چند سیکنڈ بعد بیان کریں۔ یہ اصول پھر کام کو دوبارہ شروع کرنے کے لیے پہلے لیمبڈا فنکشن کو دوبارہ چلاتا ہے۔
متحرک اسکیلنگ کا عمل
پہلے لیمبڈا فنکشن کو دو یا زیادہ بار چلانے کے بعد معلوم ہو جائے گا کہ پچھلا کام پہلے ہی شروع ہو چکا تھا اور اب رک گیا ہے۔ فنکشن لاگ DynamoDB ٹیبل میں اصل جاب سے بیس کنفیگریشن حاصل کرنے کے اسی طرح کے عمل سے گزرے گا اور اندرونی ٹیبل سے اپ ڈیٹ کردہ کنفیگریشن کو بھی بازیافت کرے گا۔ یہ اپ ڈیٹ کردہ کنفیگریشن ایک ریسورس ڈیلٹا کنفیگریشن ہے جو اسکیلنگ کی قسم کی بنیاد پر سیٹ کی گئی ہے۔ اسکیلنگ کی قسم کا تعین الارم میٹا ڈیٹا سے کیا جاتا ہے جیسا کہ پہلے بیان کیا گیا ہے۔
اصل کنفیگریشن کے علاوہ وسائل کے ڈیلٹا کا استعمال کیا جاتا ہے کیونکہ بڑھے ہوئے وسائل کے ساتھ ایک نئی کنفیگریشن اور ایک نیا سیج میکر پروسیسنگ کام شروع کیا جاتا ہے۔
یہ عمل اس وقت تک جاری رہتا ہے جب تک کہ کام کامیابی سے مکمل نہ ہو جائے اور اس کے نتیجے میں ضرورت کے مطابق متعدد دوبارہ شروع ہو سکتے ہیں، ہر بار مزید وسائل شامل کر سکتے ہیں۔
ویریکاسٹ کا نتیجہ
یہ کسٹم آٹو اسکیلنگ سلوشن Vericast کے مشین لرننگ پلیٹ فارم کو مزید مضبوط اور غلطی کو برداشت کرنے میں اہم کردار ادا کرتا ہے۔ پلیٹ فارم اب کم سے کم انسانی مداخلت کے ساتھ مختلف ڈیٹا والیوم کے کام کے بوجھ کو احسن طریقے سے سنبھال سکتا ہے۔
اس حل کو نافذ کرنے سے پہلے، پائپ لائن میں موجود تمام سپارک پر مبنی ماڈیولز کے لیے وسائل کی ضروریات کا اندازہ لگانا نئے کلائنٹ کے آن بورڈنگ کے عمل کی سب سے بڑی رکاوٹوں میں سے ایک تھا۔ اگر کلائنٹ کے ڈیٹا کے حجم میں اضافہ ہوتا ہے تو ورک فلو ناکام ہو جائیں گے، یا اگر پیداوار میں ڈیٹا والیوم کم ہو جائے تو لاگت ناقابل جواز ہو گی۔
اس نئے ماڈیول کی جگہ کے ساتھ، وسائل کی رکاوٹوں کی وجہ سے ورک فلو کی ناکامیوں میں تقریباً 80% کمی واقع ہوئی ہے۔ چند باقی ناکامیاں زیادہ تر AWS اکاؤنٹ کی رکاوٹوں اور خودکار پیمانے کے عمل سے آگے کی وجہ سے ہیں۔ اس حل کے ساتھ Vericast کی سب سے بڑی جیت وہ آسانی ہے جس کے ساتھ وہ نئے کلائنٹس اور ورک فلو کو آن بورڈ کر سکتے ہیں۔ ویریکاسٹ اس عمل کو کم از کم 60–70% تک تیز کرنے کی توقع رکھتا ہے، حتمی تعداد کے لیے ڈیٹا اکٹھا کرنا باقی ہے۔
اگرچہ اسے Vericast کی کامیابی کے طور پر دیکھا جاتا ہے، لیکن اس کے ساتھ ایک قیمت بھی آتی ہے۔ اس ماڈیول کی نوعیت اور مجموعی طور پر ڈائنامک اسکیلنگ کے تصور کی بنیاد پر، ورک فلو میں ہر ماڈیول کے لیے حسب ضرورت ٹیونڈ کلسٹر والے ورک فلو کے مقابلے میں تقریباً 30% زیادہ وقت لگتا ہے۔ Vericast اس علاقے میں بہتر بنانا جاری رکھے ہوئے ہے، ہر کلائنٹ ماڈیول کے لیے heuristics پر مبنی وسائل کی ابتدا کو شامل کرکے حل کو بہتر بنانے کی کوشش کر رہا ہے۔
ویرکاسٹ میں مشین لرننگ پلیٹ فارم کے سینئر مینیجر شرمو سرکار کہتے ہیں، "جب ہم AWS اور SageMaker کے استعمال کو بڑھا رہے ہیں، تو میں اپنی AWS کلائنٹ سروسز ٹیم، AWS سلوشنز آرکیٹیکٹس کے لیے وقف کردہ ناقابل یقین کام کو اجاگر کرنے کے لیے ایک لمحہ نکالنا چاہتا ہوں۔ اور AWS پروفیشنل سروسز جن کے ساتھ ہم کام کرتے ہیں۔ AWS اور SageMaker کے بارے میں ان کی گہری تفہیم نے ہمیں ایک ایسا حل ڈیزائن کرنے کی اجازت دی جو ہماری تمام ضروریات کو پورا کرتا ہے اور ہمیں مطلوبہ لچک اور اسکیل ایبلٹی فراہم کرتا ہے۔ ہم اپنے ساتھ ایسی باصلاحیت اور جانکار سپورٹ ٹیم کے لیے بہت شکر گزار ہیں۔
نتیجہ
اس پوسٹ میں، ہم نے شیئر کیا کہ کس طرح SageMaker اور SageMaker Processing نے Vericast کو بڑے ڈیٹا والیومز کے لیے ایک منظم، پرفارمنٹ، اور لاگت سے موثر ڈیٹا پروسیسنگ فریم ورک بنانے کے قابل بنایا ہے۔ SageMaker پروسیسنگ کی طاقت اور لچک کو دیگر AWS سروسز کے ساتھ ملا کر، وہ عام فیچر انجینئرنگ کے عمل کو آسانی سے مانیٹر کر سکتے ہیں۔ وہ کمپیوٹ، میموری، اور دیگر عوامل کی کمی سے پیدا ہونے والے ممکنہ مسائل کا خود بخود پتہ لگا سکتے ہیں، اور ضرورت کے مطابق عمودی اور افقی اسکیلنگ کو خود بخود لاگو کر سکتے ہیں۔
SageMaker اور اس کے ٹولز آپ کی ٹیم کو اس کے ML مقاصد کو پورا کرنے میں بھی مدد کر سکتے ہیں۔ سیج میکر پروسیسنگ کے بارے میں مزید جاننے کے لیے اور یہ آپ کے ڈیٹا پروسیسنگ کے کام کے بوجھ میں کس طرح مدد کر سکتا ہے، ملاحظہ کریں۔ عمل ڈیٹا. اگر آپ ابھی ML کے ساتھ شروعات کر رہے ہیں اور مثالیں اور رہنمائی تلاش کر رہے ہیں، ایمیزون سیج میکر جمپ اسٹارٹ آپ کو شروع کر سکتا ہے. جمپ سٹارٹ ایک ایم ایل حب ہے جہاں سے آپ پہلے سے تربیت یافتہ فاؤنڈیشن ماڈلز کے ساتھ بلٹ ان الگورتھم تک رسائی حاصل کر سکتے ہیں تاکہ آپ کو مضمون کا خلاصہ اور امیج جنریشن اور عام استعمال کے معاملات کو حل کرنے کے لیے پہلے سے تیار کردہ حل جیسے کاموں کو انجام دینے میں مدد ملے۔
آخر میں، اگر یہ پوسٹ آپ کی مدد کرتی ہے یا آپ کو کسی مسئلے کو حل کرنے کی ترغیب دیتی ہے، تو ہم اس کے بارے میں سننا پسند کریں گے! براہ کرم اپنے تبصرے اور آراء کا اشتراک کریں۔
مصنفین کے بارے میں
انتھونی میک کلور AWS SaaS فیکٹری ٹیم کے ساتھ ایک سینئر پارٹنر سلوشنز آرکیٹیکٹ ہے۔ انتھونی کو مشین لرننگ اور مصنوعی ذہانت میں بھی گہری دلچسپی ہے جو AWS ML/AI ٹیکنیکل فیلڈ کمیونٹی کے ساتھ کام کر رہی ہے تاکہ صارفین کو ان کے مشین لرننگ کے حل کو حقیقت میں لانے میں مدد کی جا سکے۔
جیوتی شرما Vericast میں مشین لرننگ پلیٹ فارم ٹیم کے ساتھ ڈیٹا سائنس انجینئر ہے۔ وہ ڈیٹا سائنس کے تمام پہلوؤں کے بارے میں پرجوش ہے اور ایک انتہائی قابل توسیع اور تقسیم شدہ مشین لرننگ پلیٹ فارم کو ڈیزائن اور لاگو کرنے پر مرکوز ہے۔
شرمو سرکار Vericast میں ایک سینئر مینیجر ہے۔ وہ Vericast میں کلاؤڈ مشین لرننگ پلیٹ فارم اور مارکیٹنگ پلیٹ فارم ML R&D ٹیموں کی قیادت کرتا ہے۔ اسے بگ ڈیٹا اینالیٹکس، ڈسٹری بیوٹڈ کمپیوٹنگ، اور نیچرل لینگویج پروسیسنگ کا وسیع تجربہ ہے۔ کام سے باہر، وہ پہاڑی پگڈنڈیوں پر موٹرسائیکل چلانے، پیدل سفر کرنے اور بائیک چلانے سے لطف اندوز ہوتا ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹوآئ اسٹریم۔ ویب 3 ڈیٹا انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- ایڈریین ایشلے کے ساتھ مستقبل کا نقشہ بنانا۔ یہاں تک رسائی حاصل کریں۔
- PREIPO® کے ساتھ PRE-IPO کمپنیوں میں حصص خریدیں اور بیچیں۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/machine-learning/how-vericast-optimized-feature-engineering-using-amazon-sagemaker-processing/
- : ہے
- : ہے
- : نہیں
- :کہاں
- $UP
- 1
- 10
- 100
- 15٪
- 7
- a
- ہمارے بارے میں
- تک رسائی حاصل
- اس کے مطابق
- اکاؤنٹ
- حاصل
- چالو کرنے کی
- کام کرتا ہے
- شامل کریں
- شامل کیا
- انہوں نے مزید کہا
- ایڈیشنل
- مناسب
- کے بعد
- کے خلاف
- ایڈز
- مقصد ہے
- الارم
- یلگورتم
- یلگوردمز
- تمام
- اکیلے
- ساتھ
- پہلے ہی
- بھی
- ایمیزون
- ایمیزون سیج میکر
- رقم
- an
- تجزیاتی
- اور
- ایک اور
- انتھونی
- کوئی بھی
- اے پی آئی
- مناسب
- فن تعمیر
- کیا
- رقبہ
- ارد گرد
- مضمون
- مصنوعی
- مصنوعی ذہانت
- AS
- پہلو
- پہلوؤں
- تفویض
- مدد
- At
- آٹو
- خود کار طریقے سے
- خود کار طریقے سے
- اوسط
- AWS
- AWS پروفیشنل سروسز
- بیس
- کی بنیاد پر
- BE
- کیونکہ
- بن
- رہا
- کیا جا رہا ہے
- فوائد
- BEST
- سے پرے
- بگ
- بگ ڈیٹا
- سب سے بڑا
- بڑھانے کے
- دونوں
- آ رہا ہے
- تعمیر
- عمارت
- تعمیر
- تعمیر میں
- کاروبار
- لیکن
- by
- حساب
- فون
- مہم
- کر سکتے ہیں
- حاصل کر سکتے ہیں
- گرفتاری
- کیس
- مقدمات
- کیونکہ
- باعث
- کچھ
- چیلنج
- تبدیلیاں
- طبقے
- کلاس
- درجہ بندی
- کلائنٹ
- کلائنٹ آن بورڈنگ
- کلائنٹس
- بادل
- کلسٹر
- کوڈ
- کالم
- مجموعہ
- امتزاج
- آتا ہے
- تبصروں
- کامن
- کمیونٹی
- کمپنی کے
- مکمل
- مکمل کرتا ہے
- پیچیدگی
- پیچیدہ
- اجزاء
- سمجھوتہ کیا
- کمپیوٹنگ
- کمپیوٹنگ
- تصور
- تصورات
- ترتیب
- غور کریں
- سمجھا
- پر غور
- سمجھتا ہے
- رکاوٹوں
- پر مشتمل ہے
- کنٹینر
- جاری
- جاری ہے
- قیمت
- سرمایہ کاری مؤثر
- سکتا ہے
- کوپن
- تخلیق
- بنائی
- مخلوق
- معیار
- پار
- موجودہ
- اس وقت
- اپنی مرضی کے
- گاہک
- گاہکوں
- اعداد و شمار
- ڈیٹا تجزیات
- ڈیٹا کی تیاری
- ڈیٹا پروسیسنگ
- ڈیٹا سائنس
- ڈیٹا سائنسدان
- اعداد و شمار پر مبنی ہے
- ڈیٹاسیٹس
- فیصلہ کرنا
- فیصلے
- وقف
- گہری
- ڈیلٹا
- آبادی
- انحصار
- تعیناتی
- بیان کیا
- ڈیزائن
- ڈیزائن
- ڈیزائننگ
- تفصیل
- تفصیلات
- کا تعین
- ترقی
- مختلف
- مختلف
- مشکلات
- براہ راست
- ڈسکاؤنٹ
- بات چیت
- تقسیم کئے
- تقسیم کمپیوٹنگ
- کارفرما
- ڈرائیور
- دو
- متحرک
- متحرک طور پر
- ہر ایک
- اس سے قبل
- کو کم
- آسانی سے
- یا تو
- ای میل
- چالو حالت میں
- کے قابل بناتا ہے
- انجینئر
- انجنیئرنگ
- انجینئرز
- یقینی بناتا ہے
- پوری
- ماحولیات
- ماحول
- برابر
- مساوی
- اندازہ
- کا جائزہ لینے
- تشخیص
- واقعہ
- واقعات
- مثال کے طور پر
- مثال کے طور پر
- اس کے علاوہ
- موجودہ
- توسیع
- توقع
- امید ہے
- تجربہ
- ایکسپلور
- اظہار
- وسیع
- وسیع تجربہ
- عوامل
- فیکٹری
- FAIL
- ناکامی
- نمایاں کریں
- خصوصیات
- فیڈ
- آراء
- چند
- میدان
- فائنل
- حتمی شکل
- پہلا
- فٹ
- لچک
- لچکدار
- توجہ مرکوز
- کے بعد
- مندرجہ ذیل ہے
- کے لئے
- فارم
- فاؤنڈیشن
- فریم ورک
- سے
- مکمل طور پر
- تقریب
- افعال
- مزید برآں
- مستقبل
- جمع
- جنرل
- پیدا
- پیدا ہوتا ہے
- نسل
- حاصل
- حاصل کرنے
- دی
- Go
- مقصد
- اہداف
- جاتا ہے
- اچھا
- GPU
- شکر گزار
- رہنمائی
- تھا
- ہینڈل
- ہوتا ہے
- ہے
- ہونے
- he
- سن
- بھاری
- بھاری وزن اٹھانا
- مدد
- مدد کرتا ہے
- اعلی سطحی
- اعلی معیار کی
- نمایاں کریں
- انتہائی
- تاریخ
- افقی
- افقی طور پر
- کس طرح
- کیسے
- تاہم
- HTML
- HTTP
- HTTPS
- حب
- انسانی
- رکاوٹیں
- i
- کی نشاندہی
- if
- وضاحت کرتا ہے
- تصویر
- پر عملدرآمد
- نفاذ
- پر عمل درآمد
- اہم
- کو بہتر بنانے کے
- in
- دیگر میں
- شامل ہیں
- سمیت
- شامل کرنا
- اضافہ
- اضافہ
- ناقابل اعتماد
- انفرادی
- انفرادی طور پر
- معلومات
- انفراسٹرکچر
- ابتدائی
- شروع کرتا ہے
- مثال کے طور پر
- اہم کردار
- انٹیلی جنس
- ارادہ
- دلچسپی
- انٹرفیس
- اندرونی
- مداخلت
- میں
- ملوث
- مسئلہ
- مسائل
- IT
- میں
- ایوب
- نوکریاں
- فوٹو
- صرف
- بچے
- جان
- نہیں
- زبان
- بڑے
- بڑے پیمانے پر
- بڑے
- بعد
- لیڈز
- جانیں
- سیکھنے
- کم سے کم
- لائبریری
- اٹھانے
- حد کے
- حدود
- حدود
- لنکڈ
- لسٹ
- تھوڑا
- لاگ ان کریں
- لاگ ان
- منطقی
- اب
- تلاش
- کھو
- محبت
- مشین
- مشین لرننگ
- برقرار رکھنے کے
- برقرار رکھنے
- برقرار رکھتا ہے
- بنا
- بناتا ہے
- بنانا
- میں کامیاب
- مینیجر
- جوڑی
- انداز
- بہت سے
- مارکیٹنگ
- ریاضی
- مئی..
- سے ملو
- یاد داشت
- پیغام
- میٹا ڈیٹا
- میٹرک۔
- پیمائش کا معیار
- شاید
- برا
- کم سے کم
- ML
- ماڈل
- ماڈل
- ماڈیول
- ماڈیولز
- لمحہ
- کی نگرانی
- نگرانی کی
- نگرانی
- نظر رکھتا ہے
- زیادہ
- سب سے زیادہ
- زیادہ تر
- ماؤنٹین
- ایک سے زیادہ
- ضروری
- قدرتی
- قدرتی زبان عملیات
- فطرت، قدرت
- ضرورت ہے
- ضرورت
- ضرورت ہے
- ضروریات
- نئی
- نوڈس
- خاص طور پر
- نوٹس..
- نوٹیفیکیشن
- اطلاعات
- اب
- تعداد
- مقاصد
- مشاہدہ
- of
- اکثر
- on
- ڈیمانڈ
- جہاز
- جہاز
- ایک
- جاری
- صرف
- آپریٹر
- زیادہ سے زیادہ
- کی اصلاح کریں
- اصلاح
- or
- اصل
- دیگر
- ہمارے
- باہر
- نتائج
- پیداوار
- باہر
- پر
- مجموعی طور پر
- پر قابو پانے
- مجموعی جائزہ
- پیرامیٹرز
- حصہ
- خاص طور پر
- پارٹنر
- پاسنگ
- جذباتی
- پاٹرن
- فیصد
- انجام دیں
- کارکردگی
- شاید
- ادوار
- نقطہ نظر
- تصویر
- پائپ لائن
- مقام
- منصوبہ بنایا
- پلیٹ فارم
- پلیٹ فارم
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- کھیلیں
- ادا کرتا ہے
- مہربانی کرکے
- علاوہ
- پوائنٹ
- پوائنٹس
- غریب
- ممکن
- پوسٹ
- ممکنہ
- طاقت
- پیش گوئی
- پچھلا
- شاید
- مسئلہ
- مسائل
- عمل
- عملدرآمد
- پروسیسنگ
- پیدا
- مصنوعات
- پیداوار
- پیشہ ورانہ
- فراہم
- فراہم
- فراہم کرتا ہے
- ڈال
- معیار
- فوری
- تیز
- آر اینڈ ڈی
- بلکہ
- خام
- تک پہنچنے
- پڑھیں
- تیار
- حقیقت
- وجہ
- ریکارڈ
- بازیافت
- وصولی
- کم
- مراد
- متعلقہ
- متعلقہ
- رہے
- باقی
- رپورٹ
- ضرورت
- ضروریات
- وسائل
- وسائل
- جواب
- نتیجہ
- نتیجے
- مضبوط
- کردار
- تقریبا
- حکمرانی
- رن
- چل رہا ہے
- ساس
- sagemaker
- اسی
- کا کہنا ہے کہ
- اسکیل ایبلٹی
- توسیع پذیر
- پیمانے
- سکیلنگ
- اسکیلنگ حل
- منظرنامے
- سائنس
- سائنسدان
- سائنسدانوں
- سیکنڈ
- سیکشنز
- منتخب
- انتخاب
- بھیجنے
- بھیجتا ہے
- سینئر
- حساسیت
- علیحدہ
- الگ کرنا
- سروس
- سروسز
- مقرر
- سیٹ
- کئی
- سیکنڈ اور
- مشترکہ
- شرما
- وہ
- دکھایا گیا
- شوز
- کی طرف
- اہم
- اسی طرح
- سادہ
- سائز
- So
- حل
- حل
- حل
- خلا
- مخصوص
- خاص طور پر
- تیزی
- سپن
- مراحل
- معیار
- کھڑا ہے
- شروع کریں
- شروع
- شروع ہوتا ہے
- حالت
- درجہ
- مرحلہ
- مراحل
- ابھی تک
- بند کر دیا
- روکنا
- رک جاتا ہے
- ذخیرہ
- پردہ
- سلک
- مضبوط
- منظم
- چاہنے والے
- کامیابی
- کامیابی کے ساتھ
- اس طرح
- حمایت
- کے نظام
- سسٹمز
- ٹیبل
- موزوں
- لے لو
- لیتا ہے
- باصلاحیت
- ٹاسک
- کاموں
- ٹیم
- ٹیموں
- ٹیکنیکل
- شرائط
- سے
- کہ
- ۔
- مستقبل
- ان
- ان
- تو
- وہاں.
- لہذا
- یہ
- وہ
- تھرڈ
- اس
- ان
- تین
- حد
- کے ذریعے
- وقت
- اوقات
- کرنے کے لئے
- مل کر
- اوزار
- کل
- ٹرین
- ٹریننگ
- ٹرانزیکشن
- لین دین کی تفصیلات
- تبدیل
- تبدیلی
- تبدیلی
- ٹرگر
- متحرک
- دو
- قسم
- ٹھیٹھ
- کے تحت
- افہام و تفہیم
- یونٹس
- جب تک
- اپ ڈیٹ
- us
- استعمال کے قابل
- استعمال
- استعمال کی شرائط
- استعمال کیس
- استعمال کیا جاتا ہے
- کا استعمال کرتے ہوئے
- توثیق
- قیمت
- مختلف
- عمودی
- حجم
- جلد
- vs
- چاہتے تھے
- تھا
- دیکھ
- راستہ..
- we
- اچھا ہے
- جب
- جس
- ڈبلیو
- پوری
- مکمل طور پر
- گے
- جیت
- ساتھ
- کے اندر
- کام
- کام کے بہاؤ
- کام کر
- کام کرتا ہے
- بدتر
- گا
- تحریری طور پر
- ابھی
- پیداوار
- تم
- اور
- زیفیرنیٹ