بلٹ ان میں ایمیزون سیج میکر XGBoost الگورتھم مقبول کو چلانے کے لیے ایک منظم کنٹینر فراہم کرتا ہے۔ XGBoost مشین لرننگ (ML) فریم ورک، اعلی درجے کی تربیت کی معاونت کی اضافی سہولت کے ساتھ یا تقسیم شدہ تربیت، بڑے پیمانے پر ڈیٹا سیٹس کے لیے ڈیٹاسیٹ شارڈنگ، A/B ماڈل ٹیسٹنگ، یا ملٹی ماڈل کا اندازہ اختتامی پوائنٹس آپ مختلف ضروریات کو پورا کرنے کے لیے اس طاقتور الگورتھم کو بھی بڑھا سکتے ہیں۔
کوڈ اور انحصار کو ایک کنٹینر میں پیک کرنا طویل مدتی کوڈ کی دیکھ بھال، تولیدی صلاحیت، اور آڈیٹنگ کے مقاصد کے لیے ایک آسان اور مضبوط طریقہ ہے۔ کنٹینر میں ترمیم کرنا براہ راست بیس کنٹینر کی وفاداری سے پیروی کرتا ہے اور بیس کنٹینر کے ذریعہ پہلے سے ہی تعاون یافتہ موجودہ فنکشنز کو نقل کرنے سے گریز کرتا ہے۔ اس پوسٹ میں، ہم SageMaker XGBoost الگورتھم کنٹینر کے اندرونی کام کا جائزہ لیتے ہیں اور کنٹینر کو براہ راست اپنی مرضی کے مطابق بنانے کے لیے عملی اسکرپٹ فراہم کرتے ہیں۔
سیج میکر XGBoost کنٹینر کا ڈھانچہ
SageMaker بلٹ ان XGBoost الگورتھم کو اسٹینڈ اکیلے کنٹینر کے طور پر پیک کیا گیا ہے، GitHub پر دستیاب، اور اسے ڈویلپر کے موافق Apache 2.0 اوپن سورس لائسنس کے تحت بڑھایا جا سکتا ہے۔ کنٹینر پیکج کرتا ہے۔ اوپن سورس XGBoost الگورتھم اور دیگر AWS کلاؤڈ سروسز کے ساتھ مربوط SageMaker ماحول میں الگورتھم کو چلانے کے لیے ذیلی ٹولز۔ یہ آپ کو مختلف قسم کے XGBoost ماڈلز کو تربیت دینے کی اجازت دیتا ہے۔ اعداد و شمار ذرائعبناؤ بیچ کی پیشن گوئیاں آف لائن ڈیٹا پر، یا میزبانی کریں۔ اندازہ اختتامی نقطہ ایک حقیقی وقت میں پائپ لائن.
کنٹینر مختلف انٹری پوائنٹس کے ساتھ ٹریننگ اور انفرنس آپریشنز کو سپورٹ کرتا ہے۔ انفرنس موڈ کے لیے، اندراج کو مین فنکشن میں پایا جا سکتا ہے۔ serving.py اسکرپٹ. ریئل ٹائم انفرنس سرونگ کے لیے، کنٹینر چلتا ہے۔ فلاسککی بنیاد ویب سرور کہ جب درخواست کی، ڈیٹا پر مشتمل HTTP- انکوڈ شدہ درخواست وصول کرتا ہے، ڈیٹا کو XGBoost میں ڈی کوڈ کرتا ہے۔ ڈی میٹرکس فارمیٹ ، ماڈل لوڈ کرتا ہے۔، اور ایک واپس کرتا ہے۔ HTTP انکوڈ شدہ جواب واپس. ان طریقوں کو کے تحت encapsulated کر رہے ہیں اسکورنگ سروس کلاس، جسے اسکرپٹ موڈ کے ذریعے بھی کافی حد تک اپنی مرضی کے مطابق بنایا جا سکتا ہے (نیچے ضمیمہ دیکھیں)۔
ٹریننگ موڈ کے لیے انٹری پوائنٹ (الگورتھم موڈ) میں مرکزی فنکشن ہے۔ training.py. مین فنکشن تربیتی ماحول کو ترتیب دیتا ہے اور ٹریننگ جاب فنکشن کو کال کرتا ہے۔ یہ تقسیم شدہ یا سنگل نوڈ ٹریننگ، یا کراس توثیق جیسی افادیت کی اجازت دینے کے لیے کافی لچکدار ہے۔ تربیتی عمل کا دل میں پایا جا سکتا ہے ٹرین_کام تقریب.
کنٹینر کو پیک کرنے والی ڈوکر فائلیں میں مل سکتی ہیں۔ GitHub repo. نوٹ کریں کہ کنٹینر دو مراحل میں بنایا گیا ہے: a بیس کنٹینر پہلے بنایا جاتا ہے، اس کے بعد فائنل اوپر کنٹینر.
حل جائزہ
آپ سورس کوڈ کے ذریعے کنٹینر میں ترمیم اور دوبارہ تعمیر کر سکتے ہیں۔ تاہم، اس میں شروع سے تمام انحصارات اور پیکجوں کو جمع کرنا اور دوبارہ بنانا شامل ہے۔ اس پوسٹ میں، ہم ایک زیادہ سیدھے طریقے پر بات کرتے ہیں جو پہلے سے تعمیر شدہ اور عوامی طور پر دستیاب SageMaker XGBoost الگورتھم کنٹینر کی تصویر کے اوپر کنٹینر کو براہ راست تبدیل کرتا ہے۔
اس نقطہ نظر میں، ہم ھیںچو عوامی SageMaker XGBoost امیج کی ایک کاپی، اسکرپٹس میں ترمیم کریں یا پیکجز شامل کریں، اور کنٹینر کو اوپر سے دوبارہ بنائیں۔ ترمیم شدہ کنٹینر کو نجی ذخیرہ میں محفوظ کیا جا سکتا ہے۔ اس طرح، ہم درمیانی انحصار کو دوبارہ بنانے سے گریز کرتے ہیں اور اس کے بجائے سرکاری کنٹینر میں پیک کی گئی پہلے سے تعمیر شدہ لائبریریوں کے اوپر براہ راست تعمیر کرتے ہیں۔
مندرجہ ذیل اعداد و شمار اس اسکرپٹ کا ایک جائزہ دکھاتا ہے جو عوامی بنیاد کی تصویر کو کھینچنے، تصویر میں ترمیم اور دوبارہ تعمیر کرنے اور اسے نجی پر اپ لوڈ کرنے کے لیے استعمال کیا جاتا ہے۔ ایمیزون لچکدار کنٹینر رجسٹری (ایمیزون ای سی آر) ذخیرہ۔ دی bash سکرپٹ اس پوسٹ کے ساتھ والے کوڈ میں خاکہ میں دکھائے گئے تمام ورک فلو مراحل کو انجام دیتا ہے۔ ساتھ دینے والا نوٹ بک ایک مثال دکھاتا ہے جہاں SageMaker XGBoost الگورتھم کے مخصوص ورژن کا URI سب سے پہلے بازیافت کیا جاتا ہے اور اسے منتقل کیا جاتا ہے۔ bash سکرپٹ، جو تصویر میں ازگر کے دو اسکرپٹس کی جگہ لے لیتا ہے، اسے دوبارہ بناتا ہے، اور ترمیم شدہ تصویر کو نجی Amazon ECR ریپوزٹری میں دھکیلتا ہے۔ آپ اپنی ضروریات کے مطابق ساتھ والے کوڈ میں ترمیم کر سکتے ہیں۔
شرائط
۔ GitHub ذخیرہ اس پوسٹ کے ساتھ موجود کوڈ پر مشتمل ہے۔ آپ چلا سکتے ہیں۔ نمونہ نوٹ بک اپنے AWS اکاؤنٹ میں، یا فراہم کردہ استعمال کریں۔ AWS کلاؤڈ فارمیشن SageMaker نوٹ بک کا استعمال کرتے ہوئے نوٹ بک کو تعینات کرنے کے لیے اسٹیک کریں۔ آپ کو درج ذیل شرائط کی ضرورت ہے:
- AWS اکاؤنٹ۔
- SageMaker بیچ ٹرانسفارم اور ٹریننگ جابز کو چلانے کے لیے ضروری اجازتیں، اور Amazon ECR مراعات۔ CloudFormation ٹیمپلیٹ نمونہ بناتا ہے۔ AWS شناخت اور رسائی کا انتظام (IAM) کے کردار۔
حل تعینات کریں۔
AWS CloudFormation کا استعمال کرتے ہوئے اپنے حل کے وسائل بنانے کے لیے، منتخب کریں۔ اسٹیک لانچ کریں۔:
اسٹیک ایک SageMaker نوٹ بک کو تعینات کرتا ہے جو GitHub ریپوزٹری کو کلون کرنے کے لیے پہلے سے ترتیب دیا گیا ہے۔ واک تھرو نوٹ بک دیے گئے ورژن کے لیے پبلک SageMaker XGBoost امیج کو کھینچنے، اس میں ترمیم کرنے، اور کسٹم کنٹینر کو نجی Amazon ECR ریپوزٹری میں دھکیلنے کے اقدامات شامل ہیں۔ نوٹ بک عوام استعمال کرتی ہے۔ ابالون ڈیٹاسیٹ نمونے کے طور پر، SageMaker XGBoost بلٹ ان ٹریننگ موڈ کا استعمال کرتے ہوئے ایک ماڈل کو تربیت دیتا ہے، اور اس ماڈل کو کسٹم امیج میں بیچ ٹرانسفارم جابز انجام دینے کے لیے دوبارہ استعمال کرتا ہے جو SHAP اقدار کے ساتھ مل کر اندازہ پیدا کرتا ہے۔
نتیجہ
SageMaker بلٹ ان الگورتھم متعدد خصوصیات اور افعال فراہم کرتے ہیں، اور اپاچی 2.0 اوپن سورس لائسنس کے تحت مزید بڑھایا جا سکتا ہے۔ اس پوسٹ میں، ہم نے جائزہ لیا کہ کس طرح پروڈکشن کی ضروریات کو پورا کرنے کے لیے SageMaker XGBoost الگورتھم کے لیے پروڈکشن بلٹ ان کنٹینر کو بڑھایا جائے۔
نمونہ نوٹ بک اور مددگار سکرپٹ SageMaker XGBoost کنٹینر امیج کو اپنی مرضی کے مطابق بنانے کے لیے ایک آسان نقطہ آغاز فراہم کریں۔ اسے آزمائیں!
ضمیمہ: اسکرپٹ موڈ
اسکرپٹ موڈ ان پٹس کو تبدیل کرنے اور ماڈل کو لوڈ کرنے کے ذمہ دار فنکشنز کو تبدیل کرنے کے لیے ایک انٹرفیس فراہم کرکے بہت سے SageMaker بلٹ ان الگورتھم میں ترمیم کرنے کا ایک طریقہ فراہم کرتا ہے۔ اسکرپٹ موڈ اتنا لچکدار نہیں ہے جتنا کہ کنٹینر میں براہ راست ترمیم کرنا، لیکن یہ بلٹ ان الگورتھم کو اپنی مرضی کے مطابق بنانے کے لیے مکمل طور پر ازگر پر مبنی راستہ فراہم کرتا ہے جس کے ساتھ براہ راست کام کرنے کی ضرورت نہیں ہے۔ میں Docker.
اسکرپٹ موڈ میں، a user-module
ڈیٹا ڈی کوڈنگ، ماڈل کی لوڈنگ، اور پیشین گوئیاں کرنے کے لیے اپنی مرضی کے مطابق فراہم کیا جاتا ہے۔ صارف ماڈیول a کی وضاحت کرسکتا ہے۔ transformer_fn
جو جواب کی تیاری کے لیے درخواست پر کارروائی کے تمام پہلوؤں کو سنبھالتا ہے۔ یا تعریف کرنے کے بجائے transformer_fn
، آپ اپنی مرضی کے طریقے فراہم کر سکتے ہیں۔ model_fn
, input_fn
, predict_fn
، اور output_fn
انفرادی طور پر ماڈل کو لوڈ کرنے اور ضابطہ کشائی کرنے اور پیشین گوئی کے لیے ان پٹ کی تیاری کے لیے اپنی مرضی کے مطابق کرنے کے لیے۔ اسکرپٹ موڈ کے مزید مکمل جائزہ کے لیے، دیکھیں سیج میکر اسکرپٹ موڈ کے ساتھ اپنا ماڈل لائیں۔.
مصنفین کے بارے میں
پیمان رضاغی AWS میں ڈیٹا سائنٹسٹ ہے۔ اس نے یونیورسٹی آف ٹورنٹو سے انفارمیشن تھیوری میں پی ایچ ڈی کی ڈگری حاصل کی ہے اور وہ یونیورسٹی آف سدرن کیلیفورنیا (USC)، لاس اینجلس میں پوسٹ ڈاکٹریٹ ریسرچ سائنسدان تھے۔ AWS میں شامل ہونے سے پہلے، Peyman Qualcomm میں ایک اسٹاف سسٹم انجینئر تھا جس نے متعدد قابل ذکر بین الاقوامی ٹیلی کمیونیکیشن معیارات میں تعاون کیا۔ اس نے شماریات اور سسٹمز انجینئرنگ کے شعبے میں ہم مرتبہ نظرثانی شدہ کئی سائنسی تحقیقی مضامین تصنیف کیے ہیں، اور کام سے باہر والدین اور روڈ سائیکلنگ سے لطف اندوز ہوتے ہیں۔
- "
- 100
- تک رسائی حاصل
- ایڈجسٹ کریں
- اکاؤنٹ
- اعلی درجے کی
- یلگورتم
- یلگوردمز
- تمام
- پہلے ہی
- ایمیزون
- اے پی آئی
- نقطہ نظر
- رقبہ
- مضامین
- AWS
- تعمیر
- تعمیر میں
- کیلی فورنیا
- میں سے انتخاب کریں
- طبقے
- بادل
- بادل کی خدمات
- کوڈ
- جمع
- مکمل طور پر
- کنٹینر
- پر مشتمل ہے
- سہولت
- آسان
- پیدا
- اپنی مرضی کے
- اعداد و شمار
- ڈیٹا سائنسدان
- تعیناتی
- تعینات کرتا ہے
- مختلف
- براہ راست
- بات چیت
- تقسیم کئے
- میں Docker
- انجینئر
- ماحولیات
- مثال کے طور پر
- توسیع
- خصوصیات
- اعداد و شمار
- پہلا
- لچکدار
- کے بعد
- فارمیٹ
- ملا
- فریم ورک
- تقریب
- مزید
- GitHub کے
- عظیم
- کی ڈگری حاصل کی
- کس طرح
- کیسے
- HTTPS
- شناختی
- تصویر
- معلومات
- ان پٹ
- ضم
- انٹرفیس
- بین الاقوامی سطح پر
- IT
- ایوب
- نوکریاں
- سیکھنے
- لائسنس
- طویل مدتی
- لاس اینجلس
- مشین
- مشین لرننگ
- بناتا ہے
- بنانا
- میں کامیاب
- ML
- ماڈل
- ماڈل
- زیادہ
- نوٹ بک
- تعداد
- سرکاری
- آف لائن
- آپریشنز
- دیگر
- خود
- پوائنٹ
- مقبول
- طاقتور
- کی پیشن گوئی
- پیشن گوئی
- نجی
- عمل
- پیدا
- پیداوار
- فراہم
- فراہم کرتا ہے
- فراہم کرنے
- عوامی
- مقاصد
- اصل وقت
- ذخیرہ
- درخواست
- ضروریات
- تحقیق
- وسائل
- جواب
- ذمہ دار
- واپسی
- کا جائزہ لینے کے
- روٹ
- رن
- سائنسدان
- سروسز
- خدمت
- شارڈنگ
- سافٹ ویئر کی
- حل
- ماخذ کوڈ
- جنوبی
- ڈھیر لگانا
- معیار
- کے اعداد و شمار
- تائید
- امدادی
- کی حمایت کرتا ہے
- سسٹمز
- ماخذ
- کے ذریعے
- مل کر
- اوزار
- سب سے اوپر
- ٹورنٹو
- ٹریننگ
- ٹرینوں
- تبدیل
- تبدیل
- یونیورسٹی
- استعمال کی شرائط
- مختلف اقسام کے
- وکیپیڈیا
- کام
- گا