آٹو ایم ایل آپ کو مشین لرننگ (ML) پروجیکٹ لائف سائیکل کے آغاز میں ہی آپ کے ڈیٹا سے تیز رفتار، عمومی بصیرت حاصل کرنے کی اجازت دیتا ہے۔ پیشگی پروسیسنگ تکنیکوں اور الگورتھم کی اقسام کو بہترین نتائج فراہم کرنے والے سامنے کو سمجھنا صحیح ماڈل کو تیار کرنے، تربیت دینے اور تعینات کرنے کا وقت کم کر دیتا ہے۔ یہ ہر ماڈل کی ترقی کے عمل میں ایک اہم کردار ادا کرتا ہے اور ڈیٹا سائنسدانوں کو سب سے زیادہ امید افزا ML تکنیکوں پر توجہ مرکوز کرنے کی اجازت دیتا ہے۔ مزید برآں، آٹو ایم ایل ایک بیس لائن ماڈل کی کارکردگی فراہم کرتا ہے جو ڈیٹا سائنس ٹیم کے لیے ایک حوالہ نقطہ کے طور پر کام کر سکتا ہے۔
ایک AutoML ٹول آپ کے ڈیٹا پر مختلف الگورتھم اور مختلف پری پروسیسنگ تکنیکوں کے امتزاج کا اطلاق کرتا ہے۔ مثال کے طور پر، یہ ڈیٹا کی پیمائش کر سکتا ہے، غیر متغیر فیچر سلیکشن کو انجام دے سکتا ہے، مختلف ویریئنس تھریشولڈ لیولز پر PCA کر سکتا ہے، اور کلسٹرنگ کا اطلاق کر سکتا ہے۔ اس طرح کی پری پروسیسنگ تکنیکوں کو انفرادی طور پر لاگو کیا جا سکتا ہے یا پائپ لائن میں ملایا جا سکتا ہے۔ اس کے بعد، ایک آٹو ایم ایل ٹول آپ کے پہلے سے تیار کردہ ڈیٹاسیٹ کے مختلف ورژنز پر مختلف ماڈل اقسام، جیسے لکیری ریگریشن، لچکدار-نیٹ، یا رینڈم فاریسٹ کو تربیت دے گا اور ہائپر پیرامیٹر آپٹیمائزیشن (HPO) انجام دے گا۔ ایمیزون سیج میکر آٹو پائلٹ ایم ایل ماڈلز کی بھاری لفٹنگ کو ختم کرتا ہے۔ ڈیٹا سیٹ فراہم کرنے کے بعد، SageMaker Autopilot بہترین ماڈل تلاش کرنے کے لیے خود بخود مختلف حل تلاش کرتا ہے۔ لیکن اگر آپ آٹو ایم ایل ورک فلو کا اپنا تیار کردہ ورژن تعینات کرنا چاہتے ہیں تو کیا ہوگا؟
یہ پوسٹ دکھاتی ہے کہ کس طرح اپنی مرضی کے مطابق آٹو ایم ایل ورک فلو تخلیق کیا جائے۔ ایمیزون سیج میکر کا استعمال کرتے ہوئے ایمیزون سیج میکر آٹومیٹک ماڈل ٹیوننگ a میں دستیاب نمونہ کوڈ کے ساتھ گٹ ہب ریپو۔
حل جائزہ
اس استعمال کے معاملے کے لیے، فرض کریں کہ آپ ڈیٹا سائنس ٹیم کا حصہ ہیں جو ایک خصوصی ڈومین میں ماڈل تیار کرتی ہے۔ آپ نے اپنی مرضی کے مطابق پری پروسیسنگ تکنیکوں کا ایک سیٹ تیار کیا ہے اور متعدد الگورتھم منتخب کیے ہیں جن سے آپ عام طور پر اپنے ML مسئلہ کے ساتھ بہتر کام کرنے کی توقع کرتے ہیں۔ ایم ایل کے استعمال کے نئے کیسز پر کام کرتے وقت، آپ اپنی پری پروسیسنگ تکنیکوں اور الگورتھم کا استعمال کرتے ہوئے ممکنہ حل کے دائرہ کار کو کم کرنے کے لیے پہلے آٹو ایم ایل رن کرنا چاہیں گے۔
اس مثال کے لیے، آپ خصوصی ڈیٹا سیٹ استعمال نہیں کرتے ہیں۔ اس کے بجائے، آپ کیلیفورنیا ہاؤسنگ ڈیٹاسیٹ کے ساتھ کام کرتے ہیں جس سے آپ درآمد کریں گے۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3)۔ توجہ SageMaker HPO کا استعمال کرتے ہوئے حل کے تکنیکی نفاذ کو ظاہر کرنا ہے، جسے بعد میں کسی بھی ڈیٹاسیٹ اور ڈومین پر لاگو کیا جا سکتا ہے۔
مندرجہ ذیل خاکہ مجموعی حل کے ورک فلو کو پیش کرتا ہے۔
شرائط
اس پوسٹ میں واک تھرو مکمل کرنے کے لیے درج ذیل شرائط ہیں:
حل کو نافذ کریں۔
مکمل کوڈ میں دستیاب ہے۔ GitHub repo.
حل کو نافذ کرنے کے اقدامات (جیسا کہ ورک فلو ڈایاگرام میں بتایا گیا ہے) درج ذیل ہیں:
- ایک نوٹ بک مثال بنائیں اور درج ذیل کی وضاحت کریں:
- کے لئے نوٹ بک مثال کی قسممنتخب کریں ml.t3.medium.
- کے لئے لچکدار اندازہمنتخب کریں کوئی نہیں.
- کے لئے پلیٹ فارم شناخت کنندہمنتخب کریں ایمیزون لینکس 2، جوپیٹر لیب 3.
- کے لئے IAM کا کردار، پہلے سے طے شدہ کا انتخاب کریں۔
AmazonSageMaker-ExecutionRole
. اگر یہ موجود نہیں ہے تو ایک نیا بنائیں AWS شناخت اور رسائی کا انتظام (IAM) کا کردار اور منسلک کریں۔ AmazonSageMakerFullAccess IAM پالیسی.
نوٹ کریں کہ آپ کو پیداوار میں ایک کم سے کم دائرہ کار اور پالیسی بنانا چاہیے۔
- اپنی نوٹ بک مثال کے لیے JupyterLab انٹرفیس کھولیں اور GitHub ریپو کو کلون کریں۔
آپ یہ ایک نیا ٹرمینل سیشن شروع کرکے اور چلا کر کر سکتے ہیں۔ git clone <REPO>
کمانڈ یا UI فعالیت کا استعمال کرتے ہوئے، جیسا کہ درج ذیل اسکرین شاٹ میں دکھایا گیا ہے۔
- کھولو
automl.ipynb
نوٹ بک فائل کو منتخب کریں۔conda_python3
kernel، اور a کو متحرک کرنے کے لیے ہدایات پر عمل کریں۔ HPO ملازمتوں کا سیٹ.
بغیر کسی تبدیلی کے کوڈ کو چلانے کے لیے، آپ کو سروس کوٹہ بڑھانے کی ضرورت ہے۔ ml.m5.large تربیتی ملازمت کے استعمال کے لیے اور تمام تربیتی ملازمتوں میں مثالوں کی تعداد. AWS دونوں کوٹوں کے لیے پہلے سے طے شدہ طور پر صرف 20 متوازی SageMaker تربیتی ملازمتوں کی اجازت دیتا ہے۔ آپ کو دونوں کے لیے 30 کوٹہ بڑھانے کی درخواست کرنی ہوگی۔ دونوں کوٹہ تبدیلیوں کو عام طور پر چند منٹوں میں منظور کر لیا جانا چاہیے۔ کا حوالہ دیتے ہیں کوٹہ بڑھانے کی درخواست مزید معلومات کے لیے.
اگر آپ کوٹہ تبدیل نہیں کرنا چاہتے تو آپ آسانی سے کی قدر میں ترمیم کر سکتے ہیں۔ MAX_PARALLEL_JOBS
اسکرپٹ میں متغیر (مثال کے طور پر، 5 تک)۔
- ہر HPO کام کا ایک سیٹ مکمل کرے گا۔ تربیتی کام ٹرائلز اور زیادہ سے زیادہ ہائپرپیرامیٹر کے ساتھ ماڈل کی نشاندہی کریں۔
- نتائج کا تجزیہ کریں اور بہترین کارکردگی کا مظاہرہ کرنے والا ماڈل تعینات کریں۔.
اس حل سے آپ کے AWS اکاؤنٹ میں لاگت آئے گی۔ اس حل کی قیمت HPO تربیتی ملازمتوں کی تعداد اور مدت پر منحصر ہوگی۔ جیسے جیسے ان میں اضافہ ہوگا، اسی طرح لاگت بھی بڑھے گی۔ آپ تربیت کے وقت کو محدود کرکے اور ترتیب دے کر اخراجات کو کم کرسکتے ہیں۔ TuningJobCompletionCriteriaConfig
اس پوسٹ میں بعد میں زیر بحث ہدایات کے مطابق۔ قیمتوں کے بارے میں معلومات کے لیے، رجوع کریں۔ ایمیزون سیج میکر قیمتوں کا تعین.
مندرجہ ذیل حصوں میں، ہم کوڈ کی مثالوں اور نتائج کا تجزیہ کرنے اور بہترین ماڈل کو منتخب کرنے کے اقدامات کے ساتھ نوٹ بک پر مزید تفصیل سے بات کرتے ہیں۔
ابتدائی ڈھانچہ
چلو چلانے کے ساتھ شروع کرتے ہیں درآمدات اور سیٹ اپ سیکشن میں custom-automl.ipynb
کاپی. یہ تمام مطلوبہ انحصار کو انسٹال اور درآمد کرتا ہے، سیج میکر سیشن اور کلائنٹ کو انسٹینٹیٹ کرتا ہے، اور ڈیٹا کو اسٹور کرنے کے لیے ڈیفالٹ ریجن اور S3 بالٹی سیٹ کرتا ہے۔
ڈیٹا کی تیاری
کیلیفورنیا ہاؤسنگ ڈیٹاسیٹ ڈاؤن لوڈ کریں اور اسے چلا کر تیار کریں۔ ڈیٹا ڈاؤن لوڈ کریں۔ نوٹ بک کے حصے. ڈیٹاسیٹ کو ٹریننگ اور ٹیسٹنگ ڈیٹا فریموں میں تقسیم کیا جاتا ہے اور SageMaker سیشن ڈیفالٹ S3 بالٹی پر اپ لوڈ کیا جاتا ہے۔
پورے ڈیٹاسیٹ میں 20,640 ریکارڈز اور مجموعی طور پر 9 کالم ہیں، بشمول ہدف۔ مقصد یہ ہے کہ گھر کی اوسط قدر کی پیشن گوئی کی جائے (medianHouseValue
کالم)۔ درج ذیل اسکرین شاٹ ڈیٹاسیٹ کی اوپری قطاریں دکھاتا ہے۔
ٹریننگ اسکرپٹ ٹیمپلیٹ
اس پوسٹ میں آٹو ایم ایل ورک فلو پر مبنی ہے۔ سائنٹ سیکھنا پری پروسیسنگ پائپ لائنز اور الگورتھم۔ مقصد بہترین کارکردگی کا مظاہرہ کرنے والے سیٹ اپ کو تلاش کرنے کے لیے مختلف پری پروسیسنگ پائپ لائنوں اور الگورتھم کا ایک بڑا مجموعہ تیار کرنا ہے۔ آئیے ایک عام ٹریننگ اسکرپٹ بنانے کے ساتھ شروع کریں، جو نوٹ بک مثال پر مقامی طور پر برقرار رہتا ہے۔ اس اسکرپٹ میں، دو خالی کمنٹ بلاکس ہیں: ایک ہائپر پیرامیٹر انجیکشن لگانے کے لیے اور دوسرا پری پروسیسنگ ماڈل پائپ لائن آبجیکٹ کے لیے۔ وہ ہر پری پروسیسنگ ماڈل امیدوار کے لیے متحرک طور پر انجیکشن لگائے جائیں گے۔ ایک عام اسکرپٹ رکھنے کا مقصد عمل درآمد کو DRY رکھنا ہے (خود کو دہرائیں نہیں)۔
پری پروسیسنگ اور ماڈل کے امتزاج بنائیں
۔ preprocessors
لغت میں ماڈل کی تمام ان پٹ خصوصیات پر لاگو ہونے والی پری پروسیسنگ تکنیک کی تفصیلات شامل ہیں۔ ہر نسخہ کی تعریف a کا استعمال کرتے ہوئے کی گئی ہے۔ Pipeline
یا ایک FeatureUnion
scikit-learn سے آبجیکٹ، جو انفرادی ڈیٹا کی تبدیلیوں کو ایک ساتھ باندھتا ہے اور انہیں ایک ساتھ اسٹیک کرتا ہے۔ مثال کے طور پر، mean-imp-scale
ایک سادہ نسخہ ہے جو اس بات کو یقینی بناتا ہے کہ متعلقہ کالموں کی اوسط قدروں کا استعمال کرتے ہوئے گم شدہ اقدار کا حساب لگایا جاتا ہے اور تمام خصوصیات کو سٹینڈرڈ اسکیلر. اس کے برعکس ، mean-imp-scale-pca
نسخہ کی زنجیروں کو ایک ساتھ کچھ اور آپریشنز:
- کالموں میں گم شدہ اقدار کو اس کے وسط کے ساتھ لگانا۔
- اوسط اور معیاری انحراف کا استعمال کرتے ہوئے فیچر اسکیلنگ کا اطلاق کریں۔
- ایک متعین تغیر کی حد کی قیمت پر ان پٹ ڈیٹا کے سب سے اوپر PCA کا حساب لگائیں اور اسے لگائے گئے اور اسکیل شدہ ان پٹ خصوصیات کے ساتھ ضم کریں۔
اس پوسٹ میں، تمام ان پٹ فیچرز عددی ہیں۔ اگر آپ کے ان پٹ ڈیٹاسیٹ میں مزید ڈیٹا کی قسمیں ہیں، تو آپ کو ایک زیادہ پیچیدہ پائپ لائن کی وضاحت کرنی چاہیے جہاں مختلف فیچر ٹائپ سیٹس پر مختلف پری پروسیسنگ برانچز کا اطلاق ہوتا ہے۔
۔ models
لغت میں مختلف الگورتھم کی وضاحتیں ہوتی ہیں جن پر آپ ڈیٹاسیٹ کو فٹ کرتے ہیں۔ ہر ماڈل کی قسم لغت میں درج ذیل تصریح کے ساتھ آتی ہے۔
- اسکرپٹ_آؤٹ پٹ - تخمینہ لگانے والے کے ذریعہ استعمال کردہ ٹریننگ اسکرپٹ کے مقام کی طرف اشارہ کرتا ہے۔ یہ فیلڈ متحرک طور پر بھری جاتی ہے جب
models
ڈکشنری کے ساتھ مل کر ہےpreprocessors
لغت. - اضافے - کوڈ کی وضاحت کرتا ہے جو میں داخل کیا جائے گا۔
script_draft.py
اور بعد میں نیچے محفوظ کیا گیا۔script_output
. چابی“preprocessor”
جان بوجھ کر خالی چھوڑ دیا گیا ہے کیونکہ یہ مقام ایک پری پروسیسرز سے بھرا ہوا ہے تاکہ متعدد ماڈل-پری پروسیسر کے امتزاجات پیدا ہوں۔ - ہائپرپیرامیٹر - ہائپر پیرامیٹرز کا ایک سیٹ جو HPO جاب کے ذریعہ بہتر بنایا گیا ہے۔
- شامل_کلس_میٹا ڈیٹا - سیج میکر کو مزید کنفیگریشن کی تفصیلات درکار ہیں۔
Tuner
کلاس.
کی مکمل مثال models
لغت GitHub ذخیرہ میں دستیاب ہے۔
اگلا، کے ذریعے اعادہ کرتے ہیں preprocessors
اور models
لغات بنائیں اور تمام ممکنہ امتزاج بنائیں۔ مثال کے طور پر، اگر آپ کا preprocessors
لغت میں 10 ترکیبیں ہیں اور آپ کے پاس 5 ماڈل تعریفیں ہیں۔ models
ڈکشنری، نئی تخلیق کردہ پائپ لائنز ڈکشنری میں 50 پری پروسیسر ماڈل پائپ لائنز ہیں جن کا HPO کے دوران جائزہ لیا جاتا ہے۔ نوٹ کریں کہ انفرادی پائپ لائن اسکرپٹ ابھی تک اس مقام پر نہیں بنائے گئے ہیں۔ Jupyter نوٹ بک کا اگلا کوڈ بلاک (سیل 9) تمام پری پروسیسر-ماڈل اشیاء کے ذریعے دہرایا جاتا ہے۔ pipelines
ڈکشنری، تمام متعلقہ کوڈ کے ٹکڑوں کو داخل کرتی ہے، اور نوٹ بک میں مقامی طور پر اسکرپٹ کے پائپ لائن کے مخصوص ورژن کو برقرار رکھتی ہے۔ وہ اسکرپٹ اگلے مراحل میں استعمال کیے جاتے ہیں جب انفرادی تخمینہ کار بناتے ہیں جنہیں آپ HPO جاب میں لگاتے ہیں۔
تخمینہ لگانے والوں کی تعریف کریں۔
اب آپ SageMaker تخمینہ کاروں کی وضاحت پر کام کر سکتے ہیں جنہیں HPO جاب اسکرپٹ تیار ہونے کے بعد استعمال کرتا ہے۔ آئیے ایک ریپر کلاس بنانے کے ساتھ شروع کرتے ہیں جو تمام تخمینوں کے لئے کچھ مشترکہ خصوصیات کی وضاحت کرتا ہے۔ سے وراثت میں ملتا ہے۔ SKLearn
کلاس اور کردار، مثال کی گنتی، اور قسم کی وضاحت کرتا ہے، نیز اسکرپٹ کے ذریعے فیچرز اور ہدف کے طور پر کون سے کالم استعمال کیے جاتے ہیں۔
کی تعمیر کرتے ہیں estimators
اس سے پہلے پیدا کردہ اور میں واقع تمام اسکرپٹس کے ذریعے تکرار کرکے لغت scripts
ڈائریکٹری آپ کا استعمال کرتے ہوئے ایک نیا تخمینہ لگانے والا SKLearnBase
کلاس، ایک منفرد تخمینہ لگانے والے نام کے ساتھ، اور اسکرپٹ میں سے ایک۔ نوٹ کریں کہ estimators
لغت کی دو سطحیں ہیں: اوپر کی سطح کی وضاحت a pipeline_family
. یہ ایک منطقی گروپ بندی ہے جس کی بنیاد پر ماڈلز کی تشخیص کی جاتی ہے اور اس کی لمبائی کے برابر ہے۔ models
ڈکشنری دوسرے درجے میں دیے گئے کے ساتھ مل کر انفرادی پری پروسیسر کی اقسام شامل ہیں۔ pipeline_family
. HPO جاب بناتے وقت اس منطقی گروپ بندی کی ضرورت ہوتی ہے۔
HPO ٹیونر دلائل کی وضاحت کریں۔
HPO میں گزرنے والے دلائل کو بہتر بنانے کے لیے Tuner
کلاس، HyperparameterTunerArgs
ڈیٹا کلاس کو HPO کلاس کے لیے درکار دلائل کے ساتھ شروع کیا جاتا ہے۔ یہ فنکشنز کے ایک سیٹ کے ساتھ آتا ہے، جو اس بات کو یقینی بناتا ہے کہ HPO کے دلائل ایک ہی وقت میں متعدد ماڈل تعریفوں کو متعین کرتے وقت متوقع فارمیٹ میں واپس آئے۔
اگلا کوڈ بلاک پہلے متعارف کرائے گئے کوڈ کا استعمال کرتا ہے۔ HyperparameterTunerArgs
ڈیٹا کلاس. آپ ایک اور لغت بنائیں جسے کہتے ہیں۔ hp_args
اور ہر ایک کے لیے مخصوص ان پٹ پیرامیٹرز کا ایک سیٹ تیار کریں۔ estimator_family
سے estimators
ڈکشنری یہ دلائل اگلے مرحلے میں استعمال کیے جاتے ہیں جب ہر ماڈل فیملی کے لیے HPO جابز شروع کرتے ہیں۔
HPO ٹونر آبجیکٹ بنائیں
اس مرحلے میں، آپ ہر ایک کے لیے انفرادی ٹیونرز بناتے ہیں۔ estimator_family
. آپ تمام تخمینوں میں صرف ایک شروع کرنے کے بجائے تین الگ الگ HPO جابز کیوں بناتے ہیں؟ دی HyperparameterTuner
کلاس اس کے ساتھ منسلک 10 ماڈل تعریفوں تک محدود ہے۔ اس لیے، ہر HPO کسی مخصوص ماڈل فیملی کے لیے بہترین کارکردگی کا مظاہرہ کرنے والے پری پروسیسر کو تلاش کرنے اور اس ماڈل فیملی کے ہائپر پیرامیٹرس کو ٹیون کرنے کے لیے ذمہ دار ہے۔
سیٹ اپ کے حوالے سے چند مزید نکات درج ذیل ہیں:
- اصلاح کی حکمت عملی Bayesian ہے، جس کا مطلب ہے کہ HPO تمام آزمائشوں کی کارکردگی کو فعال طور پر مانیٹر کرتا ہے اور زیادہ امید افزا ہائپر پیرامیٹر کے امتزاج کی طرف اصلاح کو نیویگیٹ کرتا ہے۔ ابتدائی سٹاپ کو مقرر کیا جانا چاہئے بند or آٹو ایک Bayesian حکمت عملی کے ساتھ کام کرتے وقت، جو خود اس منطق کو سنبھالتی ہے۔
- ہر HPO نوکری زیادہ سے زیادہ 100 ملازمتوں کے لیے چلتی ہے اور متوازی طور پر 10 ملازمتیں چلاتی ہے۔ اگر آپ بڑے ڈیٹا سیٹس کے ساتھ کام کر رہے ہیں، تو آپ نوکریوں کی کل تعداد میں اضافہ کرنا چاہیں گے۔
- مزید برآں، آپ ایسی ترتیبات استعمال کرنا چاہیں گے جو یہ کنٹرول کرتی ہیں کہ نوکری کتنی دیر تک چلتی ہے اور آپ کا HPO کتنی ملازمتوں کو متحرک کر رہا ہے۔ ایسا کرنے کا ایک طریقہ یہ ہے کہ سیکنڈوں میں زیادہ سے زیادہ رن ٹائم سیٹ کریں (اس پوسٹ کے لیے، ہم نے اسے 1 گھنٹے پر سیٹ کیا ہے)۔ دوسرا حال ہی میں جاری کردہ استعمال کرنا ہے۔
TuningJobCompletionCriteriaConfig
. یہ سیٹنگز کا ایک سیٹ پیش کرتا ہے جو آپ کی ملازمتوں کی پیشرفت پر نظر رکھتا ہے اور فیصلہ کرتا ہے کہ آیا اس بات کا امکان ہے کہ مزید ملازمتوں کے نتیجے میں بہتری آئے گی۔ اس پوسٹ میں، ہم نے بہتر نہ ہونے والی تربیتی ملازمتوں کی زیادہ سے زیادہ تعداد کو 20 پر مقرر کیا ہے۔ اس طرح، اگر اسکور بہتر نہیں ہو رہا ہے (مثال کے طور پر، چالیسویں ٹرائل سے)، آپ کو باقی ٹرائلز کے لیے ادائیگی نہیں کرنا پڑے گی جب تکmax_jobs
پہنچا ہے۔
اب کے ذریعے اعادہ کرتے ہیں tuners
اور hp_args
سیج میکر میں لغات اور HPO کی تمام ملازمتوں کو متحرک کریں۔ انتظار کی دلیل کا استعمال نوٹ کریں جس پر سیٹ ہے۔ False
، جس کا مطلب ہے کہ دانا نتائج کے مکمل ہونے تک انتظار نہیں کرے گا اور آپ ایک ہی وقت میں تمام ملازمتوں کو متحرک کرسکتے ہیں۔
اس بات کا امکان ہے کہ تمام تربیتی ملازمتیں مکمل نہیں ہوں گی اور ان میں سے کچھ کو HPO کی ملازمت سے روک دیا جائے گا۔ اس کی وجہ یہ ہے۔ TuningJobCompletionCriteriaConfig
اگر کسی مخصوص معیار پر پورا اترتا ہے تو اصلاح ختم ہو جاتی ہے۔ اس صورت میں، جب لگاتار 20 ملازمتوں کے لیے اصلاح کا معیار بہتر نہیں ہو رہا ہے۔
نتائج کا تجزیہ کریں۔
نوٹ بک کا سیل 15 چیک کرتا ہے کہ آیا تمام HPO جابز مکمل ہیں اور مزید تجزیہ کے لیے تمام نتائج کو پانڈاس ڈیٹا فریم کی شکل میں یکجا کرتا ہے۔ نتائج کا تفصیل سے تجزیہ کرنے سے پہلے، آئیے SageMaker کنسول پر ایک اعلیٰ سطحی نظر ڈالیں۔
کے اوپری حصے میں۔ ہائپر پیرامیٹر ٹیوننگ جابز صفحہ، آپ اپنی تین شروع کی گئی HPO ملازمتیں دیکھ سکتے ہیں۔ ان میں سے سبھی جلد فارغ ہوئے اور تمام 100 تربیتی کام انجام نہیں دے سکے۔ مندرجہ ذیل اسکرین شاٹ میں، آپ دیکھ سکتے ہیں کہ Elastic-Net ماڈل فیملی نے سب سے زیادہ آزمائشیں مکمل کیں، جبکہ دوسروں کو بہترین نتیجہ تلاش کرنے کے لیے اتنی زیادہ تربیتی ملازمتوں کی ضرورت نہیں تھی۔
آپ مزید تفصیلات تک رسائی حاصل کرنے کے لیے HPO جاب کھول سکتے ہیں، جیسے کہ انفرادی تربیتی جابز، جاب کنفیگریشن، اور بہترین تربیتی جاب کی معلومات اور کارکردگی۔
آئیے تمام ماڈل فیملیز میں آٹو ایم ایل ورک فلو کی کارکردگی کی مزید بصیرتیں حاصل کرنے کے لیے نتائج کی بنیاد پر ایک تصور تیار کریں۔
مندرجہ ذیل گراف سے، آپ یہ نتیجہ اخذ کر سکتے ہیں کہ Elastic-Net
ماڈل کی کارکردگی 70,000 اور 80,000 RMSE کے درمیان چل رہی تھی اور آخر کار رک گئی، کیونکہ الگورتھم مختلف پری پروسیسنگ تکنیکوں اور ہائپر پیرامیٹر اقدار کو آزمانے کے باوجود اپنی کارکردگی کو بہتر نہیں بنا سکا۔ ایسا بھی لگتا ہے۔ RandomForest
HPO کے ذریعے دریافت کیے گئے ہائپر پیرامیٹر سیٹ کے لحاظ سے کارکردگی بہت مختلف تھی، لیکن کئی آزمائشوں کے باوجود یہ 50,000 RMSE غلطی سے نیچے نہیں جا سکی۔ GradientBoosting
50,000 RMSE سے نیچے جا کر شروع سے ہی بہترین کارکردگی حاصل کر لی ہے۔ HPO نے اس نتیجہ کو مزید بہتر بنانے کی کوشش کی لیکن دوسرے ہائپر پیرامیٹر کے امتزاج میں بہتر کارکردگی حاصل کرنے کے قابل نہیں رہا۔ تمام HPO ملازمتوں کے لیے ایک عمومی نتیجہ یہ ہے کہ ہر الگورتھم کے لیے بہترین کارکردگی کا مظاہرہ کرنے والے ہائپر پیرامیٹرس کے سیٹ کو تلاش کرنے کے لیے اتنی زیادہ ملازمتوں کی ضرورت نہیں تھی۔ نتیجہ کو مزید بہتر بنانے کے لیے، آپ کو مزید خصوصیات بنانے اور اضافی فیچر انجینئرنگ انجام دینے کے ساتھ تجربہ کرنے کی ضرورت ہوگی۔
آپ سب سے زیادہ امید افزا امتزاج کے بارے میں نتیجہ اخذ کرنے کے لیے ماڈل-پری پروسیسر کے امتزاج کے مزید تفصیلی نظارے کا بھی جائزہ لے سکتے ہیں۔
بہترین ماڈل منتخب کریں اور اسے تعینات کریں۔
درج ذیل کوڈ کا ٹکڑا سب سے کم حاصل شدہ مقصدی قدر کی بنیاد پر بہترین ماڈل کا انتخاب کرتا ہے۔ اس کے بعد آپ ماڈل کو سیج میکر اینڈ پوائنٹ کے طور پر تعینات کر سکتے ہیں۔
صاف کرو
آپ کے AWS اکاؤنٹ پر غیر مطلوبہ چارجز کو روکنے کے لیے، ہم تجویز کرتے ہیں کہ AWS وسائل کو حذف کر دیں جو آپ نے اس پوسٹ میں استعمال کیے ہیں:
- Amazon S3 کنسول پر، S3 بالٹی سے ڈیٹا کو خالی کریں جہاں تربیتی ڈیٹا محفوظ کیا گیا تھا۔
- سیج میکر کنسول پر، نوٹ بک مثال کو روکیں۔
- ماڈل اینڈ پوائنٹ کو حذف کریں اگر آپ نے اسے تعینات کیا ہے۔ اختتامی پوائنٹس کو حذف کر دینا چاہیے جب مزید استعمال میں نہ ہوں، کیونکہ ان کا بل تعیناتی کے وقت کے مطابق کیا جاتا ہے۔
نتیجہ
اس پوسٹ میں، ہم نے الگورتھم اور پری پروسیسنگ تکنیک کے حسب ضرورت انتخاب کا استعمال کرتے ہوئے SageMaker میں کس طرح اپنی مرضی کے مطابق HPO جاب بنانے کا طریقہ دکھایا ہے۔ خاص طور پر، یہ مثال یہ ظاہر کرتی ہے کہ کس طرح بہت سے تربیتی اسکرپٹس تیار کرنے کے عمل کو خود کار بنایا جائے اور متعدد متوازی اصلاحی ملازمتوں کی موثر تعیناتی کے لیے Python پروگرامنگ ڈھانچے کو کیسے استعمال کیا جائے۔ ہم امید کرتے ہیں کہ یہ حل کسی بھی حسب ضرورت ماڈل ٹیوننگ جابز کا سہارہ بنائے گا جسے آپ SageMaker کا استعمال کرتے ہوئے اعلیٰ کارکردگی حاصل کرنے اور اپنے ML ورک فلو کو تیز کرنے کے لیے تعینات کریں گے۔
SageMaker HPO کو استعمال کرنے کے طریقے کے بارے میں اپنے علم کو مزید گہرا کرنے کے لیے درج ذیل وسائل کو دیکھیں:
مصنفین کے بارے میں
کونراڈ سیمش ایمیزون ویب سروسز ڈیٹا لیب ٹیم میں ایک سینئر ایم ایل سلوشنز آرکیٹیکٹ ہیں۔ وہ صارفین کو AWS کے ساتھ اپنے کاروباری چیلنجوں کو حل کرنے کے لیے مشین لرننگ کا استعمال کرنے میں مدد کرتا ہے۔ صارفین کو ان کے AI/ML پروجیکٹس کے لیے آسان اور عملی حل فراہم کرنے کے لیے اسے ایجاد کرنے اور آسان بنانے میں لطف آتا ہے۔ وہ MlOps اور روایتی ڈیٹا سائنس کے بارے میں سب سے زیادہ پرجوش ہے۔ کام سے باہر، وہ ونڈ سرفنگ اور کائٹ سرفنگ کا بڑا پرستار ہے۔
ٹونا ایرسائے AWS میں ایک سینئر سولیوشن آرکیٹیکٹ ہے۔ اس کی بنیادی توجہ پبلک سیکٹر کے صارفین کو ان کے کام کے بوجھ کے لیے کلاؤڈ ٹیکنالوجیز کو اپنانے میں مدد کرنا ہے۔ اس کے پاس ایپلی کیشن ڈویلپمنٹ، انٹرپرائز آرکیٹیکچر، اور رابطہ سینٹر ٹیکنالوجیز کا پس منظر ہے۔ اس کی دلچسپیوں میں سرور لیس فن تعمیر اور AI/ML شامل ہیں۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/machine-learning/implement-a-custom-automl-job-using-pre-selected-algorithms-in-amazon-sagemaker-automatic-model-tuning/
- : ہے
- : ہے
- : نہیں
- :کہاں
- $UP
- 000
- 1
- 10
- 100
- 12
- 13
- 14
- 15٪
- 20
- 2000
- 22
- 25
- 28
- 30
- 39
- 50
- 7
- 70
- 8
- 80
- 9
- a
- قابلیت
- ہمارے بارے میں
- تک رسائی حاصل
- کے مطابق
- اکاؤنٹ
- حاصل
- حاصل کیا
- کے پار
- فعال طور پر
- ایڈیشنل
- اس کے علاوہ
- اپنانے
- کے بعد
- AI / ML
- مقصد
- یلگورتم
- یلگوردمز
- تمام
- اجازت دے رہا ہے
- کی اجازت دیتا ہے
- پہلے ہی
- بھی
- ایمیزون
- ایمیزون سیج میکر
- ایمیزون ویب سروسز
- an
- تجزیہ
- تجزیے
- تجزیہ
- اور
- ایک اور
- کوئی بھی
- درخواست
- درخواست کی ترقی
- اطلاقی
- لاگو ہوتا ہے
- کا اطلاق کریں
- کی منظوری دے دی
- فن تعمیر
- کیا
- دلیل
- دلائل
- AS
- فرض کرو
- At
- منسلک کریں
- آٹو
- خود کار طریقے سے
- خودکار
- خود کار طریقے سے
- آٹو ایم ایل
- دستیاب
- AWS
- پس منظر
- بیس
- کی بنیاد پر
- بیس لائن
- Bayesian
- BE
- کیونکہ
- اس سے پہلے
- شروع
- نیچے
- BEST
- بہتر
- کے درمیان
- بگ
- بلاک
- بلاکس
- دونوں
- شاخیں
- تعمیر
- عمارت
- کاروبار
- لیکن
- بٹن
- by
- کیلی فورنیا
- فون
- کہا جاتا ہے
- کر سکتے ہیں
- امیدوار
- کیس
- مقدمات
- سینٹر
- زنجیروں
- چیلنجوں
- تبدیل
- تبدیلیاں
- بوجھ
- چیک
- میں سے انتخاب کریں
- طبقے
- سی ایل ایف
- کلائنٹ
- بادل
- کلسٹر
- clustering کے
- کوڈ
- کالم
- کالم
- مجموعہ
- کے مجموعے
- مل کر
- یکجا
- آتا ہے
- تبصرہ
- کامن
- مکمل
- مکمل
- مکمل کرنا
- پیچیدہ
- نتیجہ اخذ
- اختتام
- سلوک
- ترتیب
- مسلسل
- کنسول
- رابطہ کریں
- رابطہ مرکز
- پر مشتمل ہے
- اس کے برعکس
- کنٹرول
- قیمت
- اخراجات
- سکتا ہے
- تخلیق
- بنائی
- تخلیق
- معیار
- اہم
- اس وقت
- اپنی مرضی کے
- گاہکوں
- اعداد و شمار
- ڈیٹا سائنس
- ڈیٹاسیٹس
- معاملہ
- فیصلہ کرنا
- گہرا کرنا
- پہلے سے طے شدہ
- کی وضاحت
- وضاحت کرتا ہے
- وضاحت
- تعریفیں
- مظاہرہ
- ثبوت
- انحصار
- انحصار
- منحصر ہے
- تعیناتی
- تعینات
- تعینات
- تعیناتی
- اخذ کردہ
- کے باوجود
- تفصیل
- تفصیلی
- تفصیلات
- ترقی
- ترقی یافتہ
- ترقی
- تیار ہے
- انحراف
- DICT
- مختلف
- ڈائریکٹریز
- بات چیت
- بات چیت
- do
- نہیں کرتا
- ڈومین
- نہیں
- نیچے
- اپنی طرف متوجہ
- خشک
- مدت
- کے دوران
- متحرک طور پر
- ہر ایک
- ابتدائی
- ہنر
- ختم
- کو چالو کرنے کے
- اختتام پوائنٹ
- انجنیئرنگ
- کو یقینی بنانے کے
- یقینی بناتا ہے
- انٹرپرائز
- پوری
- مکمل
- برابر
- خرابی
- اندازہ
- اندازہ
- آخر میں
- ہر کوئی
- جانچ پڑتال
- مثال کے طور پر
- مثال کے طور پر
- پھانسی
- وجود
- توقع ہے
- توقع
- تجربہ
- وضاحت کی
- وضاحت کی
- دریافت کرتا ہے
- جھوٹی
- خاندانوں
- خاندان
- پرستار
- نمایاں کریں
- خصوصیات
- چند
- میدان
- فائل
- بھرے
- مل
- تلاش
- پہلا
- فٹ
- پانچ
- توجہ مرکوز
- پر عمل کریں
- کے بعد
- مندرجہ ذیل ہے
- کے لئے
- جنگل
- فارم
- فارمیٹ
- فریم
- سے
- سامنے
- مکمل
- تقریب
- فعالیت
- افعال
- مزید
- جنرل
- پیدا
- پیدا
- پیدا کرنے والے
- حاصل
- جاؤ
- GitHub کے
- دی
- Go
- مقصد
- جا
- گراف
- ہاتھ
- ہینڈل
- ہے
- ہونے
- he
- بھاری
- بھاری وزن اٹھانا
- مدد
- مدد کرتا ہے
- اس کی
- اعلی سطحی
- اعلی
- سب سے زیادہ
- امید ہے کہ
- گھنٹہ
- ہاؤس
- گھریلو
- ہاؤسنگ
- کس طرح
- کیسے
- HTML
- HTTP
- HTTPS
- ہائپر پیرامیٹر کی اصلاح
- ہائپر پیرامیٹر ٹیوننگ
- شناختی
- if
- پر عملدرآمد
- نفاذ
- درآمد
- درآمدات
- کو بہتر بنانے کے
- کو بہتر بنانے کے
- in
- شامل
- سمیت
- اضافہ
- اشارہ کرتے ہیں
- انفرادی
- انفرادی طور پر
- معلومات
- ان پٹ
- آدانوں
- داخل کرتا ہے
- بصیرت
- مثال کے طور پر
- کے بجائے
- ہدایات
- انضمام
- جان بوجھ کر
- مفادات
- انٹرفیس
- میں
- متعارف
- IT
- میں
- خود
- ایوب
- نوکریاں
- فوٹو
- صرف
- صرف ایک
- رکھیں
- کلیدی
- علم
- لیب
- بڑے
- بڑے
- بعد
- شروع
- شروع
- سیکھنے
- چھوڑ دیا
- لمبائی
- سطح
- سطح
- زندگی کا دورانیہ
- اٹھانے
- کی طرح
- امکان
- محدود
- لینکس
- لوڈ
- مقامی طور پر
- واقع ہے
- محل وقوع
- منطق
- منطقی
- لانگ
- اب
- دیکھو
- بہت
- سب سے کم
- مشین
- مشین لرننگ
- بہت سے
- زیادہ سے زیادہ
- مئی..
- مطلب
- کا مطلب ہے کہ
- ضم کریں
- کے ساتھ
- پیمائش کا معیار
- شاید
- منٹ
- لاپتہ
- ML
- ایم ایل اوپس
- ماڈل
- ماڈل
- نظر ثانی کرنے
- کی نگرانی
- نظر رکھتا ہے
- زیادہ
- سب سے زیادہ
- ایک سے زیادہ
- نام
- تنگ
- نیویگیٹ کرتا ہے
- ضرورت ہے
- نئی
- نیا
- اگلے
- نہیں
- کوئی بھی نہیں
- نوٹ بک
- کا کہنا
- اب
- تعداد
- عجیب
- اعتراض
- مقصد
- اشیاء
- of
- بند
- تجویز
- on
- ایک بار
- ایک
- صرف
- کھول
- آپریشنز
- زیادہ سے زیادہ
- اصلاح کے
- کی اصلاح کریں
- اصلاح
- or
- حکم
- OS
- دیگر
- دیگر
- باہر
- پیداوار
- باہر
- پر
- مجموعی طور پر
- صفحہ
- pandas
- متوازی
- پیرامیٹرز
- حصہ
- خاص طور پر
- پاسنگ
- جذباتی
- راستہ
- ادا
- انجام دیں
- کارکردگی
- کارکردگی کا مظاہرہ
- رہتا ہے
- ٹکڑے ٹکڑے
- پائپ لائن
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- ادا کرتا ہے
- پلگ
- پوائنٹ
- پوائنٹس
- پالیسی
- آبادی
- ممکن
- پوسٹ
- ممکنہ
- حقیقت پسندانہ
- پیشن گوئی
- پیش گو
- تیار
- ضروریات
- تحفہ
- کی روک تھام
- پہلے
- قیمتوں کا تعین
- پرائمری
- پرنٹ
- مسئلہ
- عمل
- پیدا
- پیداوار
- پروگرامنگ
- پیش رفت
- منصوبے
- منصوبوں
- وعدہ
- خصوصیات
- فراہم
- فراہم کرتا ہے
- فراہم کرنے
- عوامی
- مقصد
- ازگر
- بے ترتیب
- تیزی سے
- پہنچ گئی
- تیار
- وجہ
- حال ہی میں
- ہدایت
- سفارش
- ریکارڈ
- کو کم
- کم
- کا حوالہ دیتے ہیں
- حوالہ
- کے بارے میں
- ریجیکس
- خطے
- جاری
- متعلقہ
- باقی
- ہٹا
- دوبارہ
- ذخیرہ
- درخواست
- کی ضرورت
- ضرورت
- وسائل
- متعلقہ
- ذمہ دار
- محدود
- نتیجہ
- نتائج کی نمائش
- واپسی
- ٹھیک ہے
- کردار
- رن
- چل رہا ہے
- چلتا ہے
- رن ٹائم
- sagemaker
- سیج میکر خودکار ماڈل ٹیوننگ
- محفوظ
- پیمانے
- سکیلنگ
- سائنس
- سائنسدانوں
- سائنٹ سیکھنا
- گنجائش
- سکور
- اسکرپٹ
- سکرپٹ
- دوسری
- سیکنڈ
- سیکشن
- سیکشنز
- شعبے
- دیکھنا
- لگتا ہے
- منتخب
- انتخاب
- SELF
- سینئر
- علیحدہ
- خدمت
- بے سرور
- سروس
- سروسز
- اجلاس
- مقرر
- سیٹ
- ترتیبات
- سیٹ اپ
- وہ
- ہونا چاہئے
- ظاہر ہوا
- دکھایا گیا
- شوز
- سادہ
- آسان بنانا
- صرف
- ٹکڑا
- So
- حل
- حل
- حل
- کچھ
- خصوصی
- مخصوص
- تصریح
- وضاحتیں
- مخصوص
- تیزی
- تقسیم
- ڈھیر لگانا
- معیار
- شروع کریں
- شروع
- درجہ
- مرحلہ
- مراحل
- بند کرو
- بند کر دیا
- روکنا
- ذخیرہ
- ذخیرہ
- ذخیرہ کرنے
- حکمت عملی
- ساخت
- ڈھانچوں
- بعد میں
- اس طرح
- تائید
- ٹیبل
- موزوں
- لے لو
- ہدف
- ٹیم
- ٹیکنیکل
- تکنیک
- ٹیکنالوجی
- ٹرمنل
- ٹیسٹ
- ٹیسٹنگ
- کہ
- ۔
- ان
- ان
- تو
- وہاں.
- لہذا
- یہ
- وہ
- اس
- ان
- تین
- حد
- کے ذریعے
- وقت
- کرنے کے لئے
- مل کر
- کے آلے
- سب سے اوپر
- کل
- کی طرف
- روایتی
- ٹرین
- ٹریننگ
- تبدیلی
- مقدمے کی سماعت
- ٹرائلز
- کوشش کی
- ٹرگر
- متحرک
- ٹرگر
- کی کوشش کر رہے
- ٹیوننگ
- دو
- قسم
- اقسام
- عام طور پر
- ui
- کے تحت
- افہام و تفہیم
- منفرد
- جب تک
- ناپسندیدہ
- اپ لوڈ کردہ
- استعمال
- استعمال کی شرائط
- استعمال کیس
- استعمال کیا جاتا ہے
- استعمال
- کا استعمال کرتے ہوئے
- تصدیق کریں۔
- قیمت
- اقدار
- متغیر
- مختلف
- مختلف
- ورژن
- ورژن
- لنک
- تصور
- W
- انتظار
- واک تھرو
- چاہتے ہیں
- تھا
- راستہ..
- we
- ویب
- ویب خدمات
- اچھا ہے
- تھے
- کیا
- جب
- جبکہ
- چاہے
- جس
- کیوں
- گے
- ساتھ
- کے اندر
- بغیر
- کام
- کام کا بہاؤ
- کام کے بہاؤ
- کام کر
- گا
- لکھنا
- ابھی
- تم
- اور
- اپنے آپ کو
- زیفیرنیٹ