محققین کامن مشین لرننگ (ML) کاموں کے لیے نئے ماڈل آرکیٹیکچرز تیار کرتے رہتے ہیں۔ ایسا ہی ایک کام امیج کی درجہ بندی ہے، جہاں امیجز کو ان پٹ کے طور پر قبول کیا جاتا ہے اور ماڈل آبجیکٹ لیبل آؤٹ پٹس کے ساتھ تصویر کو مجموعی طور پر درجہ بندی کرنے کی کوشش کرتا ہے۔ آج کل دستیاب بہت سے ماڈلز کے ساتھ جو اس تصویر کی درجہ بندی کا کام انجام دیتے ہیں، ایک ML پریکٹیشنر سوالات پوچھ سکتا ہے جیسے: "مجھے اپنے ڈیٹا سیٹ پر بہترین کارکردگی حاصل کرنے کے لیے کون سا ماڈل ٹھیک کرنا چاہیے اور پھر تعینات کرنا چاہیے؟" اور ایک ML محقق اس طرح کے سوالات پوچھ سکتا ہے: "میں تربیت کے ہائپر پیرامیٹرس اور کمپیوٹر کی خصوصیات، جیسے GPUs، CPUs، اور RAM کو کنٹرول کرتے ہوئے ایک مخصوص ڈیٹاسیٹ کے خلاف متعدد ماڈل آرکیٹیکچرز کا اپنا منصفانہ موازنہ کیسے پیدا کر سکتا ہوں؟" سابقہ سوال پورے ماڈل آرکیٹیکچرز میں ماڈل کے انتخاب کو ایڈریس کرتا ہے، جب کہ مؤخر الذکر سوال ٹیسٹ ڈیٹاسیٹ کے خلاف تربیت یافتہ ماڈلز کی بینچ مارکنگ سے متعلق ہے۔
اس پوسٹ میں، آپ دیکھیں گے کہ کس طرح ٹینسر فلو امیج کی درجہ بندی کے الگورتھم ایمیزون سیج میکر جمپ اسٹارٹ ان سوالات کو حل کرنے کے لیے درکار عمل درآمد کو آسان بنا سکتا ہے۔ ایک ساتھ مل کر ایک اسی میں نفاذ کی تفصیلات کے ساتھ مثال کے طور پر Jupyter نوٹ بک، آپ کے پاس پیریٹو فرنٹیئرز کو دریافت کرکے ماڈل سلیکشن انجام دینے کے لیے ٹولز دستیاب ہوں گے، جہاں ایک پرفارمنس میٹرک کو بہتر بنانا، جیسے درستگی، دوسرے میٹرک کو خراب کیے بغیر ممکن نہیں ہے، جیسے تھرو پٹ۔
حل جائزہ
مندرجہ ذیل اعداد و شمار تصویری درجہ بندی کے ماڈلز کی ایک بڑی تعداد کے لیے ماڈل سلیکشن ٹریڈ آف کو واضح کرتا ہے۔ Caltech-256 ڈیٹا سیٹ، جو کہ 30,607 آبجیکٹ کیٹیگریز پر محیط 256 حقیقی دنیا کی تصاویر کا ایک چیلنجنگ سیٹ ہے۔ ہر نقطہ ایک واحد ماڈل کی نمائندگی کرتا ہے، پوائنٹ کے سائز کو ماڈل پر مشتمل پیرامیٹرز کی تعداد کے حوالے سے چھوٹا کیا جاتا ہے، اور پوائنٹس کو ان کے ماڈل کے فن تعمیر کی بنیاد پر رنگ کوڈ کیا جاتا ہے۔ مثال کے طور پر، ہلکے سبز پوائنٹس EfficientNet فن تعمیر کی نمائندگی کرتے ہیں۔ ہر ہلکا سبز نقطہ اس فن تعمیر کی ایک مختلف ترتیب ہے جس میں منفرد فائن ٹیونڈ ماڈل کی کارکردگی کی پیمائش ہے۔ اعداد و شمار ماڈل کے انتخاب کے لیے پیریٹو فرنٹیئر کے وجود کو ظاہر کرتا ہے، جہاں کم تھرو پٹ کے لیے اعلیٰ درستگی کا تبادلہ کیا جاتا ہے۔ بالآخر، pareto سرحد کے ساتھ ایک ماڈل کا انتخاب، یا pareto کے موثر حل کا سیٹ، آپ کے ماڈل کی تعیناتی کی کارکردگی کی ضروریات پر منحصر ہے۔
اگر آپ جانچ کی درستگی کا مشاہدہ کرتے ہیں اور دلچسپی کے تھرو پٹ فرنٹیئرز کو جانچتے ہیں تو، پچھلے اعداد و شمار پر پیریٹو موثر حل کا سیٹ مندرجہ ذیل جدول میں نکالا گیا ہے۔ قطاروں کو اس طرح ترتیب دیا گیا ہے کہ ٹیسٹ تھرو پٹ بڑھ رہا ہے اور ٹیسٹ کی درستگی کم ہو رہی ہے۔
ماڈل کا نام | پیرامیٹرز کی تعداد | ٹیسٹ کی درستگی | ٹیسٹ ٹاپ 5 درستگی | تھرو پٹ (تصاویر/s) | دورانیہ فی زمانہ |
swin-large-patch4-window12-384 | 195.6M | 96.4٪ | 99.5٪ | 0.3 | 2278.6 |
swin-large-patch4-window7-224 | 195.4M | 96.1٪ | 99.5٪ | 1.1 | 698.0 |
efficientnet-v2-imagenet21k-ft1k-l | 118.1M | 95.1٪ | 99.2٪ | 4.5 | 1434.7 |
efficientnet-v2-imagenet21k-ft1k-m | 53.5M | 94.8٪ | 99.1٪ | 8.0 | 769.1 |
efficientnet-v2-imagenet21k-m | 53.5M | 93.1٪ | 98.5٪ | 8.0 | 765.1 |
efficientnet-b5 | 29.0M | 90.8٪ | 98.1٪ | 9.1 | 668.6 |
efficientnet-v2-imagenet21k-ft1k-b1 | 7.3M | 89.7٪ | 97.3٪ | 14.6 | 54.3 |
efficientnet-v2-imagenet21k-ft1k-b0 | 6.2M | 89.0٪ | 97.0٪ | 20.5 | 38.3 |
efficientnet-v2-imagenet21k-b0 | 6.2M | 87.0٪ | 95.6٪ | 21.5 | 38.2 |
mobilenet-v3-large-100-224 | 4.6M | 84.9٪ | 95.4٪ | 27.4 | 28.8 |
mobilenet-v3-large-075-224 | 3.1M | 83.3٪ | 95.2٪ | 30.3 | 26.6 |
mobilenet-v2-100-192 | 2.6M | 80.8٪ | 93.5٪ | 33.5 | 23.9 |
mobilenet-v2-100-160 | 2.6M | 80.2٪ | 93.2٪ | 40.0 | 19.6 |
mobilenet-v2-075-160 | 1.7M | 78.2٪ | 92.8٪ | 41.8 | 19.3 |
mobilenet-v2-075-128 | 1.7M | 76.1٪ | 91.1٪ | 44.3 | 18.3 |
mobilenet-v1-075-160 | 2.0M | 75.7٪ | 91.0٪ | 44.5 | 18.2 |
mobilenet-v1-100-128 | 3.5M | 75.1٪ | 90.7٪ | 47.4 | 17.4 |
mobilenet-v1-075-128 | 2.0M | 73.2٪ | 90.0٪ | 48.9 | 16.8 |
mobilenet-v2-075-96 | 1.7M | 71.9٪ | 88.5٪ | 49.4 | 16.6 |
mobilenet-v2-035-96 | 0.7M | 63.7٪ | 83.1٪ | 50.4 | 16.3 |
mobilenet-v1-025-128 | 0.3M | 59.0٪ | 80.7٪ | 50.8 | 16.2 |
یہ پوسٹ بڑے پیمانے پر لاگو کرنے کے طریقہ کے بارے میں تفصیلات فراہم کرتی ہے۔ ایمیزون سیج میکر بینچ مارکنگ اور ماڈل کے انتخاب کے کام۔ سب سے پہلے، ہم JumpStart اور بلٹ ان TensorFlow امیج کی درجہ بندی الگورتھم متعارف کراتے ہیں۔ اس کے بعد ہم اعلی سطحی نفاذ کے تحفظات پر تبادلہ خیال کرتے ہیں، جیسے جمپ اسٹارٹ ہائپر پیرامیٹر کنفیگریشنز، میٹرک نکالنے سے ایمیزون کلاؤڈ واچ لاگز، اور غیر مطابقت پذیر ہائپر پیرامیٹر ٹیوننگ جابز شروع کرنا۔ آخر میں، ہم نفاذ کے ماحول اور پیرامیٹرائزیشن کا احاطہ کرتے ہیں جس کے نتیجے میں پچھلے جدول اور اعداد و شمار میں pareto کے موثر حل ہوتے ہیں۔
جمپ اسٹارٹ ٹینسر فلو امیج کی درجہ بندی کا تعارف
جمپ سٹارٹ مقبول ML ٹاسکس میں پہلے سے تربیت یافتہ ماڈلز کی وسیع اقسام کی ایک کلک پر فائن ٹیوننگ اور تعیناتی فراہم کرتا ہے، نیز اختتام سے آخر تک حل کا انتخاب جو عام کاروباری مسائل کو حل کرتا ہے۔ یہ خصوصیات ML عمل کے ہر مرحلے سے بھاری اٹھانے کو ہٹا دیتی ہیں، جس سے اعلیٰ معیار کے ماڈلز تیار کرنا آسان ہو جاتا ہے اور تعیناتی میں وقت کم ہوتا ہے۔ دی جمپ اسٹارٹ APIs آپ کو اپنے ڈیٹا سیٹس پر پہلے سے تربیت یافتہ ماڈلز کے ایک وسیع انتخاب کو پروگرامی طور پر تعینات کرنے اور ٹھیک کرنے کی اجازت دیتا ہے۔
جمپ سٹارٹ ماڈل ہب ایک بڑی تعداد تک رسائی فراہم کرتا ہے۔ TensorFlow امیج کی درجہ بندی کے ماڈل جو کہ کسٹم ڈیٹا سیٹس پر ٹرانسفر لرننگ اور فائن ٹیوننگ کو قابل بناتا ہے۔ اس تحریر کے مطابق، جمپ سٹارٹ ماڈل ہب میں 135 ٹینسر فلو امیج کی درجہ بندی کے ماڈلز شامل ہیں جن میں مختلف قسم کے مشہور ماڈل آرکیٹیکچرز ہیں۔ ٹینسر فلو حببقایا نیٹ ورکس کو شامل کرنے کے لیے (ریس نیٹ), موبائل نیٹ, EfficientNet, شاندار آغازنیورل آرکیٹیکچر سرچ نیٹ ورکس (NASNet)، بڑی منتقلی (بی ٹی)، شفٹ شدہ ونڈو (سوئین) ٹرانسفارمرز، تصویری ٹرانسفارمرز میں کلاس توجہ (CaiT)، اور ڈیٹا موثر تصویری ٹرانسفارمرز (ڈی آئی ٹی).
بالکل مختلف اندرونی ڈھانچے ہر ماڈل کے فن تعمیر پر مشتمل ہوتے ہیں۔ مثال کے طور پر، ResNet ماڈلز کافی گہرے نیٹ ورکس کی اجازت دینے کے لیے کنکشن کو چھوڑنے کا استعمال کرتے ہیں، جب کہ ٹرانسفارمر پر مبنی ماڈلز خود دھیان دینے والے میکانزم کا استعمال کرتے ہیں جو زیادہ عالمی قابل قبول شعبوں کے حق میں کنولیشن آپریشنز کے اندرونی مقام کو ختم کرتے ہیں۔ متنوع خصوصیت کے سیٹوں کے علاوہ یہ مختلف ڈھانچہ فراہم کرتے ہیں، ہر ماڈل کے فن تعمیر میں کئی کنفیگریشنز ہوتے ہیں جو اس فن تعمیر کے اندر ماڈل کے سائز، شکل اور پیچیدگی کو ایڈجسٹ کرتے ہیں۔ اس کے نتیجے میں جمپ اسٹارٹ ماڈل ہب پر سینکڑوں منفرد تصویری درجہ بندی کے ماڈل دستیاب ہیں۔ بلٹ ان ٹرانسفر لرننگ اور انفرنس اسکرپٹس کے ساتھ مل کر جس میں SageMaker کی بہت سی خصوصیات شامل ہیں، JumpStart API ML پریکٹیشنرز کے لیے ٹریننگ شروع کرنے اور ماڈلز کو تیزی سے تعینات کرنے کے لیے ایک بہترین لانچنگ پوائنٹ ہے۔
کا حوالہ دیتے ہیں Amazon SageMaker میں TensorFlow امیج کی درجہ بندی کے ماڈلز کے لیے سیکھنے کو منتقل کریں۔ اور مندرجہ ذیل مثال کے طور پر نوٹ بک مزید گہرائی میں SageMaker TensorFlow امیج کی درجہ بندی کے بارے میں جاننے کے لیے، بشمول پہلے سے تربیت یافتہ ماڈل پر انفرنس کو کیسے چلانا ہے اور ساتھ ہی حسب ضرورت ڈیٹا سیٹ پر پہلے سے تربیت یافتہ ماڈل کو ٹھیک کرنا ہے۔
بڑے پیمانے پر ماڈل کے انتخاب کے تحفظات
ماڈل کا انتخاب امیدواروں کے ماڈلز کے سیٹ سے بہترین ماڈل کو منتخب کرنے کا عمل ہے۔ اس عمل کو ایک ہی قسم کے ماڈلز پر مختلف پیرامیٹر وزن کے ساتھ اور مختلف اقسام کے ماڈلز پر لاگو کیا جا سکتا ہے۔ ایک ہی قسم کے ماڈلز میں ماڈل کے انتخاب کی مثالوں میں ایک ہی ماڈل کو مختلف ہائپر پیرامیٹرس (مثال کے طور پر سیکھنے کی شرح) کے ساتھ فٹ کرنا اور ٹرین ڈیٹاسیٹ میں ماڈل وزن کی اوور فٹنگ کو روکنے کے لیے جلد روکنا شامل ہے۔ مختلف اقسام کے ماڈلز میں ماڈل کے انتخاب میں بہترین ماڈل فن تعمیر کا انتخاب شامل ہے (مثال کے طور پر، Swin بمقابلہ MobileNet) اور ایک ماڈل فن تعمیر کے اندر بہترین ماڈل کنفیگریشنز کا انتخاب کرنا (مثال کے طور پر، mobilenet-v1-025-128
بمقابلہ mobilenet-v3-large-100-224
).
اس سیکشن میں بیان کردہ تحفظات ماڈل کے انتخاب کے ان تمام عملوں کو توثیق کے ڈیٹاسیٹ پر قابل بناتے ہیں۔
ہائپر پیرامیٹر کنفیگریشنز کو منتخب کریں۔
جمپ اسٹارٹ میں ٹینسر فلو امیج کی درجہ بندی بڑی تعداد میں دستیاب ہے۔ ہائپرپیرامیٹر جو تمام ماڈل آرکیٹیکچرز کے لیے ٹرانسفر لرننگ اسکرپٹ رویے کو یکساں طور پر ایڈجسٹ کر سکتا ہے۔ یہ ہائپر پیرامیٹر ڈیٹا کو بڑھانے اور پری پروسیسنگ، آپٹیمائزر تفصیلات، اوور فٹنگ کنٹرولز، اور قابل تربیت پرت اشارے سے متعلق ہیں۔ آپ کو ان ہائپرپیرامیٹرس کی ڈیفالٹ قدروں کو ایڈجسٹ کرنے کی ترغیب دی جاتی ہے جیسا کہ آپ کی درخواست کے لیے ضروری ہے:
اس تجزیہ اور متعلقہ نوٹ بک کے لیے، تمام ہائپر پیرامیٹر پہلے سے طے شدہ اقدار پر سیٹ ہیں سوائے سیکھنے کی شرح، عہدوں کی تعداد، اور ابتدائی رکنے کی تفصیلات کے۔ سیکھنے کی شرح کو a کے طور پر ایڈجسٹ کیا جاتا ہے۔ واضح پیرامیٹر کی طرف سے سیج میکر خودکار ماڈل ٹیوننگ نوکری چونکہ ہر ماڈل کی منفرد ڈیفالٹ ہائپر پیرامیٹر اقدار ہوتی ہیں، اس لیے سیکھنے کی ممکنہ شرحوں کی مجرد فہرست میں پہلے سے طے شدہ سیکھنے کی شرح کے ساتھ ساتھ پہلے سے طے شدہ سیکھنے کی شرح کا پانچواں حصہ بھی شامل ہوتا ہے۔ یہ ایک ہی ہائپر پیرامیٹر ٹیوننگ جاب کے لیے دو تربیتی جاب شروع کرتا ہے، اور توثیق ڈیٹاسیٹ پر بہترین رپورٹ کردہ کارکردگی کے ساتھ تربیتی جاب کا انتخاب کیا جاتا ہے۔ چونکہ عہدوں کی تعداد 10 پر سیٹ کی گئی ہے، جو پہلے سے طے شدہ ہائپر پیرامیٹر کی ترتیب سے زیادہ ہے، اس لیے منتخب کردہ بہترین تربیتی جاب ہمیشہ پہلے سے طے شدہ سیکھنے کی شرح سے مطابقت نہیں رکھتا۔ آخر میں، ابتدائی رکنے کا معیار صبر کے ساتھ استعمال کیا جاتا ہے، یا تین عہدوں میں سے بغیر کسی بہتری کے تربیت جاری رکھنے کے لیے دوروں کی تعداد۔
خاص اہمیت کی ایک ڈیفالٹ ہائپر پیرامیٹر ترتیب ہے۔ train_only_on_top_layer
, کہاں، اگر سیٹ ہے True
، فراہم کردہ تربیتی ڈیٹاسیٹ پر ماڈل کی خصوصیت نکالنے کی پرتیں ٹھیک نہیں ہیں۔ آپٹیمائزر ڈیٹا سیٹ میں کلاس لیبلز کی تعداد کے برابر آؤٹ پٹ ڈائمینشنلٹی کے ساتھ صرف سب سے اوپر مکمل طور پر منسلک درجہ بندی کی پرت میں پیرامیٹرز کو تربیت دے گا۔ پہلے سے طے شدہ طور پر، یہ ہائپر پیرامیٹر سیٹ ہے۔ True
، جو چھوٹے ڈیٹا سیٹس پر ٹرانسفر لرننگ کے لیے ہدف کی ترتیب ہے۔ آپ کے پاس ایک حسب ضرورت ڈیٹا سیٹ ہو سکتا ہے جہاں امیج نیٹ ڈیٹاسیٹ پر پری ٹریننگ سے فیچر نکالنا کافی نہیں ہے۔ ان صورتوں میں، آپ کو مقرر کرنا چاہئے train_only_on_top_layer
کرنے کے لئے False
. اگرچہ اس ترتیب سے تربیت کا وقت بڑھ جائے گا، لیکن آپ اپنی دلچسپی کے مسئلے کے لیے مزید معنی خیز خصوصیات نکالیں گے، اس طرح درستگی میں اضافہ ہوگا۔
CloudWatch لاگز سے میٹرکس نکالیں۔
جمپ سٹارٹ ٹینسر فلو امیج کی درجہ بندی الگورتھم ٹریننگ کے دوران متعدد میٹرکس کو قابل اعتماد طریقے سے لاگ کرتا ہے جو SageMaker کے لیے قابل رسائی ہیں۔ Estimator
اور HyperparameterTuner اشیاء۔ سیج میکر کا کنسٹرکٹر Estimator
ہے ایک metric_definitions
مطلوبہ الفاظ کی دلیل، جسے دو کلیدوں کے ساتھ لغات کی فہرست فراہم کر کے تربیتی کام کا جائزہ لینے کے لیے استعمال کیا جا سکتا ہے: میٹرک کے نام کے لیے نام، اور Regex
لاگز سے میٹرک نکالنے کے لیے استعمال ہونے والے ریگولر ایکسپریشن کے لیے۔ ساتھ دینے والا نوٹ بک عمل درآمد کی تفصیلات دکھاتا ہے۔ درج ذیل جدول میں تمام جمپ اسٹارٹ ٹینسر فلو امیج کی درجہ بندی کے ماڈلز کے لیے دستیاب میٹرکس اور متعلقہ ریگولر ایکسپریشنز کی فہرست دی گئی ہے۔
میٹرک نام | باقاعدہ اظہار |
پیرامیٹرز کی تعداد | "- پیرامیٹرز کی تعداد: ([0-9\.]+)" |
قابل تربیت پیرامیٹرز کی تعداد | "- قابل تربیت پیرامیٹرز کی تعداد: ([0-9\.]+)" |
غیر تربیتی پیرامیٹرز کی تعداد | "- غیر تربیت یافتہ پیرامیٹرز کی تعداد: ([0-9\.]+)" |
ٹرین ڈیٹاسیٹ میٹرک | f”- {میٹرک}: ([0-9\.]+)” |
توثیق ڈیٹاسیٹ میٹرک | f"- val_{میٹرک}: ([0-9\.]+)" |
ٹیسٹ ڈیٹاسیٹ میٹرک | f”- ٹیسٹ {میٹرک}: ([0-9\.]+)” |
ٹرین کی مدت | "- کل تربیت کا دورانیہ: ([0-9\.]+)" |
ٹرین کی مدت فی دور | "- فی زمانہ تربیت کا اوسط دورانیہ: ([0-9\.]+)" |
ٹیسٹ کی تشخیص میں تاخیر | "- جانچ کی تشخیص میں تاخیر: ([0-9\.]+)" |
ٹیسٹ میں تاخیر فی نمونہ | "- فی نمونہ اوسط ٹیسٹ تاخیر: ([0-9\.]+)" |
ٹیسٹ تھرو پٹ | "- اوسط ٹیسٹ تھرو پٹ: ([0-9\.]+)" |
بلٹ ان ٹرانسفر لرننگ اسکرپٹ ان تعریفوں کے اندر مختلف قسم کی ٹرین، توثیق، اور ٹیسٹ ڈیٹاسیٹ میٹرکس فراہم کرتا ہے، جیسا کہ f-string کی تبدیلی کی اقدار سے ظاہر ہوتا ہے۔ دستیاب درست میٹرکس درجہ بندی کی قسم کی بنیاد پر مختلف ہوتی ہیں۔ تمام مرتب کردہ ماڈلز میں a ہے۔ loss
میٹرک، جس کی نمائندگی بائنری یا زمرہ بندی کے مسئلے کے لیے کراس اینٹروپی نقصان سے ہوتی ہے۔ سابقہ استعمال کیا جاتا ہے جب ایک کلاس لیبل ہو؛ مؤخر الذکر استعمال کیا جاتا ہے اگر دو یا زیادہ کلاس لیبل ہوں۔ اگر صرف ایک کلاس لیبل ہے، تو مندرجہ ذیل میٹرکس کو شمار کیا جاتا ہے، لاگ ان کیا جاتا ہے، اور پچھلے جدول میں f-string کے ریگولر ایکسپریشنز کے ذریعے نکالا جا سکتا ہے: حقیقی مثبت کی تعداد (true_pos
)، غلط مثبت کی تعداد (false_pos
)، حقیقی منفی کی تعداد (true_neg
جھوٹے منفی کی تعداد (false_neg
), precision
, recall
وصول کنندہ آپریٹنگ خصوصیت (ROC) وکر کے تحت علاقہ (auc
)، اور رقبہ پریزیشن-ریکال (PR) وکر (prc
)۔ اسی طرح، اگر چھ یا اس سے زیادہ کلاس لیبلز ہیں، تو ٹاپ 5 درستگی میٹرک (top_5_accuracy
) کا حساب، لاگ ان، اور پچھلے ریگولر ایکسپریشنز کے ذریعے نکالا جا سکتا ہے۔
تربیت کے دوران، سیج میکر کے لیے مخصوص کردہ میٹرکس Estimator
CloudWatch لاگز میں خارج ہوتے ہیں۔ جب تربیت مکمل ہو جائے تو، آپ کو طلب کر سکتے ہیں۔ SageMaker DescribeTrainingJob API اور معائنہ کریں FinalMetricDataList
JSON جواب میں کلید:
اس API کو استفسار کے لیے صرف نوکری کا نام فراہم کرنے کی ضرورت ہے، لہذا، مکمل ہونے کے بعد، میٹرکس کو مستقبل کے تجزیوں میں حاصل کیا جا سکتا ہے جب تک کہ تربیتی ملازمت کا نام مناسب طور پر لاگ اور قابل بازیافت ہو۔ اس ماڈل کے انتخاب کے کام کے لیے، ہائپر پیرامیٹر ٹیوننگ جاب کے نام محفوظ کیے جاتے ہیں اور بعد کے تجزیے دوبارہ منسلک ہوتے ہیں۔ HyperparameterTuner
آبجیکٹ کو ٹیوننگ جاب کا نام دیا گیا ہے، منسلک ہائپر پیرامیٹر ٹیونر سے بہترین تربیتی جاب کا نام نکالیں، اور پھر اس کو طلب کریں۔ DescribeTrainingJob
API جیسا کہ پہلے بیان کیا گیا ہے تاکہ بہترین تربیتی کام سے وابستہ میٹرکس حاصل کریں۔
غیر مطابقت پذیر ہائپر پیرامیٹر ٹیوننگ جابز شروع کریں۔
متعلقہ سے رجوع کریں۔ نوٹ بک غیر مطابقت پذیر طور پر ہائپر پیرامیٹر ٹیوننگ جابز شروع کرنے پر عمل درآمد کی تفصیلات کے لیے، جو ازگر کی معیاری لائبریری کا استعمال کرتی ہے سمورتی مستقبل ماڈیول، غیر مطابقت پذیری سے چلنے والے کال ایبلز کے لیے ایک اعلیٰ سطحی انٹرفیس۔ اس حل میں سیج میکر سے متعلق متعدد تحفظات نافذ کیے گئے ہیں:
- ہر AWS اکاؤنٹ اس سے وابستہ ہے۔ سیج میکر سروس کوٹہ. آپ کو اپنے وسائل کو مکمل طور پر استعمال کرنے کے لیے اپنی موجودہ حدود کو دیکھنا چاہیے اور ضرورت کے مطابق وسائل کی حد میں اضافے کی ممکنہ طور پر درخواست کرنی چاہیے۔
- کئی بیک وقت ہائپر پیرامیٹر ٹیوننگ جابز بنانے کے لیے بار بار API کالز ہو سکتی ہیں۔ Python SDK کی شرح سے تجاوز کریں اور تھروٹلنگ مستثنیات کو پھینک دیں۔. اس کا حل یہ ہے کہ حسب ضرورت دوبارہ کوشش کرنے کی ترتیب کے ساتھ سیج میکر بوٹو 3 کلائنٹ بنائیں۔
- کیا ہوتا ہے اگر آپ کے اسکرپٹ میں خرابی کا سامنا ہوتا ہے یا اسکرپٹ کو مکمل ہونے سے پہلے روک دیا جاتا ہے؟ اتنے بڑے ماڈل سلیکشن یا بینچ مارکنگ اسٹڈی کے لیے، آپ ملازمت کے ناموں کو ٹیوننگ کر سکتے ہیں اور سہولت کے افعال فراہم کر سکتے ہیں۔ ہائپر پیرامیٹر ٹیوننگ جابز کو دوبارہ جوڑیں۔ جو پہلے سے موجود ہے:
تجزیہ کی تفصیلات اور بحث
اس پوسٹ میں تجزیہ ٹرانسفر لرننگ کو انجام دیتا ہے۔ ماڈل IDs Caltech-256 ڈیٹاسیٹ پر JumpStart TensorFlow تصویری درجہ بندی الگورتھم میں۔ تمام تربیتی ملازمتیں SageMaker ٹریننگ مثال ml.g4dn.xlarge پر انجام دی گئیں، جس میں ایک NVIDIA T4 GPU ہے۔
ٹیسٹ ڈیٹاسیٹ کا اندازہ ٹریننگ کے اختتام پر ٹریننگ مثال پر کیا جاتا ہے۔ ماڈل کا انتخاب ٹیسٹ ڈیٹاسیٹ کی تشخیص سے پہلے انجام دیا جاتا ہے تاکہ ماڈل کے وزن کو عہد میں بہترین توثیق سیٹ کارکردگی کے ساتھ مقرر کیا جا سکے۔ ٹیسٹ تھرو پٹ کو بہتر نہیں بنایا گیا ہے: ڈیٹاسیٹ بیچ کا سائز ڈیفالٹ ٹریننگ ہائپر پیرامیٹر بیچ سائز پر سیٹ ہے، جسے GPU میموری کے استعمال کو زیادہ سے زیادہ کرنے کے لیے ایڈجسٹ نہیں کیا گیا ہے۔ رپورٹ شدہ ٹیسٹ تھرو پٹ میں ڈیٹا لوڈنگ کا وقت شامل ہوتا ہے کیونکہ ڈیٹاسیٹ پہلے سے کیشڈ نہیں ہوتا ہے۔ اور متعدد GPUs میں تقسیم شدہ تخمینہ استعمال نہیں کیا جاتا ہے۔ ان وجوہات کی بناء پر، یہ تھرو پٹ ایک اچھی رشتہ دار پیمائش ہے، لیکن اصل تھرو پٹ تربیت یافتہ ماڈل کے لیے آپ کے انفرنس اینڈ پوائنٹ ڈیپلائمنٹ کنفیگریشنز پر بہت زیادہ انحصار کرے گا۔
اگرچہ جمپ سٹارٹ ماڈل ہب میں تصویری درجہ بندی کے فن تعمیر کی بہت سی قسمیں شامل ہیں، لیکن اس پاریٹو فرنٹیئر پر Swin، EfficientNet، اور MobileNet ماڈلز کا غلبہ ہے۔ Swin ماڈل بڑے اور نسبتاً زیادہ درست ہیں، جبکہ MobileNet ماڈل چھوٹے، نسبتاً کم درست، اور موبائل آلات کے وسائل کی رکاوٹوں کے لیے موزوں ہیں۔ یہ نوٹ کرنا ضروری ہے کہ یہ سرحد مختلف عوامل پر مشروط ہے، بشمول استعمال شدہ درست ڈیٹاسیٹ اور فائن ٹیوننگ ہائپر پیرامیٹرس۔ آپ کو معلوم ہو سکتا ہے کہ آپ کا حسب ضرورت ڈیٹا سیٹ pareto کے موثر حل کا ایک مختلف سیٹ تیار کرتا ہے، اور آپ مختلف ہائپر پیرامیٹرس کے ساتھ طویل تربیتی وقت کی خواہش کر سکتے ہیں، جیسے کہ ماڈل کی صرف اعلی درجہ بندی کی تہہ سے زیادہ ڈیٹا کو بڑھانا یا ٹھیک ٹیوننگ کرنا۔
نتیجہ
اس پوسٹ میں، ہم نے دکھایا کہ جمپ اسٹارٹ ماڈل ہب کا استعمال کرتے ہوئے بڑے پیمانے پر ماڈل کے انتخاب یا بینچ مارکنگ کے کاموں کو کیسے چلایا جائے۔ یہ حل آپ کی ضروریات کے لیے بہترین ماڈل منتخب کرنے میں آپ کی مدد کر سکتا ہے۔ ہم آپ کو اس کو آزمانے اور دریافت کرنے کی ترغیب دیتے ہیں۔ حل آپ کے اپنے ڈیٹاسیٹ پر۔
حوالہ جات
مزید معلومات درج ذیل وسائل پر دستیاب ہے:
مصنفین کے بارے میں
ڈاکٹر کائل الریچ کے ساتھ ایک اپلائیڈ سائنٹسٹ ہے۔ ایمیزون سیج میکر بلٹ ان الگورتھم ٹیم اس کی تحقیقی دلچسپیوں میں توسیع پذیر مشین لرننگ الگورتھم، کمپیوٹر ویژن، ٹائم سیریز، بایسیئن نان پیرامیٹرکس، اور گاوسی عمل شامل ہیں۔ اس کی پی ایچ ڈی ڈیوک یونیورسٹی سے ہے اور اس نے نیور آئی پی ایس، سیل اور نیوران میں مقالے شائع کیے ہیں۔
ڈاکٹر آشیش کھیتان کے ساتھ ایک سینئر اپلائیڈ سائنٹسٹ ہے۔ ایمیزون سیج میکر بلٹ ان الگورتھم اور مشین لرننگ الگورتھم تیار کرنے میں مدد کرتا ہے۔ انہوں نے یونیورسٹی آف الینوائے اربانا چیمپین سے پی ایچ ڈی کی ڈگری حاصل کی۔ وہ مشین لرننگ اور شماریاتی اندازہ میں ایک فعال محقق ہے اور اس نے NeurIPS، ICML، ICLR، JMLR، ACL، اور EMNLP کانفرنسوں میں بہت سے مقالے شائع کیے ہیں۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو بلاک چین۔ Web3 Metaverse Intelligence. علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/machine-learning/image-classification-model-selection-using-amazon-sagemaker-jumpstart/
- 10
- 100
- 7
- 9
- a
- ہمارے بارے میں
- تک رسائی حاصل
- قابل رسائی
- اکاؤنٹ
- درستگی
- درست
- حاصل
- کے پار
- فعال
- اس کے علاوہ
- پتہ
- پتے
- ایڈجسٹ
- وابستہ
- کے خلاف
- یلگورتم
- یلگوردمز
- تمام
- پہلے ہی
- اگرچہ
- ہمیشہ
- ایمیزون
- ایمیزون سیج میکر
- ایمیزون سیج میکر جمپ اسٹارٹ
- تجزیہ
- تجزیہ
- اور
- ایک اور
- اے پی آئی
- درخواست
- اطلاقی
- مناسب طریقے سے
- فن تعمیر
- رقبہ
- دلیل
- منسلک
- منسلک کریں
- کوششیں
- خودکار
- دستیاب
- اوسط
- AWS
- کی بنیاد پر
- Bayesian
- کیونکہ
- اس سے پہلے
- کیا جا رہا ہے
- بینچ مارکنگ
- BEST
- بگ
- تعمیر میں
- کاروبار
- کالز
- امیدوار
- مقدمات
- اقسام
- چیلنج
- خصوصیت
- میں سے انتخاب کریں
- طبقے
- درجہ بندی
- درجہ بندی کرنا۔
- کلائنٹ
- مل کر
- کامن
- موازنہ
- مکمل
- مکمل
- تکمیل
- پیچیدگی
- کمپیوٹر
- کمپیوٹر ویژن
- اندراج
- کانفرنسوں
- ترتیب
- منسلک
- کنکشن
- خیالات
- رکاوٹوں
- پر مشتمل ہے
- جاری
- کنٹرولنگ
- کنٹرول
- سہولت
- اسی کے مطابق
- احاطہ
- تخلیق
- موجودہ
- وکر
- اپنی مرضی کے
- اعداد و شمار
- ڈیٹاسیٹس
- گہرے
- پہلے سے طے شدہ
- انحصار کرتا ہے
- تعیناتی
- تعینات
- تعیناتی
- گہرائی
- بیان کیا
- تفصیل
- تفصیلات
- ترقی
- کے الات
- مختلف
- بات چیت
- تقسیم کئے
- متنوع
- نہیں کرتا
- ڈیوک
- ڈیوک یونیورسٹی
- کے دوران
- ہر ایک
- اس سے قبل
- ابتدائی
- آسان
- ہنر
- یا تو
- کا خاتمہ
- کو چالو کرنے کے
- کی حوصلہ افزائی
- حوصلہ افزائی
- آخر سے آخر تک
- اختتام پوائنٹ
- ماحولیات
- عہد
- زمانے
- خرابی
- اندازہ
- اندازہ
- تشخیص
- مثال کے طور پر
- مثال کے طور پر
- اس کے علاوہ
- تلاش
- ایکسپلور
- اظہار
- نکالنے
- عوامل
- منصفانہ
- کی حمایت
- نمایاں کریں
- خصوصیات
- قطعات
- اعداد و شمار
- آخر
- مل
- پہلا
- فٹنگ
- کے بعد
- سابق
- سے
- فرنٹیئر
- سرحدوں
- مکمل طور پر
- افعال
- مستقبل
- فیوچرز
- پیدا
- حاصل
- دی
- گلوبل
- اچھا
- GPU
- GPUs
- عظیم
- زیادہ سے زیادہ
- سبز
- ہوتا ہے
- بھاری
- مدد
- مدد کرتا ہے
- اعلی سطحی
- اعلی معیار کی
- اعلی
- کس طرح
- کیسے
- HTML
- HTTPS
- حب
- سینکڑوں
- ہائپر پیرامیٹر ٹیوننگ
- ایلی نوائے
- تصویر
- تصویر کی درجہ بندی
- تصاویر
- پر عملدرآمد
- نفاذ
- عملدرآمد
- اہمیت
- اہم
- بہتری
- کو بہتر بنانے کے
- in
- شامل
- شامل ہیں
- سمیت
- اضافہ
- اضافہ
- اضافہ
- انڈیکیٹر
- معلومات
- ان پٹ
- مثال کے طور پر
- دلچسپی
- مفادات
- انٹرفیس
- اندرونی
- اندرونی
- متعارف کرانے
- IT
- ایوب
- نوکریاں
- JSON
- کلیدی
- چابیاں
- لیبل
- لیبل
- بڑے
- بڑے پیمانے پر
- بڑے
- تاخیر
- آغاز
- شروع
- پرت
- تہوں
- معروف
- جانیں
- سیکھنے
- اٹھانے
- روشنی
- LIMIT
- حدود
- لسٹ
- فہرستیں
- لوڈ کر رہا ہے
- لانگ
- اب
- بند
- مشین
- مشین لرننگ
- بنانا
- بہت سے
- زیادہ سے زیادہ
- بامعنی
- پیمائش
- یاد داشت
- میٹرک۔
- پیمائش کا معیار
- ML
- موبائل
- موبائل آلات
- ماڈل
- ماڈل
- ماڈیول
- زیادہ
- ایک سے زیادہ
- نام
- نام
- ضروری
- ضروریات
- نیٹ ورک
- نئی
- نوٹ بک
- تعداد
- NVIDIA
- اعتراض
- اشیاء
- مشاہدہ
- حاصل
- حاصل کی
- ایک
- کام
- آپریشنز
- اصلاح
- بیان کیا
- خود
- کاغذات
- پیرامیٹر
- پیرامیٹرز
- خاص طور پر
- صبر
- انجام دیں
- کارکردگی
- کارکردگی کا مظاہرہ
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- پوائنٹ
- پوائنٹس
- مقبول
- ممکن
- پوسٹ
- ممکنہ طور پر
- pr
- کی روک تھام
- پہلے
- مسئلہ
- مسائل
- عمل
- عمل
- فراہم
- فراہم
- فراہم کرتا ہے
- فراہم کرنے
- شائع
- ازگر
- سوال
- سوالات
- جلدی سے
- RAM
- شرح
- قیمتیں
- حقیقی دنیا
- وجوہات
- کو کم کرنے
- باقاعدہ
- نسبتا
- ہٹا
- اطلاع دی
- کی نمائندگی
- نمائندگی
- کی نمائندگی کرتا ہے
- درخواست
- ضرورت
- ضروریات
- کی ضرورت ہے
- تحقیق
- محقق
- قرارداد
- وسائل
- وسائل
- جواب
- نتائج کی نمائش
- رن
- چل رہا ہے
- sagemaker
- اسی
- توسیع پذیر
- سائنسدان
- سکرپٹ
- sdk
- تلاش کریں
- سیکشن
- منتخب
- منتخب
- انتخاب
- سینئر
- سیریز
- سروس
- اجلاس
- مقرر
- سیٹ
- قائم کرنے
- کئی
- شکل
- ہونا چاہئے
- شوز
- اسی طرح
- آسان بنانے
- ایک
- چھ
- سائز
- سائز
- چھوٹے
- چھوٹے
- So
- حل
- حل
- حل
- تصریح
- وضاحتیں
- مخصوص
- معیار
- شروع
- شماریات
- مرحلہ
- بند کر دیا
- روکنا
- ذخیرہ
- مطالعہ
- بعد میں
- اس طرح
- کافی
- موزوں
- ٹیبل
- ھدف بنائے گئے
- ٹاسک
- کاموں
- ٹیم
- ٹیسسرور
- ٹیسٹ
- ۔
- ان
- اس طرح
- تین
- تھرو پٹ
- وقت
- وقت کا سلسلہ
- اوقات
- کرنے کے لئے
- آج
- مل کر
- اوزار
- سب سے اوپر
- اوپر 5
- کل
- ٹرین
- تربیت یافتہ
- ٹریننگ
- منتقل
- ٹرانسفارمرز
- سچ
- اقسام
- آخر میں
- کے تحت
- منفرد
- یونیورسٹی
- استعمال
- استعمال کی شرائط
- استعمال
- استعمال کیا
- توثیق
- اقدار
- مختلف اقسام کے
- وسیع
- کی طرف سے
- لنک
- نقطہ نظر
- جس
- جبکہ
- پوری
- وسیع
- گے
- کے اندر
- بغیر
- گا
- تحریری طور پر
- تم
- اور
- زیفیرنیٹ