ایمیزون سیج میکر ہے کا اعلان کیا ہے ایمیزون سیج میکر کے لیے تکمیل کے تین نئے معیارات کی حمایت خودکار ماڈل ٹیوننگ، آپ کو اپنے ماڈل کے لیے بہترین ہائپر پیرامیٹر کنفیگریشن تلاش کرتے وقت ٹیوننگ جاب کے روکنے کے معیار کو کنٹرول کرنے کے لیے لیورز کا ایک اضافی سیٹ فراہم کرتا ہے۔
اس پوسٹ میں، ہم تکمیل کے ان نئے معیارات، انہیں کب استعمال کریں، اور ان سے حاصل ہونے والے کچھ فوائد پر بات کرتے ہیں۔
سیج میکر خودکار ماڈل ٹیوننگ
خودکار ماڈل ٹیوننگ، بھی کہا جاتا ہے ہائپر پیرامیٹر ٹیوننگ, ہمارے منتخب کردہ میٹرک سے ماپا کے مطابق ماڈل کا بہترین ورژن تلاش کرتا ہے۔ یہ فراہم کردہ ڈیٹاسیٹ پر بہت سے تربیتی کاموں کو گھماتا ہے، منتخب کردہ الگورتھم اور ہائپر پیرامیٹر کی حدود کا استعمال کرتے ہوئے۔ ہر تربیتی کام جلد مکمل کیا جا سکتا ہے جب مقصدی میٹرک نمایاں طور پر بہتر نہیں ہو رہا ہے، جسے ابتدائی رکنے کے نام سے جانا جاتا ہے۔
اب تک، مجموعی طور پر ٹیوننگ جاب کو کنٹرول کرنے کے محدود طریقے تھے، جیسے کہ تربیتی ملازمتوں کی زیادہ سے زیادہ تعداد کی وضاحت کرنا۔ تاہم، اس پیرامیٹر کی قدر کا انتخاب بہترین طور پر ہوورسٹک ہے۔ ایک بڑی قدر ٹیوننگ کے اخراجات کو بڑھاتی ہے، اور ایک چھوٹی قدر ہر وقت ماڈل کا بہترین ورژن نہیں دے سکتی۔
SageMaker آٹومیٹک ماڈل ٹیوننگ آپ کو ٹیوننگ جاب کے لیے متعدد تکمیلی معیارات دے کر ان چیلنجوں کو حل کرتی ہے۔ یہ ہر انفرادی تربیتی ملازمت کی سطح کے بجائے ٹیوننگ کی سطح پر لاگو ہوتا ہے، جس کا مطلب ہے کہ یہ ایک اعلی تجریدی پرت پر کام کرتا ہے۔
کام کی تکمیل کے معیار کو ٹیوننگ کرنے کے فوائد
ٹیوننگ کا کام کب بند ہو گا اس پر بہتر کنٹرول کے ساتھ، آپ کو لاگت کی بچت کا فائدہ حاصل ہوتا ہے اس کام کو طویل مدت تک نہ چلائے جانے اور کمپیوٹیشنل طور پر مہنگا ہونے سے۔ اس کا مطلب یہ بھی ہے کہ آپ اس بات کو یقینی بنا سکتے ہیں کہ کام بہت جلد بند نہ ہو اور آپ کو کافی اچھے معیار کا ماڈل ملے جو آپ کے مقاصد کو پورا کرتا ہو۔ آپ ٹیوننگ جاب کو روکنے کا انتخاب کر سکتے ہیں جب ماڈلز میں تکرار کے ایک سیٹ کے بعد مزید بہتری نہیں آرہی ہے یا جب تخمینہ شدہ بقایا بہتری کمپیوٹ کے وسائل اور وقت کا جواز پیش نہیں کرتی ہے۔
تربیتی ملازمت کی تکمیل کے معیار کی موجودہ زیادہ سے زیادہ تعداد کے علاوہ MaxNumberOfTrainingJobsخودکار ماڈل ٹیوننگ زیادہ سے زیادہ ٹیوننگ ٹائم، بہتری کی نگرانی، اور کنورجنس کا پتہ لگانے کی بنیاد پر ٹیوننگ کو روکنے کا آپشن متعارف کراتی ہے۔
آئیے ان میں سے ہر ایک معیار کو تلاش کریں۔
ٹیوننگ کا زیادہ سے زیادہ وقت
پہلے، آپ کو کمپیوٹ وسائل کے لحاظ سے ٹیوننگ بجٹ کو کنٹرول کرنے کے لیے وسائل کی حد کی ترتیب کے طور پر تربیتی ملازمتوں کی زیادہ سے زیادہ تعداد کی وضاحت کرنے کا اختیار تھا۔ تاہم، یہ ضرورت یا مطلوبہ تربیت سے غیر ضروری طویل یا مختصر وقت کا باعث بن سکتا ہے۔
زیادہ سے زیادہ ٹیوننگ ٹائم کے معیار کے اضافے کے ساتھ، اب آپ ٹیوننگ جاب کو چلانے کے لیے اپنے تربیتی بجٹ کو وقت کے لحاظ سے مختص کر سکتے ہیں اور سیکنڈوں میں مقررہ وقت کے بعد خود بخود کام کو ختم کر سکتے ہیں۔
جیسا کہ اوپر دیکھا گیا ہے، ہم استعمال کرتے ہیں MaxRuntimeInSeconds
سیکنڈوں میں ٹیوننگ ٹائم کی وضاحت کرنے کے لیے۔ ٹیوننگ کے وقت کی حد مقرر کرنے سے آپ کو ٹیوننگ کام کی مدت اور تجربے کی متوقع لاگت کو بھی محدود کرنے میں مدد ملتی ہے۔
کسی بھی معاہدے کی رعایت سے پہلے کل لاگت کا تخمینہ درج ذیل فارمولے سے لگایا جا سکتا ہے۔EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
سیکنڈوں میں زیادہ سے زیادہ رن ٹائم لاگت اور رن ٹائم کو باندھنے کے لیے استعمال کیا جا سکتا ہے۔ دوسرے لفظوں میں، یہ بجٹ کنٹرول کی تکمیل کا معیار ہے۔
یہ خصوصیت وسائل کے کنٹرول کے معیار کا حصہ ہے اور ماڈلز کے کنورژن کو مدنظر نہیں رکھتی ہے۔ جیسا کہ ہم بعد میں اس پوسٹ میں دیکھتے ہیں، اس معیار کو درستگی کی قربانی کے بغیر لاگت پر کنٹرول حاصل کرنے کے لیے روکنے کے دیگر معیارات کے ساتھ استعمال کیا جا سکتا ہے۔
مطلوبہ ہدف میٹرک
پہلے سے متعارف کرایا گیا ایک اور معیار ہدف کے مقصد کے ہدف کی پہلے سے وضاحت کرنا ہے۔ معیار ایک مخصوص مقصدی میٹرک کی بنیاد پر بہترین ماڈل کی کارکردگی پر نظر رکھتا ہے اور جب ماڈلز ایک مخصوص مقصدی میٹرک کے سلسلے میں متعین حد تک پہنچ جاتے ہیں تو ٹیوننگ کو روکتا ہے۔
کے ساتہ TargetObjectiveMetricValue
معیار کے مطابق، ہم SageMaker کو ہدایت دے سکتے ہیں کہ بہترین ماڈل کی معروضی میٹرک مخصوص قیمت تک پہنچنے کے بعد ماڈل کو ٹیوننگ بند کر دے:
اس مثال میں، ہمیں SageMaker کو ہدایت کی گئی ہے کہ وہ ماڈل کو ٹیوننگ بند کر دے جب بہترین ماڈل کا مقصدی میٹرک 0.95 تک پہنچ جائے۔
یہ طریقہ کارآمد ہے جب آپ کے پاس کوئی مخصوص ہدف ہو جس تک آپ اپنے ماڈل کو پہنچنا چاہتے ہیں، جیسے کہ درستگی کی ایک خاص سطح، درستگی، یاد کرنا، F1 سکور، AUC، لاگ نقصان وغیرہ۔
اس معیار کے لیے عام استعمال کا معاملہ اس صارف کے لیے ہوگا جو پہلے ہی دی گئی حدوں پر ماڈل کی کارکردگی سے واقف ہے۔ ایکسپلوریشن کے مرحلے میں ایک صارف پہلے ایک بڑے ڈیٹاسیٹ کے چھوٹے ذیلی سیٹ کے ساتھ ماڈل کو ٹیون کر سکتا ہے تاکہ مکمل ڈیٹا سیٹ کے ساتھ تربیت کے دوران ہدف کے لیے ایک تسلی بخش تشخیص میٹرک حد کی نشاندہی کی جا سکے۔
بہتری کی نگرانی
یہ معیار ہر اعادہ کے بعد ماڈلز کے کنورجنسنس پر نظر رکھتا ہے اور اگر ٹریننگ جابز کی ایک متعین تعداد کے بعد ماڈلز بہتر نہیں ہوتے ہیں تو ٹیوننگ کو روکتا ہے۔ مندرجہ ذیل ترتیب دیکھیں:
اس معاملے میں ہم نے سیٹ کیا ہے۔ MaxNumberOfTrainingJobsNotImproving
10 تک، جس کا مطلب ہے کہ اگر 10 تربیتی ملازمتوں کے بعد مقصدی میٹرک بہتر ہونا بند ہو جاتا ہے، تو ٹیوننگ روک دی جائے گی اور بہترین ماڈل اور میٹرک کی اطلاع دی جائے گی۔
بہتری کی نگرانی کا استعمال ماڈل کے معیار اور مجموعی ورک فلو کے دورانیے کے درمیان اس طرح سے کیا جانا چاہیے جو مختلف اصلاحی مسائل کے درمیان ممکنہ طور پر قابل منتقلی ہو۔
کنورجنسی کا پتہ لگانا
کنورجینس کا پتہ لگانا ایک تکمیلی معیار ہے جو خودکار ماڈل ٹیوننگ کو یہ فیصلہ کرنے دیتا ہے کہ ٹیوننگ کو کب روکنا ہے۔ عام طور پر، خودکار ماڈل ٹیوننگ اس وقت ٹیوننگ بند کر دے گی جب یہ اندازہ لگاتا ہے کہ کوئی خاص بہتری نہیں آسکتی ہے۔ مندرجہ ذیل ترتیب دیکھیں:
جب آپ ابتدائی طور پر یہ نہیں جانتے کہ کونسی اسٹاپنگ سیٹنگز کو منتخب کرنا ہے تو معیار بہترین ہے۔
یہ اس وقت بھی کارآمد ہے اگر آپ نہیں جانتے کہ مسئلہ اور ڈیٹاسیٹ کو ہاتھ میں رکھتے ہوئے اچھی پیشین گوئی کے لیے کون سا ہدف کا مقصدی میٹرک مناسب ہے، اور اس کے بجائے ٹیوننگ کا کام مکمل ہو جائے گا جب یہ مزید بہتر نہیں ہو رہا ہے۔
تکمیل کے معیار کے موازنہ کے ساتھ تجربہ کریں۔
اس تجربے میں، ایک ریگریشن ٹاسک دیا گیا، ہم 3 ہائپر پیرامیٹر کی تلاش کی جگہ کے اندر بہترین ماڈل تلاش کرنے کے لیے 2 ٹیوننگ تجربات کرتے ہیں جس میں مجموعی طور پر 200 ہائپر پیرامیٹر کنفیگریشن ہوتے ہیں۔ براہ راست مارکیٹنگ ڈیٹاسیٹ.
باقی سب کچھ برابر ہونے کے ساتھ، پہلے ماڈل کے ساتھ ٹیون کیا گیا تھا۔ BestObjectiveNotImproving
تکمیل کے معیار کے ساتھ، دوسرے ماڈل کے ساتھ ٹیون کیا گیا تھا۔ CompleteOnConvergence
اور تیسرا ماڈل بغیر کسی تکمیلی معیار کے طے کیا گیا تھا۔
ہر کام کی وضاحت کرتے وقت، ہم اس ترتیب کا مشاہدہ کر سکتے ہیں۔ BestObjectiveNotImproving
معیار کی وجہ سے معروضی میٹرک کے مقابلے میں سب سے زیادہ بہترین وسائل اور وقت حاصل ہوا ہے جس میں نمایاں طور پر کم ملازمتیں چلائی گئی ہیں۔
۔ CompleteOnConvergence
معیار بھی تجربے کے آدھے راستے میں ٹیوننگ کو روکنے کے قابل تھا جس کے نتیجے میں کم تربیتی ملازمتیں اور معیار طے نہ کرنے کے مقابلے میں کم تربیتی وقت ہوتا ہے۔
تکمیل کے معیار کو متعین نہ کرنے کے نتیجے میں ایک مہنگا تجربہ ہوا، جس کی وضاحت کی گئی۔ MaxRuntimeInSeconds
وسائل کی حد کے حصے کے طور پر لاگت کو کم کرنے کا ایک طریقہ ہوگا۔
مندرجہ بالا نتائج سے پتہ چلتا ہے کہ تکمیل کے معیار کی وضاحت کرتے وقت، Amazon SageMaker ذہانت سے ٹیوننگ کے عمل کو روکنے کے قابل ہوتا ہے جب اسے پتہ چلتا ہے کہ ماڈل کے موجودہ نتائج سے زیادہ بہتر ہونے کا امکان کم ہے۔
نوٹ کریں کہ SageMaker آٹومیٹک ماڈل ٹیوننگ میں تکمیل کے معیارات باہمی طور پر خصوصی نہیں ہیں اور ماڈل کو ٹیوننگ کرتے وقت بیک وقت استعمال کیا جا سکتا ہے۔
جب تکمیل کے ایک سے زیادہ معیار کی وضاحت کی جاتی ہے، تو ٹیوننگ کا کام مکمل ہو جاتا ہے جب کوئی بھی معیار پورا ہو جاتا ہے۔
مثال کے طور پر، وسائل کی حد کے معیار کا مجموعہ جیسے کنورجنسی کے معیار کے ساتھ زیادہ سے زیادہ ٹیوننگ ٹائم، جیسے بہتری کی نگرانی یا کنورجنس کا پتہ لگانا، ایک بہترین لاگت کنٹرول اور ایک بہترین مقصدی میٹرکس پیدا کر سکتا ہے۔
نتیجہ
اس پوسٹ میں، ہم نے اس بات پر تبادلہ خیال کیا کہ اب آپ SageMaker میں نئے متعارف کردہ تکمیلی معیارات کے ایک سیٹ کو منتخب کرکے اپنے ٹیوننگ کے کام کو کس طرح ذہانت سے روک سکتے ہیں، جیسے زیادہ سے زیادہ ٹیوننگ ٹائم، بہتری کی نگرانی، یا کنورجنسس کا پتہ لگانا۔
ہم نے ایک تجربے کے ساتھ یہ ظاہر کیا ہے کہ تکرار کے دوران بہتری کے مشاہدے پر مبنی ذہین رکنے سے تکمیل کے معیار کی وضاحت نہ کرنے کے مقابلے میں نمایاں طور پر بہتر بجٹ اور وقت کا انتظام ہو سکتا ہے۔
ہم نے یہ بھی ظاہر کیا کہ یہ معیارات باہمی طور پر مخصوص نہیں ہیں اور ایک ماڈل کو ٹیوننگ کرتے وقت، بجٹ کنٹرول اور بہترین کنورجنسنس دونوں سے فائدہ اٹھانے کے لیے بیک وقت استعمال کیا جا سکتا ہے۔
خودکار ماڈل ٹیوننگ کو ترتیب دینے اور چلانے کے طریقے کے بارے میں مزید تفصیلات کے لیے رجوع کریں۔ ہائپرپیرامیٹر ٹیوننگ جاب سیٹنگز کی وضاحت کریں۔.
مصنفین کے بارے میں
ڈوگ Mbaya ڈیٹا اور تجزیات پر توجہ کے ساتھ ایک سینئر پارٹنر سلوشن آرکیٹیکٹ ہے۔ Doug AWS پارٹنرز کے ساتھ مل کر کام کرتا ہے، ان کی مدد کرتا ہے کہ وہ کلاؤڈ میں ڈیٹا اور تجزیاتی حل کو مربوط کر سکے۔
چیترا ماتھر AWS میں پرنسپل سولیوشن آرکیٹیکٹ ہیں۔ وہ صارفین اور شراکت داروں کو AWS پر انتہائی قابل توسیع، قابل بھروسہ، محفوظ، اور لاگت سے موثر حل تیار کرنے میں رہنمائی کرتی ہے۔ وہ مشین لرننگ کے بارے میں پرجوش ہے اور AWS AI/ML سروسز کا استعمال کرتے ہوئے صارفین کو اپنی ML ضروریات کو حل میں ترجمہ کرنے میں مدد کرتی ہے۔ اس کے پاس ایم ایل اسپیشلٹی سرٹیفیکیشن سمیت 5 سرٹیفیکیشنز ہیں۔ اپنے فارغ وقت میں، وہ پڑھنا، یوگا، اور اپنی بیٹیوں کے ساتھ وقت گزارنا پسند کرتی ہے۔
Iaroslav Shcherbatyi AWS میں مشین لرننگ انجینئر ہے۔ وہ بنیادی طور پر Amazon SageMaker پلیٹ فارم میں بہتری پر کام کرتا ہے اور صارفین کو اس کی خصوصیات کو بہترین طریقے سے استعمال کرنے میں مدد کرتا ہے۔ اپنے فارغ وقت میں، وہ جم جانا، آئس سکیٹنگ یا ہائیکنگ جیسے آؤٹ ڈور کھیلوں کو کرنا، اور نئی AI ریسرچ کو حاصل کرنا پسند کرتا ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو بلاک چین۔ Web3 Metaverse Intelligence. علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- قابلیت
- ہمارے بارے میں
- اوپر
- اکاؤنٹ
- درستگی
- حاصل
- حاصل کیا
- کے پار
- اس کے علاوہ
- ایڈیشنل
- فائدہ
- کے بعد
- AI
- عی تحقیق
- AI / ML
- یلگورتم
- تمام
- پہلے ہی
- ایمیزون
- ایمیزون سیج میکر
- رقم
- تجزیاتی
- اور
- اطلاقی
- خودکار
- خود کار طریقے سے
- AWS
- کی بنیاد پر
- اس سے پہلے
- کیا جا رہا ہے
- فائدہ
- فوائد
- BEST
- بہتر
- کے درمیان
- سے پرے
- بنقی
- لانے
- بجٹ
- عمارت
- کہا جاتا ہے
- کیس
- پکڑو
- کچھ
- تصدیق
- سرٹیفکیٹ
- چیلنجوں
- میں سے انتخاب کریں
- منتخب کیا
- قریب سے
- بادل
- مجموعہ
- مقابلے میں
- موازنہ
- مکمل
- مکمل
- مکمل کرتا ہے
- تکمیل
- کمپیوٹنگ
- ترتیب
- کنٹرول
- کنورجنس
- قیمت
- لاگت کی بچت
- سرمایہ کاری مؤثر
- اخراجات
- سکتا ہے
- معیار
- موجودہ
- گاہکوں
- اعداد و شمار
- کی وضاحت
- وضاحت
- demonstrated,en
- مطلوبہ
- تفصیلات
- کھوج
- مختلف
- ڈسکاؤنٹ
- بات چیت
- بات چیت
- نہیں کرتا
- نہیں
- ہر ایک
- ابتدائی
- چالو حالت میں
- انجینئر
- کو یقینی بنانے کے
- اندازے کے مطابق
- اندازوں کے مطابق
- تشخیص
- سب کچھ
- مثال کے طور پر
- خصوصی
- موجودہ
- مہنگی
- تجربہ
- کی تلاش
- تلاش
- واقف
- نمایاں کریں
- خصوصیات
- مل
- تلاش
- پتہ ہے
- پہلا
- توجہ مرکوز
- کے بعد
- فارمولا
- مکمل
- عام طور پر
- حاصل
- دی
- دے
- Go
- مقصد
- اچھا
- ہدایات
- جم
- ہونے
- مدد
- مدد کرتا ہے
- اعلی
- انتہائی
- کی ڈگری حاصل کی
- کس طرح
- کیسے
- تاہم
- HTML
- HTTPS
- ہائپر پیرامیٹر کی اصلاح
- ہائپر پیرامیٹر ٹیوننگ
- ICE
- شناخت
- کو بہتر بنانے کے
- بہتری
- بہتری
- کو بہتر بنانے کے
- in
- دیگر میں
- سمیت
- اضافہ
- انفرادی
- ابتدائی طور پر
- ضم
- انٹیلجنٹ
- متعارف
- متعارف کرواتا ہے
- IT
- تکرار
- تکرار
- ایوب
- نوکریاں
- جان
- جانا جاتا ہے
- بڑے
- پرت
- قیادت
- سیکھنے
- قیادت
- آو ہم
- سطح
- امکان
- LIMIT
- لمیٹڈ
- اب
- مشین
- مشین لرننگ
- انتظام
- بہت سے
- مارکیٹنگ
- میکس
- زیادہ سے زیادہ
- زیادہ سے زیادہ
- کا مطلب ہے کہ
- ملتا ہے
- طریقہ
- میٹرک۔
- پیمائش کا معیار
- کم سے کم
- ML
- ماڈل
- ماڈل
- نگرانی
- نظر رکھتا ہے
- زیادہ
- سب سے زیادہ
- ایک سے زیادہ
- باہمی طور پر
- ضروریات
- نئی
- تعداد
- مقصد
- مقاصد
- مشاہدہ
- ایک
- چل رہا ہے
- زیادہ سے زیادہ
- اصلاح کے
- اصلاح
- اختیار
- دیگر
- مجموعی طور پر
- پیرامیٹر
- حصہ
- پارٹنر
- شراکت داروں کے
- جذباتی
- کارکردگی
- ادوار
- مرحلہ
- پلیٹ فارم
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- پوسٹ
- صحت سے متعلق
- کی پیشن گوئی
- پہلے
- پرنسپل
- مسئلہ
- مسائل
- عمل
- پیدا
- متوقع
- فراہم
- فراہم کرنے
- معیار
- تک پہنچنے
- پہنچ گئی
- پڑھنا
- مناسب
- سلسلے
- قابل اعتماد
- اطلاع دی
- تحقیق
- وسائل
- وسائل
- نتیجہ
- نتیجے
- نتائج کی نمائش
- رن
- قربانی دینا
- sagemaker
- سیج میکر خودکار ماڈل ٹیوننگ
- بچت
- توسیع پذیر
- تلاش کریں
- دوسری
- سیکنڈ
- محفوظ بنانے
- منتخب
- انتخاب
- سینئر
- سروسز
- مقرر
- قائم کرنے
- ترتیبات
- ہونا چاہئے
- دکھائیں
- اہم
- نمایاں طور پر
- چھوٹے
- چھوٹے
- So
- حل
- حل
- حل کرتا ہے
- کچھ
- خلا
- خاص
- مخصوص
- مخصوص
- خرچ کرنا۔
- اسپین
- اسپورٹس
- بند کرو
- بند کر دیا
- روکنا
- رک جاتا ہے
- اس طرح
- حمایت
- تائید
- کی حمایت کرتا ہے
- لے لو
- ہدف
- ٹاسک
- شرائط
- ۔
- ان
- تھرڈ
- تین
- حد
- کے ذریعے
- وقت
- اوقات
- کرنے کے لئے
- بھی
- کل
- ٹریننگ
- ترجمہ کریں
- ٹھیٹھ
- استعمال کی شرائط
- استعمال کیس
- رکن کا
- توثیق
- قیمت
- ورژن
- طریقوں
- کیا
- جس
- ڈبلیو
- گے
- کے اندر
- بغیر
- الفاظ
- کام کرتا ہے
- گا
- پیداوار
- یوگا
- تم
- اور
- زیفیرنیٹ