الأمازون SageMaker لديها أعلن دعم ثلاثة معايير إكمال جديدة لـ Amazon SageMaker ضبط تلقائي للنموذج، مما يوفر لك مجموعة إضافية من الروافع للتحكم في معايير إيقاف وظيفة الضبط عند العثور على أفضل تكوين للمعلمات الفائقة لطرازك.
في هذا المنشور ، نناقش معايير الإنجاز الجديدة هذه ، ومتى يتم استخدامها ، وبعض الفوائد التي تجلبها.
SageMaker ضبط النموذج التلقائي
ضبط تلقائي للنموذج ، يسمى أيضًا ضبط فرط المعلمة، يعثر على أفضل نسخة من النموذج كما تم قياسه بالمقياس الذي نختاره. إنه يدور العديد من وظائف التدريب على مجموعة البيانات المقدمة ، باستخدام الخوارزمية المختارة ونطاقات المعلمات الفائقة المحددة. يمكن إكمال كل وظيفة تدريبية في وقت مبكر عندما لا يتحسن المقياس الموضوعي بشكل ملحوظ ، وهو ما يُعرف بالتوقف المبكر.
حتى الآن ، كانت هناك طرق محدودة للتحكم في وظيفة الضبط الشاملة ، مثل تحديد الحد الأقصى لعدد وظائف التدريب. ومع ذلك ، فإن اختيار قيمة المعلمة هذه هو إرشادي في أحسن الأحوال. تزيد القيمة الأكبر من تكاليف الضبط ، وقد لا تؤدي القيمة الأصغر إلى أفضل إصدار من النموذج في جميع الأوقات.
يعمل الضبط التلقائي للنموذج SageMaker على حل هذه التحديات من خلال منحك معايير إكمال متعددة لوظيفة الضبط. يتم تطبيقه على مستوى الضبط بدلاً من كل مستوى وظيفي تدريب فردي ، مما يعني أنه يعمل في طبقة تجريد أعلى.
فوائد ضبط معايير إتمام الوظيفة
من خلال التحكم الأفضل في وقت توقف وظيفة الضبط ، يمكنك الاستفادة من توفير التكاليف من خلال عدم تشغيل الوظيفة لفترات طويلة وكونها باهظة التكلفة من الناحية الحسابية. هذا يعني أيضًا أنه يمكنك التأكد من أن الوظيفة لا تتوقف مبكرًا وأنك تحصل على نموذج جيد بما يكفي يلبي أهدافك. يمكنك اختيار إيقاف وظيفة الضبط عندما تتوقف النماذج عن التحسن بعد مجموعة من التكرارات أو عندما لا يبرر التحسين المتبقي المقدر موارد الحوسبة والوقت.
بالإضافة إلى العدد الأقصى الحالي لمعايير إكمال وظيفة التدريب MaxNumberOfTraining الوظائف، يوفر الضبط التلقائي للنموذج خيار إيقاف الضبط بناءً على أقصى وقت ضبط ومراقبة التحسين واكتشاف التقارب.
دعنا نستكشف كل من هذه المعايير.
أقصى وقت ضبط
في السابق ، كان لديك خيار تحديد الحد الأقصى لعدد وظائف التدريب كإعداد حد للموارد للتحكم في موازنة الضبط من حيث حساب مورد. ومع ذلك ، يمكن أن يؤدي هذا إلى أوقات تدريب أطول أو أقصر مما هو مطلوب أو مرغوب فيه.
مع إضافة معايير وقت الضبط الأقصى ، يمكنك الآن تخصيص ميزانية التدريب الخاصة بك من حيث مقدار الوقت لتشغيل وظيفة الضبط وإنهاء الوظيفة تلقائيًا بعد فترة زمنية محددة محددة بالثواني.
كما رأينا أعلاه ، نستخدم ملف MaxRuntimeInSeconds
لتحديد وقت التوليف بالثواني. يساعدك تعيين حد وقت الضبط على تحديد مدة وظيفة الضبط وكذلك التكلفة المتوقعة للتجربة.
يمكن تقدير التكلفة الإجمالية قبل أي خصم تعاقدي بالصيغة التالية:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
يمكن استخدام الحد الأقصى لوقت التشغيل بالثواني لربط التكلفة ووقت التشغيل. بمعنى آخر ، إنها معايير إكمال مراقبة الميزانية.
تعد هذه الميزة جزءًا من معايير التحكم في الموارد ولا تأخذ في الاعتبار تقارب النماذج. كما نرى لاحقًا في هذا المنشور ، يمكن استخدام هذه المعايير جنبًا إلى جنب مع معايير التوقف الأخرى لتحقيق التحكم في التكلفة دون التضحية بالدقة.
المقياس الهدف المطلوب
معيار آخر تم تقديمه مسبقًا هو تحديد الهدف الهدف الهدف مقدمًا. تراقب المعايير أداء أفضل نموذج بناءً على مقياس موضوعي محدد وتتوقف عن الضبط عندما تصل النماذج إلى الحد المحدد فيما يتعلق بمقياس موضوعي محدد.
مع TargetObjectiveMetricValue
المعايير ، يمكننا أن نطلب من SageMaker التوقف عن ضبط النموذج بعد أن يصل المقياس الموضوعي لأفضل نموذج إلى القيمة المحددة:
في هذا المثال ، تم توجيهنا إلى SageMaker بالتوقف عن ضبط النموذج عندما يصل المقياس الموضوعي لأفضل نموذج إلى 0.95.
تكون هذه الطريقة مفيدة عندما يكون لديك هدف محدد تريد أن يصل إليه نموذجك ، مثل مستوى معين من الدقة والدقة والاستدعاء ودرجة F1 و AUC وفقدان السجل وما إلى ذلك.
ستكون حالة الاستخدام النموذجية لهذه المعايير لمستخدم على دراية بالفعل بأداء النموذج عند عتبات معينة. قد يقوم المستخدم في مرحلة الاستكشاف أولاً بضبط النموذج بمجموعة فرعية صغيرة من مجموعة بيانات أكبر لتحديد عتبة تقييم مرضية لاستهدافها عند التدريب باستخدام مجموعة البيانات الكاملة.
مراقبة التحسين
تراقب هذه المعايير تقارب النماذج بعد كل تكرار وتوقف الضبط إذا لم تتحسن النماذج بعد عدد محدد من وظائف التدريب. راجع التكوين التالي:
في هذه الحالة ، قمنا بتعيين ملف MaxNumberOfTrainingJobsNotImproving
إلى 10 ، مما يعني أنه إذا توقف المقياس الموضوعي عن التحسن بعد 10 وظائف تدريبية ، فسيتم إيقاف الضبط والإبلاغ عن أفضل نموذج ومقاس.
يجب استخدام مراقبة التحسين لضبط المفاضلة بين جودة النموذج ومدة سير العمل الإجمالية بطريقة يمكن نقلها على الأرجح بين مشكلات التحسين المختلفة.
كشف التقارب
يعد اكتشاف التقارب أحد معايير الإنجاز التي تتيح لضبط النموذج التلقائي تحديد وقت إيقاف الضبط. بشكل عام ، سيتوقف الضبط التلقائي للنموذج عن الضبط عندما يقدر أنه لا يمكن تحقيق تحسن كبير. راجع التكوين التالي:
تكون المعايير هي الأنسب عندما لا تعرف في البداية إعدادات التوقف التي يجب تحديدها.
إنه مفيد أيضًا إذا كنت لا تعرف مقياس الهدف المستهدف المناسب للتنبؤ الجيد بالنظر إلى المشكلة ومجموعة البيانات في متناول اليد ، وتفضل إكمال مهمة الضبط عندما لا تتحسن.
جرب مقارنة معايير الإنجاز
في هذه التجربة ، نظرًا لمهمة الانحدار ، نجري 3 تجارب ضبط للعثور على النموذج الأمثل ضمن مساحة بحث مكونة من معلمتين تشعبيتين تحتويان على 2 تكوين للمعلمة الفائقة إجمالاً باستخدام مجموعة بيانات التسويق المباشر.
مع تساوي كل شيء ، تم ضبط النموذج الأول مع BestObjectiveNotImproving
معايير الإنجاز ، تم ضبط النموذج الثاني مع CompleteOnConvergence
وتم ضبط النموذج الثالث بدون تحديد معايير الإنجاز.
عند وصف كل وظيفة ، يمكننا ملاحظة أن إعداد BestObjectiveNotImproving
أدت المعايير إلى توفير أفضل الموارد والوقت بالنسبة لمقياس الهدف مع عدد أقل بكثير من الوظائف التي يتم تشغيلها.
• CompleteOnConvergence
كانت المعايير أيضًا قادرة على إيقاف الضبط في منتصف التجربة مما أدى إلى عدد أقل من وظائف التدريب ووقت تدريب أقصر مقارنة بعدم وضع معايير.
في حين أن عدم تحديد معايير الإنجاز أدى إلى تجربة مكلفة ، فإن تحديد MaxRuntimeInSeconds
كجزء من حد الموارد سيكون أحد طرق تقليل التكلفة.
تُظهر النتائج أعلاه أنه عند تحديد معايير الإنجاز ، تستطيع Amazon SageMaker إيقاف عملية الضبط بذكاء عندما تكتشف أن النموذج أقل احتمالًا للتحسن بعد النتيجة الحالية.
لاحظ أن معايير الإكمال المدعومة في الضبط التلقائي للنموذج SageMaker ليست متعارضة ويمكن استخدامها بشكل متزامن عند ضبط أحد النماذج.
عند تحديد أكثر من معيار إنجاز واحد ، تكتمل وظيفة الضبط عند استيفاء أي من المعايير.
على سبيل المثال ، قد ينتج عن مجموعة من معايير حدود الموارد مثل أقصى وقت ضبط مع معايير التقارب ، مثل مراقبة التحسين أو اكتشاف التقارب ، تحكمًا مثاليًا في التكلفة ومقاييس موضوعية مثالية.
وفي الختام
في هذا المنشور ، ناقشنا كيف يمكنك الآن بذكاء إيقاف وظيفة الضبط الخاصة بك عن طريق تحديد مجموعة من معايير الإنجاز التي تم تقديمها حديثًا في SageMaker ، مثل الحد الأقصى لوقت الضبط أو مراقبة التحسين أو اكتشاف التقارب.
لقد أظهرنا من خلال تجربة أن التوقف الذكي استنادًا إلى ملاحظة التحسين عبر التكرار قد يؤدي إلى ميزانية محسّنة بشكل كبير وإدارة الوقت مقارنة بعدم تحديد معايير الإنجاز.
لقد أظهرنا أيضًا أن هذه المعايير ليست متعارضة ويمكن استخدامها بشكل متزامن عند ضبط نموذج ، للاستفادة من كل من التحكم في الميزانية والتقارب الأمثل.
لمزيد من التفاصيل حول كيفية تكوين الضبط التلقائي للنموذج وتشغيله ، يرجى الرجوع إلى حدد إعدادات الوظيفة Hyperparameter Tuning Job.
حول المؤلف
دوج مبايا هو مهندس حلول شريك أول مع التركيز على البيانات والتحليلات. يعمل Doug بشكل وثيق مع شركاء AWS ، مما يساعدهم على دمج حلول البيانات والتحليلات في السحابة.
شيترا ماثور هو مهندس حلول رئيسي في AWS. إنها توجه العملاء والشركاء في بناء حلول قابلة للتطوير وموثوقة وآمنة وفعالة من حيث التكلفة على AWS. إنها شغوفة بالتعلم الآلي وتساعد العملاء على ترجمة احتياجات ML الخاصة بهم إلى حلول باستخدام خدمات AWS AI / ML. حصلت على 5 شهادات بما في ذلك شهادة ML Speciality. في أوقات فراغها ، تستمتع بالقراءة واليوغا وقضاء الوقت مع بناتها.
ياروسلاف ششيرباتي هو مهندس تعلم الآلة في AWS. يعمل بشكل أساسي على إدخال تحسينات على منصة Amazon SageMaker ومساعدة العملاء على استخدام ميزاتها على أفضل وجه. في أوقات فراغه ، يحب الذهاب إلى صالة الألعاب الرياضية ، وممارسة الرياضات الخارجية مثل التزلج على الجليد أو المشي لمسافات طويلة ، ومواكبة أبحاث الذكاء الاصطناعي الجديدة.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- ماهرون
- من نحن
- فوق
- حسابي
- دقة
- التأهيل
- تحقق
- في
- إضافة
- إضافي
- مميزات
- بعد
- AI
- منظمة العفو الدولية البحوث
- AI / ML
- خوارزمية
- الكل
- سابقا
- أمازون
- الأمازون SageMaker
- كمية
- تحليلات
- و
- تطبيقي
- أوتوماتيك
- تلقائيا
- AWS
- على أساس
- قبل
- يجري
- تستفيد
- الفوائد
- أفضل
- أفضل
- ما بين
- Beyond
- مقيد
- جلب
- ميزانية
- ابني
- تسمى
- حقيبة
- يو كاتش
- معين
- الشهادات
- الشهادات
- التحديات
- اختار
- اختيار
- عن كثب
- سحابة
- مجموعة
- مقارنة
- مقارنة
- إكمال
- الطلب مكتمل
- يكمل
- إكمال
- إحصاء
- الاعداد
- مراقبة
- التقاء
- التكلفة
- وفورات في التكاليف
- فعاله من حيث التكلفه
- التكاليف
- استطاع
- المعايير
- حالياًّ
- العملاء
- البيانات
- تعريف
- تحديد
- تظاهر
- مطلوب
- تفاصيل
- كشف
- مختلف
- خصم الإخوة الإضافي
- بحث
- ناقش
- لا
- لا
- كل
- في وقت مبكر
- تمكين
- مهندس
- ضمان
- مقدر
- تقديرات
- تقييم
- كل شىء
- مثال
- حصري
- القائمة
- ذو تكلفة باهظة
- تجربة
- استكشاف
- اكتشف
- مألوف
- الميزات
- المميزات
- العثور على
- ويرى
- الاسم الأول
- تركز
- متابعيك
- معادلة
- بالإضافة إلى
- على العموم
- دولار فقط واحصل على خصم XNUMX% على جميع
- معطى
- إعطاء
- Go
- هدف
- خير
- دليل
- الجمنازيوم
- وجود
- مساعدة
- يساعد
- أعلى
- جدا
- يحمل
- كيفية
- كيفية
- لكن
- HTML
- HTTPS
- تحسين Hyperparameter
- ضبط Hyperparameter
- ICE
- تحديد
- تحسن
- تحسين
- تحسينات
- تحسين
- in
- في أخرى
- بما فيه
- الزيادات
- فرد
- في البداية
- دمج
- ذكي
- أدخلت
- يدخل
- IT
- تكرير
- التكرارات
- وظيفة
- المشــاريــع
- علم
- معروف
- أكبر
- طبقة
- قيادة
- تعلم
- ليد
- يتيح
- مستوى
- على الأرجح
- مما سيحدث
- محدود
- يعد
- آلة
- آلة التعلم
- إدارة
- كثير
- التسويق
- ماكس
- تعظيم
- أقصى
- يعني
- يجتمع
- طريقة
- متري
- المقاييس
- التقليل
- ML
- نموذج
- عارضات ازياء
- مراقبة
- شاشات
- الأكثر من ذلك
- أكثر
- متعدد
- متبادل
- إحتياجات
- جديد
- عدد
- موضوعي
- أهداف
- رصد
- ONE
- تعمل
- الأمثل
- التحسين
- الأمثل
- خيار
- أخرى
- الكلي
- المعلمة
- جزء
- الشريكة
- شركاء
- عاطفي
- أداء
- فترات
- مرحلة جديدة
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- منشور
- دقة
- تنبؤ
- سابقا
- رئيسي
- المشكلة
- مشاكل
- عملية المعالجة
- إنتاج
- المتوقع
- المقدمة
- توفير
- جودة
- الوصول
- التي تم الوصول إليها
- نادي القراءة
- معقول
- علاقة
- الخدمة الموثوقة
- وذكرت
- بحث
- مورد
- الموارد
- نتيجة
- مما أدى
- النتائج
- يجري
- التضحية
- sagemaker
- الضبط التلقائي لنموذج SageMaker
- مدخرات
- تحجيم
- بحث
- الثاني
- ثواني
- تأمين
- اختيار
- اختيار
- كبير
- خدماتنا
- طقم
- ضبط
- إعدادات
- ينبغي
- إظهار
- هام
- بشكل ملحوظ
- صغير
- الأصغر
- So
- حل
- الحلول
- يحل
- بعض
- الفضاء
- تخصص
- محدد
- محدد
- الإنفاق
- يدور
- رياضة
- قلة النوم
- توقف
- وقف
- توقف
- هذه
- الدعم
- مدعومة
- الدعم
- أخذ
- الهدف
- مهمة
- سياسة الحجب وتقييد الوصول
- •
- من مشاركة
- الثالث
- ثلاثة
- عتبة
- عبر
- الوقت
- مرات
- إلى
- جدا
- الإجمالي
- قادة الإيمان
- ترجمه
- نموذجي
- تستخدم
- حالة الاستخدام
- مستخدم
- التحقق من صحة
- قيمنا
- الإصدار
- طرق
- ابحث عن
- التي
- من الذى
- سوف
- في غضون
- بدون
- كلمات
- أعمال
- سوف
- التوزيعات للسهم الواحد
- اليوغا
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت