الضبط التلقائي لنموذج Amazon SageMaker أدخلت Autotune ، وهي ميزة جديدة لاختيار المعلمات الفائقة تلقائيًا نيابة عنك. يوفر هذا طريقة سريعة وأكثر فاعلية للعثور على نطاقات المعلمات الفائقة ، ويمكن أن يوفر ميزانية محسّنة بشكل كبير وإدارة الوقت لوظائف الضبط التلقائي للنموذج.
في هذا المنشور ، نناقش هذه القدرة الجديدة وبعض الفوائد التي تجلبها.
نظرة عامة على Hyperparameter
عند تدريب أي نموذج للتعلم الآلي (ML) ، فإنك تتعامل عمومًا مع ثلاثة أنواع من البيانات: بيانات الإدخال (تسمى أيضًا بيانات التدريب) ، ومعلمات النموذج ، والمعلمات الفائقة. أنت تستخدم بيانات الإدخال لتدريب النموذج الخاص بك ، والذي يتعلم في الواقع معلمات النموذج الخاص بك. أثناء عملية التدريب ، تحاول خوارزميات ML الخاصة بك العثور على معلمات النموذج الأمثل بناءً على البيانات مع تحقيق أهداف وظيفتك الموضوعية. على سبيل المثال ، عندما يتم تدريب شبكة عصبية ، يتم التعرف على وزن عقد الشبكة من التدريب ، ويشير إلى مدى تأثيرها على التنبؤ النهائي. هذه الأوزان هي معلمات النموذج.
من ناحية أخرى ، تعد المعلمات التشعبية معلمات خوارزمية التعلم وليست النموذج نفسه. يعد عدد الطبقات المخفية وعدد العقد من أمثلة المعلمات الفائقة التي يمكنك تعيينها للشبكة العصبية. الفرق بين معلمات النموذج والمعلمات الفائقة هو أن معلمات النموذج يتم تعلمها أثناء عملية التدريب ، في حين يتم تعيين المعلمات الفائقة قبل التدريب وتبقى ثابتة أثناء عملية التدريب.
نقاط الألم
يقوم الضبط التلقائي للنموذج من SageMaker ، والذي يُطلق عليه أيضًا ضبط المعلمات الفائقة ، بتشغيل العديد من مهام التدريب على مجموعة البيانات الخاصة بك باستخدام مجموعة من المعلمات الفائقة التي تحددها. يمكنه تسريع إنتاجيتك من خلال تجربة العديد من الأشكال المختلفة للنموذج. إنه يبحث عن أفضل نموذج تلقائيًا من خلال التركيز على المجموعات الواعدة لقيم المعلمات التشعبية ضمن النطاقات التي تحددها. ومع ذلك ، للحصول على نتائج جيدة ، يجب عليك اختيار النطاقات المناسبة لاستكشافها.
لكن كيف تعرف النطاق الصحيح لتبدأ به؟ من خلال وظائف ضبط المعلمات الفائقة ، نفترض أن المجموعة المثلى من المعلمات الفائقة تقع ضمن النطاق الذي حددناه. ماذا يحدث إذا كان النطاق المختار غير صحيح ، والمعلمة الفائقة المثالية تقع بالفعل خارج النطاق؟
يتطلب اختيار المعلمات الفائقة الصحيحة خبرة في تقنية ML التي تستخدمها وفهم كيفية تصرف المعلمات الفائقة. من المهم فهم الآثار المترتبة على المعامل التشعبي لأن كل معلمة تشعبية تختار ضبطها لديها القدرة على زيادة عدد التجارب المطلوبة لوظيفة ضبط ناجحة. تحتاج إلى إجراء مفاضلة مثالية بين الموارد المخصصة لوظيفة الضبط وتحقيق الأهداف التي حددتها.
يقوم فريق SageMaker Automatic Model Tuning بالابتكار باستمرار نيابة عن عملائنا لتحسين أعباء عمل ML الخاصة بهم. AWS مؤخرًا أعلن دعم معايير الإكمال الجديدة لتحسين المعلمة الفائقة: معايير وقت التشغيل القصوى ، وهي معايير إكمال مراقبة الميزانية التي يمكن استخدامها لتقييد التكلفة ووقت التشغيل. تراقب المقاييس المستهدفة المرغوبة ومراقبة التحسين واكتشاف التقارب أداء النموذج وتساعد في التوقف المبكر إذا لم تتحسن النماذج بعد عدد محدد من وظائف التدريب. يعد Autotune ميزة جديدة لضبط النموذج التلقائي الذي يساعد على توفير الوقت وتقليل الموارد المهدرة في العثور على نطاقات المعلمات الفائقة المثلى.
فوائد Autotune وكيف أن الضبط التلقائي للنموذج يخفف من نقاط الألم هذه
يعد Autotune تكوينًا جديدًا في ملف CreateHyperParameterTuningJob
API و HyperparameterTuner
SageMaker Python SDK الذي يخفف من الحاجة إلى تحديد نطاقات المعلمات الفائقة ، أو استراتيجية الضبط ، أو المقاييس الموضوعية ، أو عدد الوظائف المطلوبة كجزء من تعريف الوظيفة. يختار Autotune تلقائيًا التكوينات المثلى لوظيفة الضبط الخاصة بك ، ويساعد على منع إهدار الموارد ، ويسرع من الإنتاجية.
يوضح المثال التالي عدد المعلمات غير الضرورية عند استخدام Autotune.
تنشئ التعليمة البرمجية التالية موالفًا للمعلمات التشعبية باستخدام SageMaker Python SDK بدون Autotune:
يوضح المثال التالي عدد المعلمات غير الضرورية عند استخدام Autotune:
إذا كنت تستخدم API ، فسيكون الرمز المكافئ كما يلي:
يوضح مثال الكود بعض الفوائد الرئيسية لـ Autotune:
- الاختيار الرئيسي لوظيفة الضبط هو أي المعلمات الفائقة لضبطها ونطاقاتها. يقوم Autotune بإجراء هذا الاختيار لك بناءً على قائمة المعلمات التشعبية التي تقدمها. باستخدام المثال السابق ، المعلمات التشعبية التي يمكن لـ Autotune اختيار ضبطها هي
lr
وbatch-size
. - سيحدد Autotune تلقائيًا نطاقات المعلمات التشعبية نيابة عنك. يستخدم Autotune أفضل الممارسات بالإضافة إلى المعايير الداخلية لاختيار النطاقات المناسبة.
- يحدد Autotune تلقائيًا الإستراتيجية الخاصة بكيفية اختيار مجموعات قيم المعلمة الفائقة لاستخدامها في مهمة التدريب.
- يتم تمكين الإيقاف المبكر افتراضيًا عند استخدام Autotune. عند استخدام التوقف المبكر ، توقف SageMaker عن وظائف التدريب التي تم إطلاقها بواسطة وظيفة ضبط المعامل الفائق عندما يكون من غير المحتمل أن تؤدي أداءً أفضل من وظائف التدريب المكتملة سابقًا لتجنب استخدام الموارد الإضافية.
- سيتم حساب الحد الأقصى من الموارد المتوقعة التي سيتم استهلاكها بواسطة وظيفة الضبط (الوظائف المتوازية ، والحد الأقصى لوقت التشغيل ، وما إلى ذلك) وتعيينها في سجل وظيفة التوليف بمجرد إنشاء وظيفة الضبط. لن تزداد هذه الموارد المحجوزة أثناء مهمة التوليف ؛ سيحافظ هذا على حد أعلى لتكلفة ومدة مهمة الضبط التي يمكن للمستخدم التنبؤ بها بسهولة. سيتم استخدام وقت تشغيل بحد أقصى 48 ساعة بشكل افتراضي.
يمكنك تجاوز أي إعدادات يتم اختيارها تلقائيًا بواسطة Autotune. على سبيل المثال ، إذا قمت بتحديد نطاقات المعلمات التشعبية الخاصة بك ، فسيتم استخدام هذه النطاقات جنبًا إلى جنب مع النطاقات المستنتجة. أي نطاق من المعلمات التشعبية يحدده المستخدم سيكون له الأسبقية على نفس النطاقات المستنبطة المسماة:
ينشئ Autotune مجموعة من الإعدادات كجزء من وظيفة الضبط. ستلغي أي إعدادات يحددها العميل لها نفس الاسم الإعدادات التي تم تحديدها تلقائيًا. تتم إضافة أي إعدادات يوفرها العميل (تختلف عن إعدادات Autotune المسماة) بالإضافة إلى إعدادات Autotune المحددة.
فحص المعلمات التي اختارها Autotune
يقلل Autotune الوقت الذي كنت تقضيه عادةً في تحديد المجموعة الأولية من المعلمات الفائقة لضبطها. ولكن كيف يمكنك الحصول على رؤى حول ما هي قيم المعلمة الفائقة التي اختارها Autotune؟ يمكنك الحصول على معلومات حول القرارات التي تم اتخاذها من أجلك في وصف وظيفة التوليف الجارية (ردًا على ملف وصف HyperParameterTuningJob عملية). بعد إرسال طلب لإنشاء وظيفة ضبط ، تتم معالجة الطلب ، ويتم تعيين جميع الحقول المفقودة بواسطة Autotune. يتم الإبلاغ عن جميع الحقول المحددة في ملف DescribeHyperParameterTuningJob
العملية.
بدلا من ذلك ، يمكنك التفتيش HyperparameterTuner
حقول الفصل لمعرفة الإعدادات التي اختارها Autotune.
فيما يلي مثال على XGBoost لكيفية استخدام ملف DescribeHyperParameterTuningJob
لفحص المعلمات التشعبية التي اختارها Autotune.
أولاً ، نقوم بإنشاء وظيفة ضبط بضبط تلقائي للنموذج:
بعد إنشاء وظيفة الضبط بنجاح ، يمكننا اكتشاف الإعدادات التي اختارها Autotune. على سبيل المثال ، يمكننا وصف وظيفة الضبط بالاسم المعطى من خلاله hp_tuner
:
ثم يمكننا فحص الاستجابة التي تم إنشاؤها لمراجعة الإعدادات التي اختارها Autotune نيابة عنا.
إذا كانت إعدادات مهمة التوليف الحالية غير مرضية ، فيمكنك إيقاف وظيفة الضبط:
hp_tuner.stop()
وفي الختام
يتيح لك SageMaker Automatic Model Tuning تقليل الوقت اللازم لضبط النموذج بالبحث تلقائيًا عن أفضل تكوين للمعلمات التشعبية ضمن النطاقات التي تحددها. ومع ذلك ، فإن اختيار نطاقات المعلمات الفائقة الصحيحة يمكن أن يكون عملية تستغرق وقتًا طويلاً ويمكن أن يكون لها آثار مباشرة على تكلفة التدريب ومدته.
في هذا المنشور ، ناقشنا كيف يمكنك الآن استخدام Autotune ، وهي ميزة جديدة تم تقديمها كجزء من الضبط التلقائي للنموذج ، لاختيار مجموعة أولية من نطاقات المعلمات الفائقة نيابة عنك تلقائيًا. يمكن أن يؤدي ذلك إلى تقليل الوقت الذي تستغرقه لبدء عملية ضبط النموذج. بالإضافة إلى ذلك ، يمكنك تقييم النطاقات التي اختارها Autotune وتعديلها وفقًا لاحتياجاتك.
أظهرنا أيضًا كيف يمكن لـ Autotune أن تختار تلقائيًا إعدادات المعلمات المثلى نيابة عنك ، مثل عدد وظائف التدريب ، واستراتيجية اختيار مجموعات المعلمات الفائقة ، وتمكين التوقف المبكر افتراضيًا. يمكن أن ينتج عن ذلك ميزانية محسنة بشكل كبير وحدود زمنية يمكن التنبؤ بها بسهولة.
لمعرفة المزيد ، يرجى الرجوع إلى قم بإجراء ضبط تلقائي للنموذج باستخدام SageMaker.
حول المؤلف
جاس سينغ هو مهندس حلول أول يساعد عملاء القطاع العام على تحقيق نتائج أعمالهم من خلال تصميم وتنفيذ حلول مبتكرة ومرنة على نطاق واسع. يتمتع جاس بخبرة تزيد عن 20 عامًا في تصميم وتنفيذ التطبيقات ذات المهام الحرجة وحاصل على درجة الماجستير في علوم الكمبيوتر من جامعة بايلور.
جوبي موديالا هو مدير حساب فني أول في AWS. يساعد العملاء في صناعة الخدمات المالية في عملياتهم في AWS. بصفته متحمسًا للتعلم الآلي ، يعمل Gopi لمساعدة العملاء على النجاح في رحلة ML الخاصة بهم. في أوقات فراغه ، يحب لعب كرة الريشة وقضاء الوقت مع العائلة والسفر.
رافيتيا يلامانتشيلي هو مهندس حلول للمؤسسات مع Amazon Web Services ومقره نيويورك. إنه يعمل مع عملاء مؤسسات الخدمات المالية الكبيرة لتصميم ونشر تطبيقات آمنة للغاية وقابلة للتطوير وموثوقة وفعالة من حيث التكلفة على السحابة. يتمتع بأكثر من 11 عامًا من إدارة المخاطر والاستشارات التكنولوجية وتحليلات البيانات وتجربة التعلم الآلي. عندما لا يساعد العملاء ، فإنه يستمتع بالسفر ولعب PS5.
ياروسلاف ششيرباتي هو مهندس تعلم الآلة في AWS. يعمل بشكل أساسي على إدخال تحسينات على منصة Amazon SageMaker ومساعدة العملاء على استخدام ميزاتها على أفضل وجه. في أوقات فراغه ، يحب الذهاب إلى صالة الألعاب الرياضية ، وممارسة الرياضات الخارجية مثل التزلج على الجليد أو المشي لمسافات طويلة ، ومواكبة أبحاث الذكاء الاصطناعي الجديدة.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- أفلاطونايستريم. ذكاء بيانات Web3. تضخيم المعرفة. الوصول هنا.
- سك المستقبل مع أدرين أشلي. الوصول هنا.
- شراء وبيع الأسهم في شركات ما قبل الاكتتاب مع PREIPO®. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-automatically-chooses-tuning-configurations-to-improve-usability-and-cost-efficiency/
- :لديها
- :يكون
- :ليس
- $ UP
- 1
- 100
- 11
- 13
- 16
- 20
- 20 سنة
- 26%
- 50
- 7
- 8
- a
- من نحن
- تسريع
- معجل
- يسرع
- وفقا
- حسابي
- التأهيل
- تحقيق
- في الواقع
- وأضاف
- إضافة
- إضافي
- وبالإضافة إلى ذلك
- بعد
- AI
- منظمة العفو الدولية البحوث
- خوارزمية
- خوارزميات
- الكل
- تخصيص
- يسمح
- جنبا إلى جنب
- أيضا
- أمازون
- الأمازون SageMaker
- أمازون ويب سيرفيسز
- an
- تحليلات
- و
- أي وقت
- API
- التطبيقات
- مناسب
- هي
- AS
- يساعد
- At
- أوتوماتيك
- تلقائيا
- تجنب
- AWS
- الخلفية
- على أساس
- BE
- لان
- بدأ
- باسمى او لاجلى
- المعايير
- الفوائد
- أفضل
- أفضل الممارسات
- أفضل
- ما بين
- مقيد
- يجلب
- ميزانية
- الأعمال
- لكن
- by
- محسوب
- تسمى
- CAN
- يستطيع الحصول على
- يو كاتش
- خيار
- اختار
- اختيار
- اختار
- اختيار
- فئة
- سحابة
- الكود
- تركيبات
- الطلب مكتمل
- إكمال
- الكمبيوتر
- علوم الكمبيوتر
- الاعداد
- ثابت
- باستمرار
- الاستشارات
- مستهلك
- مراقبة
- التقاء
- التكلفة
- فعاله من حيث التكلفه
- الدورة
- خلق
- خلق
- يخلق
- المعايير
- حالياًّ
- العملاء
- البيانات
- تحليلات البيانات
- تعامل
- اتخاذ القرار
- القرارات
- الترتيب
- تعريف
- الدرجة العلمية
- نشر
- وصف
- وصف
- تصميم
- تصميم
- مطلوب
- كشف
- فرق
- مباشرة
- اكتشف
- بحث
- ناقش
- do
- لا
- مدة الأقامة
- أثناء
- في وقت مبكر
- بسهولة
- تأثير
- كفاءة
- فعال
- تمكين
- تمكين
- مهندس
- مشروع
- متحمس
- عهود
- معادل
- تقييم
- كل
- مثال
- أمثلة
- متوقع
- الخبره في مجال الغطس
- اكتشف
- شلالات
- للعائلات
- الميزات
- المميزات
- مجال
- نهائي
- مالي
- الخدمات المالية
- العثور على
- التركيز
- متابعيك
- متابعات
- في حالة
- تبدأ من
- وظيفة
- على العموم
- ولدت
- يولد
- دولار فقط واحصل على خصم XNUMX% على جميع
- معطى
- Go
- الأهداف
- خير
- الجمنازيوم
- يد
- يحدث
- يملك
- he
- مساعدة
- مساعدة
- يساعد
- مخفي
- جدا
- له
- يحمل
- ساعات العمل
- كيفية
- كيفية
- لكن
- HTML
- HTTPS
- تحسين Hyperparameter
- ضبط Hyperparameter
- ICE
- if
- يوضح
- التأثير
- تحقيق
- آثار
- أهمية
- تحسن
- تحسين
- تحسينات
- in
- القيمة الاسمية
- يشير
- العالمية
- معلومات
- في البداية
- ابتكار
- مبتكرة
- إدخال
- رؤى
- داخلي
- إلى
- أدخلت
- IT
- انها
- نفسها
- وظيفة
- المشــاريــع
- رحلة
- القفل
- علم
- كبير
- أطلقت
- طبقات
- تعلم
- تعلم
- تعلم
- يكمن
- الإعجابات
- قائمة
- تبدو
- آلة
- آلة التعلم
- صنع
- في الأساس
- المحافظة
- يصنع
- إدارة
- مدير
- كثير
- سادة
- ماكس
- مايو..
- الاجتماع
- المقاييس
- مفقود
- ML
- موضة
- نموذج
- عارضات ازياء
- مراقبة
- شاشات
- الأكثر من ذلك
- أكثر فعالية
- أكثر
- كثيرا
- يجب
- الاسم
- عين
- ضروري
- حاجة
- إحتياجات
- شبكة
- الشبكة العصبية
- جديد
- نيويورك
- العقد
- عادة
- الآن
- عدد
- موضوعي
- of
- on
- عملية
- عمليات
- الأمثل
- التحسين
- الأمثل
- الأمثل
- or
- أخرى
- لنا
- النتائج
- في الخارج
- على مدى
- تجاوز
- الخاصة
- الم
- موازية
- المعلمة
- المعلمات
- جزء
- نفذ
- أداء
- اختيار
- التقطت
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- بلايستشن
- لعب
- منشور
- محتمل
- الممارسات
- قابل للتنبؤ
- تنبؤ
- منع
- سابق
- سابقا
- قبل
- عملية المعالجة
- معالجتها
- إنتاجية
- واعد
- تزود
- ويوفر
- PS5
- جمهور
- بايثون
- عشوائية
- نطاق
- مؤخرا
- سجل
- تخفيض
- يقلل
- ريج
- الخدمة الموثوقة
- لا تزال
- وذكرت
- طلب
- مطلوب
- يتطلب
- بحث
- محفوظة
- مرن
- مورد
- الموارد
- استجابة
- نتيجة
- النتائج
- مراجعة
- حق
- المخاطرة
- نماذج إدارة المخاطر
- تشغيل
- sagemaker
- الضبط التلقائي لنموذج SageMaker
- نفسه
- حفظ
- تحجيم
- حجم
- علوم
- الإستراحة
- البحث
- القطاع
- تأمين
- انظر تعريف
- اختيار
- كبير
- خدماتنا
- طقم
- إعدادات
- أظهرت
- هام
- بشكل ملحوظ
- So
- الحلول
- بعض
- قريبا
- محدد
- أنفق
- قضى
- رياضة
- بدأت
- قلة النوم
- وقف
- توقف
- الإستراتيجيات
- ضرب
- تقدم
- النجاح
- ناجح
- بنجاح
- هذه
- الدعم
- أخذ
- يأخذ
- الهدف
- فريق
- تقني
- تكنولوجيا
- من
- أن
- •
- من مشاركة
- منهم
- تشبه
- هم
- هؤلاء
- ثلاثة
- عبر
- الوقت
- استهلاك الوقت
- إلى
- قطار
- متدرب
- قادة الإيمان
- سفر
- السفر
- محاكمات
- أنواع
- فهم
- فهم
- جامعة
- من غير المحتمل
- قابليتها للاستخدام
- تستخدم
- مستعمل
- مستخدم
- يستخدم
- استخدام
- التحقق من صحة
- القيم
- طريق..
- we
- الويب
- خدمات ويب
- وزن
- حسن
- كان
- ابحث عن
- متى
- في حين
- التي
- في حين
- سوف
- مع
- في غضون
- بدون
- أعمال
- سوف
- XGBoost
- سنوات
- نيويورك
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت