يمكن أن تمتد تجارب التعلم الآلي (ML) في السحابة عبر العديد من الخدمات والمكونات. تعد القدرة على هيكلة وأتمتة وتتبع تجارب ML أمرًا ضروريًا لتمكين التطوير السريع لنماذج ML. مع أحدث التطورات في مجال التعلم الآلي الآلي (AutoML) ، أي مجال ML المخصص لأتمتة عمليات ML ، يمكنك بناء نماذج دقيقة لصنع القرار دون الحاجة إلى معرفة عميقة بتعلم الآلة. في هذا المنشور ، ندرس AutoGluon ، وهو إطار عمل AutoML مفتوح المصدر يسمح لك ببناء نماذج ML دقيقة باستخدام بضعة أسطر من Python.
تقدم AWS مجموعة واسعة من الخدمات لإدارة عمليات سير عمل ML وتشغيلها ، مما يسمح لك بتحديد حل بناءً على مهاراتك وتطبيقك. على سبيل المثال ، إذا كنت تستخدم بالفعل وظائف خطوة AWS لتنظيم مكونات التطبيقات الموزعة ، يمكنك استخدام نفس الخدمة لإنشاء مهام سير عمل تعلم الآلة وأتمتتها. تشمل أدوات MLOps الأخرى التي تقدمها AWS خطوط أنابيب Amazon SageMaker، مما يمكّنك من إنشاء نماذج ML بتنسيق أمازون ساجميكر ستوديو مع إمكانيات MLOps (مثل توافق CI / CD ، ومراقبة النموذج ، والموافقات على النماذج). أدوات مفتوحة المصدر ، مثل أباتشي تدفق الهواء—متوفر على AWS من خلال تدفقات عمل أمازون المدارة لتدفق أباتشي-و كوب فلو، وكذلك الحلول المختلطة ، مدعومة أيضًا. على سبيل المثال ، يمكنك إدارة استيعاب البيانات ومعالجتها باستخدام وظائف الخطوة أثناء التدريب ونشر نماذج ML باستخدام خطوط أنابيب SageMaker.
في هذا المنشور ، نوضح كيف حتى المطورين الذين ليس لديهم خبرة في تعلم الآلة يمكنهم بسهولة إنشاء وصيانة أحدث نماذج ML باستخدام AutoGluon على الأمازون SageMaker ووظائف الخطوة لتنظيم مكونات سير العمل.
بعد نظرة عامة على خوارزمية AutoGluon ، نقدم تعريفات سير العمل جنبًا إلى جنب مع الأمثلة و a تعليمي كود التي يمكنك تطبيقها على بياناتك الخاصة.
AutoGluon
AutoGluon هو إطار عمل AutoML مفتوح المصدر يعمل على تسريع اعتماد ML من خلال تدريب نماذج ML الدقيقة باستخدام بضعة أسطر فقط من كود Python. على الرغم من أن هذا المنشور يركز على البيانات المجدولة ، إلا أن AutoGluon يسمح لك أيضًا بتدريب أحدث النماذج لتصنيف الصور واكتشاف الكائنات وتصنيف النص. جدول AutoGluon ينشئ ويجمع بين نماذج مختلفة للعثور على الحل الأمثل.
أصدر فريق AutoGluon في AWS ملف ورقة التي تقدم المبادئ التي تشكل هيكل المكتبة:
- البساطة - يمكنك إنشاء نماذج التصنيف والانحدار مباشرة من البيانات الأولية دون الحاجة إلى تحليل البيانات أو إجراء هندسة الميزات
- متانة - يجب أن تنجح عملية التدريب الشاملة حتى لو فشلت بعض النماذج الفردية
- التوقيت المتوقع - يمكنك الحصول على أفضل النتائج في الوقت الذي تريد استثماره في التدريب
- التسامح مع الخطأ - يمكنك إيقاف التدريب واستئنافه في أي وقت ، مما يحسن التكاليف إذا كانت العملية تعمل على الصور الموضعية في السحابة
لمزيد من التفاصيل حول الخوارزمية ، راجع ورقة تم إصداره بواسطة فريق AutoGluon في AWS.
بعد تثبيت برنامج حزمة AutoGluon وتبعياتها ، فإن تدريب النموذج سهل مثل كتابة ثلاثة أسطر من التعليمات البرمجية:
أثبت فريق AutoGluon قوة الإطار من خلال الوصول إلى أفضل 10 ليدربورد في العديد من مسابقات Kaggle.
حل نظرة عامة
نحن نستخدم Step Functions لتنفيذ سير عمل ML الذي يغطي التدريب والتقييم والنشر. يتيح تصميم خط الأنابيب إجراء تجارب سريعة وقابلة للتكوين عن طريق تعديل معلمات الإدخال التي تغذيها في خط الأنابيب في وقت التشغيل.
يمكنك تكوين خط الأنابيب لتنفيذ مهام سير عمل مختلفة ، مثل ما يلي:
- تدريب نموذج ML جديد وتخزينه في سجل نموذج SageMaker ، إذا لم تكن هناك حاجة إلى النشر في هذه المرحلة
- انشر نموذج ML مدرب مسبقًا ، إما عبر الإنترنت (نقطة نهاية SageMaker) أو غير متصل (تحويل دفعة SageMaker) الإستنباط
- قم بتشغيل خط أنابيب كامل لتدريب نموذج ML وتقييمه ونشره من البداية
الحلول تتكون من جنرال آلة الدولة (انظر الرسم البياني التالي) الذي ينسق مجموعة الإجراءات التي سيتم تشغيلها بناءً على مجموعة من معلمات الإدخال.
خطوات آلة الحالة كالتالي:
- الخطوة الأولى
IsTraining
يقرر ما إذا كنا نستخدم نموذجًا مدربًا مسبقًا أو ندرب نموذجًا من البداية. إذا كنت تستخدم نموذجًا تم تدريبه مسبقًا ، فإن آلة الحالة تتخطى الخطوة 7. - عند الحاجة إلى نموذج ML جديد ،
TrainSteps
يقوم بتشغيل جهاز الحالة الثانية الذي يقوم بتنفيذ جميع الإجراءات اللازمة ويعيد النتيجة إلى آلة الحالة الحالية. ندخل في مزيد من التفاصيل حول آلة حالة التدريب في القسم التالي. - عندما ينتهي التدريب ،
PassModelName
يخزن اسم وظيفة التدريب في مكان محدد لسياق آلة الحالة ليتم إعادة استخدامه في الحالات التالية. - إذا تم تحديد مرحلة التقييم ،
IsEvaluation
يعيد توجيه آلة الدولة نحو فرع التقييم. وإلا فإنه يتخطى الخطوة 7. - ثم يتم تنفيذ مرحلة التقييم باستخدام AWS لامدا الدالة التي تم استدعاؤها بواسطة
ModelValidation
خطوة. تسترد وظيفة Lambda أداء النموذج في مجموعة اختبار وتقارنها مع حد قابل للتكوين بواسطة المستخدم محدد في معلمات الإدخال. الكود التالي هو مثال على نتائج التقييم: - إذا كان تقييم النموذج في
EvaluationResults
ناجحًا ، تستمر آلة الحالة في خطوات النشر النهائية. إذا كان أداء النموذج أقل من معايير تحديد المستخدم ، فإن آلة الحالة تتوقف ويتم تخطي النشر. - إذا تم تحديد النشر ،
IsDeploy
يبدأ آلة الدولة الثالثة من خلالDeploySteps
، والذي سنصفه لاحقًا في هذا المنشور. إذا لم يكن النشر مطلوبًا ، يتوقف جهاز الحالة هنا.
تتوفر مجموعة من عينات معلمات الإدخال على جيثب ريبو.
آلة دولة التدريب
تتكون آلة الحالة لتدريب نموذج ML الجديد باستخدام AutoGluon من خطوتين ، كما هو موضح في الرسم البياني التالي. الخطوة الأولى هي وظيفة تدريب SageMaker التي تنشئ النموذج. الثاني يحفظ الإدخالات في سجل نموذج SageMaker.
يمكنك تنفيذ هذه الخطوات إما تلقائيًا كجزء من جهاز الحالة الرئيسية ، أو كعملية قائمة بذاتها.
آلة حالة الانتشار
لنلقِ نظرة الآن على آلة الحالة المخصصة لمرحلة النشر (انظر الرسم البياني التالي). كما ذكرنا سابقًا ، تدعم البنية كل من النشر عبر الإنترنت وغير المتصل. يتكون الأول من نشر نقطة نهاية SageMaker ، في حين أن الأخير يدير مهمة تحويل دفعة SageMaker.
خطوات التنفيذ هي كما يلي:
ChoiceDeploymentMode
يبحث في معلمات الإدخال لتحديد وضع النشر المطلوب ويوجه جهاز الحالة نحو الفرع المقابل.- إذا تم اختيار نقطة نهاية ، فإن ملف
EndpointConfig
الخطوة تحدد تكوينها ، بينماCreateEndpoint
يبدأ عملية تخصيص موارد الحوسبة المطلوبة. قد يستغرق هذا التخصيص عدة دقائق ، لذلك يتوقف جهاز الحالة مؤقتًا عندWaitForEndpoint
ويستخدم دالة Lambda لاستقصاء حالة نقطة النهاية. - أثناء تكوين نقطة النهاية ،
ChoiceEndpointStatus
يعود الىWaitForEndpoint
الدولة ، وإلا فإنه يستمر في أي منهماDeploymentFailed
orDeploymentSucceeded
. - إذا تم تحديد النشر دون اتصال ، يقوم جهاز الحالة بتشغيل وظيفة تحويل مجموعة SageMaker ، وبعد ذلك يتوقف جهاز الحالة.
وفي الختام
يقدم هذا المنشور خط أنابيب سهل الاستخدام لتنظيم تدفقات عمل AutoML وتمكين التجارب السريعة في السحابة ، مما يتيح حلول ML دقيقة دون الحاجة إلى معرفة متقدمة في تعلم الآلة.
نحن نقدم خط أنابيب عام بالإضافة إلى خطين معياريين يسمحان لك بأداء التدريب والنشر بشكل منفصل إذا لزم الأمر. علاوة على ذلك ، فإن الحل متكامل تمامًا مع SageMaker ، مستفيدًا من ميزاته وموارده الحسابية.
ابدأ الآن بهذا تعليمي كود لنشر الموارد المعروضة في هذا المنشور في حساب AWS الخاص بك وتشغيل تجارب AutoML الأولى.
حول المؤلف
فيديريكو بيتشينيني هو مهندس التعلم العميق في مختبر حلول التعلم الآلي في أمازون. إنه شغوف بالتعلم الآلي والذكاء الاصطناعي القابل للتفسير و MLOps. يركز على تصميم خطوط أنابيب ML لعملاء AWS. خارج العمل ، يستمتع بالرياضة والبيتزا.
باولو إيريرا هو عالم بيانات في Amazon Machine Learning Solutions Lab ، حيث يساعد العملاء على معالجة مشاكل الأعمال باستخدام إمكانيات التعلم الآلي والسحابة. حاصل على درجة الدكتوراه في رؤية الكمبيوتر من Telecom ParisTech ، باريس.
- كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
- كريبتوهوك. الرادار. تجربة مجانية.
- المصدر: https://aws.amazon.com/blogs/machine-learning/manage-automl-workflows-with-aws-step-functions-and-autogluon-on-amazon-sagemaker/
- "
- 10
- 100
- 7
- a
- القدرة
- من نحن
- حسابي
- دقيق
- في
- الإجراءات
- العنوان
- تبني
- متقدم
- التطورات
- AI
- خوارزمية
- الكل
- توزيع
- السماح
- يسمح
- سابقا
- بالرغم ان
- أمازون
- تحليل
- تطبيق
- التطبيقات
- التقديم
- هندسة معمارية
- المنطقة
- أتمتة
- الآلي
- تلقائيا
- أتمتة
- متاح
- AWS
- يجري
- أقل من
- نساعدك في بناء
- الأعمال
- يستطيع الحصول على
- قدرات
- اختيار
- تصنيف
- سحابة
- الكود
- التوافق
- المسابقات
- إكمال
- مكونات
- الكمبيوتر
- الحوسبة
- الاعداد
- تواصل
- المقابلة
- التكاليف
- خلق
- يخلق
- المعايير
- حالياًّ
- الوضع الحالي
- العملاء
- البيانات
- عالم البيانات
- مخصصة
- عميق
- نشر
- نشر
- نشر
- وصف
- تصميم
- تصميم
- التفاصيل
- تفاصيل
- كشف
- المطورين
- التطوير التجاري
- مختلف
- مباشرة
- وزعت
- بسهولة
- سهلة الاستخدام
- تمكين
- تمكن
- نقطة النهاية
- أساسي
- تقييم
- تقييم
- مثال
- أمثلة
- خبرة
- FAST
- الميزات
- المميزات
- الاسم الأول
- ويركز
- متابعيك
- متابعات
- الإطار
- تبدأ من
- وظيفة
- وظائف
- العلاجات العامة
- وجود
- يساعد
- هنا
- يحمل
- كيفية
- HTTPS
- مهجنة
- صورة
- صور
- تنفيذ
- التنفيذ
- نفذت
- تتضمن
- فرد
- إدخال
- تثبيت
- المتكاملة
- IT
- وظيفة
- المعرفة
- مختبر
- آخر
- تعلم
- المكتبة
- خطوط
- موقع
- بحث
- آلة
- آلة التعلم
- المحافظة
- إدارة
- تمكن
- المذكورة
- ML
- نموذج
- عارضات ازياء
- وحدات
- مراقبة
- الأكثر من ذلك
- متعدد
- أي
- ضروري
- الحاجة
- التالي
- عرضت
- عروض
- حاليا
- online
- أخرى
- وإلا
- الكلي
- الخاصة
- باريس
- جزء
- عاطفي
- العروض
- أداء
- مرحلة جديدة
- البيتزا
- في.
- يقدم
- الهدايا
- مشاكل
- عملية المعالجة
- العمليات
- معالجة
- تزود
- نطاق
- الخام
- صدر
- مطلوب
- الموارد
- النتائج
- استئنف
- عائدات
- يجري
- نفسه
- عالم
- مختار
- الخدمة
- خدمات
- طقم
- عدة
- إظهار
- مهارات
- So
- حل
- الحلول
- بعض
- رياضة
- بقعة
- مستقل
- بدأت
- يبدأ
- الولايه او المحافظه
- دولة من بين الفن
- المحافظة
- الحالة
- متجر
- فروعنا
- قوة
- ناجح
- مدعومة
- الدعم
- فريق
- الاتصالات
- تجربه بالعربي
- •
- ثلاثة
- عتبة
- عبر
- الوقت
- أدوات
- تيشرت
- نحو
- مسار
- قطار
- قادة الإيمان
- تحول
- تستخدم
- رؤيتنا
- سواء
- في حين
- في غضون
- بدون
- للعمل
- سير العمل
- جاري الكتابة
- حل متجر العقارات الشامل الخاص بك في جورجيا