المحتوى والآراء الواردة في هذا المنشور تخص مؤلف الطرف الثالث ولا تتحمل AWS مسؤولية محتوى هذا المنشور أو دقته.
نظرًا لأن المزيد من المؤسسات تستخدم تقنيات التعلم العميق مثل رؤية الكمبيوتر ومعالجة اللغة الطبيعية ، فإن شخصية مطور التعلم الآلي (ML) تحتاج إلى أدوات قابلة للتطوير حول تتبع التجربة والنسب والتعاون. يتضمن تعقب التجربة البيانات الوصفية مثل نظام التشغيل والبنية التحتية المستخدمة والمكتبة ومجموعات بيانات الإدخال والإخراج - غالبًا ما يتم تعقبها في جدول بيانات يدويًا. يتضمن النسب تتبع مجموعات البيانات والتحويلات والخوارزميات المستخدمة لإنشاء نموذج ML. يشمل التعاون مطوري ML الذين يعملون في مشروع واحد وأيضًا مطوري ML الذين يشاركون نتائجهم عبر الفرق وأصحاب المصلحة في الأعمال - وهي عملية تتم عادةً عبر البريد الإلكتروني ولقطات الشاشة وعروض PowerPoint التقديمية.
في هذا المنشور ، نقوم بتدريب نموذج لتحديد الكائنات لحالة استخدام مركبة مستقلة باستخدام الأوزان والتحيزات (W & B) و الأمازون SageMaker. نعرض كيف يقلل الحل المشترك العمل اليدوي لمطور ML ، ويخلق المزيد من الشفافية في عملية تطوير النموذج ، ويمكّن الفرق من التعاون في المشاريع.
نقوم بتشغيل هذا المثال على أمازون ساجميكر ستوديو لكي تجربها بنفسك.
نظرة عامة على الأوزان والتحيزات
تساعد الأوزان والتحيزات فرق تعلم الآلة على بناء نماذج أفضل بشكل أسرع. من خلال بضعة أسطر من التعليمات البرمجية في دفتر SageMaker الخاص بك ، يمكنك على الفور تصحيح الأخطاء ومقارنتها وإعادة إنتاج النماذج الخاصة بك - الهندسة والمعلمات الفائقة والتزامات git وأوزان النماذج واستخدام GPU ومجموعات البيانات والتنبؤات - كل ذلك أثناء التعاون مع زملائك في الفريق.
يثق W & B من قبل أكثر من 200,000 ممارس ML من بعض الشركات والمؤسسات البحثية الأكثر ابتكارًا في العالم. لتجربتها مجانًا ، قم بالتسجيل في الأوزان والتحيزات، أو زيارة قائمة W & B AWS Marketplace.
الشروع في العمل مع SageMaker Studio
SageMaker Studio هو أول بيئة تطوير متكاملة (IDE) لـ ML. يوفر Studio واجهة واحدة قائمة على الويب حيث يمكن لممارسي التعلم الآلي وعلماء البيانات بناء النماذج وتدريبها ونشرها ببضع نقرات ، كل ذلك في مكان واحد.
لبدء استخدام Studio ، تحتاج إلى حساب AWS و إدارة الهوية والوصول AWS (IAM) أو دور لديه أذونات لإنشاء مجال Studio. تشير إلى على متن الطائرة إلى Amazon SageMaker Domain لإنشاء مجال ، و وثائق الاستوديو للحصول على نظرة عامة حول استخدام واجهة Studio المرئية وأجهزة الكمبيوتر المحمولة.
هيئ البيئة
بالنسبة لهذا المنشور ، نحن مهتمون بتشغيل الكود الخاص بنا ، لذلك دعونا نستورد بعض أجهزة الكمبيوتر المحمولة من GitHub. نستخدم ما يلي جيثب ريبو كمثال ، لذلك دعونا نحمل هذا الكمبيوتر المحمول.
يمكنك استنساخ مستودع إما من خلال Terminal أو Studio UI. لاستنساخ مستودع من خلال الجهاز ، افتح محطة النظام (على ملف قم بتقديم القائمة، اختر جديد و محطة) وأدخل الأمر التالي:
لاستنساخ مستودع من Studio UI ، راجع استنساخ مستودع Git في SageMaker Studio.
للبدء ، اختر ملف 01_data_processing.ipynb دفتر. تتم مطالبتك من خلال موجه تبديل kernel. يستخدم هذا المثال PyTorch ، حتى نتمكن من اختيار ملف PyTorch 1.10 Python 3.8 GPU الأمثل صورة لبدء دفتر ملاحظاتنا. يمكنك مشاهدة التطبيق وهو يبدأ ، وعندما يكون kernel جاهزًا ، فإنه يعرض نوع المثيل والنواة في الجزء العلوي الأيمن من دفتر ملاحظاتك.
يحتاج الكمبيوتر الدفتري الخاص بنا إلى بعض التبعيات الإضافية. يوفر هذا المستودع متطلبات .txt مع التبعيات الإضافية. قم بتشغيل الخلية الأولى لتثبيت التبعيات المطلوبة:
يمكنك أيضًا إنشاء تكوين دورة حياة لتثبيت الحزم تلقائيًا في كل مرة تبدأ فيها تشغيل تطبيق PyTorch. نرى قم بتخصيص Amazon SageMaker Studio باستخدام تكوينات دورة الحياة للتعليمات ونموذج التنفيذ.
استخدم الأوزان والتحيزات في SageMaker Studio
الأوزان والتحيزات (wandb
) هي مكتبة بايثون قياسية. بمجرد التثبيت ، يكون الأمر بسيطًا مثل إضافة بضعة أسطر من التعليمات البرمجية إلى البرنامج النصي التدريبي الخاص بك وستكون جاهزًا لتسجيل التجارب. لقد قمنا بالفعل بتثبيته من خلال ملف requirements.txt الخاص بنا. يمكنك أيضًا تثبيته يدويًا باستخدام الكود التالي:
دراسة حالة: التجزئة الدلالية للمركبة المستقلة
بيانات
نستخدم قاعدة بيانات الفيديو المسمى كامبريدج لتعليم قيادة السيارات (CamVid) لهذا المثال. يحتوي على مجموعة من مقاطع الفيديو مع تسميات دلالية لفئة الكائن ، كاملة مع البيانات الوصفية. توفر قاعدة البيانات تسميات الحقيقة الأساسية التي تربط كل بكسل بواحدة من 32 فئة دلالية. يمكننا إصدار مجموعة البيانات الخاصة بنا كملف قطعة أثرية، بهذه الطريقة يمكننا الرجوع إليها لاحقًا. انظر الكود التالي:
يمكنك المتابعة على طول 01_data_processing.ipynb دفتر.
نقوم أيضًا بتسجيل ملف جدول من مجموعة البيانات. تعد الجداول كيانات غنية وقوية تشبه DataFrame وتمكنك من الاستعلام عن البيانات الجدولية وتحليلها. يمكنك فهم مجموعات البيانات الخاصة بك ، وتصور تنبؤات النماذج ، ومشاركة الرؤى في لوحة معلومات مركزية.
تدعم جداول الأوزان والتحيزات العديد من تنسيقات الوسائط الغنية ، مثل الصورة والصوت والأشكال الموجية. للحصول على قائمة كاملة بتنسيقات الوسائط ، راجع أنواع البيانات.
تُظهر لقطة الشاشة التالية جدولاً يحتوي على صور أولية مع تجزئة الحقيقة الأساسية. يمكنك أيضًا عرض ملف نسخة تفاعلية من هذا الجدول.
تدريب نموذج
يمكننا الآن إنشاء نموذج وتدريبه على مجموعة البيانات الخاصة بنا. نحن نستخدم PyTorch و فاستاي لوضع نموذج أولي سريع لخط الأساس ثم استخدامه wandb.Sweeps
لتحسين المعلمات الفائقة لدينا. اتبع على طول في 02_semantic_segmentation.ipynb دفتر. عندما يُطلب منك نواة عند فتح دفتر الملاحظات ، اختر نفس النواة من دفتر ملاحظاتنا الأول ، PyTorch 1.10 Python 3.8 GPU الأمثل. تم تثبيت حزمك بالفعل لأنك تستخدم نفس التطبيق.
من المفترض أن يتعلم النموذج تعليقًا توضيحيًا لكل بكسل لمشهد تم التقاطه من وجهة نظر الوكيل المستقل. يحتاج النموذج إلى تصنيف أو تقسيم كل بكسل في مشهد معين إلى 32 فئة ذات صلة ، مثل الطريق أو المشاة أو الرصيف أو السيارات. يمكنك اختيار أي من الصور المجزأة على الجدول والوصول إلى هذه الواجهة التفاعلية للوصول إلى نتائج التصنيف والفئات.
لأن فاستاي مكتبة لديها التكامل مع wandb
، يمكنك ببساطة تمرير WandbCallback
للمتعلم:
بالنسبة للتجارب الأساسية ، قررنا استخدام بنية بسيطة مستوحاة من أونيت ورق ذو أعمدة فقارية مختلفة من تيم. قمنا بتدريب نماذجنا مع الخسارة البؤرية كمعيار. باستخدام الأوزان والتحيزات ، يمكنك بسهولة إنشاء لوحات معلومات مع ملخصات لتجاربك لتحليل نتائج التدريب بسرعة ، كما هو موضح في لقطة الشاشة التالية. يمكنك أيضا عرض لوحة القيادة هذه بشكل تفاعلي.
بحث Hyperparameter مع عمليات المسح
لتحسين أداء النموذج الأساسي ، نحتاج إلى تحديد أفضل نموذج وأفضل مجموعة من المعلمات الفائقة للتدريب. W & B يجعل هذا الأمر سهلاً بالنسبة لنا باستخدام مداهمات.
نحن نؤدي البحث الفائق البيزي بهدف تعظيم دقة المقدمة للنموذج في مجموعة بيانات التحقق من الصحة. لإجراء عملية المسح ، نحدد ملف التكوين sweep.yaml. داخل هذا الملف ، نقوم بتمرير الطريقة المطلوبة لاستخدامها: bayes والمعلمات والقيم المقابلة للبحث. في حالتنا ، نقوم بتجربة مختلف أنواع العمود الفقري ، وأحجام الدُفعات ، ووظائف الخسارة. نستكشف أيضًا معلمات التحسين المختلفة مثل معدل التعلم وتناقص الوزن. لأن هذه قيم مستمرة ، نقوم بأخذ عينات من التوزيع. هناك عدة خيارات التكوين المتاحة لعمليات المسح.
بعد ذلك ، في المحطة الطرفية ، تقوم بتشغيل المسح باستخدام ملف سطر أوامر wandb:
ثم قم بتشغيل عامل المسح على هذا الجهاز بالرمز التالي:
عند انتهاء عملية المسح ، يمكننا استخدام مخطط إحداثيات متوازية لاستكشاف أداء النماذج ذات الأعمدة الفقرية المختلفة ومجموعات مختلفة من المعلمات الفائقة. بناءً على ذلك ، يمكننا أن نرى النموذج الأفضل أداءً.
تُظهر لقطة الشاشة التالية نتائج عمليات المسح ، بما في ذلك مخطط الإحداثيات المتوازية ومخططات ارتباط المعلمات. يمكنك أيضا عرض لوحة القيادة عمليات المسح هذه بشكل تفاعلي.
يمكننا استخلاص الأفكار الرئيسية التالية من عملية المسح:
- يؤدي انخفاض معدل التعلم وانخفاض تسوس الوزن إلى تحسين دقة المقدمة وعشرات النرد.
- حجم الدفعة له ارتباطات إيجابية قوية مع المقاييس.
- • العمود الفقري القائم على VGG قد لا يكون خيارًا جيدًا لتدريب نموذجنا النهائي لأنهم عرضة للتسبب في ملف يتلاشى التدرج. (يتم تصفيتها مع تباعد الخسارة).
- • ريسنيت ينتج عن العمود الفقري أفضل أداء عام فيما يتعلق بالمقاييس.
- يجب اختيار العمود الفقري ResNet34 أو ResNet50 للنموذج النهائي نظرًا لأدائهما القوي من حيث المقاييس.
البيانات ونسب النموذج
تم تصميم عناصر W & B لتسهيل إصدار مجموعات البيانات والنماذج الخاصة بك ، بغض النظر عما إذا كنت تريد تخزين ملفاتك باستخدام W & B أو ما إذا كان لديك بالفعل دلو تريد أن يتتبعه W & B. بعد أن تقوم بتتبع مجموعات البيانات أو ملفات النماذج الخاصة بك ، يقوم W & B بتسجيل كل تعديل تلقائيًا ، مما يمنحك سجلًا كاملاً وقابلاً للتدقيق بالتغييرات التي تم إجراؤها على ملفاتك.
في حالتنا ، يتم تسجيل مجموعة البيانات والنماذج والجداول المختلفة التي تم إنشاؤها أثناء التدريب في مساحة العمل. يمكنك عرض هذا النسب وتصوره بسرعة من خلال الانتقال إلى القطع الأثرية .
تفسير تنبؤات النموذج
الوزن والتحيزات مفيدة بشكل خاص عند تقييم أداء النموذج باستخدام قوة wandb.Tables لتصور حيث يعمل نموذجنا بشكل سيء. في هذه الحالة ، نحن مهتمون بشكل خاص باكتشاف المستخدمين المعرضين للخطر بشكل صحيح مثل الدراجات والمشاة.
قمنا بتسجيل الأقنعة المتوقعة جنبًا إلى جنب مع معامل درجة النرد لكل فئة في جدول. ثم قمنا بالتصفية حسب الصفوف التي تحتوي على الفئات المطلوبة وفرزنا بترتيب تصاعدي على درجة النرد.
في الجدول التالي ، نقوم أولاً بالتصفية عن طريق اختيار مكان نقاط النرد الإيجابية (المشاة موجودون في الصورة). ثم نقوم بالفرز بترتيب تصاعدي لتحديد أسوأ المشاة الذين تم اكتشافهم. ضع في اعتبارك أن درجة النرد التي تساوي 1 تعني تقسيم فئة المشاة بشكل صحيح. يمكنك أيضا اعرض هذا الجدول بشكل تفاعلي.
يمكننا تكرار هذا التحليل مع الفئات الضعيفة الأخرى ، مثل الدراجات أو إشارات المرور.
تعد هذه الميزة طريقة جيدة جدًا لتحديد الصور التي لم يتم تصنيفها بشكل صحيح ووضع علامات عليها لإعادة التعليق عليها.
وفي الختام
عرض هذا المنشور منصة Weights & Biases MLOps ، وكيفية إعداد W & B في SageMaker Studio ، وكيفية تشغيل دفتر ملاحظات تمهيدي على الحل المشترك. مررنا بعد ذلك من خلال حالة استخدام تجزئة دلالية للمركبة المستقلة وأظهرنا تدريب التتبع مع تجارب W & B ، وتحسين المعلمات الفائقة باستخدام عمليات مسح W & B ، وتفسير النتائج باستخدام جداول W & B.
إذا كنت مهتمًا بمعرفة المزيد ، فيمكنك الوصول إلى البث المباشر تقرير W & B. لتجربة الأوزان والتحيزات مجانًا ، قم بالتسجيل في الأوزان والتحيزات، أو زيارة قائمة W & B AWS Marketplace.
حول المؤلف
توماس كابيل هو مهندس تعلم الآلة في Weights and Biases. وهو مسؤول عن إبقاء مستودع www.github.com/wandb/examples نشطًا ومحدّثًا. كما أنه يبني المحتوى على MLOPS ، وتطبيقات W & B في الصناعات ، والتعلم العميق الممتع بشكل عام. في السابق كان يستخدم التعلم العميق لحل التنبؤ قصير المدى للطاقة الشمسية. لديه خلفية في التخطيط الحضري والتحسين التجميعي واقتصاديات النقل والرياضيات التطبيقية.
دورجا سوري هو مهندس حلول ML في فريق Amazon SageMaker Service SA. إنها شغوفة بجعل التعلم الآلي في متناول الجميع. خلال السنوات الثلاث التي قضتها في AWS ، ساعدت في إنشاء منصات AI / ML لعملاء المؤسسات. عندما لا تعمل ، تحب ركوب الدراجات النارية والروايات الغامضة والمشي مع أجشها البالغة من العمر أربع سنوات.
كارثيك بهاراتي هي الشركة الرائدة في منتجات Amazon SageMaker مع أكثر من عشر سنوات من إدارة المنتج واستراتيجية المنتج والتنفيذ وتجربة الإطلاق.
- كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
- كريبتوهوك. الرادار. تجربة مجانية.
- المصدر: https://aws.amazon.com/blogs/machine-learning/improve-ml-developer-productivity-with-weights-biases-a-computer-vision-example-on-amazon-sagemaker/
- "
- &
- 000
- 10
- 100
- a
- من نحن
- الوصول
- يمكن الوصول
- الوصول
- حسابي
- في
- إضافي
- AI
- خوارزميات
- الكل
- سابقا
- أمازون
- تحليل
- تحليل
- التطبيق
- التطبيقات
- تطبيقي
- هندسة معمارية
- حول
- محام
- سمعي
- تلقائيا
- مستقل
- متاح
- AWS
- خلفية
- خط الأساس
- لان
- أفضل
- نساعدك في بناء
- يبني
- الأعمال
- cars
- حقيبة
- مركزي
- الرسوم البيانية
- اختار
- اختيار
- فئة
- فصول
- الكود
- تعاون
- التعاون
- للاتعاون
- مجموعة شتاء XNUMX
- الشركات
- إكمال
- الكمبيوتر
- الاعداد
- يحتوي
- محتوى
- المقابلة
- خلق
- يخلق
- العملاء
- لوحة أجهزة القياس
- البيانات
- قاعدة البيانات
- عقد
- قررت
- عميق
- تظاهر
- نشر
- تصميم
- المطور
- المطورين
- التطوير التجاري
- مختلف
- توزيع
- نطاق
- أثناء
- كل
- بسهولة
- الاقتصاد - Economics
- البريد الإلكتروني
- تمكين
- تمكن
- طاقة
- مهندس
- أدخل
- مشروع
- الكيانات
- البيئة
- خاصة
- كل شخص
- مثال
- الخبره في مجال الغطس
- تجربة
- اكتشف
- FAST
- أسرع
- الميزات
- الاسم الأول
- اتباع
- متابعيك
- مجانًا
- تبدأ من
- بالإضافة إلى
- مرح
- وظائف
- العلاجات العامة
- ولدت
- بوابة
- GitHub جيثب:
- إعطاء
- هدف
- الذهاب
- خير
- وحدة معالجة الرسوميات:
- ساعد
- يساعد
- تاريخ
- كيفية
- كيفية
- HTTPS
- تحديد
- تحديد
- هوية
- صورة
- صور
- التنفيذ
- تحسن
- يشمل
- بما فيه
- الصناعات
- البنية التحتية
- مبتكرة
- إدخال
- رؤى
- موحى
- تثبيت
- مثل
- المتكاملة
- التكامل
- التفاعلية
- يستفد
- السطح البيني
- استهلالي
- IT
- احتفظ
- حفظ
- القفل
- ملصقات
- لغة
- إطلاق
- زعيم
- تعلم
- تعلم
- المكتبة
- خطوط
- قائمة
- حي
- تحميل
- آلة
- آلة التعلم
- جعل
- يصنع
- القيام ب
- إدارة
- كتيب
- عمل يدوي
- يدويا
- السوق
- ماسكات
- الرياضيات
- يعني
- الوسائط
- المقاييس
- ربما
- مانع
- ML
- نموذج
- عارضات ازياء
- الأكثر من ذلك
- أكثر
- دراجة نارية
- متعدد
- سر
- طبيعي
- إحتياجات
- مفكرة
- جاكيت
- افتتاح
- تعمل
- نظام التشغيل
- آراء
- التحسين
- الأمثل
- خيار
- مزيد من الخيارات
- طلب
- المنظمات
- أخرى
- الكلي
- الخاصة
- ورق
- خاصة
- عاطفي
- أداء
- العروض
- تخطيط
- المنصة
- منصات التداول
- البوينت
- بسبب، حظ
- إيجابي
- قوة
- قوي
- تنبؤات
- يقدم
- العروض
- عملية المعالجة
- معالجة
- منتج
- ادارة المنتج
- إنتاجية
- تنفيذ المشاريع
- مشروع ناجح
- ويوفر
- بسرعة
- الخام
- ذات الصلة
- كرر
- مستودع
- مطلوب
- المتطلبات الأساسية
- بحث
- مسؤول
- مما أدى
- النتائج
- طريق
- النوع
- يجري
- تشغيل
- نفسه
- تحجيم
- مشهد
- العلماء
- بحث
- قطعة
- تقسيم
- الخدمة
- طقم
- مشاركة
- مشاركة
- المدى القصير
- عرض
- أظهرت
- إشارة
- الاشارات
- عزباء
- مقاس
- So
- شمسي
- أنظمة الطاقة الشمسية
- حل
- الحلول
- حل
- بعض
- معيار
- بداية
- بدأت
- متجر
- الإستراتيجيات
- قوي
- ستوديو
- دراسة
- الدعم
- اكتساح
- نظام
- فريق
- فريق
- تقنيات
- محطة
- سياسة الحجب وتقييد الوصول
- •
- المفصل
- العالم
- طرف ثالث
- عبر
- الوقت
- تيشرت
- مسار
- تتبع الشحنة
- حركة المرور
- قادة الإيمان
- التحولات
- الشفافية
- افضل
- ui
- فهم
- في المناطق الحضرية
- us
- تستخدم
- المستخدمين
- التحقق من صحة
- قيمنا
- مختلف
- المثالية
- الإصدار
- فيديو
- مقاطع فيديو
- المزيد
- رؤيتنا
- الضعيفة
- على شبكة الإنترنت
- سواء
- في حين
- ويكيبيديا
- للعمل
- عامل
- العالم
- سنوات
- حل متجر العقارات الشامل الخاص بك في جورجيا