رحلة تحديث TorchVision - مذكرات مطور TorchVision - 3

• 21 مايو 2022
• فاسيليس فرينيوتيس
• . لا تعليق

لقد مر وقت طويل منذ آخر مرة قمت فيها بنشر إدخال جديد في مذكرات TorchVision سلسلة. أعتقد ، لقد سبق لي مشاركة الأخبار على مدونة PyTorch الرسمية وما بعدها تويتر، اعتقدت أنه من الجيد التحدث أكثر عما حدث في الإصدار الأخير من TorchVision (v0.12) ، وما الذي سيصدر في الإصدار التالي (v0.13) وما هي خططنا لعام 2022H2. هدفي هو تجاوز تقديم نظرة عامة على الميزات الجديدة وتقديم رؤى حول المكان الذي نريد أن نأخذ فيه المشروع في الأشهر التالية.

TorchVision v0.12 تحديث كان إصدارًا كبيرًا مع تركيز مزدوج: أ) تحديث سياسات الإيقاف ومساهمة النموذج لدينا لتحسين الشفافية وجذب المزيد من المساهمين في المجتمع و ب) مضاعفة جهود التحديث لدينا من خلال إضافة بنى نموذجية جديدة شهيرة ومجموعات بيانات وتقنيات تعلم الآلة.

تحديث سياساتنا

إن مفتاح نجاح مشروع مفتوح المصدر هو الحفاظ على مجتمع صحي ونشط يساهم فيه ويدفعه إلى الأمام. وبالتالي فإن الهدف المهم لفريقنا هو زيادة عدد مساهمات المجتمع ، مع رؤية طويلة المدى لتمكين المجتمع من المساهمة بميزات كبيرة (نماذج جديدة ، تقنيات ML ، إلخ) بالإضافة إلى التحسينات الإضافية المعتادة (إصلاحات الأخطاء / المستندات) ، ميزات صغيرة ، إلخ).

تاريخيا ، على الرغم من أن المجتمع كان حريص للمساهمة بمثل هذه الميزات ، تردد فريقنا في قبولها. كان مانع المفتاح هو عدم وجود مساهمة نموذجية ملموسة وسياسة الإهمال. لمعالجة هذا الأمر ، عمل جواو غوميز مع المجتمع لصياغة ونشر أول أعمالنا إرشادات مساهمة النموذج التي توفر الوضوح بشأن عملية المساهمة بهياكل جديدة وأوزان وميزات مدربة مسبقًا تتطلب تدريبًا على النموذج. علاوة على ذلك ، عمل Nicolas Hug مع مطوري PyTorch الأساسيين لصياغة واعتماد الخرسانة سياسة الإيقاف.

كان للتغييرات المذكورة أعلاه آثار إيجابية فورية على المشروع. ساعدتنا سياسة المساهمة الجديدة في تلقي العديد من مساهمات المجتمع للميزات الكبيرة (مزيد من التفاصيل أدناه) وقد مكنتنا سياسة الإيقاف الواضحة من تنظيف قاعدة الشفرة الخاصة بنا مع ضمان أن تقدم TorchVision ضمانات قوية للتوافق مع الإصدارات السابقة. فريقنا متحمس للغاية لمواصلة العمل مع مطوري البرامج مفتوحة المصدر وفرق البحث ومنشئي المكتبات النهائية للحفاظ على TorchVision ملائمة وجديدة. إذا كان لديك أي ملاحظات أو تعليق أو طلب ميزة من فضلك تواصل لنا.

تحديث TorchVision

ليس سراً أنه في آخر إصداراتنا الهدف كان من المقرر أن يضيف إلى TorchVision جميع التعزيزات الضرورية ، والخسائر ، والطبقات ، وأدوات التدريب ، والبنى الجديدة بحيث يمكن لمستخدمينا إعادة إنتاج نتائج SOTA بسهولة باستخدام PyTorch. استمر TorchVision v0.12 في السير على هذا الطريق:

• ساهم مساهمونا في مجتمع موسيقى الروك ، Hu Ye و Zhiqiang Wang ، في فكوس الهندسة المعمارية وهي نموذج لاكتشاف كائن من مرحلة واحدة.

• أضاف Nicolas Hug دعم التدفق البصري في TorchVision من خلال إضافة طوف هندسة معمارية.

• أضافت Yiwen Song دعمًا لـ محول الرؤية (ViT) ولقد أضفت ملف كونفنيكست الهندسة المعمارية جنبًا إلى جنب مع الأوزان المحسنة مسبقة التدريب.

• أخيرًا مع مساعدة من مجتمعنا ، أضفنا 14 تصنيف جديد و 5 تدفق بصري جديد مجموعات البيانات.

• كالمعتاد ، جاء الإصدار مزودًا بالعديد من التحسينات الصغيرة وإصلاحات الأخطاء وتحسينات التوثيق. لرؤية جميع الميزات الجديدة وقائمة المساهمين لدينا ، يرجى التحقق من ملاحظات الإصدار v0.12.

اقترب تطبيق TorchVision v0.13 من إصداره المتوقع في أوائل يونيو. إنه إصدار كبير جدًا يحتوي على عدد كبير من الميزات الجديدة وتحسينات كبيرة في واجهة برمجة التطبيقات.

اختتام التحديثات وسد الفجوة في SOTA

نحن مستمرون لدينا رحلة تحديث المكتبة من خلال إضافة الأساسيات الضرورية وبنيات النماذج وأدوات الوصفات للحصول على نتائج SOTA لمهام رؤية الكمبيوتر الرئيسية:

• بمساعدة فيكتور فومين ، قمت بإضافة تقنيات مهمة لزيادة البيانات المفقودة مثل أغسطس ميكس, اهتزاز على نطاق واسع الخ. مكنتنا هذه التقنيات من سد الفجوة من SOTA وإنتاج أوزان أفضل (انظر أدناه).

• بمساعدة Aditya Oke و Hu Ye و Yassine Alouini و Abhijit Deo ، أضفنا لبنات بناء مشتركة مهمة مثل دروب بلوك طبقة MLP بلوك cIoU & dIoU الخسارة وما إلى ذلك. أخيرًا عملت مع Shen Li لإصلاح مشكلة طويلة الأمد في PyTorch SyncBatchNorm الطبقة التي أثرت على نماذج الكشف.

• وأضاف هو يي بدعم من جواو جوميز سوين محول جنبًا إلى جنب مع الأوزان المحسنة مسبقة التدريب. أضفت ال كفاءةNetV2 الهندسة المعمارية والعديد من التحسينات المعمارية ما بعد الورق على تنفيذ RetinaNet و FasterRCNN و MaskRCNN.

• كما ناقشت سابقًا في مدونة PyTorch ، فقد بذلنا جهدًا كبيرًا لتحسين الأوزان المدربة مسبقًا من خلال إنشاء أداة محسنة وصفة تدريبية. هذا مكننا من تحسين دقة نماذج التصنيف من خلال 3 نقاط دقة ، مما يحقق SOTA جديد لمختلف البنى. تم بذل جهد مماثل ل الكشف والتجزئة، حيث قمنا بتحسين دقة النماذج بأكثر من 8.1 ماب في المتوسط. أخيرًا ، عمل Yosua Michael M مع Laura Gustafson و Mannat Singhand و Aaron Adcock لإضافة دعم لـ SWAG، مجموعة من الأوزان الجديدة عالية الدقة والمدرَّبة مسبقًا لأجهزة ViT و RegNets.

واجهة برمجة تطبيقات جديدة لدعم الأوزان المتعددة

كما أنا ناقش سابقا على مدونة PyTorch ، وسعت TorchVision آلية إنشاء النماذج الحالية لدعم الأوزان المتعددة المدربة مسبقًا. واجهة برمجة التطبيقات الجديدة متوافقة تمامًا مع الإصدارات السابقة ، وتسمح بإنشاء نماذج بأوزان مختلفة وتوفر آليات للحصول على بيانات وصفية مفيدة (مثل الفئات وعدد المعلمات والمقاييس وما إلى ذلك) وتحويلات الاستدلال المسبق للنموذج. هناك ملاحظات مخصصة قضية على جيثب لمساعدتنا على تسوية أي حواف خشنة.

تجديد الوثائق

قاد نيكولاس هوغ جهود إعادة هيكلة توثيق النموذج من TorchVision. الهيكل الجديد قادر على الاستفادة من الميزات القادمة من واجهة برمجة تطبيقات الدعم متعدد الأوزان لتقديم توثيق أفضل للأوزان المدربة مسبقًا واستخدامها في المكتبة. صرخات هائلة لأفراد مجتمعنا من أجل مساعدتنا توثيق جميع الأبنية في الوقت المحدد.

نعتقد أن خارطة الطريق التفصيلية لعام 2022 لم تنته بعد ، فإليك بعض المشاريع الرئيسية التي نخطط للعمل عليها حاليًا:

• نحن نعمل بشكل وثيق مع Haoqi Fan و Christoph Feichtenhofer من فيديو PyTorch، لإضافة محسن رؤية متعدد النطاقات (MViTv2) إلى TorchVision.

• يعمل Philip Meier و Nicolas Hug على نسخة محسنة من API مجموعات البيانات (v2) الذي يستخدم TorchData وأنابيب البيانات. كما نعمل أنا وفيليب ماير وفيكتور فومين على توسيع نطاق عملنا يحولات API (v2) لدعم ليس فقط الصور ولكن أيضًا المربعات المحيطة وأقنعة التجزئة وما إلى ذلك.

• أخيرًا ، يساعدنا المجتمع في الحفاظ على TorchVision حديثة وذات صلة من خلال إضافة بنيات وتقنيات شائعة. يعمل Lezwon Castelino حاليًا مع Victor Fomin لإضافة ملف نسخ لصق بسيط زيادة. يعمل Hu Ye حاليًا على إضافة ملف هندسة DeTR.

إذا كنت ترغب في المشاركة في المشروع ، يرجى إلقاء نظرة على القضايا الأولى الجيدة و مطلوب مساعدة القوائم. إذا كنت خبيرًا متمرسًا في PyTorch / Computer Vision وترغب في المساهمة ، فلدينا العديد من المشاريع المرشحة للجديد مشغلي, خسائر, تعزيزات و عارضات ازياء.

آمل أن تكون قد وجدت المقال ممتعًا. إذا كنت تريد الاتصال ، فاضربني لينكدين: or تويتر.