टॉर्चविज़न के आधुनिकीकरण की यात्रा - एक टॉर्चविज़न डेवलपर के संस्मरण - 3

• 21 मई 2022
• वासिलिस व्र्यनोटिस
• । कोई टिप्पणी नहीं

जब से मैंने पिछली बार टॉर्चविज़न संस्मरणों पर एक नई प्रविष्टि पोस्ट की थी तब से काफी समय हो गया है श्रृंखला. सोचा, मैंने पहले भी आधिकारिक PyTorch ब्लॉग आदि पर समाचार साझा किया है ट्विटर, मैंने सोचा कि टॉर्चविज़न (v0.12) की पिछली रिलीज़ पर क्या हुआ, अगले (v0.13) पर क्या आ रहा है और 2022H2 के लिए हमारी योजनाएं क्या हैं, इसके बारे में अधिक बात करना एक अच्छा विचार होगा। मेरा लक्ष्य नई सुविधाओं का अवलोकन प्रदान करने से आगे जाना है और इसके बजाय यह अंतर्दृष्टि प्रदान करना है कि हम अगले महीनों में परियोजना को कहां ले जाना चाहते हैं।

टॉर्चविज़न v0.12 दोहरे फोकस के साथ एक बड़ी रिलीज थी: ए) पारदर्शिता में सुधार और अधिक सामुदायिक योगदानकर्ताओं को आकर्षित करने के लिए हमारी अवमूल्यन और मॉडल योगदान नीतियों को अपडेट करें और बी) लोकप्रिय नए मॉडल आर्किटेक्चर, डेटासेट और एमएल तकनीकों को जोड़कर हमारे आधुनिकीकरण प्रयासों को दोगुना करें।

हमारी नीतियों को अद्यतन करना

एक सफल ओपन-सोर्स प्रोजेक्ट की कुंजी एक स्वस्थ, सक्रिय समुदाय को बनाए रखना है जो इसमें योगदान देता है और इसे आगे बढ़ाता है। इस प्रकार हमारी टीम के लिए एक महत्वपूर्ण लक्ष्य सामुदायिक योगदान की संख्या में वृद्धि करना है, जिसमें समुदाय को सामान्य वृद्धिशील सुधारों (बग/डॉक फिक्स) के शीर्ष पर बड़ी सुविधाओं (नए मॉडल, एमएल तकनीक इत्यादि) में योगदान करने में सक्षम बनाने की दीर्घकालिक दृष्टि शामिल है। , छोटी विशेषताएं आदि)।

ऐतिहासिक रूप से, भले ही समुदाय था उत्सुक ऐसी सुविधाओं का योगदान करने के लिए, हमारी टीम उन्हें स्वीकार करने में झिझक रही थी। मुख्य अवरोधक एक ठोस मॉडल योगदान और अवमूल्यन नीति की कमी थी। इसे संबोधित करने के लिए, जोआओ गोम्स ने हमारा पहला मसौदा तैयार करने और प्रकाशित करने के लिए समुदाय के साथ काम किया मॉडल योगदान दिशानिर्देश जो नए आर्किटेक्चर, पूर्व-प्रशिक्षित भार और सुविधाओं के योगदान की प्रक्रिया पर स्पष्टता प्रदान करता है जिनके लिए मॉडल प्रशिक्षण की आवश्यकता होती है। इसके अलावा, निकोलस हग ने एक कंक्रीट तैयार करने और अपनाने के लिए PyTorch कोर डेवलपर्स के साथ काम किया पदावनत नीति.

उपरोक्त परिवर्तनों का परियोजना पर तत्काल सकारात्मक प्रभाव पड़ा। नई योगदान नीति ने हमें बड़ी सुविधाओं के लिए कई सामुदायिक योगदान प्राप्त करने में मदद की (नीचे अधिक विवरण) और स्पष्ट अवमूल्यन नीति ने हमें अपने कोड-बेस को साफ करने में सक्षम बनाया, साथ ही यह भी सुनिश्चित किया कि टॉर्चविज़न मजबूत बैकवर्ड संगतता गारंटी प्रदान करता है। हमारी टीम टॉर्चविज़न को प्रासंगिक और ताज़ा बनाए रखने के लिए ओपन-सोर्स डेवलपर्स, अनुसंधान टीमों और डाउनस्ट्रीम लाइब्रेरी रचनाकारों के साथ काम करना जारी रखने के लिए बहुत प्रेरित है। यदि आपके पास कोई प्रतिक्रिया, टिप्पणी या फीचर अनुरोध है तो कृपया तक पहुँच हमें।

टॉर्चविज़न का आधुनिकीकरण

यह कोई रहस्य नहीं है कि पिछले कुछ रिलीजों से हमारा लक्ष्य टॉर्चविज़न में सभी आवश्यक संवर्द्धन, हानियाँ, परतें, प्रशिक्षण उपयोगिताएँ और नवीन आर्किटेक्चर जोड़ना था ताकि हमारे उपयोगकर्ता PyTorch का उपयोग करके SOTA परिणामों को आसानी से पुन: पेश कर सकें। टॉर्चविज़न v0.12 उस मार्ग पर आगे बढ़ता रहा:

• हमारे रॉकस्टार समुदाय के योगदानकर्ताओं, हू ये और झिकियांग वांग ने योगदान दिया है एफसीओएस आर्किटेक्चर जो एक चरणीय ऑब्जेक्ट डिटेक्शन मॉडल है।

• निकोलस हग ने टॉर्चविज़न में ऑप्टिकल फ्लो का समर्थन जोड़कर जोड़ा है बेड़ा आर्किटेक्चर।

• यिवेन सॉन्ग ने इसके लिए समर्थन जोड़ा है विज़न ट्रांसफार्मर (ViT) और मैंने इसे जोड़ा है रूपांतरण बेहतर पूर्व-प्रशिक्षित वजन के साथ वास्तुकला।

• अंत में के साथ मदद हमारे समुदाय में, हमने जोड़ा है 14 नया वर्गीकरण और 5 नए ऑप्टिकल प्रवाह डेटासेट

• हमेशा की तरह, रिलीज़ कई छोटे सुधारों, बग फिक्स और दस्तावेज़ीकरण सुधारों के साथ आई। सभी नई सुविधाएँ और हमारे योगदानकर्ताओं की सूची देखने के लिए कृपया जाँचें v२.३.६ रिलीज नोट.

टॉर्चविज़न v0.13 जल्द ही आने वाला है, इसके जून की शुरुआत में रिलीज़ होने की उम्मीद है। यह बड़ी संख्या में नई सुविधाओं और बड़े एपीआई सुधारों के साथ एक बहुत बड़ी रिलीज है।

आधुनिकीकरण को समाप्त करना और SOTA से अंतर को कम करना

हम अपना काम जारी रख रहे हैं पुस्तकालय के आधुनिकीकरण की यात्रा प्रमुख कंप्यूटर विज़न कार्यों के लिए SOTA परिणाम उत्पन्न करने के लिए आवश्यक प्राइमेटिव्स, मॉडल आर्किटेक्चर और रेसिपी उपयोगिताओं को जोड़कर:

• विक्टर फोमिन की मदद से, मैंने महत्वपूर्ण लापता डेटा ऑग्मेंटेशन तकनीकों को जोड़ा है ऑगमिक्स, बड़े पैमाने पर घबराहट आदि। इन तकनीकों ने हमें SOTA से अंतर को कम करने और बेहतर वजन उत्पन्न करने में सक्षम बनाया (नीचे देखें)।

• आदित्य ओके, हू ये, यासीन अलौनी और अभिजीत देव की मदद से, हमने महत्वपूर्ण सामान्य बिल्डिंग ब्लॉक्स जोड़े हैं जैसे कि ड्रॉपब्लॉक परत MLP ब्लॉक, cIoU & dIoU हानि आदि। अंततः मैंने PyTorch पर लंबे समय से चली आ रही समस्या को ठीक करने के लिए शेन ली के साथ काम किया सिंकबैचनॉर्म परत जिसने डिटेक्शन मॉडल को प्रभावित किया।

• जोआओ गोम्स के सहयोग से हू ये को जोड़ा गया स्विन ट्रांसफार्मर पूर्व-प्रशिक्षित वजन में सुधार के साथ। मैंने जोड़ा कुशलनेटV2 वास्तुकला और कार्यान्वयन पर कई पोस्ट-पेपर वास्तुशिल्प अनुकूलन रेटिनानेट, फास्टरआरसीएनएन और मास्कआरसीएनएन.

• जैसा कि मैंने पहले PyTorch ब्लॉग पर चर्चा की थी, हमने एक बेहतर निर्माण करके अपने पूर्व-प्रशिक्षित वजन को बेहतर बनाने के लिए महत्वपूर्ण प्रयास किए हैं प्रशिक्षण नुस्खा. इससे हमें अपनी सटीकता में सुधार करने में मदद मिली वर्गीकरण मॉडल 3 सटीकता बिंदुओं द्वारा, विभिन्न आर्किटेक्चर के लिए नया SOTA प्राप्त करना। के लिए एक ऐसा ही प्रयास किया गया पता लगाना और विभाजन, जहां हमने औसतन 8.1 एमएपी से मॉडलों की सटीकता में सुधार किया। अंत में योसुआ माइकल एम ने लॉरा गुस्ताफसन, मन्नत सिंघंद और आरोन एडकॉक के साथ काम किया। लूट, वीआईटी और रेगनेट के लिए नए अत्यधिक सटीक अत्याधुनिक पूर्व-प्रशिक्षित वजन का एक सेट।

नई मल्टी-वेट सपोर्ट एपीआई

जैसा मैं पहले चर्चा की गई PyTorch ब्लॉग पर, TorchVision ने कई पूर्व-प्रशिक्षित भारों का समर्थन करने के लिए अपने मौजूदा मॉडल बिल्डर तंत्र का विस्तार किया है। नया एपीआई पूरी तरह से बैकवर्ड संगत है, विभिन्न भार के साथ मॉडल को इंस्टेंट करने की अनुमति देता है और उपयोगी मेटा-डेटा (जैसे श्रेणियां, पैरामीटर की संख्या, मेट्रिक्स इत्यादि) और मॉडल के प्रीप्रोसेसिंग अनुमान परिवर्तन प्राप्त करने के लिए तंत्र प्रदान करता है। एक समर्पित फीडबैक है Github पर मुद्दा हमारे किसी भी खुरदुरे किनारे को इस्त्री करने में हमारी मदद करने के लिए।

संशोधित दस्तावेज़ीकरण

निकोलस हग ने पुनर्गठन के प्रयासों का नेतृत्व किया मॉडल दस्तावेज़ीकरण टॉर्चविज़न का. नई संरचना पूर्व-प्रशिक्षित वज़न और लाइब्रेरी में उनके उपयोग के लिए बेहतर दस्तावेज़ीकरण प्रदान करने के लिए मल्टी-वेट सपोर्ट एपीआई से आने वाली सुविधाओं का उपयोग करने में सक्षम है। हमारे समुदाय के सदस्यों को बहुत-बहुत धन्यवाद हमारी मदद कर रहे हैं समय पर सभी आर्किटेक्चर का दस्तावेजीकरण करें।

सोचा कि 2022H2 के लिए हमारे विस्तृत रोडमैप को अभी तक अंतिम रूप नहीं दिया गया है, यहां कुछ प्रमुख परियोजनाएं हैं जिन पर हम वर्तमान में काम करने की योजना बना रहे हैं:

• हम हाओकी फैन और क्रिस्टोफ फीचटेनहोफर के साथ मिलकर काम कर रहे हैं पायटोरच वीडियो, जोड़ने के लिए बेहतर मल्टीस्केल विज़न ट्रांसफार्मर (MViTv2) आर्किटेक्चर से टॉर्चविज़न।

• फिलिप मेयर और निकोलस हग इसके उन्नत संस्करण पर काम कर रहे हैं डेटासेट एपीआई (v2) जो उपयोग करता है टॉर्चडेटा और डेटा पाइप. फिलिप मेयर, विक्टर फ़ोमिन और मैं भी हमारे विस्तार पर काम कर रहे हैं एपीआई को रूपांतरित करता है (v2) न केवल छवियों बल्कि बाउंडिंग बॉक्स, सेगमेंटेशन मास्क आदि का भी समर्थन करने के लिए।

• अंततः समुदाय लोकप्रिय आर्किटेक्चर और तकनीकों को जोड़कर टॉर्चविज़न को ताज़ा और प्रासंगिक बनाए रखने में हमारी मदद कर रहा है। लेज़वॉन कैस्टेलिनो वर्तमान में इसे जोड़ने के लिए विक्टर फोमिन के साथ काम कर रहे हैं सिंपलकॉपीपेस्ट वृद्धि. हू ये वर्तमान में जोड़ने के लिए काम कर रहा है डीईटीआर वास्तुकला.

यदि आप इस परियोजना में शामिल होना चाहते हैं, तो कृपया हमारी ओर देखें अच्छे पहले अंक और मदद अपेक्षित सूचियाँ। यदि आप एक अनुभवी PyTorch/कंप्यूटर विज़न अनुभवी हैं और आप योगदान देना चाहते हैं, तो हमारे पास नए के लिए कई उम्मीदवार परियोजनाएं हैं ऑपरेटरों, हानि, augmentations और मॉडल.

मुझे आशा है कि आपको लेख रोचक लगा होगा। यदि आप संपर्क करना चाहते हैं तो मुझसे संपर्क करें लिंक्डइन or ट्विटर.