ٹارچ ویژن کو جدید بنانے کا سفر – ٹارچ ویژن ڈویلپر کی یادداشتیں – 3

• 21 فرمائے، 2022
• Vasilis Vryniotis
• . کوئی تبصرہ نہیں

میں نے آخری بار TorchVision کی یادداشتوں پر ایک نیا اندراج شائع کیے کافی عرصہ ہو گیا ہے۔ سیریز. سوچا، میں نے پہلے بھی سرکاری PyTorch بلاگ پر خبریں شیئر کی ہیں۔ ٹویٹر، میں نے سوچا کہ TorchVision (v0.12) کی آخری ریلیز پر کیا ہوا، اگلی ریلیز (v0.13) پر کیا ہو رہا ہے اور 2022H2 کے لیے ہمارے کیا منصوبے ہیں، اس بارے میں مزید بات کرنا اچھا خیال ہوگا۔ میرا ہدف نئی خصوصیات کا جائزہ فراہم کرنے سے آگے بڑھنا ہے اور اس کے بجائے بصیرت فراہم کرنا ہے کہ ہم اگلے مہینوں میں اس پروجیکٹ کو کہاں لے جانا چاہتے ہیں۔

ٹارچ ویژن v0.12 دوہری توجہ کے ساتھ ایک بڑی ریلیز تھی: a) شفافیت کو بہتر بنانے اور کمیونٹی کے مزید تعاون کرنے والوں کو راغب کرنے کے لیے ہماری فرسودگی اور ماڈل شراکت کی پالیسیوں کو اپ ڈیٹ کریں اور ب) مقبول نئے ماڈل آرکیٹیکچرز، ڈیٹا سیٹس اور ML تکنیکوں کو شامل کر کے ہماری جدید کاری کی کوششوں کو دوگنا کریں۔

ہماری پالیسیوں کو اپ ڈیٹ کرنا

ایک کامیاب اوپن سورس پروجیکٹ کی کلید ایک صحت مند، فعال کمیونٹی کو برقرار رکھنا ہے جو اس میں حصہ ڈالتی ہے اور اسے آگے بڑھاتی ہے۔ اس طرح ہماری ٹیم کے لیے ایک اہم مقصد کمیونٹی کے تعاون کی تعداد میں اضافہ کرنا ہے، جس میں کمیونٹی کو اس قابل بنانے کے طویل مدتی وژن کے ساتھ بڑی خصوصیات (نئے ماڈلز، ایم ایل تکنیک وغیرہ) کو معمول کی بڑھتی ہوئی بہتریوں (بگ/دستاویزات کی اصلاح) کے اوپری حصے میں حصہ ڈالنا ہے۔ ، چھوٹی خصوصیات وغیرہ)۔

تاریخی طور پر، اگرچہ کمیونٹی تھا شوقین اس طرح کی خصوصیات میں تعاون کرنے کے لیے، ہماری ٹیم انہیں قبول کرنے میں ہچکچاہٹ محسوس کرتی ہے۔ کلیدی رکاوٹ ایک ٹھوس ماڈل شراکت اور فرسودگی کی پالیسی کی کمی تھی۔ اس سے نمٹنے کے لیے، Joao Gomes نے کمیونٹی کے ساتھ مل کر ہمارا پہلا مسودہ تیار کرنے اور شائع کرنے کے لیے کام کیا۔ ماڈل شراکت کے رہنما خطوط جو نئے فن تعمیرات، پہلے سے تربیت یافتہ وزن اور ماڈل ٹریننگ کی ضرورت والی خصوصیات کے بارے میں وضاحت فراہم کرتا ہے۔ مزید برآں، نکولس ہگ نے PyTorch بنیادی ڈویلپرز کے ساتھ مل کر ایک کنکریٹ تیار کرنے اور اپنانے کے لیے کام کیا۔ فرسودگی کی پالیسی.

مذکورہ بالا تبدیلیوں کے فوری طور پر اس منصوبے پر مثبت اثرات مرتب ہوئے۔ نئی شراکت کی پالیسی نے ہمیں بڑی خصوصیات کے لیے متعدد کمیونٹی تعاون حاصل کرنے میں مدد کی (ذیل میں مزید تفصیلات) اور واضح فرسودگی کی پالیسی نے ہمیں اپنے کوڈ بیس کو صاف کرنے کے قابل بنایا جبکہ اس بات کو یقینی بنایا کہ TorchVision مضبوط بیک ورڈز مطابقت کی ضمانتیں پیش کرتا ہے۔ ہماری ٹیم اوپن سورس ڈویلپرز، ریسرچ ٹیموں اور ڈاؤن اسٹریم لائبریری کے تخلیق کاروں کے ساتھ کام جاری رکھنے کے لیے بہت حوصلہ افزائی کرتی ہے تاکہ TorchVision کو متعلقہ اور تازہ رکھا جا سکے۔ اگر آپ کے پاس کوئی رائے، تبصرہ یا خصوصیت کی درخواست ہے تو براہ کرم حاصل کرلیا ہم پر.

ٹارچ ویژن کو جدید بنانا

یہ کوئی راز نہیں ہے کہ گزشتہ چند ریلیز کے لیے ہماری ہدف ٹارچ ویژن میں تمام ضروری اضافہ، نقصانات، پرتیں، تربیتی افادیت اور نئے فن تعمیرات کو شامل کرنا تھا تاکہ ہمارے صارفین PyTorch کا استعمال کرتے ہوئے SOTA کے نتائج کو آسانی سے دوبارہ پیش کر سکیں۔ TorchVision v0.12 نے اس راستے کو جاری رکھا:

• ہمارے راک اسٹار کمیونٹی کے تعاون کنندگان، Hu Ye اور Zhiqiang Wang نے تعاون کیا ہے۔ ایف سی او ایس فن تعمیر جو ایک مرحلہ آبجیکٹ کا پتہ لگانے کا ماڈل ہے۔

• نکولس ہگ نے ٹارچ ویژن میں آپٹیکل فلو کی حمایت شامل کرکے شامل کی ہے۔ رافٹ فن تعمیر

• Yiwen Song کے لیے حمایت شامل کی ہے۔ وژن ٹرانسفارمر (ViT) اور میں نے شامل کیا ہے۔ ConvNeXt بہتر پہلے سے تربیت یافتہ وزن کے ساتھ فن تعمیر۔

• آخر میں کے ساتھ مدد ہماری کمیونٹی کا، ہم نے شامل کیا ہے۔ 14 نئی درجہ بندی اور 5 نیا آپٹیکل بہاؤ ڈیٹاسیٹس

• معمول کے مطابق، ریلیز بہت سے چھوٹے اضافے، بگ فکسز اور دستاویزات میں بہتری کے ساتھ آئی ہے۔ تمام نئی خصوصیات اور ہمارے شراکت داروں کی فہرست دیکھنے کے لیے براہ کرم چیک کریں۔ v0.12 ریلیز نوٹ.

TorchVision v0.13 قریب قریب ہے، جون کے شروع میں اس کی متوقع ریلیز کے ساتھ۔ یہ ایک بہت بڑی ریلیز ہے جس میں نمایاں تعداد میں نئی ​​خصوصیات اور بڑی API بہتری ہیں۔

جدیدیت کو سمیٹنا اور SOTA سے خلا کو ختم کرنا

ہم اپنا کام جاری رکھے ہوئے ہیں۔ لائبریری کو جدید بنانے کا سفر کمپیوٹر ویژن کے کلیدی کاموں کے لیے SOTA کے نتائج پیدا کرنے کے لیے ضروری پرائمیٹوز، ماڈل آرکیٹیکچرز اور ریسیپی یوٹیلیٹیز شامل کر کے:

• وکٹر فومین کی مدد سے، میں نے اہم گمشدہ ڈیٹا اگمینٹیشن تکنیکوں کو شامل کیا ہے جیسے اگست مکس, بڑے پیمانے پر جوٹر وغیرہ۔ ان تکنیکوں نے ہمیں SOTA سے خلا کو ختم کرنے اور بہتر وزن پیدا کرنے کے قابل بنایا (نیچے دیکھیں)۔

• آدتیہ اوکے، ہو یہ، یاسین الوینی اور ابھیجیت دیو کی مدد سے، ہم نے اہم مشترکہ عمارت کے بلاکس کو شامل کیا ہے۔ ڈراپ بلاک پرت ، MLP بلاک، cIoU & ڈی آئی او یو نقصان وغیرہ۔ آخر کار میں نے PyTorch's پر ایک دیرینہ مسئلہ حل کرنے کے لیے شین لی کے ساتھ کام کیا۔ SyncBatchNorm پرت جس نے پتہ لگانے کے ماڈلز کو متاثر کیا۔

• Hu Ye Joao Gomes کی حمایت کے ساتھ شامل کیا Swin Transformer بہتر پہلے سے تربیت یافتہ وزن کے ساتھ۔ میں نے شامل کیا۔ EfficientNetV2 کے نفاذ پر فن تعمیر اور کئی پوسٹ پیپر آرکیٹیکچرل اصلاح RetinaNet، FasterRCNN اور MaskRCNN.

• جیسا کہ میں نے پہلے PyTorch بلاگ پر بات کی تھی، ہم نے اپنے پہلے سے تربیت یافتہ وزن کو بہتر بنانے کے لیے ایک بہتر بنایا ہے۔ تربیتی نسخہ. اس نے ہمیں اپنی درستگی کو بہتر بنانے کے قابل بنایا درجہ بندی کے ماڈل 3 درستگی پوائنٹس کے ذریعے، مختلف فن تعمیرات کے لیے نئے SOTA کا حصول۔ کے لیے بھی ایسی ہی کوشش کی گئی۔ کھوج اور سیگمنٹیشن, where we improved the accuracy of the models by over 8.1 mAP on average. Finally Yosua Michael M worked with Laura Gustafson, Mannat Singhand and Aaron Adcock to add support of SWAG, ViT اور RegNets کے لیے نئے انتہائی درست جدید ترین پہلے سے تربیت یافتہ وزن کا ایک سیٹ۔

نیا ملٹی ویٹ سپورٹ API

جیسا کہ میں پہلے زیر بحث PyTorch بلاگ پر، TorchVision نے پہلے سے تربیت یافتہ متعدد وزنوں کو سپورٹ کرنے کے لیے اپنے موجودہ ماڈل بلڈر میکانزم کو بڑھا دیا ہے۔ نیا API مکمل طور پر پیچھے کی طرف مطابقت رکھتا ہے، مختلف وزن کے ساتھ ماڈلز کو فوری بنانے کی اجازت دیتا ہے اور مفید میٹا ڈیٹا (جیسے زمرہ جات، پیرامیٹرز کی تعداد، میٹرکس وغیرہ) اور ماڈل کے پری پروسیسنگ انفرنس ٹرانسفارمز حاصل کرنے کے لیے میکانزم فراہم کرتا ہے۔ ایک سرشار رائے ہے۔ Github پر مسئلہ ہمارے کسی بھی کھردرے کناروں کو استری کرنے میں ہماری مدد کرنے کے لیے۔

تجدید شدہ دستاویزات

نکولس ہگ نے تنظیم نو کی کوششوں کی قیادت کی۔ ماڈل دستاویزات ٹارچ ویژن کا۔ نیا ڈھانچہ پہلے سے تربیت یافتہ وزن اور لائبریری میں ان کے استعمال کے لیے بہتر دستاویزات پیش کرنے کے لیے ملٹی ویٹ سپورٹ API سے آنے والی خصوصیات کا استعمال کرنے کے قابل ہے۔ کے لیے ہماری کمیونٹی کے اراکین کے لیے بڑے پیمانے پر چیخیں۔ ہماری مدد کر رہے ہیں۔ تمام فن تعمیرات کو وقت پر دستاویز کریں۔

سوچا کہ 2022H2 کے لیے ہمارے تفصیلی روڈ میپ کو ابھی حتمی شکل نہیں دی گئی ہے، یہاں کچھ اہم منصوبے ہیں جن پر ہم فی الحال کام کرنے کا ارادہ کر رہے ہیں:

• ہم Haoqi Fan اور Christoph Feichtenhofer کے ساتھ مل کر کام کر رہے ہیں۔ PyTorch ویڈیوشامل کرنے کے لیے بہتر ملٹی اسکیل وژن ٹرانسفارمر (MViTv2) فن تعمیر سے TorchVision۔

• فلپ میئر اور نکولس ہگ کے ایک بہتر ورژن پر کام کر رہے ہیں۔ ڈیٹاسیٹس API (v2) جو استعمال کرتا ہے۔ ٹارچ ڈیٹا اور ڈیٹا پائپ. فلپ میئر، وکٹر فومین اور میں بھی اپنی توسیع پر کام کر رہے ہیں۔ API کو تبدیل کرتا ہے۔ (v2) نہ صرف تصاویر بلکہ باؤنڈنگ بکس، سیگمنٹیشن ماسک وغیرہ کو بھی سپورٹ کرنا۔

• آخر میں کمیونٹی مقبول فن تعمیرات اور تکنیکوں کو شامل کرکے TorchVision کو تازہ اور متعلقہ رکھنے میں ہماری مدد کر رہی ہے۔ لیزون کاسٹیلینو فی الحال وکٹر فومین کے ساتھ شامل کرنے کے لیے کام کر رہے ہیں۔ سادہ کاپی پیسٹ اضافہ Hu Ye فی الحال شامل کرنے کے لئے کام کر رہا ہے ڈی ٹی آر فن تعمیر.

اگر آپ اس منصوبے میں شامل ہونا چاہتے ہیں، تو براہ کرم ہماری طرف ایک نظر ڈالیں۔ اچھے پہلے مسائل اور مدد کی ضرورت تھی فہرستیں اگر آپ ایک تجربہ کار PyTorch/Computer Vision تجربہ کار ہیں اور آپ اپنا حصہ ڈالنا چاہیں گے، تو ہمارے پاس نئے کے لیے کئی امیدوار پروجیکٹس ہیں۔ آپریٹرز, نقصانات, اضافہ اور ماڈل.

مجھے امید ہے کہ آپ کو مضمون دلچسپ لگا۔ اگر آپ رابطہ کرنا چاہتے ہیں تو مجھ سے رابطہ کریں۔ لنکڈ or ٹویٹر.