টর্চভিশন V0.11-এ একটি স্নিক পিক - টর্চভিশন বিকাশকারীর স্মৃতি

প্লেটো দ্বারা প্রকাশিত

অনুসরণকারী: 0

টর্চভিশন v0.11-এ একটি স্নিক পিক - টর্চভিশন বিকাশকারীর স্মৃতি - 2 প্লাটোব্লকচেন ডেটা ইন্টেলিজেন্স৷ উল্লম্ব অনুসন্ধান. আই. — টর্চভিশন v0.11-এ এক ঝলক উঁকি - টর্চভিশন বিকাশকারীর স্মৃতি - 2

গত কয়েক সপ্তাহ "PyTorch Land"-এ অত্যন্ত ব্যস্ত ছিল কারণ আমরা উন্মত্তভাবে PyTorch v1.10 এবং TorchVision v0.11 প্রকাশের প্রস্তুতি নিচ্ছি। এই 2য় কিস্তিতে ধারাবাহিক, আমি কিছু আসন্ন বৈশিষ্ট্য কভার করব যা বর্তমানে টর্চভিশনের রিলিজ শাখায় অন্তর্ভুক্ত।

দাবি পরিত্যাগী: যদিও আসন্ন রিলিজটি অনেক বর্ধিতকরণ এবং বাগ/পরীক্ষা/ডকুমেন্টেশন উন্নতির সাথে পরিপূর্ণ, এখানে আমি ব্যক্তিগতভাবে আগ্রহী এমন ডোমেনে নতুন "ব্যবহারকারী-মুখী" বৈশিষ্ট্যগুলি হাইলাইট করছি৷ ব্লগ পোস্ট লেখার পরে, আমি যে বৈশিষ্ট্যগুলি পর্যালোচনা করেছি, লিখেছি বা তাদের বিকাশ ঘনিষ্ঠভাবে অনুসরণ করেছি তার প্রতি একটি পক্ষপাতও লক্ষ্য করেছি। একটি বৈশিষ্ট্য কভার করা (বা কভার না করা) এর গুরুত্ব সম্পর্কে কিছুই বলে না। প্রকাশিত মতামত একান্তই আমার নিজস্ব।

নতুন মডেল

নতুন রিলিজটি নতুন মডেলের সাথে প্যাক করা হয়েছে:

কাই ঝাং এর বাস্তবায়ন যোগ করেছে RegNet আর্কিটেকচার প্রাক-প্রশিক্ষিত ওজন সহ 14 ভেরিয়েন্ট যা ঘনিষ্ঠভাবে মূল কাগজ পুনরুত্পাদন.
আমি সম্প্রতি একটি বাস্তবায়ন যোগ করেছি দক্ষ নেট আর্কিটেকচার Luke Melas-Kyriazi এবং Ross Wightman দ্বারা প্রদত্ত ভেরিয়েন্ট B0-B7 এর জন্য প্রাক-প্রশিক্ষিত ওজন সহ।

নতুন ডেটা অগমেন্টেশন

সাম্প্রতিক সংস্করণে কয়েকটি নতুন ডেটা অগমেন্টেশন কৌশল যুক্ত করা হয়েছে:

অবদান রেখেছেন স্যামুয়েল গ্যাব্রিয়েল TrivialAugment, একটি নতুন সহজ কিন্তু অত্যন্ত কার্যকরী কৌশল যা AutoAugment-কে উচ্চতর ফলাফল প্রদান করে বলে মনে হয়।
আমি যোগ করেছি RandAugment স্বয়ংক্রিয়-বর্ধন পদ্ধতি।
আমি একটি বাস্তবায়ন প্রদান করেছি মিক্সআপ এবং কাটমিক্স রেফারেন্সে রূপান্তরিত হয়। এগুলি তাদের API চূড়ান্ত হয়ে গেলে পরবর্তী রিলিজে রূপান্তরে স্থানান্তরিত হবে।

নতুন অপারেটর এবং স্তর

বেশ কয়েকটি নতুন অপারেটর এবং স্তর অন্তর্ভুক্ত করা হয়েছে:

তথ্যসূত্র / প্রশিক্ষণ রেসিপি

যদিও আমাদের রেফারেন্স স্ক্রিপ্টগুলির উন্নতি একটি ক্রমাগত প্রচেষ্টা, এখানে আসন্ন সংস্করণে কয়েকটি নতুন বৈশিষ্ট্য অন্তর্ভুক্ত রয়েছে:

প্রভাত রায়ের সমর্থন যোগ করেছেন সূচকীয় মুভিং গড় আমাদের শ্রেণীবিভাগের রেসিপিতে।
আমি সমর্থন করার জন্য আমাদের রেফারেন্স আপডেট করেছি লেবেল স্মুথিং, যা সম্প্রতি PyTorch কোরে জোয়েল শ্লোসার এবং থমাস জে ফ্যান দ্বারা প্রবর্তিত হয়েছিল৷
আমি সঞ্চালনের বিকল্প অন্তর্ভুক্ত করেছি শেখার হার ওয়ার্মআপ, Ilqar Ramazanli দ্বারা উন্নত সর্বশেষ LR সময়সূচী ব্যবহার করে।

অন্যান্য উন্নতি

এখানে কিছু অন্যান্য উল্লেখযোগ্য উন্নতি রিলিজে যোগ করা হয়েছে:

আলেকজান্ডার সোয়ার এবং ফ্রান্সিসকো মাসা একটি বিকাশ করেছেন FX-ভিত্তিক ইউটিলিটি যা মডেল আর্কিটেকচার থেকে নির্বিচারে মধ্যবর্তী বৈশিষ্ট্যগুলি বের করার অনুমতি দেয়।
সমর্থন যোগ করেছেন নিকিতা শুলগা চুদা 11.3 টর্চভিশনে।
ঝোংকাই ঝু ঠিক করেছে নির্ভরতা সমস্যা JPEG lib এর (এই সমস্যাটি আমাদের অনেক ব্যবহারকারীর জন্য বড় মাথাব্যথার কারণ হয়েছে)।

চলমান এবং পরবর্তী-আপ

আন্ডার-ডেভেলপমেন্টে প্রচুর উত্তেজনাপূর্ণ নতুন বৈশিষ্ট্য রয়েছে যা এই রিলিজে তৈরি হয়নি। এখানে কয়েকটি আছে:

মোটো হীরা, পারমিত সিং ভাটিয়া এবং আমি একটি RFC খসড়া তৈরি করেছি, যা এর জন্য একটি নতুন প্রক্রিয়া প্রস্তাব করে মডেল সংস্করণ এবং প্রাক-প্রশিক্ষিত ওজনের সাথে সম্পর্কিত মেটা-ডেটা পরিচালনার জন্য। এটি আমাদেরকে প্রতিটি মডেলের জন্য একাধিক প্রাক-প্রশিক্ষিত ওজন সমর্থন করতে এবং মডেলগুলিতে লেবেল, প্রিপ্রসেসিং ট্রান্সফর্ম ইত্যাদির মতো সংশ্লিষ্ট তথ্য সংযুক্ত করতে সক্ষম করবে।
আমি বর্তমানে " দ্বারা যোগ করা আদিম ব্যবহার করার জন্য কাজ করছিব্যাটারি অন্তর্ভুক্তআমাদের নির্ভুলতা উন্নত করার জন্য প্রকল্প প্রাক-প্রশিক্ষিত মডেল. টর্চভিশন দ্বারা প্রদত্ত সর্বাধিক জনপ্রিয় প্রাক-প্রশিক্ষিত মডেলগুলির জন্য সর্বোত্তম-শ্রেণীর ফলাফল অর্জন করা লক্ষ্য।
ফিলিপ মেয়ার এবং ফ্রান্সিসকো মাসা টর্চভিশনের নতুন জন্য একটি উত্তেজনাপূর্ণ প্রোটোটাইপে কাজ করছেন ডেটা সেটটি এবং বদলে দেয় API- টি।
প্রভাত রায় PyTorch Core এর সম্প্রসারণে কাজ করছেন AveragedModel ক্লাস সমর্থন করার জন্য বাফার গড় পরামিতি ছাড়াও। এই বৈশিষ্ট্যের অভাব সাধারণত বাগ এবং ইচ্ছা হিসাবে রিপোর্ট করা হয় অসংখ্য ডাউনস্ট্রিম লাইব্রেরি সক্রিয় করুন এবং ফ্রেমওয়ার্ক তাদের কাস্টম EMA বাস্তবায়ন অপসারণ করতে।
আদিত্য ওকে একটি ইউটিলিটি লিখেছেন যা করতে পারবেন ফলাফল চক্রান্ত মূল চিত্রগুলিতে কীপয়েন্ট মডেলগুলির (ফিচারটি প্রকাশে আসেনি কারণ আমরা জলাবদ্ধ হয়েছি এবং সময়মতো এটি পর্যালোচনা করতে পারিনি 🙁)
আমি একটি নির্মাণ করছি প্রোটোটাইপ FX-ইউটিলিটি যার লক্ষ্য হল নির্বিচারে মডেল আর্কিটেকচারে অবশিষ্ট সংযোগগুলি সনাক্ত করা এবং নিয়মিতকরণ ব্লকগুলি যুক্ত করার জন্য নেটওয়ার্ক সংশোধন করা (যেমন StochasticDepth).

অবশেষে আমাদের ব্যাকলগে কিছু নতুন বৈশিষ্ট্য রয়েছে (পিআর শীঘ্রই আসছে):

আমি আশা করি আপনি উপরের সারাংশটি আকর্ষণীয় পেয়েছেন। ব্লগ সিরিজের বিন্যাস কীভাবে মানিয়ে নেওয়া যায় সে সম্পর্কে কোনও ধারণা খুব স্বাগত জানাই। আমার উপর আঘাত লিঙ্কডইন or Twitter.