Seri Blog Baru – Memoar dari pengembang TorchVision

• 21 Agustus 2021
• Vasilis Vriniotis
• . Tidak ada komentar

Saya memulai seri posting blog baru tentang pengembangan perpustakaan visi komputer PyTorch. Saya berencana untuk membahas fitur menarik yang akan datang terutama dari Visi Obor dan sekunder dari ekosistem PyTorch. Target saya adalah untuk menyoroti fitur baru dan dalam pengembangan dan memberikan kejelasan tentang apa yang terjadi di antara rilis. Meskipun formatnya cenderung berubah seiring waktu, saya awalnya berencana untuk membuatnya tetap kecil dan menawarkan referensi bagi mereka yang ingin menggali lebih dalam. Akhirnya, daripada menerbitkan artikel pada interval tetap, saya akan memposting ketika saya memiliki topik yang cukup menarik untuk dibahas.

Penolakan: Fitur yang dibahas akan bias terhadap topik yang saya minati secara pribadi. Ekosistem PyTorch sangat besar dan saya hanya memiliki visibilitas di sebagian kecil saja. Meliputi (atau tidak menutupi) fitur tidak mengatakan apa-apa tentang pentingnya. Pendapat yang diungkapkan adalah milik saya sendiri.

Dengan itu, mari kita lihat apa yang sedang dimasak:

Perataan Label untuk Rugi CrossEntropy

Fitur yang sangat diminta di PyTorch adalah untuk mendukung target lunak dan tambahkan opsi perataan label dalam kerugian Cross Entropy. Kedua fitur tersebut bertujuan untuk memudahkan dalam melakukan Label Smoothing, dengan opsi pertama menawarkan lebih banyak fleksibilitas saat teknik Data Augmentation seperti campur aduk/campuran digunakan dan yang kedua lebih berkinerja untuk kasus-kasus sederhana. Opsi target lunak sudah bergabung di master oleh Joel Schlosser sementara opsi label_smoothing adalah sedang dikembangkan oleh Thomas J. Fan dan saat ini sedang ditinjau.

Penjadwal Pemanasan Baru

Pemanasan Tingkat Pembelajaran adalah teknik umum yang digunakan saat melatih model, tetapi hingga saat ini PyTorch tidak menawarkan solusi siap pakai. Baru-baru ini, Ilqar Ramadhanli telah diperkenalkan Penjadwal baru yang mendukung pemanasan linier dan konstan. Saat ini sedang dalam proses pengerjaan meningkatkan kemampuan rantai dan kombinasi dari scheduler yang ada.

TorchVision dengan "Sudah termasuk baterai"

Bagian ini sedang kami kerjakan untuk menambahkan Model populer, Kerugian, Penjadwal, Augmentasi Data, dan utilitas lain di TorchVision untuk mencapai hasil yang canggih. Proyek ini dengan tepat diberi nama “Termasuk baterai” dan saat ini sedang berlangsung.

Awal minggu ini, saya sudah menambahkan lapisan baru bernama Kedalaman stokastik yang dapat digunakan untuk secara acak menjatuhkan cabang sisa dalam arsitektur sisa. Saat ini saya sedang mengerjakan menambahkan implementasi dari arsitektur jaringan populer yang disebut Jaringan yang Efisien. Akhirnya, Allen Goodman adalah sekarang menambahkan operator baru yang akan memungkinkan konversi Masker Segmentasi ke Kotak Pembatas.

Fitur lain dalam pengembangan

Kami pikir kami terus melakukan peningkatan bertahap pada dokumentasi, infrastruktur CI, dan kualitas kode secara keseluruhan, di bawah ini saya menyoroti beberapa "menghadapi pengguna" item peta jalan yang sedang dalam pengembangan:

Itu dia! Saya harap Anda menemukannya menarik. Setiap ide tentang cara menyesuaikan format atau topik apa yang akan dibahas sangat diharapkan. Pukul aku LinkedIn or Twitter.