Нова серія блогів – Спогади розробника TorchVision

• Серпень 21, 2021
• Василіс Врініотис
• . Без коментарів

Я починаю нову серію публікацій у блозі про розвиток бібліотеки комп’ютерного зору PyTorch. Я планую обговорити цікаві майбутні функції, перш за все TorchVision і вторинний з екосистеми PyTorch. Моя мета-виділити нові функції, що знаходяться в стадії розробки, і надати чіткість тому, що відбувається між випусками. Хоча формат, ймовірно, з часом зміниться, я спочатку планую зберегти його розміром і пропонувати посилання для тих, хто хоче копнути глибше. Нарешті, замість того, щоб публікувати статті через фіксовані проміжки часу, я буду публікувати, коли у мене буде достатньо цікавих тем для висвітлення.

Відмова від відповідальності: Висвітлені функції будуть упередженими щодо тем, які мене особисто цікавлять. Екосистема PyTorch величезна, і я бачу лише невелику її частину. Покриття (або непокриття) об’єкта нічого не говорить про його важливість. Висловлені думки виключно мої.

Не звертаючи уваги на це, подивимось, що готується:

Згладжування етикетки для втрати крос -ентропії

Надзвичайно затребувана функція PyTorch - це підтримка м'яких цілей та додайте опцію згладжування міток у перехресної втрати ентропії. Обидві функції спрямовані на полегшення згладжування міток, причому перший варіант пропонує більшу гнучкість, коли такі методи збільшення даних, як змішувати/cutmix використовуються, а другий є більш продуктивним для простих випадків. Варіант м'яких цілей уже був об’єднано з master від Joel Schlosser, а опція label_smoothing - це розробляється автором Thomas J. Fan і наразі розглядається.

Новий планувальник розминки

Підігрів швидкості навчання-це поширена техніка, яка використовується під час навчання моделей, але до цього часу PyTorch не пропонував нестандартного рішення. Нещодавно у Ілкара Рамазанлі ​​є введені новий Планувальник, що підтримує лінійне та постійне нагрівання. Наразі триває робота поліпшення ланцюгової здатності та поєднання існуючих планувальників.

TorchVision з батареями в комплекті

Цю половину ми працюємо над додаванням у TorchVision популярних моделей, втрат, планувальників, збільшення даних та інших утиліт, які використовуються для досягнення найсучасніших результатів. Цей проект має влучну назву «Батареї в комплекті»І наразі є в процесі.

На початку цього тижня я додано новий шар званий Стохастична глибина які можна використовувати для випадкового видалення залишкових гілок у залишкових архітектурах. Наразі я працюю над додавання реалізації популярної мережевої архітектури під назвою EfficientNet. Нарешті, Аллен Гудман в даний час додавання нового оператора, який дозволить конвертувати Маски сегментації до обмежувальних коробок.

Інші особливості в розробці

Думаючи, що ми постійно вдосконалюємо документацію, інфраструктуру CI та загальну якість коду, нижче я виділяю деякі з "звернень до користувачів" пункти дорожньої карти які перебувають у стадії розробки:

Це воно! Сподіваюся, вам це було цікаво. Будь -які ідеї щодо того, як адаптувати формат або які теми висвітлювати, вітаються. Збийте мене LinkedIn or Twitter.