Новая серия блогов - Мемуары разработчика TorchVision

• 21 августа 2021
• Василис Вриниотис
• , Без комментариев

Я начинаю новую серию сообщений в блоге о разработке библиотеки компьютерного зрения PyTorch. Я планирую обсудить интересные предстоящие функции в первую очередь из ФакелВижн и вторичный из экосистемы PyTorch. Моя цель — выделить новые и находящиеся в разработке функции и прояснить, что происходит между выпусками. Хотя формат, вероятно, со временем изменится, я изначально планирую сохранить его небольшим и предлагать ссылки для тех, кто хочет копнуть глубже. Наконец, вместо того, чтобы публиковать статьи через фиксированные промежутки времени, я буду публиковать их, когда у меня будет достаточно интересных тем для обсуждения.

Предупреждение: Рассматриваемые функции будут ориентированы на темы, которые меня лично интересуют. Экосистема PyTorch огромна, и у меня есть представление только о ее крошечной части. Покрытие (или непокрытие) признака ничего не говорит о его важности. Высказанные мнения являются исключительно моими собственными.

С этим в сторону, давайте посмотрим, что готовится:

Сглаживание меток для CrossEntropy Loss

Очень востребованная функция PyTorch — поддерживать легкие цели и добавить параметр сглаживания метки в потере перекрестной энтропии. Обе функции нацелены на упрощение сглаживания меток, при этом первый вариант обеспечивает большую гибкость при использовании таких методов увеличения данных, как смешивать/катмикс используются, а второй более эффективен для простых случаев. Вариант мягких целей уже был объединено на мастере Джоэлом Шлоссером, в то время как опция label_smoothing разрабатывается Томасом Дж. Фэном и в настоящее время находится на рассмотрении.

Новый планировщик разминки

Разминка скорости обучения — распространенный метод, используемый при обучении моделей, но до сих пор PyTorch не предлагал готового решения. Недавно Ильгар Рамазанлы выпустили новый планировщик, поддерживающий линейный и постоянный прогрев. В настоящее время ведется работа над улучшение цепной способности и сочетание существующих планировщиков.

TorchVision с «Батареями в комплекте»

В этой половине мы работаем над добавлением в TorchVision популярных моделей, потерь, планировщиков, дополнений данных и других утилит, используемых для достижения самых современных результатов. Этот проект метко назван «Батареи прилагаются» и в настоящее время в ходе выполнения.

Ранее на этой неделе я добавил новый слой под названием СтохастикГлубина которые можно использовать для случайного удаления остаточных ветвей в остаточных архитектурах. В настоящее время я работаю над добавление реализации популярной сетевой архитектуры, называемой Эффективная сеть. Наконец, Аллен Гудман в настоящее время добавление нового оператора, который позволит конвертировать Маски сегментации для ограничивающих рамок.

Другие функции в разработке

Хотя мы постоянно вносим постепенные улучшения в документацию, инфраструктуру CI и общее качество кода, ниже я выделяю некоторые из «пользовательских» элементы дорожной карты которые находятся в разработке:

Вот и все! Надеюсь, вам было интересно. Приветствуются любые идеи о том, как адаптировать формат или какие темы освещать. Ударь меня по LinkedIn or Twitter.