Nova série de blogs - Memórias de um desenvolvedor TorchVision

• 21 de agosto de 2021
• Vasilis Vryniotis
• . Sem comentários

Estou iniciando uma nova série de postagens no blog sobre o desenvolvimento da biblioteca de visão computacional do PyTorch. Pretendo discutir recursos futuros interessantes principalmente de TorchVision e secundário do ecossistema PyTorch. Meu objetivo é destacar recursos novos e em desenvolvimento e fornecer clareza sobre o que está acontecendo entre os lançamentos. Embora o formato provavelmente mude com o tempo, inicialmente pretendo mantê-lo pequeno e oferecer referências para aqueles que desejam se aprofundar. Finalmente, em vez de publicar artigos em intervalos fixos, postarei quando tiver tópicos interessantes o suficiente para cobrir.

Aviso Legal: Os recursos abordados serão direcionados a tópicos de meu interesse pessoal. O ecossistema PyTorch é enorme e só tenho visibilidade de uma pequena parte dele. Cobrir (ou não cobrir) um recurso não diz nada sobre sua importância. As opiniões expressas são exclusivamente minhas.

Com isso resolvido, vamos ver o que está acontecendo:

Suavização de rótulo para perda de crossEntropy

Um recurso altamente solicitado no PyTorch é apoiar alvos fáceis e adicione uma opção de suavização de rótulo na perda de entropia cruzada. Ambos os recursos visam facilitar a suavização de rótulos, com a primeira opção oferecendo mais flexibilidade quando técnicas de aumento de dados, como misturar/cortar mix são usados ​​e o segundo tem melhor desempenho para os casos simples. A opção de alvos fáceis já foi mesclado no mestre por Joel Schlosser enquanto a opção label_smoothing é sendo desenvolvido por Thomas J. Fan e está atualmente em revisão.

Novo programador de aquecimento

O aquecimento da taxa de aprendizagem é uma técnica comum usada no treinamento de modelos, mas até agora o PyTorch não oferecia uma solução pronta para uso. Recentemente, Ilqar Ramazanli introduzido um novo Agendador que suporta aquecimento linear e constante. Atualmente em andamento está a solução alternativa melhorando a capacidade da cadeia e combinação dos agendadores existentes.

TorchVision com “Baterias incluídas”

Nesta metade, estamos trabalhando para adicionar modelos, perdas, agendadores, aumentos de dados e outros utilitários populares do TorchVision usados ​​para obter resultados de última geração. Este projeto é apropriadamente denominado “pilhas incluídas” e atualmente em progresso.

No início desta semana, eu adicionou uma nova camada chamado Profundidade Estocástica que pode ser usado para descartar ramificações residuais aleatoriamente em arquiteturas residuais. Atualmente estou trabalhando adicionando uma implementação da popular arquitetura de rede chamada EficienteNet. Finalmente, Allen Goodman é atualmente adicionando um novo operador que permitirá a conversão Máscaras de segmentação para caixas delimitadoras.

Outros recursos em desenvolvimento

Embora façamos constantemente melhorias incrementais na documentação, na infraestrutura de CI e na qualidade geral do código, a seguir destaco algumas das “voltadas ao usuário” itens do roteiro que estão em desenvolvimento:

É isso! Espero que você tenha achado interessante. Quaisquer ideias sobre como adaptar o formato ou quais tópicos abordar são muito bem-vindas. Bata em mim LinkedIn or Twitter.