Ny blogg -serie - Memoarer fra en TorchVision -utvikler

• August 21, 2021
• Vasilis Vryniotis
• . Ingen kommentarer

Jeg starter en ny bloggpostserie om utviklingen av PyTorchs datasynsbibliotek. Jeg planlegger å diskutere interessante kommende funksjoner først og fremst fra TorchVision og sekundær fra PyTorch-økosystemet. Målet mitt er å fremheve nye funksjoner og funksjoner under utvikling og gi klarhet i hva som skjer mellom utgivelsene. Selv om formatet sannsynligvis vil endre seg over tid, planlegger jeg i utgangspunktet å holde det små og tilby referanser for de som ønsker å grave dypere. Til slutt, i stedet for å publisere artikler med faste intervaller, vil jeg legge ut når jeg har nok interessante emner å dekke.

Ansvarsfraskrivelse: Funksjonene som dekkes vil være partisk mot emner jeg personlig er interessert i. PyTorch-økosystemet er massivt og jeg har bare synlighet over en liten del av det. Å dekke (eller ikke dekke) en funksjon sier ingenting om dens betydning. Uttrykte meninger er utelukkende mine egne.

Med det ute av veien, la oss se hva som lager mat:

Label Smoothing for CrossEntropy Tap

En svært etterspurt funksjon på PyTorch er å støtte myke mål og legg til et etikettutjevningsalternativ i Cross Entropy tap. Begge funksjonene har som mål å gjøre det enkelt å gjøre Label Smoothing, med det første alternativet som gir mer fleksibilitet når dataforsterkningsteknikker som f.eks. blande/cutmix brukes og den andre er mer effektiv for de enkle tilfellene. Alternativet myke mål har allerede vært slått sammen på master av Joel Schlosser mens alternativet label_smoothing er blir utviklet av Thomas J. Fan og er for tiden under vurdering.

Ny oppvarmingsplanlegger

Learning Rate oppvarming er en vanlig teknikk som brukes når du trener modeller, men til nå har ikke PyTorch tilbudt en hyllevareløsning. Nylig har Ilqar Ramazanli introdusert en ny Scheduler som støtter lineær og konstant oppvarming. Arbeidet rundt pågår for tiden forbedre kjedeevnen og kombinasjon av eksisterende planleggere.

TorchVision med "Batterier inkludert"

Denne halvdelen jobber vi med å legge til i TorchVision populære modeller, tap, planleggere, dataforsterkninger og andre verktøy som brukes for å oppnå toppmoderne resultater. Dette prosjektet heter det passende navnet "batterier følger med” og er for øyeblikket i prosess.

Tidligere denne uken har jeg lagt til et nytt lag som heter Stokastisk dybde som kan brukes til å tilfeldig slippe gjenværende grener i gjenværende arkitekturer. For tiden jobber jeg med legge til en implementering av den populære nettverksarkitekturen kalt Effektivt nett. Endelig er Allen Goodman det for øyeblikket legge til en ny operatør som vil muliggjøre konvertering Segmenteringsmasker til avgrensningsbokser.

Andre funksjoner under utvikling

Jeg trodde vi stadig gjør inkrementelle forbedringer på dokumentasjonen, CI-infrastrukturen og den generelle kodekvaliteten, nedenfor fremhever jeg noen av de "brukervendte" veikartelementer som er under utvikling:

Det er det! Jeg håper du fant det interessant. Eventuelle ideer om hvordan du kan tilpasse formatet eller hvilke emner som skal dekkes er svært velkomne. Slå meg opp Linkedin or Twitter.