Ny bloggserie - Memoirs of a TorchVision developer

• Augusti 21, 2021
• Vasilis Vryniotis
• . Inga kommentarer

Jag startar en ny blogginläggsserie om utvecklingen av PyTorchs datorseendebibliotek. Jag planerar att diskutera intressanta kommande funktioner främst från TorchVision och sekundärt från PyTorch-ekosystemet. Mitt mål är att lyfta fram nya funktioner som är under utveckling och ge klarhet i vad som händer mellan utgivningarna. Även om formatet sannolikt kommer att förändras med tiden, planerar jag till en början att hålla det i storlek och erbjuda referenser för dem som vill gräva djupare. Slutligen, istället för att publicera artiklar med fasta intervaller, kommer jag att posta när jag har tillräckligt med intressanta ämnen att ta upp.

Varning: De funktioner som tas upp kommer att vara partiska mot ämnen som jag personligen är intresserad av. PyTorch-ekosystemet är massivt och jag har bara sikt över en liten del av det. Att täcka (eller inte täcka) en funktion säger ingenting om dess betydelse. Åsikter som uttrycks är enbart mina egna.

Med det ur vägen, låt oss se vad som lagas:

Etikettutjämning för CrossEntropy Loss

En mycket efterfrågad funktion på PyTorch är att stödja mjuka mål och lägg till ett alternativ för etikettutjämning i korsentropiförlust. Båda funktionerna syftar till att göra det enkelt att göra Label Smoothing, med det första alternativet som erbjuder mer flexibilitet när Data Augmentation-tekniker som t.ex. blanda/cutmix används och den andra är mer presterande för de enkla fallen. Alternativet för mjuka mål har redan varit sammanslagna på master av Joel Schlosser medan alternativet label_smoothing är utvecklas av Thomas J. Fan och är för närvarande under granskning.

Ny uppvärmningsschema

Inlärningshastighetsuppvärmning är en vanlig teknik som används när man tränar modeller, men hittills har PyTorch inte erbjudit en färdig lösning. Nyligen har Ilqar Ramazanli introducerade en ny Scheduler som stöder linjär och konstant uppvärmning. Just nu pågår arbetet runt förbättra kedjeförmågan och kombination av befintliga schemaläggare.

TorchVision med "Batterier ingår"

Den här halvan arbetar vi med att lägga till populära modeller, förluster, schemaläggare, dataökningar och andra verktyg i TorchVision som används för att uppnå toppmoderna resultat. Detta projekt heter det passande namnet "batterier medföljer” och är för närvarande pågående.

Tidigare i veckan har jag lagt till ett nytt lager kallas Stokastiskt djup som kan användas för att slumpmässigt tappa restgrenar i restarkitekturer. Just nu jobbar jag på lägga till en implementering av den populära nätverksarkitekturen som kallas EfficientNet. Äntligen är Allen Goodman det för närvarande lägga till en ny operatör som möjliggör konvertering Segmenteringsmasker till avgränsningsrutor.

Andra funktioner under utveckling

Jag trodde att vi ständigt gör stegvisa förbättringar av dokumentationen, CI-infrastrukturen och den övergripande kodkvaliteten, nedan lyfter jag fram några av de "användarvända" färdplansartiklar som är under utveckling:

Det är allt! Jag hoppas att du tyckte att det var intressant. Alla idéer om hur man kan anpassa formatet eller vilka ämnen som ska behandlas är mycket välkomna. Slå på mig LinkedIn or Twitter.