Ny blogserie – Erindringer om en TorchVision-udvikler

• August 21, 2021
• Vasilis Vryniotis
• . Ingen kommentarer

Jeg starter en ny blogindlægsserie om udviklingen af ​​PyTorchs computervisionsbibliotek. Jeg planlægger at diskutere interessante kommende funktioner primært fra TorchVision og sekundær fra PyTorch-økosystemet. Mit mål er at fremhæve nye funktioner og funktioner under udvikling og give klarhed over, hvad der sker mellem udgivelserne. Selvom formatet sandsynligvis vil ændre sig over tid, planlægger jeg i første omgang at holde det i en lille størrelse og tilbyde referencer til dem, der ønsker at grave dybere. Endelig, i stedet for at udgive artikler med faste intervaller, vil jeg poste, når jeg har nok interessante emner at dække.

Disclaimer: De dækkede funktioner vil være forudindtaget i forhold til emner, jeg er personligt interesseret i. PyTorch-økosystemet er massivt, og jeg har kun udsyn over en lille del af det. At dække (eller ikke dække) en funktion siger intet om dens betydning. Udtalte meninger er udelukkende mine egne.

Med det af vejen, lad os se, hvad der laver mad:

Etiketudjævning for CrossEntropy Tab

En meget efterspurgt funktion på PyTorch er at understøtte bløde mål , tilføje en etiketudjævningsmulighed i krydsentropitab. Begge funktioner sigter mod at gøre det nemt at udføre Label Smoothing, hvor den første mulighed giver mere fleksibilitet, når dataforøgelsesteknikker som f.eks. Bland op/cutmix bruges, og den anden er mere effektiv til de simple tilfælde. Muligheden for bløde mål har allerede været slået sammen på master af Joel Schlosser, mens label_smoothing-muligheden er under udvikling af Thomas J. Fan og er i øjeblikket under revision.

Ny opvarmningsplanlægning

Learning Rate opvarmning er en almindelig teknik, der bruges til træning af modeller, men indtil nu har PyTorch ikke tilbudt en hyldeløsning. For nylig har Ilqar Ramazanli introduceret en ny Scheduler, der understøtter lineær og konstant opvarmning. Arbejdet er i gang i øjeblikket forbedring af kædeevnen , kombination af eksisterende planlæggere.

TorchVision med "Batterier inkluderet"

Denne halvdel arbejder vi på at tilføje i TorchVision populære modeller, tab, skemalæggere, dataforøgelser og andre værktøjer, der bruges til at opnå avancerede resultater. Dette projekt er passende navngivet "Batterier inkluderet” og er pt i gang.

Tidligere på ugen har jeg tilføjet et nyt lag kaldet Stokastisk dybde som kan bruges til tilfældigt at droppe resterende grene i restarkitekturer. I øjeblikket arbejder jeg på tilføjelse af en implementering af den populære netværksarkitektur kaldet EfficientNet. Endelig er Allen Goodman i øjeblikket tilføjelse af en ny operatør, der vil muliggøre konvertering Segmenteringsmasker til afgrænsningskasser.

Andre funktioner under udvikling

Jeg troede, at vi konstant laver trinvise forbedringer af dokumentationen, CI-infrastrukturen og den overordnede kodekvalitet, nedenfor fremhæver jeg nogle af de "brugervendte" punkter i køreplanen som er under udvikling:

Det er det! Jeg håber du fandt det interessant. Alle ideer til, hvordan man tilpasser formatet eller hvilke emner, der skal dækkes, er meget velkomne. Slå mig op LinkedIn or Twitter.