Nieuwe blogserie – Memoires van een TorchVision-ontwikkelaar

• 21 Augustus 2021
• Vasilis Vryniotis
• . Geen commentaar

Ik begin een nieuwe serie blogposts over de ontwikkeling van PyTorch's computer vision-bibliotheek. Ik ben van plan om interessante aankomende functies te bespreken, voornamelijk vanuit TorchVisie en secundair van het PyTorch-ecosysteem. Mijn doel is om nieuwe en in ontwikkeling zijnde functies te benadrukken en duidelijkheid te verschaffen over wat er tussen de releases gebeurt. Hoewel het formaat in de loop van de tijd waarschijnlijk zal veranderen, ben ik in eerste instantie van plan het hapklaar te houden en referenties te bieden voor degenen die dieper willen graven. Ten slotte, in plaats van artikelen met vaste tussenpozen te publiceren, zal ik berichten plaatsen wanneer ik genoeg interessante onderwerpen heb om te behandelen.

Disclaimer: De behandelde functies zijn gericht op onderwerpen die mij persoonlijk interesseren. Het PyTorch-ecosysteem is enorm en ik heb slechts zicht op een klein deel ervan. Het wel of niet afdekken van een functie zegt niets over het belang ervan. De geuite meningen zijn uitsluitend van mijzelf.

Met dat uit de weg, laten we eens kijken wat er aan het koken is:

Etiketvereffening voor CrossEntropy-verlies

Een veelgevraagde functie op PyTorch is om: ondersteuning van zachte doelen en een optie voor het afvlakken van labels toevoegen in Cross Entropy-verlies. Beide functies zijn bedoeld om het eenvoudig te maken om Label Smoothing uit te voeren, waarbij de eerste optie meer flexibiliteit biedt wanneer gegevensvergrotingstechnieken zoals door elkaar halen/gesneden mix worden gebruikt en de tweede is beter presterend voor de eenvoudige gevallen. De optie voor zachte doelen is al geweest samengevoegd op master door Joel Schlosser terwijl de optie label_smoothing is wordt ontwikkeld door Thomas J. Fan en wordt momenteel beoordeeld.

Nieuwe opwarmplanner

Het opwarmen van de leersnelheid is een veelgebruikte techniek die wordt gebruikt bij het trainen van modellen, maar tot nu toe bood PyTorch geen kant-en-klare oplossing. Onlangs heeft Ilqar Ramazanli: geïntroduceerd een nieuwe Scheduler die lineaire en constante opwarming ondersteunt. Momenteel in uitvoering is het werk rond het verbeteren van het ketenvermogen en combinatie van van bestaande planners.

TorchVision met "Batterijen inbegrepen"

Deze helft werken we aan het toevoegen van populaire modellen, verliezen, planners, gegevensvergrotingen en andere hulpprogramma's die worden gebruikt om ultramoderne resultaten te bereiken, aan TorchVision toe te voegen. Dit project heeft de toepasselijke naam “Batterijen inbegrepen” en is momenteel bezig.

Eerder deze week heb ik een nieuwe laag toegevoegd Dit betekent dat we onszelf en onze geliefden praktisch vergiftigen. Stochastische Diepte die kan worden gebruikt om willekeurig resterende takken in resterende architecturen te laten vallen. Momenteel ben ik bezig met een implementatie toevoegen van de populaire netwerkarchitectuur genaamd EfficiëntNet. Eindelijk, Allen Goodman is momenteel een nieuwe operator toevoegen die conversie mogelijk maakt Segmentatiemaskers naar begrenzingsvakken.

Andere functies in ontwikkeling

Dacht dat we voortdurend incrementele verbeteringen aanbrengen in de documentatie, CI-infrastructuur en algehele codekwaliteit, hieronder benadruk ik enkele van de "gebruikersgerichte" routekaartitems die in ontwikkeling zijn:

Dat is het! Ik hoop dat je het interessant vond. Alle ideeën over hoe het formaat kan worden aangepast of welke onderwerpen moeten worden behandeld, zijn zeer welkom. Raak me aan LinkedIn or Twitter.