Nowa seria blogów – Wspomnienia dewelopera TorchVision

• 21 sierpnia 2021 r.
• Wasilis Wryniotis
• . Bez komentarza

Rozpoczynam nową serię postów na blogu o rozwoju biblioteki wizji komputerowej PyTorch. Planuję omówić interesujące nadchodzące funkcje, głównie z TorchVision i wtórne z ekosystemu PyTorch. Moim celem jest podkreślenie nowych i będących w fazie rozwoju funkcji oraz zapewnienie przejrzystości tego, co dzieje się pomiędzy kolejnymi wydaniami. Chociaż format prawdopodobnie zmieni się z czasem, początkowo planuję zachować go w niewielkich rozmiarach i oferować odniesienia dla tych, którzy chcą kopać głębiej. Wreszcie, zamiast publikować artykuły w stałych odstępach czasu, będę publikował, gdy będę miał wystarczająco dużo interesujących tematów do omówienia.

Zrzeczenie się: Omówione funkcje będą ukierunkowane na tematy, które mnie osobiście interesują. Ekosystem PyTorch jest ogromny i mam wgląd tylko w niewielką jego część. Zakrywanie (lub nie zakrywanie) cechy nic nie mówi o jej znaczeniu. Wyrażone opinie są wyłącznie moimi własnymi.

Mając to na uboczu, zobaczmy, co się gotuje:

Wygładzanie etykiet dla utraty CrossEntropy

Bardzo pożądaną funkcją w PyTorch jest wspierać miękkie cele i dodać opcję wygładzania etykiet w utracie krzyżowej entropii. Obie funkcje mają na celu ułatwienie wygładzania etykiet, przy czym pierwsza opcja oferuje większą elastyczność, gdy techniki rozszerzania danych, takie jak mieszać/miksuj są używane, a drugi jest bardziej wydajny w prostych przypadkach. Opcja miękkich celów już była połączone w master autorstwa Joela Schlossera, podczas gdy opcja label_smoothing jest włączona w trakcie opracowywania autorstwa Thomasa J. Fana i jest obecnie w trakcie przeglądu.

Nowy harmonogram rozgrzewki

Rozgrzewka Learning Rate jest powszechną techniką stosowaną podczas szkolenia modeli, ale do tej pory PyTorch nie oferował gotowego rozwiązania. Ostatnio zrobił to Ilqar Ramazanli wprowadzono nowy Harmonogram obsługujący liniową i stałą rozgrzewkę. Obecnie trwają prace wokół poprawiając zdolność łańcucha i połączenie istniejących harmonogramów.

TorchVision z „Bateriami w zestawie”

W tej połowie pracujemy nad dodaniem do TorchVision popularnych modeli, strat, harmonogramów, rozszerzeń danych i innych narzędzi używanych do osiągania najnowocześniejszych wyników. Projekt ten trafnie nosi nazwę „Baterie w zestawie” i jest obecnie w trakcie.

Wcześniej w tym tygodniu dodano nową warstwę nazywa Głębokość stochastyczna którego można użyć do losowego upuszczania resztkowych gałęzi w architekturach resztkowych. Obecnie pracuję nad dodanie implementacji popularnej architektury sieciowej tzw Wydajna sieć. Wreszcie jest Allen Goodman obecnie dodanie nowego operatora, który umożliwi konwersję Maski segmentacji do ramek granicznych.

Inne funkcje w fazie rozwoju

Myślałem, że stale wprowadzamy stopniowe ulepszenia dokumentacji, infrastruktury CI i ogólnej jakości kodu, poniżej podkreślam niektóre z „skierowanych na użytkownika” elementy mapy drogowej które są w fazie rozwoju:

Otóż ​​to! Mam nadzieję, że uznałeś to za interesujące. Wszelkie pomysły dotyczące dostosowania formatu lub tematów do poruszenia są bardzo mile widziane. Wpadnij do mnie LinkedIn or Twitter.