Nova serija blogov – Spomini razvijalca TorchVision

• Avgust 21, 2021
• Vasilis Vryniotis
• . Brez komentarja

Začenjam novo serijo objav v spletnem dnevniku o razvoju knjižnice računalniškega vida PyTorch. O zanimivih prihajajočih funkcijah nameravam razpravljati predvsem od TorchVision in sekundarno iz ekosistema PyTorch. Moj cilj je poudariti nove funkcije in funkcije v razvoju ter zagotoviti jasnost dogajanja med izdajami. Čeprav se bo format sčasoma verjetno spremenil, nameravam sprva ohraniti majhno velikost in ponuditi reference za tiste, ki se želijo poglobiti. Nazadnje, namesto da bi članke objavljal v določenih intervalih, jih bom objavljal, ko bom imel dovolj zanimivih tem za obdelavo.

Disclaimer: Zajete funkcije bodo pristranske glede tem, ki me osebno zanimajo. Ekosistem PyTorch je ogromen in vpogled imam le v majhen del. Pokrivanje (ali ne pokrivanje) funkcije ne pove ničesar o njeni pomembnosti. Izražena mnenja so izključno moja.

Če tega ne naredimo, poglejmo, kaj se kuha:

Glajenje oznak za izgubo navzkrižne entropije

Zelo zahtevana funkcija na PyTorchu je podpira mehke tarče in dodajte možnost glajenja nalepk pri izgubi navzkrižne entropije. Cilj obeh funkcij je olajšati glajenje oznak, pri čemer prva možnost ponuja večjo prilagodljivost pri tehnikah povečevanja podatkov, kot je npr. pomešati/cutmix se uporabljajo, drugi pa je bolj zmogljiv za preproste primere. Možnost mehkih tarč je že bila združeno na master avtor Joel Schlosser, medtem ko je možnost label_smoothing se razvijajo avtor Thomas J. Fan in je trenutno v pregledu.

Nov razporejevalnik ogrevanja

Ogrevanje s stopnjo učenja je pogosta tehnika, ki se uporablja pri usposabljanju modelov, vendar PyTorch do zdaj ni ponujal standardne rešitve. Nedavno je Ilqar Ramazanli Uvedeno nov razporejevalnik, ki podpira linearno in konstantno ogrevanje. Trenutno poteka delo izboljšanje verižne sposobnosti in kombinacija obstoječih urnikov.

TorchVision z "baterijami vključene"

V tej polovici delamo na dodajanju priljubljenih modelov, izgub, razporejevalcev, povečav podatkov in drugih pripomočkov v TorchVision, ki se uporabljajo za doseganje najsodobnejših rezultatov. Ta projekt je primerno poimenovan "Baterije so vključene« in je trenutno v teku.

V začetku tega tedna sem dodal novo plast se imenuje stohastična globina ki se lahko uporabi za naključno opuščanje preostalih vej v preostalih arhitekturah. Trenutno delam na dodajanje izvedbe priljubljene omrežne arhitekture, imenovane EfficientNet. Končno je Allen Goodman Trenutno dodajanje novega operaterja, ki bo omogočil pretvorbo Segmentacijske maske do omejevalnih okvirjev.

Druge funkcije v razvoju

Čeprav nenehno postopoma izboljšujemo dokumentacijo, infrastrukturo CI in splošno kakovost kode, spodaj izpostavljam nekaj »uporabniških« predmeti načrta poti ki so v razvoju:

To je to! Upam, da vam je bilo zanimivo. Vse ideje o tem, kako prilagoditi format ali katere teme obravnavati, so zelo dobrodošle. Napiši me LinkedIn or Twitter.