Uusi blogisarja - TorchVision -kehittäjän muistelmia

• Elokuu 21, 2021
• Vasilis Vryniotis
• . Ei kommentteja

Aloitan uuden blogikirjoitussarjan PyTorchin tietokonenäkökirjaston kehittämisestä. Aion keskustella tulevista mielenkiintoisista ominaisuuksista pääasiassa TorchVision ja toissijainen PyTorch -ekosysteemistä. Tavoitteeni on tuoda esiin uusia ja kehitteillä olevia ominaisuuksia ja selventää, mitä julkaisujen välillä tapahtuu. Vaikka muoto todennäköisesti muuttuu ajan myötä, aion aluksi pitää sen purentakokoisena ja tarjota viitteitä niille, jotka haluavat kaivaa syvemmälle. Lopuksi, sen sijaan, että julkaisisin artikkeleita tietyin väliajoin, aion julkaista, kun minulla on tarpeeksi mielenkiintoisia aiheita.

Disclaimer: Käsitellyt ominaisuudet painottuvat aiheisiin, joista olen henkilökohtaisesti kiinnostunut. PyTorch -ekosysteemi on valtava, ja minulla on näkyvyys vain pieneen osaan siitä. Ominaisuuden peittäminen (tai peittämättä jättäminen) ei kerro mitään sen merkityksestä. Mielipiteet ovat vain omiani.

Kun tämä on poissa tieltä, katsotaan mitä ruoanlaitto:

Tarrojen tasoitus CrossEntropy -menetyksen vuoksi

PyTorchin erittäin haluttu ominaisuus on tukea pehmeitä kohteita ja lisää tarran tasoitusvaihtoehto Cross Entropian menetyksessä. Molemmilla ominaisuuksilla pyritään helpottamaan Label Smoothing -toiminnon tekemistä, ja ensimmäinen vaihtoehto tarjoaa enemmän joustavuutta, kun tietojen lisäystekniikoita, kuten sekoittaa/leikkaus käytetään ja toinen on tehokkaampi yksinkertaisissa tapauksissa. Pehmeät kohteet -vaihtoehto on jo ollut yhdistetty mestariksi kirjoittanut Joel Schlosser, kun label_smoothing -vaihtoehto on on kehityksessä kirjoittanut Thomas J. Fan, ja sitä tarkistetaan parhaillaan.

Uusi lämmittelyaikataulu

Oppimisnopeuden lämmittely on yleinen tekniikka, jota käytetään mallien harjoittelussa, mutta tähän asti PyTorch ei tarjonnut valmiita ratkaisuja. Viime aikoina Ilqar Ramazanli on käyttöön uusi ajastin, joka tukee lineaarista ja jatkuvaa lämmitystä. Työt ovat parhaillaan käynnissä ketjukyvyn parantaminen ja yhdistelmä nykyisistä aikatauluttajista.

TorchVision “Paristot mukana”

Tällä puoliskolla pyrimme lisäämään TorchVisioniin suosittuja malleja, menetyksiä, ajastimia, datan lisäyksiä ja muita apuohjelmia, joita käytetään huipputason tulosten saavuttamiseen. Tämä projekti on osuvasti nimetty "Sisältää paristot"Ja on tällä hetkellä meneillään.

Aiemmin tällä viikolla olen lisäsi uuden kerroksen nimeltään StokastinenSyvyys jota voidaan käyttää satunnaisesti pudottamaan jäännösarkkitehtuureihin jäännöshaaroja. Tällä hetkellä työskentelen lisäämällä toteutusta suositusta verkkoarkkitehtuurista Tehokas verkko. Lopuksi Allen Goodman on tällä hetkellä lisäämällä uusi operaattori, joka mahdollistaa muuntamisen Segmentointimaskit rajauslaatikoihin.

Muut ominaisuudet kehitteillä

Ajattelimme, että parannamme jatkuvasti dokumentaatiota, CI-infrastruktuuria ja yleistä koodin laatua, alla korostan joitain "käyttäjälle suunnattuja" etenemissuunnitelman kohteita jotka ovat kehitteillä:

Se siitä! Toivottavasti löysit sen mielenkiintoiseksi. Kaikki ideat muodon mukauttamisesta tai käsiteltävistä aiheista ovat erittäin tervetulleita. Lyö minua LinkedIn or Twitter.