Bepillantás a TorchVision V0.11-be – Egy TorchVision fejlesztő emlékiratai

Újra kiadta Platón

Követő: 0

Bepillantás a TorchVision v0.11-be – Egy TorchVision fejlesztő emlékiratai – 2 PlatoBlockchain Data Intelligence. Függőleges keresés. Ai. — Bepillantás a TorchVision v0.11-be – Egy TorchVision fejlesztő emlékiratai – 2

Az elmúlt néhány hét rendkívül mozgalmas volt a „PyTorch Land”-ban, mivel őrjöngve készülünk a PyTorch v1.10 és a TorchVision v0.11 kiadására. Ebben a 2. részletben a sorozat, kitérek néhány olyan közelgő szolgáltatásra, amelyek jelenleg a TorchVision kiadási ágában találhatók.

Jogi nyilatkozat: Noha a közelgő kiadás számos fejlesztést és hiba/teszt/dokumentáció fejlesztést tartalmaz, itt kiemelem az engem személyesen érdekelt tartományok új „felhasználói” funkcióit. A blogbejegyzés megírása után azt is észrevettem, hogy az általam áttekintett, megírt vagy a fejlődésüket szorosan nyomon követett funkciók irányába torzult. Egy jellemző lefedése (vagy lefedése) semmit sem mond a fontosságáról. A kifejtett vélemények kizárólag az enyémek.

Új modellek

Az új kiadás tele van új modellekkel:

Kai Zhang hozzáadta a végrehajtását RegNet architektúra az előre betanított súlyokkal együtt 14 változatok amelyek szorosan reprodukálják az eredeti papírt.
Nemrég hozzáadtam egy megvalósítást a EfficientNet architektúra a Luke Melas-Kyriazi és Ross Wightman által biztosított B0-B7 változatokhoz előre betanított súlyokkal együtt.

Új adatbővítések

Néhány új adatkiegészítési technikával bővült a legújabb verzió:

Samuel Gabriel közreműködött TrivialAugment, egy új egyszerű, de rendkívül hatékony stratégia, amely úgy tűnik, hogy kiváló eredményeket biztosít az AutoAugment számára.
Hozzáadtam a RandAugment módszer az automatikus augmentációkban.
Megvalósítást nyújtottam Mixup és CutMix hivatkozásokban átalakul. Ezek átalakítások formájában kerülnek áthelyezésre a következő kiadásban, amint véglegesítik az API-jukat.

Új operátorok és rétegek

Számos új operátor és réteg került bele:

Referenciák / Képzési receptek

Bár a referencia szkriptjeink fejlesztése folyamatos erőfeszítés, a következő verzió néhány új funkciója:

Prabhat Roy kiegészítette a támogatást Exponenciális mozgó átlag osztályozási receptünkben.
Frissítettem referenciáinkat a támogatás érdekében Címkesimítás, amelyet nemrégiben Joel Schlosser és Thomas J. Fan mutatott be a PyTorch magon.
Beépítettem az előadás lehetőségét Tanulási arány bemelegítés, az Ilqar Ramazanli által fejlesztett legújabb LR ütemezőket használva.

Egyéb fejlesztések

Íme néhány további figyelemre méltó fejlesztés a kiadásban:

Alexander Soare és Francisco Massa kifejlesztett egy FX-alapú segédprogram amely lehetővé teszi tetszőleges köztes jellemzők kinyerését a modellarchitektúrákból.
Nikita Shulga kiegészítette a támogatást CUDA 11.3 a TorchVisionhoz.
Zhongkai Zhu rögzítette a függőségi problémák JPEG lib (ez a probléma sok felhasználónknak komoly fejtörést okozott).

Folyamatban és Következő

Rengeteg izgalmas új funkció van még fejlesztés alatt, amelyek nem jutottak el ebben a kiadásban. Íme néhány:

Moto Hira, Parmeet Singh Bhatia és én kidolgoztunk egy RFC-t, amely új mechanizmust javasol Modell verziószámítás valamint az előre betanított súlyokhoz kapcsolódó metaadatok kezelésére. Ez lehetővé teszi számunkra, hogy minden modellhez több előre betanított súlyt támogassunk, és a kapcsolódó információkat, például címkéket, előfeldolgozási átalakításokat stb. csatoljunk a modellekhez.
Jelenleg azon dolgozom, hogy a "Elemek mellékelve” projekt pontosságának javítása érdekében előképzett modellek. A cél az, hogy a TorchVision által biztosított legnépszerűbb előre betanított modellekkel kategóriájában a legjobb eredményeket érjük el.
Philip Meier és Francisco Massa a TorchVision új modelljének izgalmas prototípusán dolgozik adatbázisba és a Átalakítások API.
Prabhat Roy a PyTorch Core kiterjesztésén dolgozik AveragedModel osztály támogatására a a pufferek átlagolása paraméterek mellett. Ennek a funkciónak a hiányát általában hibaként és akaratként jelentik számos downstream könyvtárat tesz lehetővé és keretrendszereket az egyéni EMA implementációik eltávolításához.
Aditya Oke segédprogramot írt amelyik megengedi az eredmények ábrázolása Keypoint modellek közül az eredeti képeken (a funkció nem került kiadásra, mivel elárasztottuk magunkat, és nem tudtuk időben átnézni 🙁 )
Építek a prototípus FX-utility amelynek célja, hogy felismerje a maradék kapcsolatokat tetszőleges modellarchitektúrákban, és módosítsa a hálózatot, hogy szabályosító blokkokat adjon hozzá (pl. StochasticDepth).

Végül van néhány új funkció a lemaradásunkban (hamarosan megjelennek a PR-k):

Remélem érdekesnek találtad a fenti összefoglalót. Szívesen veszünk minden ötletet a blogsorozat formátumának adaptálására. Üss rám LinkedIn or Twitter.