Väike pilk TorchVisioni versioonile 0.11 – TorchVisioni arendaja memuaarid – 2

Väike pilk TorchVisioni versioonile 0.11 – TorchVisioni arendaja memuaarid – 2

Ajatempel: 10. oktoober 2021 7:49
Väike pilk TorchVisioni versioonile 0.11 – TorchVisioni arendaja memuaarid – 2 PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.
Väike pilk TorchVisioni versioonile 0.11 – TorchVisioni arendaja memuaarid – 2

Viimased paar nädalat olid "PyTorch Landis" ülimalt tegusad, kuna valmistame meeletult ette PyTorchi v1.10 ja TorchVision v0.11 väljalaskmist. Selles 2. osas seeria, käsitlen mõningaid eelseisvaid funktsioone, mis praegu TorchVisioni väljalaskeharus sisalduvad.

Lahtiütlus: Kuigi tulevane väljalase on täis arvukalt täiustusi ja vea/testi/dokumentatsiooni täiustusi, toon siin esile uued kasutajale suunatud funktsioonid domeenides, millest olen isiklikult huvitatud. Pärast ajaveebipostituse kirjutamist märkasin ka kalduvust funktsioonide suhtes, mida ma üle vaatasin, kirjutasin või nende arengut tähelepanelikult jälgisin. Funktsiooni katmine (või mittekatmine) ei ütle selle tähtsuse kohta midagi. Avaldatud arvamused on ainult minu omad.

Uued mudelid

Uus väljalase on täis uusi mudeleid:

  • Kai Zhang on lisanud rakenduse RegNeti arhitektuur koos eelnevalt treenitud raskustega 14 varianti mis jäljendavad täpselt originaalpaberit.
  • Lisasin hiljuti rakenduse EfficientNeti arhitektuur koos Luke Melas-Kyriazi ja Ross Wightmani pakutavate eeltreenitud raskustega variantide B0-B7 jaoks.

Uued andmete täiendused

Viimasele versioonile on lisatud mõned uued andmete suurendamise tehnikad:

  • Samuel Gabriel on andnud oma panuse Triviaalne kasv, uus lihtne, kuid väga tõhus strateegia, mis näib pakkuvat AutoAugmentile suurepäraseid tulemusi.
  • Olen lisanud RandAugment meetod automaatsetes suurendamistes.
  • Olen pakkunud selle teostuse Segamine ja CutMix teiseneb viidetes. Need teisaldatakse teisendustena järgmisel versioonil, kui nende API on lõpule viidud.

Uued operaatorid ja kihid

Kaasatud on mitmeid uusi operaatoreid ja kihte:

Viited / Koolitusretseptid

Kuigi meie võrdlusskriptide täiustamine on pidev jõupingutus, on siin mõned uued funktsioonid, mis sisalduvad eelseisvas versioonis:

muud parandused

Siin on mõned muud väljalaskesse lisatud märkimisväärsed täiustused:

  • Alexander Soare ja Francisco Massa on välja töötanud FX-põhine utiliit mis võimaldab mudeliarhitektuuridest välja võtta suvalisi vahefunktsioone.
  • Nikita Shulga on lisanud toetust CUDA 11.3 TorchVisionile.
  • Zhongkai Zhu on fikseerinud sõltuvusprobleemid JPEG lib (see probleem on paljudele meie kasutajatele suurt peavalu valmistanud).

Pooleli ja järgmine

Palju põnevaid uusi funktsioone on vähe arendatud, mis sellesse versiooni ei jõudnud. Siin on mõned:

  • Moto Hira, Parmeet Singh Bhatia ja mina oleme koostanud RFC, mis pakub välja uue mehhanismi Mudeli versioonide koostamine ja eeltreenitud raskustega seotud metaandmete käsitlemiseks. See võimaldab meil toetada iga mudeli jaoks mitut eelkoolitatud kaalu ja lisada mudelitele seotud teavet, nagu sildid, eeltöötluste teisendused jne.
  • Praegu töötan selle kallal, et kasutada primitiive, mis on lisatudKaasas patareid” projekti, et parandada meie täpsust eelkoolitatud mudelid. Eesmärk on saavutada oma klassi parimad tulemused TorchVisioni pakutavate populaarseimate eelkoolitatud mudelite puhul.
  • Philip Meier ja Francisco Massa töötavad TorchVisioni uue põneva prototüübi kallal Andmebaas ja Transformeerub API.
  • Prabhat Roy töötab PyTorch Core'i laiendamise nimel AveragedModel klassi toetada puhvrite keskmistamine lisaks parameetritele. Selle funktsiooni puudumisest teatatakse tavaliselt kui veast ja tahtest võimaldada arvukalt allavoolu teeke ja raamistikud, et eemaldada nende kohandatud EMA juurutused.
  • Aditya Oke kirjutas utiliidi mis võimaldab tulemuste joonistamine Keypointi mudelite kohta algsetel piltidel (funktsiooni ei avaldatud, kuna sattusime üle ja ei saanud seda õigel ajal üle vaadata 🙁 )
  • Ma ehitan a prototüüp FX-utiliit mille eesmärk on tuvastada jääkühendused suvalistes mudeliarhitektuurides ja muuta võrku, et lisada reguleerimisplokke (näiteks StochasticDepth).

Lõpuks on meie mahajäämuses mõned uued funktsioonid (PR-d peagi):

Loodan, et ülaltoodud kokkuvõte oli teile huvitav. Igasugused ideed, kuidas ajaveebisarja formaati kohandada, on väga teretulnud. Lööge mind LinkedIn or puperdama.

Ajatempel:

Veel alates Datumbox