- 10 października 2021 r.
- Wasilis Wryniotis
- . Bez komentarza
Ostatnie kilka tygodni było bardzo pracowite w „PyTorch Land”, ponieważ gorączkowo przygotowujemy wydanie PyTorch v1.10 i TorchVision v0.11. W tej drugiej odsłonie Serie, omówię niektóre z nadchodzących funkcji, które są obecnie zawarte w gałęzi wydania TorchVision.
Zrzeczenie się: Chociaż nadchodzące wydanie jest pełne licznych ulepszeń i ulepszeń dotyczących błędów/testów/dokumentacji, tutaj zwracam uwagę na nowe funkcje skierowane do użytkowników w domenach, które mnie osobiście interesują. Po napisaniu wpisu na blogu zauważyłem również stronniczość w stosunku do funkcji, które recenzowałem, pisałem lub uważnie śledziłem ich rozwój. Zakrywanie (lub nie zakrywanie) funkcji nie mówi nic o jej znaczeniu. Wyrażone opinie są wyłącznie moimi.
Nowe modele
Nowa wersja jest pełna nowych modeli:
- Kai Zhang dodał implementację Architektura RegNet wraz z wytrenowanymi ciężarami dla Warianty 14 które ściśle odwzorowują oryginalny papier.
- Niedawno dodałem implementację Architektura EfficientNet wraz z wytrenowanymi ciężarami dla wariantów B0-B7 dostarczonymi przez Luke'a Melas-Kyriazi i Rossa Wightmana.
Nowe rozszerzenia danych
Do najnowszej wersji dodano kilka nowych technik Data Augmentation:
- Samuel Gabriel wniósł wkład Trywialne wzmocnienie, nowa prosta, ale bardzo skuteczna strategia, która wydaje się zapewniać lepsze wyniki niż autouzupełnianie.
- dodałem RandAugment metoda w autoaugmentacjach.
- Dostarczyłem implementację Mixup i CutMix przekształca się w referencjach. Zostaną one przeniesione w postaci transformacji w następnym wydaniu, gdy ich interfejs API zostanie sfinalizowany.
Nowi operatorzy i warstwy
Dodano szereg nowych operatorów i warstw:
Referencje / Przepisy szkoleniowe
Chociaż ulepszanie naszych skryptów referencyjnych jest ciągłym wysiłkiem, oto kilka nowych funkcji zawartych w nadchodzącej wersji:
- Prabhat Roy dodał obsługę Wykładnicza średnia ruchoma w naszej recepturze klasyfikacji.
- Zaktualizowałem nasze referencje do wsparcia Wygładzanie etykiet, który został niedawno wprowadzony przez Joela Schlossera i Thomasa J. Fana na rdzeniu PyTorch.
- Uwzględniłem opcję wykonania Rozgrzewka szybkości uczenia się, przy użyciu najnowszych programów planujących LR opracowanych przez Ilqara Ramazanli.
Inne ulepszenia
Oto kilka innych znaczących ulepszeń dodanych w wydaniu:
- Alexander Soare i Francisco Massa opracowali i Narzędzie oparte na FX co pozwala na wyodrębnienie dowolnych cech pośrednich z architektur modeli.
- Nikita Shulga dodał obsługę CUDA 11.3 do TorchVision.
- Zhongkai Zhu naprawił problemy z zależnościami biblioteki JPEG (ten problem przysporzył wielu naszym użytkownikom poważnych problemów).
W toku i następny
Wiele ekscytujących nowych funkcji jest niedopracowanych, które nie pojawiły się w tym wydaniu. Tu jest kilka:
- Moto Hira, Parmeet Singh Bhatia i ja opracowaliśmy projekt RFC, który proponuje nowy mechanizm Wersje modelu oraz do obsługi metadanych związanych z wytrenowanymi wagami. Umożliwi nam to obsługę wielu wstępnie wytrenowanych wag dla każdego modelu i dołączanie powiązanych informacji, takich jak etykiety, przekształcenia wstępnego przetwarzania itp. do modeli.
- Obecnie pracuję nad wykorzystaniem prymitywów dodanych przez „Baterie w zestawie”projekt w celu poprawy dokładności naszych wstępnie wytrenowane modele. Celem jest osiągnięcie najlepszych w swojej klasie wyników dla najpopularniejszych wstępnie wytrenowanych modeli dostarczanych przez TorchVision.
- Philip Meier i Francisco Massa pracują nad ekscytującym prototypem nowego TorchVision Dataset i Przekształca się API.
- Prabhat Roy pracuje nad rozszerzeniem PyTorch Core
AveragedModel
klasa wspierająca uśrednianie buforów oprócz parametrów. Brak tej funkcji jest często zgłaszany jako błąd i będzie włącz liczne biblioteki podrzędne i frameworki do usuwania ich niestandardowych implementacji EMA. - Aditya Oke napisał narzędzie co pozwala wykreślanie wyników modeli Keypoint na oryginalnych obrazach (funkcja nie dotarła do wydania, ponieważ zostaliśmy zalani i nie mogliśmy przejrzeć jej na czas 🙁 )
- buduję prototyp narzędzia FX który ma na celu wykrywanie połączeń rezydualnych w dowolnych architekturach modeli i modyfikowanie sieci w celu dodania bloków regularyzacji (takich jak
StochasticDepth
).
Wreszcie, w naszym backlogu pojawiło się kilka nowych funkcji (PR już wkrótce):
Mam nadzieję, że powyższe podsumowanie było dla Ciebie interesujące. Wszelkie pomysły na dostosowanie formatu serii blogów są mile widziane. Uderz mnie dalej LinkedIn or Twitter.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
- Źródło: https://blog.datumbox.com/a-sneak-peek-on-torchvision-v0-11-memoirs-of-a-torchvision-developer-2/
- 10
- 11
- 7
- a
- O nas
- powyżej
- precyzja
- Osiągać
- przystosować
- w dodatku
- dodatek
- Po
- Cele
- pozwala
- i
- api
- powiązany
- dołączać
- autor
- stronniczość
- Bloki
- Blog
- Oddział
- Bug
- Budowanie
- powodowany
- klasa
- klasyfikacja
- dokładnie
- przyjście
- Coming Soon
- powszechnie
- połączenia
- ciągły
- przyczyniły
- rdzeń
- Para
- pokrywa
- pokrycie
- Obecnie
- zwyczaj
- dane
- Skrzynka odniesienia
- rozwinięty
- Deweloper
- oprogramowania
- domeny
- sporządzony
- każdy
- Efektywne
- wysiłek
- EMA
- umożliwiać
- itp
- ekscytujący
- wyrażone
- rozsuwalny
- wentylator
- Cecha
- Korzyści
- kilka
- sfinalizowane
- ustalony
- następnie
- format
- znaleziono
- Ramy
- Francisco
- od
- Prowadzenie
- bóle głowy
- tutaj
- podświetlanie
- wysoko
- Dobranie (Hit)
- nadzieję
- W jaki sposób
- How To
- HTTPS
- CHORY
- pomysły
- zdjęcia
- realizacja
- znaczenie
- podnieść
- poprawa
- ulepszenia
- in
- włączony
- Informacja
- zainteresowany
- ciekawy
- wprowadzono
- problem
- IT
- Etykiety
- Brak
- Nazwisko
- firmy
- nioski
- poważny
- robić
- wiele
- Maksymalna szerokość
- mechanizm
- metoda
- model
- modele
- większość
- Najbardziej popularne posty
- przeniesienie
- wielokrotność
- sieć
- Nowości
- Nowe funkcje
- Następny
- dostojnik
- numer
- liczny
- październik
- operatorzy
- Opinie
- Option
- zamówienie
- oryginalny
- Inne
- własny
- zatłoczony
- Papier
- parametry
- wykonać
- Osobiście
- plato
- Analiza danych Platona
- PlatoDane
- Popularny
- Post
- Wiadomości
- przygotowanie
- projekt
- proponuje
- prototyp
- zapewniać
- pod warunkiem,
- płomień
- Kurs
- niedawno
- Przepis
- referencje
- zwolnić
- usunąć
- Zgłoszone
- Efekt
- przeglądu
- recenzja
- skrypty
- wydaje
- Serie
- Prosty
- poskarżyć
- kilka
- Strategia
- taki
- PODSUMOWANIE
- Wspaniały
- przełożony
- wsparcie
- cel
- Techniki
- Połączenia
- ich
- czas
- do
- Pochodnia
- w kierunku
- Trening
- zbliżających
- zaktualizowane
- us
- Użytkownicy
- wersja
- tygodni
- powitanie
- który
- będzie
- pracujący
- pisanie
- You
- zefirnet