TorchVision V0.11 살짝 엿보기 – TorchVision 개발자의 회고록

플라톤에 의해 재발행

팔로워 : 0

TorchVision v0.11 미리보기 – TorchVision 개발자의 회고록 – 2 PlatoBlockchain Data Intelligence. 수직 검색. 일체 포함. — TorchVision v0.11 살짝 엿보기 – TorchVision 개발자의 회고록 – 2

지난 몇 주는 PyTorch v1.10 및 TorchVision v0.11 릴리스를 열성적으로 준비하면서 "PyTorch Land"에서 매우 바빴습니다. 이번 2탄에서는 시리즈, 현재 TorchVision의 릴리스 분기에 포함된 향후 기능 중 일부를 다룰 것입니다.

부인 성명: 다가오는 릴리스에는 수많은 개선 사항과 버그/테스트/문서 개선 사항이 포함되어 있지만 여기서는 개인적으로 관심이 있는 도메인의 새로운 "사용자 대면" 기능을 강조하고 있습니다. 블로그 게시물을 작성한 후, 나는 또한 내가 리뷰, 작성 또는 개발을 밀접하게 따라갔던 기능에 대한 편견을 발견했습니다. 기능을 덮는 것(또는 덮지 않는 것)은 그 중요성에 대해 아무 말도 하지 않습니다. 표현된 의견은 전적으로 저만의 것입니다.

새로운 모델

새 릴리스에는 다음과 같은 새 모델이 포함되어 있습니다.

Kai Zhang은 다음 구현을 추가했습니다. RegNet 아키텍처 미리 훈련된 가중치와 함께 14 가지 변형 원본 종이를 가깝게 재현합니다.
최근에 구현을 추가했습니다. EfficientNet 아키텍처 Luke Melas-Kyriazi 및 Ross Wightman이 제공한 변형 B0-B7에 대해 사전 훈련된 가중치와 함께.

새로운 데이터 증강

몇 가지 새로운 데이터 증강 기술이 최신 버전에 추가되었습니다.

사무엘 가브리엘이 기여했습니다. 사소한 증강, AutoAugment에 우수한 결과를 제공하는 것처럼 보이는 간단하지만 매우 효과적인 새로운 전략입니다.
나는 추가했다 랜드증가 자동 보강 방법.
의 구현을 제공했습니다. 믹스업과 컷믹스 참조에서 변환합니다. API가 완료되면 다음 릴리스에서 변환으로 이동됩니다.

새로운 연산자 및 레이어

다음과 같은 새로운 연산자와 레이어가 많이 추가되었습니다.

참조 / 교육 레시피

참조 스크립트의 개선은 지속적인 노력이지만 다음 버전에는 다음과 같은 몇 가지 새로운 기능이 포함됩니다.

Prabhat Roy는 다음을 지원합니다. 지수 이동 평균 분류 레시피에 있습니다.
지원하기 위해 참조를 업데이트했습니다. 레이블 평활화, PyTorch 코어에서 Joel Schlosser와 Thomas J. Fan이 최근에 소개했습니다.
수행할 수 있는 옵션을 포함했습니다. 학습률 워밍업, Ilqar Ramazanli가 개발한 최신 LR 스케줄러를 사용합니다.

기타 개선

다음은 릴리스에 추가된 몇 가지 주목할만한 개선 사항입니다.

Alexander Soare와 Francisco Massa는 FX 기반 유틸리티 모델 아키텍처에서 임의의 중간 기능을 추출할 수 있습니다.
Nikita Shulga가 지원을 추가했습니다. 쿠다 11.3 토치비전에.
Zhongkai Zhu가 수정했습니다. 의존성 문제 (이 문제는 많은 사용자에게 큰 골칫거리가 되었습니다).

진행 중 & 차기작

이 릴리스에는 포함되지 않았지만 개발 중인 흥미로운 새 기능이 많이 있습니다. 다음은 몇 가지입니다.

Moto Hira, Parmeet Singh Bhatia 및 저는 모델 버전 관리 사전 훈련된 가중치와 관련된 메타 데이터를 처리하기 위한 것입니다. 이를 통해 각 모델에 대해 사전 훈련된 여러 가중치를 지원하고 레이블, 사전 처리 변환 등과 같은 관련 정보를 모델에 첨부할 수 있습니다.
저는 현재 "배터리 포함” 프로젝트의 정확성을 향상시키기 위해 사전 훈련 된 모델. 목표는 TorchVision에서 제공하는 가장 인기 있는 사전 훈련된 모델에 대해 동급 최고의 결과를 달성하는 것입니다.
Philip Meier와 Francisco Massa는 TorchVision의 새로운 데이터 세트 및 변환 API.
Prabhat Roy는 PyTorch Core의 확장을 위해 노력하고 있습니다. AveragedModel 지원하는 수업 버퍼의 평균화 매개변수 외에. 이 기능의 부족은 일반적으로 버그로 보고되며 수많은 다운스트림 라이브러리 활성화 사용자 정의 EMA 구현을 제거하는 프레임워크.
아디티야 오케 유틸리티를 썼다 어느 것이 허용 결과 플로팅 원본 이미지의 Keypoint 모델 수
나는 건물을 짓고있다 프로토타입 FX 유틸리티 임의의 모델 아키텍처에서 잔여 연결을 감지하고 네트워크를 수정하여 정규화 블록(예: StochasticDepth).