TorchVision 현대화의 여정 – TorchVision 개발자의 회고록 – 3

• 2022 년 5 월 21 일
• 바실리스 브로 니 오티스
• . 코멘트가 없습니다

TorchVision 회고록에 마지막으로 새 항목을 게시한 지 꽤 시간이 지났습니다. 시리즈. 생각해보니 저는 이전에 공식 PyTorch 블로그와 다음 사이트에서 소식을 공유한 적이 있었습니다. 트위터, 저는 TorchVision의 마지막 릴리스(v0.12)에서 무슨 일이 일어났는지, 다음 릴리스(v0.13)에서는 무엇이 나올지, 그리고 2022H2에 대한 우리의 계획에 대해 더 이야기하는 것이 좋을 것이라고 생각했습니다. 나의 목표는 새로운 기능에 대한 개요를 제공하는 것 이상으로 향후 몇 달 동안 프로젝트를 어떻게 진행할 것인지에 대한 통찰력을 제공하는 것입니다.

토치비전 v0.12 a) 투명성을 높이고 더 많은 커뮤니티 기여자를 유치하기 위해 지원 중단 및 모델 기여 정책을 업데이트하고 b) 인기 있는 새로운 모델 아키텍처, 데이터 세트 및 ML 기술을 추가하여 현대화 노력을 두 배로 늘리는 두 가지 초점을 맞춘 대규모 릴리스였습니다.

정책 업데이트

성공적인 오픈 소스 프로젝트의 핵심은 프로젝트에 기여하고 발전시키는 건강하고 활동적인 커뮤니티를 유지하는 것입니다. 따라서 우리 팀의 중요한 목표는 커뮤니티가 일반적인 점진적 개선(버그/문서 수정) 외에 큰 기능(새 모델, ML 기술 등)을 기여할 수 있도록 하는 장기적인 비전을 가지고 커뮤니티 기여 수를 늘리는 것입니다. , 작은 기능 등).

역사적으로 커뮤니티는 심한 그러한 기능을 제공하기 위해 우리 팀은 이를 받아들이는 것을 주저했습니다. 주요 장애물은 구체적인 모델 기여 및 지원 중단 정책이 부족하다는 점이었습니다. 이 문제를 해결하기 위해 Joao Gomes는 커뮤니티와 협력하여 첫 번째 초안을 작성하고 게시했습니다. 모델 기여 지침 이는 새로운 아키텍처, 사전 훈련된 가중치 및 모델 훈련이 필요한 기능을 제공하는 프로세스에 대한 명확성을 제공합니다. 또한 Nicolas Hug는 PyTorch 핵심 개발자와 협력하여 콘크리트를 공식화하고 채택했습니다. 지원 중단 정책.

앞서 언급한 변경 사항은 프로젝트에 즉각적으로 긍정적인 영향을 미쳤습니다. 새로운 기여 정책은 대규모 기능에 대한 수많은 커뮤니티 기여를 받는 데 도움이 되었으며(자세한 내용은 아래 참조) 명확한 지원 중단 정책을 통해 TorchVision이 강력한 하위 호환성 보장을 제공하도록 보장하면서 코드 기반을 정리할 수 있었습니다. 우리 팀은 TorchVision을 관련성 있고 최신 상태로 유지하기 위해 오픈 소스 개발자, 연구 팀 및 다운스트림 라이브러리 제작자와 계속 협력하려는 의욕이 넘칩니다. 피드백, 의견 또는 기능 요청이 있으면 알려주십시오. 손을 내밀다 우리에게.

TorchVision 현대화

지난 몇 가지 릴리스에서 우리가 목표 사용자가 PyTorch를 사용하여 SOTA 결과를 쉽게 재현할 수 있도록 TorchVision에 필요한 모든 증강, 손실, 레이어, 교육 유틸리티 및 새로운 아키텍처를 추가하는 것이었습니다. TorchVision v0.12는 해당 경로에서 계속되었습니다.

• 우리의 록스타 커뮤니티 기여자인 Hu Ye와 Zhiqiang Wang이 FCOS XNUMX단계 객체 감지 모델인 아키텍처입니다.

• Nicolas Hug는 다음을 추가하여 TorchVision에 광학 흐름 지원을 추가했습니다. 뗏목 건축물.

• Yiwen Song이 다음에 대한 지원을 추가했습니다. 비전 변압기 (ViT) 그리고 나는 다음을 추가했습니다. 다음회 개선된 사전 훈련된 가중치와 함께 아키텍처.

• 마지막으로 도움 우리 커뮤니티의 14개의 새로운 분류 와 5개의 새로운 광학 흐름 데이터 세트.

• 평소와 마찬가지로 이번 릴리스에는 수많은 작은 개선 사항, 버그 수정 및 문서 개선 사항이 포함되었습니다. 모든 새로운 기능과 기여자 목록을 보려면 다음을 확인하세요. v0.12 릴리스 정보.

TorchVision v0.13이 XNUMX월 초에 출시될 예정입니다. 이는 수많은 새로운 기능과 대규모 API 개선이 포함된 매우 큰 릴리스입니다.

현대화 마무리 및 SOTA와의 격차 해소

우리는 계속해서 도서관 현대화의 여정 주요 컴퓨터 비전 작업에 대한 SOTA 결과를 생성하는 데 필요한 기본 요소, 모델 아키텍처 및 레시피 유틸리티를 추가하여:

• Victor Fomin의 도움으로 다음과 같은 중요한 누락 데이터 확대 기술을 추가했습니다. AugMix, 대규모 지터 이러한 기술을 통해 우리는 SOTA와의 격차를 줄이고 더 나은 가중치를 생성할 수 있었습니다(아래 참조).

• Aditya Oke, Hu Ye, Yassine Alouini 및 Abhijit Deo의 도움으로 우리는 다음과 같은 중요한 공통 빌딩 블록을 추가했습니다. 드롭블록 레이어 MLP 블록, cioU & 디우 손실 등. 마지막으로 Shen Li와 협력하여 PyTorch의 오랜 문제를 해결했습니다. SyncBatchNorm 탐지 모델에 영향을 미치는 계층.

• Hu Ye는 Joao Gomes의 지원으로 추가되었습니다. 스윈 트랜스포머 향상된 사전 훈련된 가중치와 함께. 나는 EfficientNetV2 아키텍처 및 구현에 대한 여러 포스트페이퍼 아키텍처 최적화 RetinaNet, FasterRCNN 및 MaskRCNN.

• 이전에 PyTorch 블로그에서 논의한 것처럼, 우리는 개선된 가중치를 생성하여 사전 훈련된 가중치를 개선하기 위해 상당한 노력을 기울였습니다. 훈련 레시피. 이를 통해 우리는 우리의 정확성을 향상시킬 수 있었습니다. 분류 모델 3개의 정확도 포인트로 다양한 아키텍처에 대한 새로운 SOTA를 달성합니다. 유사한 노력이 수행되었습니다. 감지 및 세분화여기서 우리는 모델의 정확도를 평균 8.1mAP 이상 향상시켰습니다. 마지막으로 Yosua Michael M은 Laura Gustafson, Mannat Singhand 및 Aaron Adcock과 협력하여 SWAG, ViT 및 RegNet을 위한 매우 정확한 새로운 최첨단 사전 훈련 가중치 세트입니다.

새로운 다중 가중치 지원 API

나는 이전에 논의 된 PyTorch 블로그에서 TorchVision은 사전 훈련된 여러 가중치를 지원하도록 기존 모델 빌더 메커니즘을 확장했습니다. 새로운 API는 이전 버전과 완벽하게 호환되며 다양한 가중치로 모델을 인스턴스화할 수 있으며 유용한 메타데이터(예: 범주, 매개변수 수, 측정항목 등)와 모델의 전처리 추론 변환을 얻을 수 있는 메커니즘을 제공합니다. 전용 피드백이 있습니다 Github의 문제 우리의 거친 부분을 다듬는 데 도움이 됩니다.

개선된 문서

Nicolas Hug는 구조조정 노력을 주도했습니다. 모델 문서 토치비전의. 새로운 구조는 다중 가중치 지원 API에서 제공되는 기능을 활용하여 사전 훈련된 가중치와 라이브러리에서의 사용에 대한 더 나은 문서를 제공할 수 있습니다. 커뮤니티 회원들에게 큰 소리로 외칩니다. 우리를 돕는 모든 아키텍처를 적시에 문서화합니다.

2022H2에 대한 자세한 로드맵은 아직 확정되지 않았지만 현재 작업할 계획인 몇 가지 주요 프로젝트는 다음과 같습니다.

• 우리는 Haoqi Fan 및 Christoph Feichtenhofer와 긴밀히 협력하고 있습니다. 파이토치 비디오을 추가하려면 향상된 멀티스케일 비전 변환기 (MViTv2) 아키텍처를 TorchVision으로 변환합니다.

• Philip Meier와 Nicolas Hug는 향상된 버전의 작업을 진행 중입니다. 데이터세트 API (v2)는 다음을 사용합니다. TorchData 및 데이터 파이프. Philip Meier, Victor Fomin 그리고 저는 또한 API 변환 (v2) 이미지뿐만 아니라 경계 상자, 분할 마스크 등도 지원합니다.

• 마지막으로 커뮤니티는 인기 있는 아키텍처와 기술을 추가하여 TorchVision을 최신 상태로 유지하고 관련성을 갖도록 돕고 있습니다. Lezwon Castelino는 현재 Victor Fomin과 협력하여 단순복사붙여넣기 증가. Hu Ye는 현재 다음을 추가하기 위해 노력하고 있습니다. DeTR 아키텍처.

프로젝트에 참여하고 싶다면 저희를 방문해 주세요. 좋은 첫 번째 문제 그리고 도움 필요 기울기. 노련한 PyTorch/컴퓨터 비전 베테랑이고 기여하고 싶다면 새로운 후보 프로젝트가 여러 개 있습니다. 운영자, 사상자 수, 증강 와 모델.

이 기사가 흥미로웠기를 바랍니다. 연락하고 싶으면 나한테 연락해. 링크드인 or 트위터.