새 블로그 시리즈 – TorchVision 개발자의 회고록

• 2021 년 8 월 21 일
• 바실리스 브로 니 오티스
• . 코멘트가 없습니다

저는 PyTorch의 컴퓨터 비전 라이브러리 개발에 관한 새로운 블로그 포스트 시리즈를 시작하고 있습니다. 앞으로 흥미로운 기능에 대해 주로 논의할 계획입니다. 토치비전 PyTorch 생태계에서 XNUMX차적입니다. 내 목표는 새로운 기능과 개발 중인 기능을 강조하고 릴리스 사이에 무슨 일이 일어나는지 명확하게 제공하는 것입니다. 형식은 시간이 지남에 따라 변경될 수 있지만 처음에는 한입 크기로 유지하고 더 깊이 파고 싶은 사람들을 위해 참조를 제공할 계획입니다. 마지막으로, 일정한 간격으로 기사를 게시하는 대신 다룰 흥미로운 주제가 충분할 때 게시할 것입니다.

부인 성명: 다루는 기능은 개인적으로 관심이 있는 주제로 편향됩니다. PyTorch 생태계는 방대하고 그 중 극히 일부만 볼 수 있습니다. 기능을 덮거나 덮지 않는 것은 그 중요성에 대해 아무 말도 하지 않습니다. 표현된 의견은 전적으로 저만의 것입니다.

그 과정에서 요리가 무엇인지 봅시다.

CrossEntropy 손실에 대한 레이블 평활화

PyTorch에서 많이 요청된 기능은 소프트 타겟 지원 및 레이블 스무딩 옵션 추가 교차 엔트로피 손실에서. 두 기능 모두 레이블 평활화를 쉽게 수행할 수 있도록 하는 것을 목표로 하며, 첫 번째 옵션은 섞다/컷믹스 두 번째가 간단한 경우에 더 성능이 좋습니다. 소프트 타겟 옵션은 이미 마스터에 병합 label_smoothing 옵션이 있는 동안 Joel Schlosser 개발 중이다. Thomas J. Fan이 작성했으며 현재 검토 중입니다.

새로운 워밍업 스케줄러

학습률 워밍업은 모델을 훈련할 때 사용되는 일반적인 기술이지만 지금까지 PyTorch는 기성품 솔루션을 제공하지 않았습니다. 최근 일카르 라마잔리는 소개 선형 및 지속적인 워밍업을 지원하는 새로운 스케줄러. 현재 진행중인 작업은 체인 능력 향상 및 결합 기존 스케줄러의

"배터리 포함"이 포함된 TorchVision

이번 절반에는 TorchVision의 인기 있는 모델, 손실, 스케줄러, 데이터 증강 및 최신 결과를 달성하는 데 사용되는 기타 유틸리티를 추가하는 작업을 진행하고 있습니다. 이 프로젝트의 이름은 "건전지 포함"이며 현재 진행 중.

저는 이번 주 초에 새 레이어를 추가했습니다 라는 확률적 깊이 잔류 아키텍처에서 잔류 분기를 무작위로 삭제하는 데 사용할 수 있습니다. 현재 작업 중입니다 구현 추가 라고 불리는 대중적인 네트워크 아키텍처의 이피션트넷. 마지막으로 앨런 굿맨은 현재 변환할 수 있는 새 연산자 추가 경계 상자에 대한 분할 마스크.

개발 중인 기타 기능

문서, CI 인프라 및 전체 코드 품질을 지속적으로 점진적으로 개선한다고 생각합니다. 아래에서 "사용자 대면" 중 일부를 강조합니다. 로드맵 항목 개발 중:

그게 다야! 흥미롭게 보셨기를 바랍니다. 형식을 조정하는 방법이나 다룰 주제에 대한 아이디어는 매우 환영합니다. 나를 때려 링크드인 or 트위터.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 출처: https://blog.datumbox.com/new-blog-series-memoirs-of-a-torchvision-developer/