Loạt Blog mới - Hồi ức của một nhà phát triển TorchVision

Loạt Blog mới - Hồi ức của một nhà phát triển TorchVision

Dấu thời gian: 21:2021 sáng ngày 7 tháng 33 năm XNUMX
Chuỗi blog mới – Hồi ức của một nhà phát triển TorchVision PlatoBlockchain Data Intelligence. Tìm kiếm dọc. Ái.
Loạt Blog mới - Hồi ức của một nhà phát triển TorchVision

Tôi đang bắt đầu một loạt bài đăng trên blog mới về sự phát triển của thư viện thị giác máy tính của PyTorch. Tôi dự định thảo luận về các tính năng thú vị sắp tới chủ yếu từ Ngọn đuốcTầm nhìn và thứ cấp từ hệ sinh thái PyTorch. Mục tiêu của tôi là làm nổi bật các tính năng mới và đang trong quá trình phát triển, đồng thời cung cấp sự rõ ràng về những gì đang xảy ra giữa các bản phát hành. Mặc dù định dạng có thể thay đổi theo thời gian, nhưng ban đầu tôi dự định giữ nó ở kích thước vừa phải và cung cấp tài liệu tham khảo cho những ai muốn tìm hiểu sâu hơn. Cuối cùng, thay vì xuất bản các bài báo vào những khoảng thời gian cố định, tôi sẽ đăng khi tôi có đủ chủ đề thú vị để đề cập.

Disclaimer: Các tính năng được đề cập sẽ thiên về các chủ đề mà cá nhân tôi quan tâm. Hệ sinh thái PyTorch rất lớn và tôi chỉ có thể nhìn thấy một phần nhỏ của nó. Việc che (hoặc không che) một đối tượng địa lý không nói lên được tầm quan trọng của nó. Ý kiến ​​bày tỏ chỉ là của riêng tôi.

Với điều đó, chúng ta hãy xem những gì đang nấu:

Làm mịn nhãn để giảm CrossEntropy

Một tính năng được yêu cầu cao trên PyTorch là hỗ trợ các mục tiêu mềm và thêm một tùy chọn làm mịn nhãn trong mất Entropy chéo. Cả hai tính năng đều nhắm mục tiêu vào việc giúp dễ dàng thực hiện Làm mịn nhãn, với tùy chọn đầu tiên cung cấp tính linh hoạt hơn khi các kỹ thuật Tăng cường dữ liệu như trộn lẫn/hỗn hợp cắt được sử dụng và thứ hai có hiệu suất cao hơn cho các trường hợp đơn giản. Tùy chọn mục tiêu mềm đã được hợp nhất trên tổng thể bởi Joel Schlosser trong khi tùy chọn label_smoothing là được phát triển bởi Thomas J. Fan và hiện đang được xem xét.

Bộ lập lịch khởi động mới

Khởi động Tốc độ Học tập là một kỹ thuật phổ biến được sử dụng khi đào tạo các mô hình nhưng cho đến nay PyTorch vẫn chưa đưa ra giải pháp có sẵn. Gần đây, Ilqar Ramazanli đã giới thiệu một Bộ lập lịch mới hỗ trợ khởi động tuyến tính và liên tục. Hiện đang được tiến hành là công việc xung quanh cải thiện khả năng chuỗi và kết hợp trong số các bộ lập lịch hiện có.

TorchVision với "Bao gồm pin"

Nửa này chúng tôi đang làm việc để thêm vào TorchVision Mô hình phổ biến, Mất mát, Bộ lập lịch, Tăng cường dữ liệu và các tiện ích khác được sử dụng để đạt được kết quả hiện đại. Dự án này được đặt tên một cách khéo léo “Pin bao gồm”Và hiện đang trong tiến trình.

Đầu tuần này, tôi đã đã thêm một lớp mới gọi là Độ sâu ngẫu nhiên có thể được sử dụng để loại bỏ ngẫu nhiên các nhánh còn lại trong kiến ​​​​trúc còn lại. Hiện tại tôi đang làm việc trên thêm một triển khai của kiến ​​trúc mạng phổ biến được gọi là E enoughNet. Cuối cùng, Allen Goodman là hiện tại thêm một toán tử mới sẽ cho phép chuyển đổi Mặt nạ phân đoạn thành hộp giới hạn.

Các tính năng khác đang được phát triển

Nghĩ rằng chúng tôi liên tục thực hiện các cải tiến gia tăng đối với tài liệu, cơ sở hạ tầng CI và chất lượng mã tổng thể, dưới đây tôi nêu bật một số điểm "hướng tới người dùng" các mục lộ trình đang trong quá trình phát triển:

Đó là nó! Tôi hy vọng bạn thấy nó thú vị. Bất kỳ ý tưởng nào về cách điều chỉnh định dạng hoặc những chủ đề cần đề cập đều rất được hoan nghênh. Đánh tôi lên LinkedIn or Twitter.

Dấu thời gian:

Thêm từ Hộp dữ liệu