ชุดบล็อกใหม่ – ความทรงจำของนักพัฒนา TorchVision

• สิงหาคม 21, 2021
• Vasilis Vryniotiso
• . ไม่มีความคิดเห็น

ฉันกำลังเริ่มบล็อกโพสต์ชุดใหม่เกี่ยวกับการพัฒนาไลบรารี Computer Vision ของ PyTorch ฉันวางแผนที่จะหารือเกี่ยวกับคุณสมบัติที่น่าสนใจที่จะเกิดขึ้นเป็นหลักจาก ทอร์ชวิชั่น และรองจากระบบนิเวศ PyTorch เป้าหมายของฉันคือการเน้นย้ำคุณลักษณะใหม่และอยู่ระหว่างการพัฒนา และให้ความกระจ่างเกี่ยวกับสิ่งที่เกิดขึ้นระหว่างการเปิดตัว แม้ว่ารูปแบบจะมีแนวโน้มที่จะเปลี่ยนแปลงไปตามกาลเวลา แต่ในตอนแรกฉันวางแผนที่จะรักษาขนาดที่เหมาะสมไว้และเสนอข้อมูลอ้างอิงสำหรับผู้ที่ต้องการเจาะลึกลงไปอีก สุดท้าย แทนที่จะเผยแพร่บทความในช่วงเวลาที่กำหนด ฉันจะโพสต์เมื่อมีหัวข้อที่น่าสนใจเพียงพอที่จะครอบคลุม

คำออกตัว: คุณลักษณะที่กล่าวถึงจะลำเอียงในหัวข้อที่ฉันสนใจเป็นการส่วนตัว ระบบนิเวศของ PyTorch นั้นใหญ่มาก และฉันมองเห็นได้เพียงส่วนเล็กๆ เท่านั้น การครอบคลุม (หรือไม่ครอบคลุม) คุณลักษณะไม่ได้กล่าวถึงความสำคัญของคุณลักษณะดังกล่าว ความคิดเห็นที่แสดงออกมาเป็นเพียงของฉันเอง

มาดูกันว่ามีอะไรทำอาหารบ้าง:

การปรับฉลากให้เรียบสำหรับการสูญเสีย CrossEntropy

คุณลักษณะที่ร้องขออย่างสูงใน PyTorch คือ รองรับเป้าอ่อน และ เพิ่มตัวเลือกการปรับฉลากให้เรียบ ในการสูญเสียครอสเอนโทรปี ทั้งสองคุณสมบัติมีเป้าหมายในการทำให้ Label Smoothing ง่ายขึ้น โดยตัวเลือกแรกให้ความยืดหยุ่นมากขึ้นเมื่อเทคนิค Data Augmentation เช่น ผสมผสาน/คัทมิกซ์ ถูกนำมาใช้และอย่างที่สองมีประสิทธิภาพมากกว่าสำหรับเคสธรรมดา ตัวเลือกเป้าหมายที่อ่อนนุ่มอยู่แล้ว ผสานกับมาสเตอร์ โดย Joel Schlosser ในขณะที่ตัวเลือก label_smoothing คือ การพัฒนา โดย Thomas J. Fan และขณะนี้อยู่ระหว่างการตรวจสอบ

ใหม่กำหนดการอุ่นเครื่อง

อัตราการเรียนรู้อุ่นเครื่องเป็นเทคนิคทั่วไปที่ใช้ในการฝึกโมเดล แต่จนถึงขณะนี้ PyTorch ไม่ได้เสนอวิธีแก้ปัญหาแบบมีขายทั่วไป เมื่อเร็วๆ นี้ อิลคาร์ รามาซันลี ได้ แนะนำ เครื่องมือจัดกำหนดการใหม่ที่สนับสนุนการอุ่นเครื่องแบบเชิงเส้นและแบบต่อเนื่อง อยู่ในระหว่างดำเนินการคืองานรอบ ๆ ปรับปรุงความสามารถลูกโซ่ และ การผสมผสาน ของตัวกำหนดตารางเวลาที่มีอยู่

TorchVision พร้อม “รวมแบตเตอรี่”

ครึ่งนี้เรากำลังดำเนินการเพื่อเพิ่มโมเดลยอดนิยมของ TorchVision, การสูญหาย, ตัวกำหนดเวลา, การเพิ่มข้อมูล และยูทิลิตี้อื่นๆ ที่ใช้เพื่อให้ได้ผลลัพธ์ที่ล้ำสมัย โครงการนี้มีชื่อว่า “แบตเตอรี่รวมอยู่ด้วย” และปัจจุบันคือ กำลังดำเนินการ.

เมื่อต้นสัปดาห์นี้ ฉันได้ เพิ่มเลเยอร์ใหม่ ที่เรียกว่า Stochasticความลึก ซึ่งสามารถใช้สุ่มดรอปกิ่งที่เหลือในสถาปัตยกรรมที่เหลือ ตอนนี้ฉันกำลังทำงานอยู่ เพิ่มการนำไปใช้ ของสถาปัตยกรรมเครือข่ายยอดนิยมที่เรียกว่า ประสิทธิภาพเน็ต. ในที่สุด Allen Goodman ก็ ในปัจจุบัน เพิ่มโอเปอเรเตอร์ใหม่ที่จะเปิดใช้งานการแปลง การแบ่งส่วนมาสก์ไปยังกล่องที่ถูกล้อมรอบ.

คุณสมบัติอื่น ๆ ในการพัฒนา

คิดว่าเราทำการปรับปรุงส่วนเพิ่มอย่างต่อเนื่องในเอกสารประกอบ โครงสร้างพื้นฐาน CI และคุณภาพโค้ดโดยรวม ด้านล่างฉันเน้นที่ "ส่วนต่อประสานกับผู้ใช้" บางส่วน รายการแผนงาน ซึ่งอยู่ในระหว่างการพัฒนา:

แค่นั้นแหละ! ฉันหวังว่าคุณจะพบว่ามันน่าสนใจ ความคิดใด ๆ เกี่ยวกับวิธีการปรับรูปแบบหรือหัวข้อที่จะครอบคลุมยินดีเป็นอย่างยิ่ง ตีฉันขึ้นบน LinkedIn or Twitter.