סדרת בלוגים חדשים - זכרונות של מפתח TorchVision

• אוגוסט
• וסיליס ווריניוטיס
• . אין תגובה

אני מתחיל סדרת פוסטים חדשה בבלוג על פיתוח ספריית הראייה הממוחשבת של PyTorch. אני מתכנן לדון בתכונות עתידיות מעניינות בעיקר מ TorchVision ומשני מהמערכת האקולוגית של PyTorch. היעד שלי הוא להדגיש תכונות חדשות ובפיתוח ולספק בהירות של מה שקורה בין המהדורות. למרות שהפורמט עשוי להשתנות עם הזמן, אני מתכנן בתחילה לשמור אותו בגודל נגיס ולהציע הפניות למי שרוצה לחפור עמוק יותר. לבסוף, במקום לפרסם מאמרים במרווחים קבועים, אני אפרסם כשיהיו לי מספיק נושאים מעניינים לעסוק בהם.

כתב ויתור: התכונות המכוסות יהיו מוטות לנושאים שמעניינים אותי באופן אישי. המערכת האקולוגית של PyTorch היא מסיבית ויש לי ראות רק על חלק זעיר ממנה. כיסוי (או אי כיסוי) של תכונה לא אומר דבר על חשיבותה. הדעות המובעות הן שלי בלבד.

עם זה מחוץ לדרך, בואו נראה מה מתבשל:

החלקת תווית לאובדן CrossEntropy

תכונה מבוקשת מאוד ב- PyTorch היא תמיכה במטרות רכות ו הוסף אפשרות החלקת תווית בהפסד קרוס אנטרופיה. שתי התכונות מכוונות להקל על ביצוע החלקת תווית, כאשר האפשרות הראשונה מציעה גמישות רבה יותר כאשר טכניקות הגדלת נתונים כגון ערבוב/cutmix משמשים והשני ביצועי יותר עבור המקרים הפשוטים. אפשרות המטרות הרכות כבר הייתה התמזגו על מאסטר מאת Joel Schlosser בעוד האפשרות label_smoothing היא בפיתוח מאת Thomas J. Fan ונמצא כעת בבדיקה.

מתזמן חימום חדש

חימום קצב למידה היא טכניקה נפוצה בה משתמשים בהכשרת דוגמניות, אך עד כה PyTorch לא הציעה פתרון מדף. לאחרונה, יש לאילקר רמזנלי הציג מתזמן חדש התומך בחימום ליניארי וקבוע. כרגע מתבצעת העבודה מסביב שיפור יכולת השרשרת ו שילוב של מתזמנים קיימים.

TorchVision עם "סוללות כלולות"

חצי זה אנו עובדים על הוספת מודלים פופולריים של TorchVision, הפסדים, מתזמנים, הגדלת נתונים וכלי עזר אחרים המשמשים להשגת תוצאות מתקדמות. הפרויקט הזה נקרא "סוללות כלולות"וכיום בתהליך.

מוקדם יותר השבוע, עשיתי זאת הוסיף שכבה חדשה נקרא StochasticDepth אשר ניתן להשתמש בו כדי להפיל באופן אקראי ענפים שיוריים בארכיטקטורות שיוריות. כרגע אני עובד על הוספת יישום של ארכיטקטורת הרשת הפופולרית שנקראת EfficientNet. לבסוף, אלן גודמן הוא כַּיוֹם הוספת אופרטור חדש שיאפשר המרה מסכות פילוח לקופסאות תוחמות.

תכונות אחרות בפיתוח

חשבתי שאנחנו כל הזמן מבצעים שיפורים מצטברים בתיעוד, תשתית ה-CI ובאיכות הקוד הכוללת, להלן אני מדגיש כמה מה"פונים למשתמש" פריטי מפת דרכים שנמצאים בפיתוח:

זהו זה! אני מקווה שמצאת את זה מעניין. כל רעיון כיצד להתאים את הפורמט או אילו נושאים לעסוק יתקבלו בברכה. הכה אותי לינקדין or טויטר.