Νέα σειρά Blog - Απομνημονεύματα προγραμματιστή του TorchVision

• Αύγουστος 21, 2021
• Βασίλης Βρυνιώτης
• . Χωρίς σχόλια

Ξεκινάω μια νέα σειρά δημοσιεύσεων ιστολογίου σχετικά με την ανάπτυξη της βιβλιοθήκης όρασης του PyTorch στον υπολογιστή. Σκοπεύω να συζητήσω ενδιαφέροντα επερχόμενα χαρακτηριστικά κυρίως από TorchVision και δευτερεύον από το οικοσύστημα PyTorch. Ο στόχος μου είναι να αναδείξω νέες και εν εξελίξει λειτουργίες και να δώσω σαφήνεια στο τι συμβαίνει ανάμεσα στις κυκλοφορίες. Αν και η μορφή είναι πιθανό να αλλάξει με την πάροδο του χρόνου, αρχικά σκοπεύω να το διατηρήσω σε μέγεθος και να προσφέρω αναφορές για όσους θέλουν να εμβαθύνουν. Τέλος, αντί να δημοσιεύω άρθρα σε σταθερά διαστήματα, θα δημοσιεύω όταν έχω αρκετά ενδιαφέροντα θέματα για κάλυψη.

Αποποίηση ευθυνών: Τα χαρακτηριστικά που καλύπτονται θα είναι προκατειλημμένα για θέματα που με ενδιαφέρουν προσωπικά. Το οικοσύστημα PyTorch είναι τεράστιο και έχω ορατότητα μόνο σε ένα μικρό μέρος του. Η κάλυψη (ή μη κάλυψη) ενός χαρακτηριστικού δεν λέει τίποτα για τη σημασία του. Οι απόψεις που εκφράζονται είναι αποκλειστικά δικές μου.

Με αυτό εκτός δρόμου, ας δούμε τι μαγειρεύει:

Ετικέτα Smoothing για CrossEntropy Loss

Μια ιδιαιτέρως απαιτούμενη λειτουργία στο PyTorch είναι να υποστήριξη μαλακών στόχων και προσθέστε μια επιλογή εξομάλυνσης ετικετών σε απώλεια Cross Entropy. Και οι δύο λειτουργίες στοχεύουν στο να διευκολύνουν την εξομάλυνση ετικετών, με την πρώτη επιλογή να προσφέρει μεγαλύτερη ευελιξία όταν τεχνικές αύξησης δεδομένων, όπως ανακατεύω/κόψιμο χρησιμοποιούνται και το δεύτερο είναι πιο αποτελεσματικό για τις απλές θήκες. Η επιλογή των μαλακών στόχων ήταν ήδη συγχωνεύτηκε στο master από τον Joel Schlosser ενώ η επιλογή label_smoothing είναι αναπτύσσεται από τον Thomas J. Fan και αυτή τη στιγμή βρίσκεται υπό αναθεώρηση.

Νέο χρονοδιάγραμμα προθέρμανσης

Η προθέρμανση του ρυθμού εκμάθησης είναι μια συνηθισμένη τεχνική που χρησιμοποιείται κατά την εκπαίδευση μοντέλων, αλλά μέχρι τώρα η PyTorch δεν προσέφερε μια λύση εκτός ράφι. Πρόσφατα, ο Ilqar Ramazanli έχει εισήγαγε ένα νέο Scheduler που υποστηρίζει γραμμική και σταθερή προθέρμανση. Αυτή τη στιγμή βρίσκονται σε εξέλιξη οι εργασίες βελτίωση της αλυσιδωτής ικανότητας και συνδυασμός των υπαρχόντων προγραμματιστών.

TorchVision με "Περιλαμβάνονται μπαταρίες"

Αυτό το μισό δουλεύουμε για να προσθέσουμε στο TorchVision δημοφιλή μοντέλα, απώλειες, προγραμματιστές, αυξήσεις δεδομένων και άλλα βοηθητικά προγράμματα που χρησιμοποιούνται για την επίτευξη αποτελεσμάτων τελευταίας τεχνολογίας. Το έργο αυτό ονομάζεται εύστοχα "συμπεριλαμβάνονται μπαταρίες"Και είναι προς το παρόν σε εξέλιξη.

Νωρίτερα αυτή την εβδομάδα, έχω πρόσθεσε ένα νέο στρώμα που ονομάζεται ΣτοχαστικόςΒάθος που μπορεί να χρησιμοποιηθεί για να ρίξει τυχαία υπολειπόμενους κλάδους σε υπολειπόμενες αρχιτεκτονικές. Αυτή τη στιγμή δουλεύω προσθήκη υλοποίησης της δημοφιλούς αρχιτεκτονικής δικτύου που ονομάζεται EfficientNetΤο Τέλος, ο Άλεν Γκούντμαν είναι τη στιγμή προσθήκη νέου τελεστή που θα επιτρέψει τη μετατροπή Μάσκες τμηματοποίησης σε κουτιά δέσμευσης.

Άλλα χαρακτηριστικά υπό ανάπτυξη

Πιστεύω ότι κάνουμε συνεχώς βελτιωτικές βελτιώσεις στην τεκμηρίωση, την υποδομή CI και τη συνολική ποιότητα κώδικα, παρακάτω επισημαίνω μερικές από τις «όψεις προς τον χρήστη» στοιχεία οδικού χάρτη που βρίσκονται σε εξέλιξη:

Αυτό είναι! Ελπίζω να σας φάνηκε ενδιαφέρον. Οποιεσδήποτε ιδέες για το πώς να προσαρμόσετε τη μορφή ή ποια θέματα να καλύψετε είναι πολύ ευπρόσδεκτες. Χτύπα με LinkedIn or Twitter.