Συμβουλές για τη βελτίωση του μοντέλου προσαρμοσμένων ετικετών αναγνώρισης Amazon

Σε αυτήν την ανάρτηση, συζητάμε τις βέλτιστες πρακτικές για τη βελτίωση της απόδοσης των μοντέλων όρασης υπολογιστή που χρησιμοποιείτε Προσαρμοσμένες ετικέτες αναγνώρισης Amazon. Το Rekognition Custom Labels είναι μια πλήρως διαχειριζόμενη υπηρεσία για τη δημιουργία προσαρμοσμένων μοντέλων όρασης υπολογιστή για περιπτώσεις χρήσης ταξινόμησης εικόνων και ανίχνευσης αντικειμένων. Το Rekognition Custom Labels βασίζεται στα προεκπαιδευμένα μοντέλα Αναγνώριση Amazon, τα οποία έχουν ήδη εκπαιδευτεί σε δεκάδες εκατομμύρια εικόνες σε πολλές κατηγορίες. Αντί για χιλιάδες εικόνες, μπορείτε να ξεκινήσετε με ένα μικρό σύνολο εικόνων εκπαίδευσης (μερικές εκατοντάδες ή λιγότερες) που είναι συγκεκριμένες για την περίπτωση χρήσης σας. Το Rekognition Custom Labels αφαιρεί την πολυπλοκότητα που συνεπάγεται η κατασκευή ενός προσαρμοσμένου μοντέλου. Επιθεωρεί αυτόματα τα δεδομένα εκπαίδευσης, επιλέγει τους σωστούς αλγόριθμους ML, επιλέγει τον τύπο παρουσίας, εκπαιδεύει πολλαπλά υποψήφια μοντέλα με διάφορες ρυθμίσεις υπερπαραμέτρων και εξάγει το καλύτερα εκπαιδευμένο μοντέλο. Το Rekognition Custom Labels παρέχει επίσης μια εύχρηστη διεπαφή από το Κονσόλα διαχείρισης AWS για τη διαχείριση ολόκληρης της ροής εργασίας ML, συμπεριλαμβανομένης της επισήμανσης εικόνων, της εκπαίδευσης του μοντέλου, της ανάπτυξης του μοντέλου και της οπτικοποίησης των αποτελεσμάτων της δοκιμής.

Υπάρχουν φορές που η ακρίβεια ενός μοντέλου δεν είναι η καλύτερη και δεν έχετε πολλές επιλογές για να προσαρμόσετε τις παραμέτρους διαμόρφωσης του μοντέλου. Πίσω από τις σκηνές υπάρχουν πολλοί παράγοντες που παίζουν καθοριστικό ρόλο για τη δημιουργία ενός μοντέλου υψηλής απόδοσης, όπως οι ακόλουθοι:

• Γωνία εικόνας
• Η ανάλυση της εικόνας
• Λόγος διαστάσεων εικόνας
• Έκθεση φωτός
• Σαφήνεια και ζωντάνια του φόντου
• Έγχρωμη αντίθεση
• Μέγεθος δεδομένων δείγματος

Τα παρακάτω είναι τα γενικά βήματα που πρέπει να ακολουθήσετε για την εκπαίδευση ενός μοντέλου προσαρμοσμένων ετικετών αναγνώρισης ποιότητας παραγωγής:

1. Αναθεώρηση Ταξονομίας – Αυτό καθορίζει τη λίστα των χαρακτηριστικών/αντικειμένων που θέλετε να προσδιορίσετε σε μια εικόνα.
2. Συλλέξτε σχετικά δεδομένα – Αυτό είναι το πιο σημαντικό βήμα, όπου πρέπει να συλλέξετε σχετικές εικόνες που θα πρέπει να μοιάζουν με αυτό που θα βλέπατε σε ένα περιβάλλον παραγωγής. Αυτό θα μπορούσε να περιλαμβάνει εικόνες αντικειμένων με διαφορετικό φόντο, φωτισμό ή γωνίες κάμερας. Στη συνέχεια, δημιουργείτε ένα σύνολο δεδομένων εκπαίδευσης και δοκιμής διαχωρίζοντας τις συλλεγμένες εικόνες. Θα πρέπει να συμπεριλάβετε μόνο εικόνες πραγματικού κόσμου ως μέρος του συνόλου δεδομένων δοκιμής και δεν θα πρέπει να συμπεριλάβετε εικόνες που δημιουργούνται συνθετικά. Οι σχολιασμοί των δεδομένων που συλλέξατε είναι ζωτικής σημασίας για την απόδοση του μοντέλου. Βεβαιωθείτε ότι τα πλαίσια οριοθέτησης είναι σφιχτά γύρω από τα αντικείμενα και ότι οι ετικέτες είναι ακριβείς. Συζητούμε μερικές συμβουλές που μπορείτε να λάβετε υπόψη κατά τη δημιουργία ενός κατάλληλου συνόλου δεδομένων αργότερα σε αυτήν την ανάρτηση.
3. Ελέγξτε τις μετρήσεις εκπαίδευσης – Χρησιμοποιήστε τα προηγούμενα σύνολα δεδομένων για να εκπαιδεύσετε ένα μοντέλο και να ελέγξετε τις μετρήσεις εκπαίδευσης για τη βαθμολογία F1, την ακρίβεια και την ανάκληση. Θα συζητήσουμε λεπτομερώς τον τρόπο ανάλυσης των μετρήσεων εκπαίδευσης αργότερα σε αυτήν την ανάρτηση.
4. Αξιολογήστε το εκπαιδευμένο μοντέλο – Χρησιμοποιήστε ένα σύνολο αόρατων εικόνων (δεν χρησιμοποιούνται για την εκπαίδευση του μοντέλου) με γνωστές ετικέτες για να αξιολογήσετε τις προβλέψεις. Αυτό το βήμα πρέπει πάντα να εκτελείται για να βεβαιωθείτε ότι το μοντέλο αποδίδει όπως αναμένεται σε ένα περιβάλλον παραγωγής.
5. Επανεκπαίδευση (προαιρετικό) – Γενικά, η εκπαίδευση οποιουδήποτε μοντέλου μηχανικής μάθησης είναι μια επαναληπτική διαδικασία για την επίτευξη των επιθυμητών αποτελεσμάτων, ένα μοντέλο υπολογιστικής όρασης δεν διαφέρει. Ελέγξτε τα αποτελέσματα στο Βήμα 4, για να δείτε εάν πρέπει να προστεθούν περισσότερες εικόνες στα δεδομένα εκπαίδευσης και επαναλάβετε τα παραπάνω Βήματα 3 – 5.

Σε αυτήν την ανάρτηση, εστιάζουμε στις βέλτιστες πρακτικές σχετικά με τη συλλογή σχετικών δεδομένων (Βήμα 2) και την αξιολόγηση των εκπαιδευμένων μετρήσεων (Βήμα 3) για τη βελτίωση της απόδοσης του μοντέλου σας.

Συλλέξτε σχετικά δεδομένα

Αυτό είναι το πιο κρίσιμο στάδιο εκπαίδευσης ενός μοντέλου προσαρμοσμένων ετικετών αναγνώρισης ποιότητας παραγωγής. Συγκεκριμένα, υπάρχουν δύο σύνολα δεδομένων: εκπαίδευση και δοκιμή. Τα δεδομένα εκπαίδευσης χρησιμοποιούνται για την εκπαίδευση του μοντέλου και πρέπει να ξοδέψετε την προσπάθεια δημιουργώντας ένα κατάλληλο σετ εκπαίδευσης. Τα μοντέλα προσαρμοσμένων ετικετών αναγνώρισης έχουν βελτιστοποιηθεί για Βαθμολογία F1 στο σύνολο δεδομένων δοκιμής για να επιλέξετε το πιο ακριβές μοντέλο για το έργο σας. Ως εκ τούτου, είναι σημαντικό να επιμεληθεί ένα σύνολο δεδομένων δοκιμής που μοιάζει με τον πραγματικό κόσμο.

Αριθμός εικόνων

Συνιστούμε να έχετε τουλάχιστον 15-20 εικόνες ανά ετικέτα. Αν έχετε περισσότερες εικόνες με περισσότερες παραλλαγές που αντικατοπτρίζουν την περίπτωση χρήσης σας, θα βελτιώσετε την απόδοση του μοντέλου.

Ισορροπημένο σύνολο δεδομένων

Στην ιδανική περίπτωση, κάθε ετικέτα στο σύνολο δεδομένων θα πρέπει να έχει παρόμοιο αριθμό δειγμάτων. Δεν θα πρέπει να υπάρχει τεράστια διαφορά στον αριθμό των εικόνων ανά ετικέτα. Για παράδειγμα, ένα σύνολο δεδομένων όπου ο υψηλότερος αριθμός εικόνων για μια ετικέτα είναι 1,000 έναντι 50 εικόνων για μια άλλη ετικέτα μοιάζει με ένα μη ισορροπημένο σύνολο δεδομένων. Συνιστούμε να αποφεύγετε σενάρια με λοξή αναλογία 1:50 μεταξύ της ετικέτας με τον μικρότερο αριθμό εικόνων έναντι της ετικέτας με τον μεγαλύτερο αριθμό εικόνων.

Διαφορετικοί τύποι εικόνων

Συμπεριλάβετε εικόνες στο σύνολο δεδομένων εκπαίδευσης και δοκιμής που μοιάζουν με αυτό που θα χρησιμοποιήσετε στον πραγματικό κόσμο. Για παράδειγμα, εάν θέλετε να ταξινομήσετε τις εικόνες των σαλονιών έναντι των υπνοδωματίων, θα πρέπει να συμπεριλάβετε κενές και επιπλωμένες εικόνες και των δύο δωματίων.

Το παρακάτω είναι ένα παράδειγμα εικόνας ενός επιπλωμένου καθιστικού.

Αντίθετα, το παρακάτω είναι ένα παράδειγμα μη επιπλωμένου καθιστικού.

Το παρακάτω είναι ένα παράδειγμα εικόνας επιπλωμένου υπνοδωματίου.

Το παρακάτω είναι ένα παράδειγμα εικόνας ενός μη επιπλωμένου υπνοδωματίου.

Διαφορετικά υπόβαθρα

Συμπεριλάβετε εικόνες με διαφορετικό υπόβαθρο. Οι εικόνες με φυσικό περιβάλλον μπορούν να παρέχουν καλύτερα αποτελέσματα από το απλό φόντο.

Το παρακάτω είναι ένα παράδειγμα εικόνας της μπροστινής αυλής ενός σπιτιού.

Το παρακάτω είναι ένα παράδειγμα εικόνας της μπροστινής αυλής ενός διαφορετικού σπιτιού με διαφορετικό φόντο.

Διαφορετικές συνθήκες φωτισμού

Συμπεριλάβετε εικόνες με διαφορετικό φωτισμό, έτσι ώστε να καλύπτει τις διαφορετικές συνθήκες φωτισμού που εμφανίζονται κατά την εξαγωγή συμπερασμάτων (για παράδειγμα, με και χωρίς φλας). Μπορείτε επίσης να συμπεριλάβετε εικόνες με διαφορετικό κορεσμό, απόχρωση και φωτεινότητα.

Το παρακάτω είναι ένα παράδειγμα εικόνας ενός λουλουδιού υπό κανονικό φως.

Αντίθετα, η παρακάτω εικόνα είναι του ίδιου λουλουδιού κάτω από έντονο φως.

Μεταβλητές γωνίες

Συμπεριλάβετε εικόνες που λαμβάνονται από διάφορες γωνίες του αντικειμένου. Αυτό βοηθά το μοντέλο να μάθει διαφορετικά χαρακτηριστικά των αντικειμένων.

Οι παρακάτω εικόνες είναι της ίδιας κρεβατοκάμαρας από διαφορετικές οπτικές γωνίες.

Μπορεί να υπάρχουν περιπτώσεις όπου δεν είναι δυνατό να αποκτήσετε εικόνες διαφορετικών τύπων. Σε αυτά τα σενάρια, μπορούν να δημιουργηθούν συνθετικές εικόνες ως μέρος του συνόλου δεδομένων εκπαίδευσης. Για περισσότερες πληροφορίες σχετικά με τις κοινές τεχνικές αύξησης εικόνας, ανατρέξτε στο Αύξηση δεδομένων.

Προσθέστε αρνητικές ετικέτες

Για την ταξινόμηση εικόνων, η προσθήκη αρνητικών ετικετών μπορεί να βοηθήσει στην αύξηση της ακρίβειας του μοντέλου. Για παράδειγμα, μπορείτε να προσθέσετε μια αρνητική ετικέτα, η οποία δεν ταιριάζει με καμία από τις απαιτούμενες ετικέτες. Η ακόλουθη εικόνα αντιπροσωπεύει τις διαφορετικές ετικέτες που χρησιμοποιούνται για την αναγνώριση των πλήρως αναπτυγμένων λουλουδιών.

Προσθήκη αρνητικής ετικέτας not_fully_grown βοηθά το μοντέλο να μάθει χαρακτηριστικά που δεν αποτελούν μέρος του fully_grown επιγραφή.

Χειρισμός σύγχυσης ετικετών

Αναλύστε τα αποτελέσματα στο σύνολο δεδομένων δοκιμής για να αναγνωρίσετε τυχόν μοτίβα που χάνονται στο σύνολο δεδομένων εκπαίδευσης ή δοκιμής. Μερικές φορές είναι εύκολο να εντοπίσετε τέτοια μοτίβα εξετάζοντας οπτικά τις εικόνες. Στην παρακάτω εικόνα, το μοντέλο δυσκολεύεται να επιλύσει μεταξύ μιας ετικέτας πίσω αυλής και αυλής.

Σε αυτό το σενάριο, η προσθήκη περισσότερων εικόνων σε αυτές τις ετικέτες στο σύνολο δεδομένων και ο επαναπροσδιορισμός των ετικετών έτσι ώστε κάθε ετικέτα να είναι ξεχωριστή μπορεί να συμβάλει στην αύξηση της ακρίβειας του μοντέλου.

Αύξηση δεδομένων

Μέσα στις Προσαρμοσμένες Ετικέτες Αναγνώρισης, εκτελούμε διάφορες επαυξήσεις δεδομένων για εκπαίδευση μοντέλων, συμπεριλαμβανομένης της τυχαίας περικοπής της εικόνας, των χρωματικών αναταραχών, των τυχαίων θορύβων Gauss και άλλων. Με βάση τις συγκεκριμένες περιπτώσεις χρήσης σας, μπορεί επίσης να είναι ωφέλιμο να προσθέσετε πιο σαφείς επαυξήσεις δεδομένων στα δεδομένα προπόνησής σας. Για παράδειγμα, εάν ενδιαφέρεστε να ανιχνεύσετε ζώα τόσο σε έγχρωμες όσο και σε ασπρόμαυρες εικόνες, θα μπορούσατε ενδεχομένως να έχετε καλύτερη ακρίβεια προσθέτοντας ασπρόμαυρες και έγχρωμες εκδόσεις των ίδιων εικόνων στα δεδομένα εκπαίδευσης.

Δεν συνιστούμε επαυξήσεις στα δεδομένα δοκιμών, εκτός εάν οι επαυξήσεις αντικατοπτρίζουν τις περιπτώσεις χρήσης της παραγωγής σας.

Ελέγξτε τις μετρήσεις εκπαίδευσης

Η βαθμολογία F1, η ακρίβεια, η ανάκληση και το υποτιθέμενο όριο είναι τα μετρήσεις που δημιουργούνται ως αποτέλεσμα της εκπαίδευσης ενός μοντέλου χρησιμοποιώντας προσαρμοσμένες ετικέτες αναγνώρισης. Τα μοντέλα έχουν βελτιστοποιηθεί για την καλύτερη βαθμολογία F1 με βάση το σύνολο δεδομένων δοκιμών που παρέχεται. Το υποτιθέμενο όριο δημιουργείται επίσης με βάση το σύνολο δεδομένων δοκιμής. Μπορείτε να προσαρμόσετε το όριο με βάση τις απαιτήσεις της επιχείρησής σας όσον αφορά την ακρίβεια ή την ανάκληση.

Επειδή τα υποτιθέμενα κατώφλια ορίζονται στο σύνολο δεδομένων δοκιμών, ένα κατάλληλο σύνολο δοκιμών θα πρέπει να αντικατοπτρίζει την περίπτωση χρήσης παραγωγής στον πραγματικό κόσμο. Εάν το σύνολο δεδομένων δοκιμής δεν είναι αντιπροσωπευτικό της περίπτωσης χρήσης, ενδέχεται να δείτε τεχνητά υψηλές βαθμολογίες F1 και κακή απόδοση μοντέλου στις εικόνες του πραγματικού κόσμου.

Αυτές οι μετρήσεις είναι χρήσιμες κατά την εκτέλεση μιας αρχικής αξιολόγησης του μοντέλου. Για ένα σύστημα ποιότητας παραγωγής, συνιστούμε την αξιολόγηση του μοντέλου σε σχέση με ένα εξωτερικό σύνολο δεδομένων (500–1,000 αόρατες εικόνες) που αντιπροσωπεύουν τον πραγματικό κόσμο. Αυτό βοηθά στην αξιολόγηση της απόδοσης του μοντέλου σε ένα σύστημα παραγωγής και επίσης στον εντοπισμό τυχόν μοτίβων που λείπουν και στη διόρθωσή τους με την επανεκπαίδευση του μοντέλου. Εάν δείτε μια αναντιστοιχία μεταξύ των βαθμολογιών F1 και της εξωτερικής αξιολόγησης, σας προτείνουμε να εξετάσετε εάν τα δεδομένα των δοκιμών σας αντικατοπτρίζουν την περίπτωση χρήσης του πραγματικού κόσμου.

Συμπέρασμα

Σε αυτήν την ανάρτηση, σας καθοδηγήσαμε στις βέλτιστες πρακτικές για τη βελτίωση των μοντέλων προσαρμοσμένων ετικετών αναγνώρισης. Σας ενθαρρύνουμε να μάθετε περισσότερα για Προσαρμοσμένες ετικέτες αναγνώρισης και δοκιμάστε το για συγκεκριμένα σύνολα δεδομένων για την επιχείρησή σας.

---

Σχετικά με τους συγγραφείς

Amit Gupta είναι Senior AI Services Solutions Architect στην AWS. Είναι παθιασμένος με το να παρέχει στους πελάτες τη δυνατότητα να χρησιμοποιούν καλά σχεδιασμένες λύσεις μηχανικής μάθησης σε κλίμακα.

Yogesh Chaturvedi είναι αρχιτέκτονας λύσεων στο AWS με έμφαση στην όραση υπολογιστών. Συνεργάζεται με πελάτες για να αντιμετωπίσει τις επιχειρηματικές προκλήσεις τους χρησιμοποιώντας τεχνολογίες cloud. Εκτός δουλειάς, του αρέσει η πεζοπορία, τα ταξίδια και η παρακολούθηση αθλημάτων.

Χάο Γιανγκ είναι Ανώτερος Εφαρμοσμένος Επιστήμονας στην ομάδα Amazon Rekognition Custom Labels. Τα κύρια ερευνητικά του ενδιαφέροντα είναι η ανίχνευση αντικειμένων και η εκμάθηση με περιορισμένους σχολιασμούς. Εκτός έργων, ο Χάο απολαμβάνει την παρακολούθηση ταινιών, τη φωτογραφία και τις υπαίθριες δραστηριότητες.

Pashmeen Mistry είναι ο Senior Product Manager για τις προσαρμοσμένες ετικέτες αναγνώρισης Amazon. Εκτός δουλειάς, ο Pashmeen απολαμβάνει περιπετειώδεις πεζοπορίες, φωτογραφίες και να περνά χρόνο με την οικογένειά του.