Επιθεωρήστε τις ετικέτες δεδομένων σας με ένα οπτικό εργαλείο χωρίς κώδικα για να δημιουργήσετε σύνολα δεδομένων εκπαίδευσης υψηλής ποιότητας με το Amazon SageMaker Ground Truth Plus

Κυκλοφόρησε στο AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus σας βοηθά να δημιουργήσετε σύνολα δεδομένων εκπαίδευσης υψηλής ποιότητας, καταργώντας την αδιαφοροποίητη βαριά ανύψωση που σχετίζεται με την κατασκευή εφαρμογών σήμανσης δεδομένων και τη διαχείριση του εργατικού δυναμικού ετικετών. Το μόνο που κάνετε είναι να μοιράζεστε δεδομένα μαζί με τις απαιτήσεις επισήμανσης και το Ground Truth Plus ρυθμίζει και διαχειρίζεται τη ροή εργασιών επισήμανσης δεδομένων με βάση αυτές τις απαιτήσεις. Από εκεί, ένα εξειδικευμένο εργατικό δυναμικό που είναι εκπαιδευμένο σε μια ποικιλία εργασιών μηχανικής μάθησης (ML) εκτελεί την επισήμανση δεδομένων. Δεν χρειάζεστε καν βαθιά τεχνογνωσία ML ή γνώση σχεδιασμού ροής εργασιών και διαχείρισης ποιότητας για να χρησιμοποιήσετε το Ground Truth Plus.

Η δημιουργία ενός συνόλου δεδομένων εκπαίδευσης υψηλής ποιότητας για τον αλγόριθμο ML είναι μια επαναληπτική διαδικασία. Οι επαγγελματίες ML κατασκευάζουν συχνά προσαρμοσμένα συστήματα για να επιθεωρούν ετικέτες δεδομένων, επειδή τα δεδομένα με ακριβή σήμανση είναι κρίσιμης σημασίας για την ποιότητα του μοντέλου ML. Για να διασφαλιστεί ότι λαμβάνετε δεδομένα εκπαίδευσης υψηλής ποιότητας, το Ground Truth Plus σάς παρέχει μια ενσωματωμένη διεπαφή χρήστη (Επιθεώρηση διεπαφής χρήστη) για να επιθεωρήσετε την ποιότητα των ετικετών δεδομένων και να παρέχετε σχόλια για τις ετικέτες δεδομένων έως ότου είστε ικανοποιημένοι ότι οι ετικέτες αντιπροσωπεύουν με ακρίβεια το βασική αλήθεια, ή αυτό που είναι άμεσα παρατηρήσιμο στον πραγματικό κόσμο.

Αυτή η ανάρτηση σάς καθοδηγεί στα βήματα για να δημιουργήσετε μια ομάδα έργου και να χρησιμοποιήσετε πολλές νέες ενσωματωμένες δυνατότητες του εργαλείου Review UI για να ολοκληρώσετε αποτελεσματικά την επιθεώρησή σας σε ένα σύνολο δεδομένων με ετικέτα. Η περιγραφή προϋποθέτει ότι έχετε ένα ενεργό έργο σήμανσης Ground Truth Plus. Για περισσότερες πληροφορίες, βλ Amazon SageMaker Ground Truth Plus – Δημιουργία συνόλων δεδομένων εκπαίδευσης χωρίς κώδικα ή εσωτερικούς πόρους.

Δημιουργήστε μια ομάδα έργου

Μια ομάδα έργου παρέχει πρόσβαση στα μέλη του οργανισμού σας για να επιθεωρήσουν ετικέτες δεδομένων χρησιμοποιώντας το εργαλείο Review UI. Για να δημιουργήσετε μια ομάδα έργου, ολοκληρώστε τα ακόλουθα βήματα:

1. On the Ground Truth Plus κονσόλα, επιλέξτε Δημιουργία ομάδας έργου.
2. Αγορά Δημιουργήστε μια νέα ομάδα χρηστών Amazon Cognito . Εάν έχετε ήδη ένα υπάρχον Amazon Cognito ομάδα χρηστών, επιλέξτε το Εισαγωγή μελών επιλογή.
3. Για Όνομα ομάδας χρηστών Amazon Cognito, πληκτρολογήστε ένα όνομα. Αυτό το όνομα δεν μπορεί να αλλάξει.
4. Για Διευθύνσεις ηλεκτρονικού ταχυδρομείου, εισαγάγετε τις διευθύνσεις email έως και 50 μελών της ομάδας, διαχωρισμένες με κόμμα.
5. Επιλέξτε Δημιουργία ομάδας έργου.

Τα μέλη της ομάδας σας θα λάβουν ένα email που θα τους προσκαλεί να συμμετάσχουν στην ομάδα του έργου Ground Truth Plus. Από εκεί, μπορούν να συνδεθούν στην πύλη του έργου Ground Truth Plus για να ελέγξουν τις ετικέτες δεδομένων.

Επιθεωρήστε την ποιότητα δεδομένων με ετικέτα

Τώρα ας βουτήξουμε σε ένα παράδειγμα παρακολούθησης αντικειμένων βίντεο χρησιμοποιώντας CBCL StreetScenes σύνολο δεδομένων

Αφού επισημανθούν τα δεδομένα της παρτίδας σας, η παρτίδα επισημαίνεται ως Έτοιμο για αναθεώρηση.

Επιλέξτε την παρτίδα και επιλέξτε Έλεγχος παρτίδας. Ανακατευθυνθήκατε στη διεπαφή χρήστη κριτικής. Έχετε την ευελιξία να επιλέξετε διαφορετικό ρυθμό δειγματοληψίας για κάθε παρτίδα που εξετάζετε. Για παράδειγμα, στο παράδειγμά μας, έχουμε συνολικά πέντε βίντεο. Μπορείτε να καθορίσετε εάν θέλετε να ελέγξετε μόνο ένα υποσύνολο από αυτά τα πέντε βίντεο ή και όλα.

Ας δούμε τώρα τις διαφορετικές λειτουργίες στη διεπαφή χρήστη αναθεώρησης που θα σας βοηθήσουν να επιθεωρήσετε την ποιότητα του συνόλου δεδομένων με ετικέτα με ταχύτερο ρυθμό και να παρέχετε σχόλια σχετικά με την ποιότητα:

• Φιλτράρετε τις ετικέτες με βάση την κατηγορία ετικετών – Στη διεπαφή χρήστη Review, στο δεξιό τμήμα του παραθύρου, μπορείτε να φιλτράρετε τις ετικέτες με βάση την κατηγορία ετικετών τους. Αυτή η δυνατότητα είναι χρήσιμη όταν υπάρχουν πολλές κατηγορίες ετικετών (για παράδειγμα, Vehicles, Pedestrians, να Poles) σε ένα πυκνό αντικείμενο δεδομένων και θέλετε να προβάλλετε ετικέτες για μία κατηγορία ετικετών κάθε φορά. Για παράδειγμα, ας εστιάσουμε στο Car κατηγορία ετικέτας. Εισάγετε το Car κατηγορία ετικέτας στο δεξιό παράθυρο για φιλτράρισμα για όλους τους σχολιασμούς μόνο τύπου Car. Τα ακόλουθα στιγμιότυπα οθόνης δείχνουν την προβολή αναθεώρησης διεπαφής χρήστη πριν και μετά την εφαρμογή του φίλτρου.
  
• Επικάλυψη συσχετισμένων σχολιασμένων τιμών χαρακτηριστικών – Σε κάθε ετικέτα μπορεί να εκχωρηθούν χαρακτηριστικά που θα σχολιαστούν. Για παράδειγμα, για την κατηγορία ετικέτας Car , ας πούμε ότι θέλετε να ζητήσετε από τους εργαζόμενους να σχολιάσουν επίσης το Color  και  Occlusion χαρακτηριστικά για κάθε στιγμιότυπο ετικέτας. Όταν φορτώνετε τη διεπαφή χρήστη κριτικής, θα δείτε τα αντίστοιχα χαρακτηριστικά κάτω από κάθε παρουσία ετικέτας στο δεξιό παράθυρο. Αλλά τι γίνεται αν θέλετε να δείτε αυτούς τους σχολιασμούς χαρακτηριστικών απευθείας στην εικόνα; Εσείς επιλέγετε την ετικέτα Car:1 και για την επικάλυψη των σχολιασμών χαρακτηριστικών για Car:1 , πατάς Ctrl + A.
  Τώρα θα δείτε τον σχολιασμό Dark Blue των Color χαρακτηριστικό και σχολιασμός None των Occlusion χαρακτηριστικό που εμφανίζεται απευθείας στην εικόνα δίπλα στο Car:1 πλαίσιο οριοθέτησης. Τώρα μπορείτε εύκολα να το επαληθεύσετε Car:1 επισημάνθηκε ως Dark Blue, χωρίς απόφραξη μόνο από την εξέταση της εικόνας αντί να πρέπει να εντοπιστεί Car:1 στο δεξιό παράθυρο για να δείτε τους σχολιασμούς των χαρακτηριστικών.
  
• Αφήστε σχόλια σε επίπεδο ετικέτας – Για κάθε ετικέτα, μπορείτε να αφήσετε σχόλια σε επίπεδο ετικέτας σε αυτήν την ετικέτα Σχόλια ετικέτας δωρεάν χαρακτηριστικό συμβολοσειράς. Για παράδειγμα, σε αυτή την εικόνα, Car:1 φαίνεται περισσότερο μαύρο παρά σκούρο μπλε. Μπορείτε να αναμεταδώσετε αυτήν την ασυμφωνία ως σχόλια για Car:1 χρησιμοποιώντας τα Σχόλια ετικέτας πεδίο για παρακολούθηση του σχολίου σε αυτήν την ετικέτα σε αυτό το πλαίσιο. Η ομάδα εσωτερικού ποιοτικού ελέγχου μας θα εξετάσει αυτά τα σχόλια και θα εισαγάγει αλλαγές στη διαδικασία σχολιασμού και στις πολιτικές ετικετών και θα εκπαιδεύσει τους σχολιαστές όπως απαιτείται.
  
• Αφήστε σχόλια στο επίπεδο του πλαισίου – Ομοίως, για κάθε καρέ, μπορείτε να αφήσετε σχόλια στο επίπεδο του πλαισίου κάτω από αυτό του πλαισίου Ανατροφοδότηση πλαισίου δωρεάν χαρακτηριστικό συμβολοσειράς. Σε αυτή την περίπτωση, οι σχολιασμοί για Car και  Pedestrian οι τάξεις φαίνονται σωστές και καλά εφαρμοσμένες σε αυτό το πλαίσιο. Μπορείτε να αναμεταδώσετε αυτά τα θετικά σχόλια χρησιμοποιώντας το Παρέχετε σχόλια και το σχόλιό σας συνδέεται με αυτό το πλαίσιο.
  
• Αντιγράψτε τα σχόλια του σχολιασμού σε άλλα πλαίσια – Μπορείτε να αντιγράψετε σχόλια τόσο σε επίπεδο ετικέτας όσο και σε επίπεδο πλαισίου σε άλλα πλαίσια, εάν κάνετε δεξί κλικ σε αυτό το χαρακτηριστικό. Αυτή η δυνατότητα είναι χρήσιμη όταν θέλετε να αντιγράψετε τα ίδια σχόλια σε καρέ για αυτήν την ετικέτα ή να εφαρμόσετε τα ίδια σχόλια σε επίπεδο πλαισίου σε πολλά καρέ. Αυτή η δυνατότητα σάς επιτρέπει να ολοκληρώσετε γρήγορα την επιθεώρηση των ετικετών δεδομένων.
  
• Εγκρίνετε ή απορρίπτετε κάθε αντικείμενο δεδομένων – Για κάθε αντικείμενο δεδομένων που εξετάζετε, έχετε την επιλογή είτε να επιλέξετε Εγκρίνω εάν είστε ικανοποιημένοι με τους σχολιασμούς ή επιλέξτε Απορρίπτω εάν δεν είστε ικανοποιημένοι και θέλετε να επεξεργαστείτε ξανά αυτούς τους σχολιασμούς. Όταν επιλέγεις Υποβολη, σας παρουσιάζεται η επιλογή να εγκρίνετε ή να απορρίψετε το βίντεο που μόλις ελέγξατε. Σε κάθε περίπτωση, μπορείτε να κάνετε πρόσθετο σχόλιο:
  • Εάν επιλέξετε Εγκρίνω, ο σχολιασμός είναι προαιρετικός.
    
  • Εάν επιλέξετε Απορρίπτω, απαιτείται σχολιασμός και προτείνουμε την παροχή λεπτομερών σχολίων. Τα σχόλιά σας θα εξεταστούν από μια ειδική ομάδα ελέγχου ποιότητας του Ground Truth Plus, η οποία θα λάβει διορθωτικές ενέργειες για να αποφύγει παρόμοια λάθη σε επόμενα βίντεο.
    

Αφού υποβάλετε το βίντεο με τα σχόλιά σας, θα μεταφερθείτε πίσω στη σελίδα λεπτομερειών του έργου στην πύλη του έργου, όπου μπορείτε να δείτε τον αριθμό των αντικειμένων που απορρίφθηκαν κάτω από το Απορριφθέντα αντικείμενα στήλη και το ποσοστό σφάλματος, το οποίο υπολογίζεται ως ο αριθμός των αποδεκτών αντικειμένων από τα ελεγμένα αντικείμενα κάτω από το Ποσοστό αποδοχής στήλη για κάθε παρτίδα στο έργο σας. Για παράδειγμα, για την παρτίδα 1 στο παρακάτω στιγμιότυπο οθόνης, το ποσοστό αποδοχής είναι 80%, επειδή τέσσερα αντικείμενα έγιναν δεκτά από τα πέντε αντικείμενα που εξετάστηκαν.

Συμπέρασμα

Ένα σύνολο δεδομένων εκπαίδευσης υψηλής ποιότητας είναι ζωτικής σημασίας για την επίτευξη των πρωτοβουλιών σας για ML. Με το Ground Truth Plus, έχετε τώρα ένα βελτιωμένο ενσωματωμένο εργαλείο αναθεώρησης διεπαφής χρήστη που καταργεί την αδιαφοροποίητη βαριά ανύψωση που σχετίζεται με την κατασκευή προσαρμοσμένων εργαλείων για τον έλεγχο της ποιότητας του επιλεγμένου συνόλου δεδομένων. Αυτή η ανάρτηση σάς καθοδήγησε στο πώς να δημιουργήσετε μια ομάδα έργου και να χρησιμοποιήσετε τις νέες ενσωματωμένες δυνατότητες του εργαλείου Review UI. Επισκέψου το Κονσόλα Ground Truth Plus για να ξεκινήσετε.

Όπως πάντα, το AWS καλωσορίζει τα σχόλια. Υποβάλετε τυχόν σχόλια ή ερωτήσεις.

Σχετικά με το Συγγραφέας

Manish Goel είναι ο Product Manager για το Amazon SageMaker Ground Truth Plus. Επικεντρώνεται στην κατασκευή προϊόντων που διευκολύνουν τους πελάτες να υιοθετήσουν τη μηχανική μάθηση. Στον ελεύθερο χρόνο του, του αρέσουν οι οδικές εκδρομές και η ανάγνωση βιβλίων.

Ρεβέκκα Κοστόεβα είναι Μηχανικός Προγραμματιστή Λογισμικού στο Amazon AWS όπου εργάζεται σε λύσεις αντιμετώπισης πελατών και εσωτερικών λύσεων για την επέκταση του εύρους και της επεκτασιμότητας των υπηρεσιών Sagemaker Ground Truth. Ως ερευνήτρια, ωθείται να βελτιώσει τα εργαλεία του εμπορίου για να προωθήσει την καινοτομία.

• Coinsmart. Το καλύτερο ανταλλακτήριο Bitcoin και Crypto στην Ευρώπη.
• Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. ΕΛΕΥΘΕΡΗ ΠΡΟΣΒΑΣΗ.
• CryptoHawk. Ραντάρ Altcoin. Δωρεάν δοκιμή.
• Πηγή: https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- with-amazon-sagemaker-ground-truth-plus/