Ετικέτα μάσκας τμηματοποίησης με λίγα κλικ στο Amazon SageMaker Ground Truth Plus

Amazon SageMaker Ground Truth Plus είναι μια υπηρεσία διαχειριζόμενης επισήμανσης δεδομένων που διευκολύνει την επισήμανση δεδομένων για εφαρμογές μηχανικής εκμάθησης (ML). Μια συνηθισμένη περίπτωση χρήσης είναι η σημασιολογική τμηματοποίηση, η οποία είναι μια τεχνική ML όρασης υπολογιστή που περιλαμβάνει την αντιστοίχιση ετικετών κλάσεων σε μεμονωμένα pixel σε μια εικόνα. Για παράδειγμα, σε καρέ βίντεο που καταγράφονται από ένα κινούμενο όχημα, οι ετικέτες τάξης μπορεί να περιλαμβάνουν οχήματα, πεζούς, δρόμους, σήματα κυκλοφορίας, κτίρια ή φόντο. Παρέχει μια κατανόηση υψηλής ακρίβειας των θέσεων διαφορετικών αντικειμένων στην εικόνα και χρησιμοποιείται συχνά για την κατασκευή συστημάτων αντίληψης για αυτόνομα οχήματα ή ρομποτική. Για τη δημιουργία ενός μοντέλου ML για σημασιολογική τμηματοποίηση, είναι πρώτα απαραίτητο να επισημανθεί ένας μεγάλος όγκος δεδομένων σε επίπεδο pixel. Αυτή η διαδικασία επισήμανσης είναι πολύπλοκη. Απαιτεί έμπειρους ετικετογράφους και σημαντικό χρόνο—κάποιες εικόνες μπορεί να χρειαστούν έως και 2 ώρες ή περισσότερες για την ακριβή τοποθέτηση ετικετών!

Σε 2019, κυκλοφορήσαμε ένα διαδραστικό εργαλείο ετικετών που λειτουργεί με ML που ονομάζεται Auto-segment for Ground Truth που σας επιτρέπει να δημιουργείτε γρήγορα και εύκολα μάσκες τμηματοποίησης υψηλής ποιότητας. Για περισσότερες πληροφορίες, βλ Εργαλείο αυτόματης τμηματοποίησης. Αυτή η δυνατότητα λειτουργεί επιτρέποντάς σας να κάνετε κλικ στα πάνω, αριστερά, κάτω και δεξιά πιο «ακραία σημεία» σε ένα αντικείμενο. Ένα μοντέλο ML που εκτελείται στο παρασκήνιο θα απορροφήσει αυτήν την είσοδο χρήστη και θα επιστρέψει μια μάσκα τμηματοποίησης υψηλής ποιότητας που αποδίδεται αμέσως στο εργαλείο επισήμανσης Ground Truth. Ωστόσο, αυτή η δυνατότητα σάς επιτρέπει να κάνετε μόνο τέσσερα κλικ. Σε ορισμένες περιπτώσεις, η μάσκα που δημιουργείται από το ML μπορεί να χάσει κατά λάθος ορισμένα τμήματα μιας εικόνας, όπως γύρω από το όριο του αντικειμένου όπου οι άκρες δεν είναι ευδιάκριτες ή όπου το χρώμα, ο κορεσμός ή οι σκιές αναμειγνύονται με το περιβάλλον.

Ακραίο κλικ με ευέλικτο αριθμό διορθωτικών κλικ

Τώρα έχουμε βελτιώσει το εργαλείο για να επιτρέπουμε επιπλέον κλικ σε οριακά σημεία, το οποίο παρέχει ανατροφοδότηση σε πραγματικό χρόνο στο μοντέλο ML. Αυτό σας επιτρέπει να δημιουργήσετε μια πιο ακριβή μάσκα τμηματοποίησης. Στο παρακάτω παράδειγμα, το αρχικό αποτέλεσμα τμηματοποίησης δεν είναι ακριβές λόγω των αδύναμων ορίων κοντά στη σκιά. Είναι σημαντικό ότι αυτό το εργαλείο λειτουργεί σε μια λειτουργία που επιτρέπει την ανάδραση σε πραγματικό χρόνο—δεν απαιτεί να προσδιορίσετε όλα τα σημεία ταυτόχρονα. Αντίθετα, μπορείτε πρώτα να κάνετε τέσσερα κλικ του ποντικιού, τα οποία θα ενεργοποιήσουν το μοντέλο ML για να δημιουργήσει μια μάσκα κατάτμησης. Στη συνέχεια, μπορείτε να επιθεωρήσετε αυτήν τη μάσκα, να εντοπίσετε τυχόν πιθανές ανακρίβειες και στη συνέχεια να κάνετε πρόσθετα κλικ ανάλογα με την περίπτωση για να «ωθήσετε» το μοντέλο στο σωστό αποτέλεσμα.

Το προηγούμενο εργαλείο επισήμανσης σάς επέτρεψε να κάνετε ακριβώς τέσσερα κλικ του ποντικιού (κόκκινες κουκκίδες). Το αρχικό αποτέλεσμα τμηματοποίησης (σκιασμένη κόκκινη περιοχή) δεν είναι ακριβές λόγω των αδύναμων ορίων κοντά στη σκιά (κάτω αριστερά της κόκκινης μάσκας).

Με το βελτιωμένο εργαλείο επισήμανσης, ο χρήστης κάνει ξανά πρώτα τέσσερα κλικ του ποντικιού (κόκκινες κουκκίδες στο επάνω σχήμα). Στη συνέχεια, έχετε την ευκαιρία να επιθεωρήσετε τη μάσκα τμηματοποίησης που προκύπτει (σκιασμένη κόκκινη περιοχή στο επάνω σχήμα). Μπορείτε να κάνετε επιπλέον κλικ του ποντικιού (πράσινες κουκκίδες στο κάτω σχήμα) για να κάνετε το μοντέλο να βελτιώσει τη μάσκα (σκιασμένη κόκκινη περιοχή στο κάτω σχήμα).

Σε σύγκριση με την αρχική έκδοση του εργαλείου, η βελτιωμένη έκδοση παρέχει βελτιωμένο αποτέλεσμα όταν τα αντικείμενα είναι παραμορφώσιμα, μη κυρτά και ποικίλλουν σε σχήμα και εμφάνιση.

Προσομοιώσαμε την απόδοση αυτού του βελτιωμένου εργαλείου σε δείγματα δεδομένων εκτελώντας πρώτα το εργαλείο βασικής γραμμής (με μόνο τέσσερα ακραία κλικ) για να δημιουργήσουμε μια μάσκα τμηματοποίησης και αξιολογήσαμε τη μέση διασταύρωση πάνω από την ένωση (mIoU), ένα κοινό μέτρο ακρίβειας για τις μάσκες τμηματοποίησης. Στη συνέχεια εφαρμόσαμε προσομοιωμένα διορθωτικά κλικ και αξιολογήσαμε τη βελτίωση στο mIoU μετά από κάθε προσομοιωμένο κλικ. Ο παρακάτω πίνακας συνοψίζει αυτά τα αποτελέσματα. Η πρώτη σειρά δείχνει το mIoU και η δεύτερη σειρά δείχνει το σφάλμα (το οποίο δίνεται κατά 100% μείον το mIoU). Με μόνο πέντε επιπλέον κλικ του ποντικιού, μπορούμε να μειώσουμε το σφάλμα κατά 9% για αυτήν την εργασία!

.	.	Αριθμός Διορθωτικών Κλικ	.
.	Baseline	1	2	3	4	5
mIoU	72.72	76.56	77.62	78.89	80.57	81.73
Λάθος	27%	23%	22%	21%	19%	18%

Ενοποίηση με το Ground Truth και προφίλ απόδοσης

Για να ενσωματώσουμε αυτό το μοντέλο με το Ground Truth, ακολουθούμε ένα τυπικό μοτίβο αρχιτεκτονικής όπως φαίνεται στο παρακάτω διάγραμμα. Αρχικά, χτίζουμε το μοντέλο ML σε μια εικόνα Docker και το αναπτύσσουμε σε Μητρώο εμπορευματοκιβωτίων Amazon Elastic (Amazon ECR), ένα πλήρως διαχειριζόμενο μητρώο κοντέινερ Docker που διευκολύνει την αποθήκευση, την κοινή χρήση και την ανάπτυξη εικόνων κοντέινερ. Χρησιμοποιώντας την SageMaker Inference Toolkit στη δημιουργία της εικόνας Docker μας επιτρέπει να χρησιμοποιούμε εύκολα τις βέλτιστες πρακτικές για την προβολή μοντέλων και να επιτυγχάνουμε συμπέρασμα χαμηλής καθυστέρησης. Στη συνέχεια δημιουργούμε ένα Amazon Sage Maker τελικό σημείο σε πραγματικό χρόνο για να φιλοξενήσει το μοντέλο. Εισάγουμε ένα AWS Lambda λειτουργεί ως διακομιστής μεσολάβησης μπροστά από το τελικό σημείο του SageMaker για να προσφέρει διάφορους τύπους μετασχηματισμού δεδομένων. Τέλος, χρησιμοποιούμε Amazon API Gateway ως τρόπο ενσωμάτωσης με τη διεπαφή μας, την εφαρμογή ετικετών Ground Truth, για την παροχή ασφαλούς ελέγχου ταυτότητας στο backend μας.

Μπορείτε να ακολουθήσετε αυτό το γενικό μοτίβο για δικές σας περιπτώσεις χρήσης για ειδικά κατασκευασμένα εργαλεία ML και για να τα ενσωματώσετε με προσαρμοσμένες διεπαφές εργασιών Ground Truth. Για περισσότερες πληροφορίες, ανατρέξτε στο Δημιουργήστε μια προσαρμοσμένη ροή εργασίας επισήμανσης δεδομένων με το Amazon SageMaker Ground Truth.

Μετά την παροχή αυτής της αρχιτεκτονικής και την ανάπτυξη του μοντέλου μας χρησιμοποιώντας το Κιτ ανάπτυξης AWS Cloud (AWS CDK), αξιολογήσαμε τα χαρακτηριστικά καθυστέρησης του μοντέλου μας με διαφορετικούς τύπους περιπτώσεων SageMaker. Αυτό είναι πολύ απλό να το κάνουμε επειδή χρησιμοποιούμε τελικά σημεία συμπερασμάτων SageMaker σε πραγματικό χρόνο για να εξυπηρετήσουμε το μοντέλο μας. Τα τελικά σημεία συμπερασμάτων του SageMaker σε πραγματικό χρόνο ενσωματώνονται απρόσκοπτα με amazoncloudwatch και εκπέμπουν μετρήσεις όπως η χρήση μνήμης και ο λανθάνοντας χρόνος μοντέλου χωρίς απαιτούμενη ρύθμιση (βλ Μετρήσεις επίκλησης τελικού σημείου SageMaker Για περισσότερες πληροφορίες).

Στο παρακάτω σχήμα, δείχνουμε τη μέτρηση ModelLatency που εκπέμπεται εγγενώς από τα τελικά σημεία συμπερασμάτων σε πραγματικό χρόνο του SageMaker. Μπορούμε εύκολα να χρησιμοποιήσουμε διάφορες μετρικές μαθηματικές συναρτήσεις στο CloudWatch για να δείξουμε εκατοστημόρια λανθάνουσα κατάσταση, όπως λανθάνουσα κατάσταση p50 ή p90.

Ο παρακάτω πίνακας συνοψίζει αυτά τα αποτελέσματα για το βελτιωμένο εργαλείο ακραίων κλικ για σημασιολογική τμηματοποίηση για τρεις τύπους παρουσιών: p2.xlarge, p3.2xlarge και g4dn.xlarge. Αν και η παρουσία p3.2xlarge παρέχει τη χαμηλότερη καθυστέρηση, η παρουσία g4dn.xlarge παρέχει την καλύτερη αναλογία κόστους προς απόδοση. Το στιγμιότυπο g4dn.xlarge είναι μόνο 8% πιο αργό (35 χιλιοστά του δευτερολέπτου) από το παράδειγμα p3.2xlarge, αλλά είναι 81% λιγότερο ακριβό σε ωριαία βάση από το p3.2xlarge (βλ. Τιμολόγηση του Amazon SageMaker για περισσότερες λεπτομέρειες σχετικά με τους τύπους και την τιμολόγηση των περιπτώσεων SageMaker).

	Τύπος παρουσίας SageMaker	p90 Latency (ms)
1	p2.xlarge	751
2	σελ.3.2xlarge	424
3	g4dn.xlarge	459

Συμπέρασμα

Σε αυτήν την ανάρτηση, παρουσιάσαμε μια επέκταση στη δυνατότητα αυτόματου τμήματος Ground Truth για εργασίες σχολιασμού σημασιολογικής τμηματοποίησης. Ενώ η αρχική έκδοση του εργαλείου σάς επιτρέπει να κάνετε ακριβώς τέσσερα κλικ του ποντικιού, τα οποία ενεργοποιούν ένα μοντέλο για να παρέχει μια μάσκα τμηματοποίησης υψηλής ποιότητας, η επέκταση σάς επιτρέπει να κάνετε διορθωτικά κλικ και έτσι να ενημερώνετε και να καθοδηγείτε το μοντέλο ML για καλύτερες προβλέψεις. Παρουσιάσαμε επίσης ένα βασικό αρχιτεκτονικό μοτίβο που μπορείτε να χρησιμοποιήσετε για να αναπτύξετε και να ενσωματώσετε διαδραστικά εργαλεία σε διεπαφές ετικετών Ground Truth. Τέλος, συνοψίσαμε τον λανθάνοντα χρόνο του μοντέλου και δείξαμε πώς η χρήση των τελικών σημείων συμπερασμάτων σε πραγματικό χρόνο του SageMaker καθιστά εύκολη την παρακολούθηση της απόδοσης του μοντέλου.

Για να μάθετε περισσότερα σχετικά με το πώς αυτό το εργαλείο μπορεί να μειώσει το κόστος επισήμανσης και να αυξήσει την ακρίβεια, επισκεφτείτε το Ετικέτα δεδομένων Amazon SageMaker για να ξεκινήσει μια διαβούλευση σήμερα.

---

Σχετικά με τους συγγραφείς

Τζόναθαν Μπακ είναι Μηχανικός Λογισμικού στο Amazon Web Services που εργάζεται στη διασταύρωση της μηχανικής μάθησης και των κατανεμημένων συστημάτων. Το έργο του περιλαμβάνει την παραγωγή μοντέλων μηχανικής μάθησης και την ανάπτυξη νέων εφαρμογών λογισμικού που υποστηρίζονται από μηχανική μάθηση για να θέσουν τις πιο πρόσφατες δυνατότητες στα χέρια των πελατών.

Λι Έραν Λι είναι ο διευθυντής εφαρμοσμένης επιστήμης στις υπηρεσίες humain-in-the-loop, AWS AI, Amazon. Τα ερευνητικά του ενδιαφέροντα είναι η τρισδιάστατη βαθιά μάθηση και η εκμάθηση όρασης και γλωσσικής αναπαράστασης. Προηγουμένως ήταν ανώτερος επιστήμονας στην Alexa AI, επικεφαλής μηχανικής μάθησης στο Scale AI και επικεφαλής επιστήμονας στο Pony.ai. Πριν από αυτό, ήταν με την ομάδα αντίληψης στο Uber ATG και την ομάδα της πλατφόρμας μηχανικής μάθησης στην Uber που εργαζόταν στη μηχανική μάθηση για αυτόνομη οδήγηση, συστήματα μηχανικής μάθησης και στρατηγικές πρωτοβουλίες AI. Ξεκίνησε την καριέρα του στο Bell Labs και ήταν επίκουρος καθηγητής στο Πανεπιστήμιο Columbia. Δίδαξε μαζί σεμινάρια στα ICML'3 και ICCV'17 και συνδιοργάνωσε πολλά εργαστήρια στα NeurIPS, ICML, CVPR, ICCV σχετικά με τη μηχανική μάθηση για αυτόνομη οδήγηση, την τρισδιάστατη όραση και τη ρομποτική, τα συστήματα μηχανικής μάθησης και την αντίπαλη μηχανική μάθηση. Έχει διδακτορικό στην επιστήμη των υπολογιστών στο Πανεπιστήμιο Cornell. Είναι ACM Fellow και IEEE Fellow.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/few-click-segmentation-mask-labeling-in-amazon-sagemaker-ground-truth-plus/