Μετρήσεις για την αξιολόγηση της εποπτείας περιεχομένου στο Amazon Rekognition και σε άλλες υπηρεσίες εποπτείας περιεχομένου

Η εποπτεία περιεχομένου είναι η διαδικασία ελέγχου και παρακολούθησης περιεχομένου που δημιουργείται από χρήστες στο διαδίκτυο. Για να παρέχουν ένα ασφαλές περιβάλλον τόσο για τους χρήστες όσο και για τις επωνυμίες, οι πλατφόρμες πρέπει να μετριάζουν το περιεχόμενο για να διασφαλίσουν ότι εμπίπτει σε προκαθορισμένες οδηγίες αποδεκτής συμπεριφοράς που είναι ειδικά για την πλατφόρμα και το κοινό της.

Όταν μια πλατφόρμα εποπτεύει περιεχόμενο, μπορεί να δημιουργηθεί και να μοιραστεί με άλλους χρήστες αποδεκτό περιεχόμενο που δημιουργείται από χρήστες (UGC). Οι ακατάλληλες, τοξικές ή απαγορευμένες συμπεριφορές μπορούν να αποτραπούν, να αποκλειστούν σε πραγματικό χρόνο ή να αφαιρεθούν εκ των υστέρων, ανάλογα με τα εργαλεία και τις διαδικασίες εποπτείας περιεχομένου που διαθέτει η πλατφόρμα.

Μπορείς να χρησιμοποιήσεις Εποπτεία περιεχομένου αναγνώρισης Amazon για τον εντοπισμό περιεχομένου που είναι ακατάλληλο, ανεπιθύμητο ή προσβλητικό, για τη δημιουργία μιας πιο ασφαλούς εμπειρίας χρήστη, την παροχή διαβεβαιώσεων ασφάλειας επωνυμίας στους διαφημιστές και τη συμμόρφωση με τους τοπικούς και παγκόσμιους κανονισμούς.

Σε αυτήν την ανάρτηση, συζητάμε τα βασικά στοιχεία που απαιτούνται για την αξιολόγηση της πτυχής απόδοσης μιας υπηρεσίας εποπτείας περιεχομένου όσον αφορά τις διάφορες μετρήσεις ακρίβειας και παρέχουμε ένα παράδειγμα χρησιμοποιώντας το Amazon Rekognition Content Moderation API.

Τι να αξιολογήσει

Κατά την αξιολόγηση μιας υπηρεσίας εποπτείας περιεχομένου, συνιστούμε τα ακόλουθα βήματα.

Για να μπορέσετε να αξιολογήσετε την απόδοση του API στις περιπτώσεις χρήσης σας, πρέπει να προετοιμάσετε ένα αντιπροσωπευτικό δοκιμαστικό σύνολο δεδομένων. Ακολουθούν ορισμένες οδηγίες υψηλού επιπέδου:

• Συλλογή – Πάρτε ένα αρκετά μεγάλο τυχαίο δείγμα (εικόνες ή βίντεο) των δεδομένων που θέλετε τελικά να εκτελέσετε μέσω του Amazon Rekognition. Για παράδειγμα, εάν σκοπεύετε να εποπτεύσετε τις εικόνες που ανέβηκαν από χρήστες, μπορείτε να πάρετε για τη δοκιμή εικόνες χρήστη μιας εβδομάδας. Συνιστούμε να επιλέξετε ένα σύνολο που έχει αρκετές εικόνες χωρίς να γίνεται πολύ μεγάλο για επεξεργασία (όπως 1,000–10,000 εικόνες), αν και τα μεγαλύτερα σετ είναι καλύτερα.
• Ορισμός – Χρησιμοποιήστε τις οδηγίες περιεχομένου της εφαρμογής σας για να αποφασίσετε ποιους τύπους μη ασφαλούς περιεχομένου σας ενδιαφέρει να εντοπίσετε από το Amazon Rekognition έννοιες μετριοπάθειας ταξινόμηση. Για παράδειγμα, μπορεί να σας ενδιαφέρει να εντοπίσετε όλους τους τύπους σαφούς γυμνού και παραστατικής βίας ή γκρίνιας.
• Σχόλιο – Τώρα χρειάζεστε μια βασική αλήθεια που δημιουργήθηκε από τον άνθρωπο για το σετ δοκιμών σας χρησιμοποιώντας τις επιλεγμένες ετικέτες, ώστε να μπορείτε να συγκρίνετε τις προβλέψεις μηχανών με αυτές. Αυτό σημαίνει ότι κάθε εικόνα σχολιάζεται για την παρουσία ή την απουσία των επιλεγμένων εννοιών σας. Για να σχολιάσετε τα δεδομένα της εικόνας σας, μπορείτε να χρησιμοποιήσετε Amazon SageMaker Ground Αλήθεια (GT)για τη διαχείριση του σχολιασμού εικόνας. Μπορείτε να ανατρέξετε σε GT για σήμανση εικόνων, ενοποίηση σχολιασμών και επεξεργασία εξόδου σχολιασμού.

Λάβετε προβλέψεις για το σύνολο δεδομένων δοκιμής σας με το Amazon Rekognition

Στη συνέχεια, θέλετε να λάβετε προβλέψεις για το σύνολο δεδομένων δοκιμής σας.

Το πρώτο βήμα είναι να αποφασίσετε για μια ελάχιστη βαθμολογία εμπιστοσύνης (μια τιμή κατωφλίου, όπως 50%) στην οποία θέλετε να μετρήσετε τα αποτελέσματα. Το προεπιλεγμένο όριο μας έχει οριστεί στο 50, το οποίο προσφέρει μια καλή ισορροπία μεταξύ της ανάκτησης μεγάλων ποσοτήτων μη ασφαλούς περιεχομένου χωρίς να επιφέρουμε πάρα πολλές ψευδείς προβλέψεις για ασφαλές περιεχόμενο. Ωστόσο, η πλατφόρμα σας μπορεί να έχει διαφορετικές επιχειρηματικές ανάγκες, επομένως θα πρέπει να προσαρμόσετε αυτό το όριο εμπιστοσύνης όπως απαιτείται. Μπορείτε να χρησιμοποιήσετε το MinConfidence παράμετρος στα αιτήματα API σας για να εξισορροπήσει την ανίχνευση περιεχομένου (ανάκληση) έναντι της ακρίβειας ανίχνευσης (ακρίβεια). Εάν μειώσετε MinConfidence, είναι πιθανό να εντοπίσετε το μεγαλύτερο μέρος του ακατάλληλου περιεχομένου, αλλά είναι επίσης πιθανό να λάβετε περιεχόμενο που δεν είναι στην πραγματικότητα ακατάλληλο. Εάν αυξήσετε MinConfidence είναι πιθανό να διασφαλίσετε ότι όλο το περιεχόμενό σας που εντοπίσατε είναι πραγματικά ακατάλληλο, αλλά σε κάποιο περιεχόμενο ενδέχεται να μην επισημανθεί. Προτείνουμε να πειραματιστείτε με μερικά MinConfidence τιμές στο σύνολο δεδομένων σας και επιλέξτε ποσοτικά την καλύτερη τιμή για τον τομέα δεδομένων σας.

Στη συνέχεια, εκτελέστε κάθε δείγμα (εικόνα ή βίντεο) του συνόλου δοκιμής σας μέσω του API εποπτείας Amazon Rekognition (DetectModerationLabels).

Μετρήστε την ακρίβεια του μοντέλου στις εικόνες

Μπορείτε να αξιολογήσετε την ακρίβεια ενός μοντέλου συγκρίνοντας τους σχολιασμούς της αλήθειας που δημιουργούνται από τον άνθρωπο με τις προβλέψεις του μοντέλου. Επαναλαμβάνετε αυτήν τη σύγκριση για κάθε εικόνα ανεξάρτητα και στη συνέχεια συγκεντρώνετε σε ολόκληρο το δοκιμαστικό σύνολο:

• Αποτελέσματα ανά εικόνα – Μια πρόβλεψη μοντέλου ορίζεται ως το ζεύγος {label_name, confidence_score} (όπου η βαθμολογία εμπιστοσύνης >= το όριο που επιλέξατε νωρίτερα). Για κάθε εικόνα, μια πρόβλεψη θεωρείται σωστή όταν ταιριάζει με τη βασική αλήθεια (GT). Η πρόβλεψη είναι μία από τις ακόλουθες επιλογές:
  • Αληθινό θετικό (TP): τόσο η πρόβλεψη όσο και η GT είναι "μη ασφαλή"
  • Αληθινό αρνητικό (TN): τόσο η πρόβλεψη όσο και το GT είναι "ασφαλή"
  • ψευδώς θετικά (FP): η πρόβλεψη λέει "μη ασφαλής", αλλά το GT είναι "ασφαλές"
  • False Negative (FN): η πρόβλεψη είναι "ασφαλής", αλλά το GT είναι "μη ασφαλές"
• Συγκεντρωτικά αποτελέσματα σε όλες τις εικόνες – Στη συνέχεια, μπορείτε να συγκεντρώσετε αυτές τις προβλέψεις σε αποτελέσματα σε επίπεδο δεδομένων:
  • Εσφαλμένο θετικό ποσοστό (FPR) – Αυτό είναι το ποσοστό των εικόνων στο δοκιμαστικό σύνολο που επισημαίνονται εσφαλμένα από το μοντέλο ότι περιέχουν μη ασφαλές περιεχόμενο: (FP): FP / (TN+FP).
  • Εσφαλμένο αρνητικό ποσοστό (FNR) – Αυτό είναι το ποσοστό των μη ασφαλών εικόνων στο δοκιμαστικό σύνολο που χάνονται από το μοντέλο: (FN): FN / (FN+TP).
  • Αληθινό θετικό ποσοστό (TPR) – Ονομάζεται επίσης ανάκληση, υπολογίζει το ποσοστό του μη ασφαλούς περιεχομένου (αλήθεια εδάφους) που ανακαλύπτεται ή προβλέπεται σωστά από το μοντέλο: TP / (TP + FN) = 1 – FNR.
  • Ακρίβεια – Αυτό υπολογίζει το ποσοστό των σωστών προβλέψεων (μη ασφαλές περιεχόμενο) σε σχέση με τον συνολικό αριθμό των προβλέψεων που έγιναν: TP / (TP+FP).

Ας εξερευνήσουμε ένα παράδειγμα. Ας υποθέσουμε ότι το δοκιμαστικό σας σύνολο περιέχει 10,000 εικόνες: 9,950 ασφαλείς και 50 μη ασφαλείς. Το μοντέλο προβλέπει σωστά 9,800 από τις 9,950 εικόνες ως ασφαλείς και 45 από τις 50 ως μη ασφαλείς:

• TP = 45
• TN = 9800
• FP = 9950 - 9800 = 150
• FN = 50 - 45 = 5
• ΙΠΕ = 150 / (9950 + 150) = 0.015 = 1.5%
• FNR = 5 / (5 + 45) = 0.1 = 10%
• TPR/Ανάκληση = 45 / (45 + 5) = 0.9 = 90%
• Ακρίβεια = 45 / (45 + 150) = 0.23 = 23%

Μετρήστε την ακρίβεια του μοντέλου σε βίντεο

Εάν θέλετε να αξιολογήσετε την απόδοση σε βίντεο, απαιτούνται μερικά επιπλέον βήματα:

1. Δείτε ένα υποσύνολο καρέ από κάθε βίντεο. Προτείνουμε ομοιόμορφη δειγματοληψία με ρυθμό 0.3–1 καρέ ανά δευτερόλεπτο (fps). Για παράδειγμα, εάν ένα βίντεο είναι κωδικοποιημένο στα 24 καρέ ανά δευτερόλεπτο και θέλετε να λαμβάνετε δείγμα ενός καρέ κάθε 3 δευτερόλεπτα (0.3 καρέ ανά δευτερόλεπτο), πρέπει να επιλέξετε ένα κάθε 72 καρέ.
2. Εκτελέστε αυτά τα δείγματα καρέ μέσω της εποπτείας περιεχομένου της Αναγνώρισης του Amazon. Μπορείτε είτε να χρησιμοποιήσετε το API βίντεο μας, το οποίο λαμβάνει ήδη δείγματα καρέ για εσάς (με ρυθμό 3 fps) είτε να χρησιμοποιήσετε το API εικόνας, οπότε θέλετε να κάνετε πιο αραιά δειγματοληψία. Συνιστούμε την τελευταία επιλογή, δεδομένου του πλεονασμού των πληροφοριών στα βίντεο (τα διαδοχικά καρέ μοιάζουν πολύ).
3. Υπολογίστε τα αποτελέσματα ανά καρέ όπως εξηγήθηκε στην προηγούμενη ενότητα (αποτελέσματα ανά εικόνα).
4. Συγκεντρωτικά αποτελέσματα σε όλο το σετ δοκιμών. Εδώ έχετε δύο επιλογές, ανάλογα με τον τύπο του αποτελέσματος που έχει σημασία για την επιχείρησή σας:
   1. Αποτελέσματα σε επίπεδο πλαισίου – Αυτό θεωρεί όλα τα πλαίσια του δείγματος ως ανεξάρτητες εικόνες και συγκεντρώνει τα αποτελέσματα ακριβώς όπως εξηγήθηκε προηγουμένως για τις εικόνες (FPR, FNR, ανάκληση, ακρίβεια). Εάν ορισμένα βίντεο είναι σημαντικά μεγαλύτερα από άλλα, θα συνεισφέρουν περισσότερα καρέ στο συνολικό πλήθος, καθιστώντας τη σύγκριση μη ισορροπημένη. Σε αυτήν την περίπτωση, προτείνουμε να αλλάξετε την αρχική στρατηγική δειγματοληψίας σε σταθερό αριθμό καρέ ανά βίντεο. Για παράδειγμα, θα μπορούσατε να δοκιμάσετε ομοιόμορφα 50–100 καρέ ανά βίντεο (υποθέτοντας ότι τα βίντεο έχουν διάρκεια τουλάχιστον 2–3 λεπτά).
   2. Αποτελέσματα σε επίπεδο βίντεο – Για ορισμένες περιπτώσεις χρήσης, δεν έχει σημασία αν το μοντέλο μπορεί να προβλέψει σωστά το 50% ή το 99% των καρέ σε ένα βίντεο. Ακόμη και μια λανθασμένη μη ασφαλής πρόβλεψη σε ένα μόνο καρέ θα μπορούσε να προκαλέσει μια μεταγενέστερη ανθρώπινη αξιολόγηση και μόνο τα βίντεο με 100% σωστές προβλέψεις θεωρούνται πραγματικά σωστά. Εάν αυτή είναι η περίπτωση χρήσης σας, σας προτείνουμε να υπολογίσετε το FPR/FNR/TPR πάνω από τα καρέ κάθε βίντεο και να εξετάσετε το βίντεο ως εξής:

Αφού τα υπολογίσετε ανεξάρτητα για κάθε βίντεο, μπορείτε να υπολογίσετε όλες τις μετρήσεις που παρουσιάσαμε νωρίτερα:

• Το ποσοστό των βίντεο που έχουν επισημανθεί εσφαλμένα (FP) ή χάνονται (FN)
• Ακρίβεια και ανάκληση

Μετρήστε την απόδοση σε σχέση με τους στόχους

Τέλος, πρέπει να ερμηνεύσετε αυτά τα αποτελέσματα στο πλαίσιο των στόχων και των δυνατοτήτων σας.

Αρχικά, εξετάστε τις ανάγκες της επιχείρησής σας σχετικά με τα ακόλουθα:

• ημερομηνία – Μάθετε για τα δεδομένα σας (ημερήσιος όγκος, τύπος δεδομένων κ.λπ.) και τη διανομή του μη ασφαλούς έναντι του ασφαλούς περιεχομένου σας. Για παράδειγμα, είναι ισορροπημένο (50/50), λοξό (10/90) ή πολύ λοξό (1/99, δηλαδή μόνο το 1% είναι μη ασφαλές); Η κατανόηση μιας τέτοιας διανομής μπορεί να σας βοηθήσει να καθορίσετε τους πραγματικούς μετρικούς σας στόχους. Για παράδειγμα, ο αριθμός του ασφαλούς περιεχομένου είναι συχνά μια τάξη μεγέθους μεγαλύτερος από το μη ασφαλές περιεχόμενο (πολύ λοξό), καθιστώντας αυτό σχεδόν ένα πρόβλημα ανίχνευσης ανωμαλιών. Σε αυτό το σενάριο, ο αριθμός των ψευδώς θετικών μπορεί να είναι μεγαλύτερος από τον αριθμό των αληθινών θετικών και μπορείτε να χρησιμοποιήσετε τις πληροφορίες δεδομένων σας (λοξότητα διανομής, όγκος δεδομένων κ.λπ.) για να αποφασίσετε το FPR με το οποίο μπορείτε να εργαστείτε.
• Μετρικοί στόχοι – Ποιες είναι οι πιο κρίσιμες πτυχές της επιχείρησής σας; Η μείωση του FPR έχει συχνά το κόστος ενός υψηλότερου FNR (και αντίστροφα) και είναι σημαντικό να βρείτε τη σωστή ισορροπία που λειτουργεί για εσάς. Εάν δεν μπορείτε να χάσετε κανένα μη ασφαλές περιεχόμενο, πιθανότατα θέλετε κοντά στο 0% FNR (100% ανάκληση). Ωστόσο, αυτό θα προκαλέσει τον μεγαλύτερο αριθμό ψευδώς θετικών αποτελεσμάτων και πρέπει να αποφασίσετε τον στόχο (μέγιστο) FPR με τον οποίο μπορείτε να εργαστείτε, με βάση τη γραμμή μετά την πρόβλεψή σας. Μπορεί να θέλετε να επιτρέψετε κάποιο επίπεδο ψευδών αρνητικών για να μπορέσετε να βρείτε μια καλύτερη ισορροπία και να μειώσετε το FPR σας: για παράδειγμα, η αποδοχή ενός FNR 5% αντί για 0% θα μπορούσε να μειώσει το FPR από 2% σε 0.5%, μειώνοντας σημαντικά τον αριθμό περιεχομένων με σημαία.

Στη συνέχεια, αναρωτηθείτε ποιους μηχανισμούς θα χρησιμοποιήσετε για να αναλύσετε τις επισημασμένες εικόνες. Παρόλο που τα API μπορεί να μην παρέχουν 0% FPR και FNR, μπορεί να αποφέρει τεράστια εξοικονόμηση και κλίμακα (για παράδειγμα, με την επισήμανση μόνο του 3% των εικόνων σας, έχετε ήδη φιλτράρει το 97% του περιεχομένου σας). Όταν συνδυάζετε το API με ορισμένους μηχανισμούς μεταγενέστερης ροής, όπως ένα ανθρώπινο εργατικό δυναμικό που ελέγχει το περιεχόμενο που έχει επισημανθεί, μπορείτε εύκολα να επιτύχετε τους στόχους σας (για παράδειγμα, περιεχόμενο με επισήμανση 0.5%). Σημειώστε πώς αυτή η σύζευξη είναι πολύ φθηνότερη από το να χρειάζεται να κάνετε έναν ανθρώπινο έλεγχο στο 100% του περιεχομένου σας.

Όταν αποφασίσετε για τους μεταγενέστερους μηχανισμούς σας, σας προτείνουμε να αξιολογήσετε την απόδοση που μπορείτε να υποστηρίξετε. Για παράδειγμα, εάν έχετε εργατικό δυναμικό που μπορεί να επαληθεύσει μόνο το 2% του ημερήσιου περιεχομένου σας, τότε ο στόχος σας από το API εποπτείας περιεχομένου είναι ένα ποσοστό επισήμανσης (FPR+TPR) 2%.

Τέλος, εάν η λήψη σχολιασμών βασικής αλήθειας είναι πολύ δύσκολη ή πολύ δαπανηρή (για παράδειγμα, ο όγκος των δεδομένων σας είναι πολύ μεγάλος), προτείνουμε να σχολιάσετε τον μικρό αριθμό εικόνων που επισημαίνονται από το API. Αν και αυτό δεν επιτρέπει αξιολογήσεις FNR (επειδή τα δεδομένα σας δεν περιέχουν ψευδώς αρνητικά), μπορείτε ακόμα να μετρήσετε το TPR και το FPR.

Στην επόμενη ενότητα, παρέχουμε μια λύση για την αξιολόγηση της εποπτείας της εικόνας. Μπορείτε να ακολουθήσετε μια παρόμοια προσέγγιση για την αξιολόγηση εποπτείας βίντεο.

Επισκόπηση λύσεων

Το παρακάτω διάγραμμα απεικονίζει τις διάφορες υπηρεσίες AWS που μπορείτε να χρησιμοποιήσετε για να αξιολογήσετε την απόδοση της εποπτείας περιεχομένου Amazon Rekognition στο δοκιμαστικό σας σύνολο δεδομένων.

Η αξιολόγηση εποπτείας περιεχομένου έχει τα ακόλουθα βήματα:

1. Ανεβάστε το σύνολο δεδομένων αξιολόγησής σας σε Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3).
2. Χρησιμοποιήστε το Ground Truth για να εκχωρήσετε ετικέτες ελέγχου βασικής αλήθειας.
3. Δημιουργήστε τις προβλεπόμενες ετικέτες εποπτείας χρησιμοποιώντας το προεκπαιδευμένο API εποπτείας Amazon Rekognition χρησιμοποιώντας μερικές τιμές κατωφλίου. (Για παράδειγμα, 70%, 75% και 80%).
4. Αξιολογήστε την απόδοση για κάθε όριο υπολογίζοντας τα αληθινά θετικά, τα αληθινά αρνητικά, τα ψευδώς θετικά και τα ψευδώς αρνητικά. Προσδιορίστε τη βέλτιστη τιμή κατωφλίου για την περίπτωση χρήσης σας.
5. Προαιρετικά, μπορείτε να προσαρμόσετε το μέγεθος του εργατικού δυναμικού με βάση αληθή και ψευδή θετικά στοιχεία και να το χρησιμοποιήσετε Amazon Augmented AI (Amazon A2I) για αυτόματη αποστολή όλου του επισημασμένου περιεχομένου στο καθορισμένο εργατικό δυναμικό σας για μη αυτόματο έλεγχο.

Οι ακόλουθες ενότητες παρέχουν τα αποσπάσματα κώδικα για τα βήματα 1, 2 και 3. Για τον πλήρη πηγαίο κώδικα από άκρο σε άκρο, ανατρέξτε στο παρεχόμενο Σημειωματάριο Jupyter.

Προϋποθέσεις

Πριν ξεκινήσετε, ακολουθήστε τα παρακάτω βήματα για να ρυθμίσετε το σημειωματάριο Jupyter:

1. Δημιουργήστε μια παρουσία σημειωματάριου in Amazon Sage Maker.
2. Όταν το σημειωματάριο είναι ενεργό, επιλέξτε Άνοιγμα του Jupyter.
3. Στον πίνακα ελέγχου Jupyter, επιλέξτε Νέα, και επιλέξτε τερματικό.
4. Στο τερματικό, εισαγάγετε τον ακόλουθο κωδικό:

   cd SageMaker
   git clone https://github.com/aws-samples/amazon-rekognition-code-samples.git

5. Ανοίξτε το σημειωματάριο για αυτήν την ανάρτηση: content-moderation-evaluation/Evaluating-Amazon-Rekognition-Content-Moderation-Service.ipynb.
6. Ανεβάστε το σύνολο δεδομένων αξιολόγησής σας στο Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3).

Τώρα θα περάσουμε από τα βήματα 2 έως 4 στο σημειωματάριο Jupyter.

Χρησιμοποιήστε το Ground Truth για να εκχωρήσετε ετικέτες εποπτείας

Για να αντιστοιχίσετε ετικέτες στο Ground Truth, ολοκληρώστε τα ακόλουθα βήματα:

1. Δημιουργήστε ένα αρχείο εισόδου δήλωσης για την εργασία σας στο Ground Truth και ανεβάστε την στο Amazon S3.
2. Δημιουργήστε τη διαμόρφωση ετικετών, η οποία περιέχει όλες τις ετικέτες εποπτείας που απαιτούνται για την εργασία επισήμανσης Ground Truth. Για να ελέγξετε το όριο για τον αριθμό των κατηγοριών ετικετών που μπορείτε να χρησιμοποιήσετε, ανατρέξτε στο Ποσοστώσεις κατηγορίας ετικέτας. Στο παρακάτω απόσπασμα κώδικα, χρησιμοποιούμε πέντε ετικέτες (ανατρέξτε στο ιεραρχική ταξινόμηση που χρησιμοποιείται στο Amazon Rekognition για περισσότερες λεπτομέρειες) συν μία ετικέτα (Safe_Content) που επισημαίνει το περιεχόμενο ως ασφαλές:

   # customize CLASS_LIST to include all labels that can be used to classify sameple data, it's up to 10 labels
   # In order to easily match image label with content moderation service supported taxonomy, 
   
   CLASS_LIST = ["", "", "", "", "", "Safe_Content"]
   print("Label space is {}".format(CLASS_LIST))
   
   json_body = {"labels": [{"label": label} for label in CLASS_LIST]}
   with open("class_labels.json", "w") as f:
       json.dump(json_body, f)
   
   s3.upload_file("class_labels.json", BUCKET, EXP_NAME + "/class_labels.json")

3. Δημιουργήστε ένα προσαρμοσμένο πρότυπο εργασιών εργαζόμενου για να παρέχετε στο εργατικό δυναμικό της Ground Truth οδηγίες επισήμανσης και ανεβάστε το στο Amazon S3.
   Η εργασία ετικέτας Ground Truth ορίζεται ως εργασία ταξινόμησης εικόνων (πολλαπλών ετικετών). Ανατρέξτε στον πηγαίο κώδικα για οδηγίες προσαρμογής του προτύπου οδηγιών.
4. Αποφασίστε ποιο εργατικό δυναμικό θέλετε να χρησιμοποιήσετε για να ολοκληρώσετε την εργασία του Ground Truth. Έχετε δύο επιλογές (ανατρέξτε στον πηγαίο κώδικα για λεπτομέρειες):
   1. Χρήση ιδιωτικό εργατικό δυναμικό στον δικό σας οργανισμό για να επισημάνετε το σύνολο δεδομένων αξιολόγησης.
   2. Χρήση δημόσιο εργατικό δυναμικό για να επισημάνετε το σύνολο δεδομένων αξιολόγησης.
5. Δημιουργήστε και υποβάλετε μια εργασία επισήμανσης Ground Truth. Μπορείτε επίσης να προσαρμόσετε τον ακόλουθο κώδικα για να διαμορφώσετε το επισήμανση των παραμέτρων εργασίας για να καλύψετε τις συγκεκριμένες επιχειρηματικές σας απαιτήσεις. Ανατρέξτε στον πηγαίο κώδικα για πλήρεις οδηγίες σχετικά με τη δημιουργία και τη διαμόρφωση της εργασίας Ground Truth.

   human_task_config = {
       "AnnotationConsolidationConfig": {
           "AnnotationConsolidationLambdaArn": acs_arn,
       },
       "PreHumanTaskLambdaArn": prehuman_arn,
       "MaxConcurrentTaskCount": 200,  # 200 images will be sent at a time to the workteam.
       "NumberOfHumanWorkersPerDataObject": 3,  # 3 separate workers will be required to label each image.
       "TaskAvailabilityLifetimeInSeconds": 21600,  # Your workteam has 6 hours to complete all pending tasks.
       "TaskDescription": task_description,
       "TaskKeywords": task_keywords,
       "TaskTimeLimitInSeconds": 180,  # Each image must be labeled within 3 minutes.
       "TaskTitle": task_title,
       "UiConfig": {
           "UiTemplateS3Uri": "s3://{}/{}/instructions.template".format(BUCKET, EXP_NAME),
       },
   }

Μετά την υποβολή της εργασίας, θα πρέπει να δείτε αποτέλεσμα παρόμοιο με το ακόλουθο:

Labeling job name is: ground-truth-cm-1662738403

Περιμένετε να ολοκληρωθεί επιτυχώς η εργασία επισήμανσης στο σύνολο δεδομένων αξιολόγησης και, στη συνέχεια, συνεχίστε στο επόμενο βήμα.

Χρησιμοποιήστε το Amazon Rekognition moderation API για να δημιουργήσετε προβλεπόμενες ετικέτες εποπτείας.

Το παρακάτω απόσπασμα κώδικα δείχνει πώς να χρησιμοποιήσετε το Amazon Rekognition moderation API για να δημιουργήσετε ετικέτες εποπτείας:

client=boto3.client('rekognition')
def moderate_image(photo, bucket):
    response = client.detect_moderation_labels(Image={'S3Object':{'Bucket':bucket,'Name':photo}})
    return len(response['ModerationLabels'])

Αξιολογήστε την απόδοση

Αρχικά ανακτήσατε ετικέτες εποπτείας βασικής αλήθειας από τα αποτελέσματα εργασίας ετικετών Ground Truth για το σύνολο δεδομένων αξιολόγησης και, στη συνέχεια, εκτελέσατε το API εποπτείας Amazon Rekognition για να λάβετε προβλεπόμενες ετικέτες εποπτείας για το ίδιο σύνολο δεδομένων. Επειδή πρόκειται για πρόβλημα δυαδικής ταξινόμησης (ασφαλές έναντι μη ασφαλές περιεχόμενο), υπολογίζουμε τις ακόλουθες μετρήσεις (υποθέτοντας ότι το μη ασφαλές περιεχόμενο είναι θετικό):

Υπολογίζουμε επίσης τις αντίστοιχες μετρήσεις αξιολόγησης:

Το ακόλουθο απόσπασμα κώδικα δείχνει τον τρόπο υπολογισμού αυτών των μετρήσεων:

FPR = FP / (FP + TN)
FNR = FN / (FN + TP)
Recall = TP / (TP + FN)
Precision = TP / (TP + FP)

Συμπέρασμα

Αυτή η ανάρτηση συζητά τα βασικά στοιχεία που απαιτούνται για την αξιολόγηση της πτυχής απόδοσης της υπηρεσίας εποπτείας περιεχομένου σε σχέση με διάφορες μετρήσεις ακρίβειας. Ωστόσο, η ακρίβεια είναι μόνο μία από τις πολλές διαστάσεις που πρέπει να αξιολογήσετε όταν επιλέγετε μια συγκεκριμένη υπηρεσία εποπτείας περιεχομένου. Είναι σημαντικό να συμπεριλάβετε άλλες παραμέτρους, όπως το συνολικό σύνολο δυνατοτήτων της υπηρεσίας, την ευκολία χρήσης, τις υπάρχουσες ενσωματώσεις, το απόρρητο και την ασφάλεια, τις επιλογές προσαρμογής, τις επιπτώσεις της επεκτασιμότητας, την εξυπηρέτηση πελατών και την τιμολόγηση. Για να μάθετε περισσότερα σχετικά με την εποπτεία περιεχομένου στο Amazon Rekognition, επισκεφτείτε Εποπτεία περιεχομένου αναγνώρισης Amazon.

Σχετικά με τους συγγραφείς

Amit Gupta είναι Senior AI Services Solutions Architect στην AWS. Είναι παθιασμένος με το να παρέχει στους πελάτες τη δυνατότητα να χρησιμοποιούν καλά σχεδιασμένες λύσεις μηχανικής μάθησης σε κλίμακα.

Νταβίντε Μοντόλο είναι Διευθυντής Εφαρμοσμένης Επιστήμης στο AWS AI Labs. Έχει διδακτορικό στην όραση υπολογιστών από το Πανεπιστήμιο του Εδιμβούργου (Ηνωμένο Βασίλειο) και είναι παθιασμένος με την ανάπτυξη νέων επιστημονικών λύσεων για προβλήματα πελατών του πραγματικού κόσμου. Εκτός δουλειάς, του αρέσει να ταξιδεύει και να παίζει κάθε είδους άθλημα, ειδικά το ποδόσφαιρο.

Τζιαν Γου είναι Senior Enterprise Solutions Architect στην AWS. Εργάζεται στην AWS για 6 χρόνια και συνεργάζεται με πελάτες όλων των μεγεθών. Είναι παθιασμένος με το να βοηθά τους πελάτες να καινοτομούν πιο γρήγορα μέσω της υιοθέτησης του Cloud και της AI/ML. Πριν από την ένταξή του στην AWS, ο Jian πέρασε 10+ χρόνια εστιάζοντας στην ανάπτυξη λογισμικού, την υλοποίηση συστήματος και τη διαχείριση υποδομής. Εκτός από τη δουλειά, του αρέσει να παραμένει ενεργός και να περνά χρόνο με την οικογένειά του.