Επισήμανση επιβλαβούς περιεχομένου με χρήση του Amazon Comprehend Toxicity Detection

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Οι διαδικτυακές κοινότητες οδηγούν την αφοσίωση των χρηστών σε κλάδους όπως τα παιχνίδια, τα μέσα κοινωνικής δικτύωσης, το ηλεκτρονικό εμπόριο, οι γνωριμίες και η ηλεκτρονική μάθηση. Τα μέλη αυτών των διαδικτυακών κοινοτήτων εμπιστεύονται τους κατόχους πλατφορμών για να παρέχουν ένα ασφαλές και χωρίς αποκλεισμούς περιβάλλον όπου μπορούν να καταναλώνουν ελεύθερα περιεχόμενο και να συνεισφέρουν. Οι επόπτες περιεχομένου χρησιμοποιούνται συχνά για να ελέγχουν το περιεχόμενο που δημιουργείται από χρήστες και να ελέγχουν ότι είναι ασφαλές και συμμορφώνεται με τους όρους χρήσης σας. Ωστόσο, η διαρκώς αυξανόμενη κλίμακα, η πολυπλοκότητα και η ποικιλία του ακατάλληλου περιεχομένου καθιστούν τις ροές εργασίας της ανθρώπινης μετριοπάθειας μη κλιμακωτές και δαπανηρές. Το αποτέλεσμα είναι φτωχές, επιβλαβείς και μη συμμετοχικές κοινότητες που αποδεσμεύουν τους χρήστες και επηρεάζουν αρνητικά την κοινότητα και τις επιχειρήσεις.

Μαζί με το περιεχόμενο που δημιουργείται από τους χρήστες, το περιεχόμενο που δημιουργείται από μηχανή έχει φέρει μια νέα πρόκληση στη συγκράτηση περιεχομένου. Δημιουργεί αυτόματα εξαιρετικά ρεαλιστικό περιεχόμενο που μπορεί να είναι ακατάλληλο ή επιβλαβές σε κλίμακα. Η βιομηχανία αντιμετωπίζει τη νέα πρόκληση της αυτόματης εποπτείας του περιεχομένου που δημιουργείται από την τεχνητή νοημοσύνη για την προστασία των χρηστών από επιβλαβές υλικό.

Σε αυτήν την ανάρτηση, παρουσιάζουμε την ανίχνευση τοξικότητας, μια νέα δυνατότητα από Κατανοήστε το Amazon που σας βοηθά να ανιχνεύετε αυτόματα επιβλαβές περιεχόμενο σε κείμενο που δημιουργείται από χρήστη ή μηχανή. Αυτό περιλαμβάνει απλό κείμενο, κείμενο που εξάγεται από εικόνες και κείμενο μεταγραφής από περιεχόμενο ήχου ή βίντεο.

Ανίχνευση τοξικότητας σε περιεχόμενο κειμένου με το Amazon Comprehend

Το Amazon Comprehend είναι μια υπηρεσία επεξεργασίας φυσικής γλώσσας (NLP) που χρησιμοποιεί μηχανική εκμάθηση (ML) για να αποκαλύψει πολύτιμες πληροφορίες και συνδέσεις σε κείμενο. Προσφέρει μια σειρά μοντέλων ML που μπορούν είτε να προεκπαιδευτούν είτε να προσαρμοστούν μέσω διεπαφών API. Το Amazon Comprehend παρέχει τώρα μια απλή, βασισμένη σε NLP λύση για την ανίχνευση τοξικού περιεχομένου σε κείμενο.

Το Amazon Comprehend Toxicity Detection API εκχωρεί μια συνολική βαθμολογία τοξικότητας στο περιεχόμενο κειμένου, που κυμαίνεται από 0–1, υποδεικνύοντας την πιθανότητα να είναι τοξικό. Επίσης, κατηγοριοποιεί το κείμενο στις ακόλουθες επτά κατηγορίες και παρέχει βαθμολογία εμπιστοσύνης για καθεμία:

ΕΧΘΡΙΚΟΣ ΛΟΓΟΣ – Ομιλία που επικρίνει, προσβάλλει, καταγγέλλει ή απανθρωποποιεί ένα άτομο ή μια ομάδα με βάση μια ταυτότητα, είτε πρόκειται για φυλή, εθνικότητα, ταυτότητα φύλου, θρησκεία, σεξουαλικό προσανατολισμό, ικανότητα, εθνική καταγωγή ή άλλη ομάδα ταυτότητας.
ΓΡΑΦΙΚΕΣ – Ομιλία που χρησιμοποιεί οπτικά περιγραφικές, λεπτομερείς και δυσάρεστα ζωντανές εικόνες. Αυτή η γλώσσα γίνεται συχνά περιεκτική ώστε να ενισχύει μια προσβολή, ή ενόχληση ή βλάβη στον αποδέκτη.
ΠΑΡΟΧΗ_Ή_ΚΑΤΑΧΡΗΣΗ – Ο λόγος που επιβάλλει διασπαστική δυναμική δύναμης μεταξύ του ομιλητή και του ακροατή (ανεξαρτήτως πρόθεσης), επιδιώκει να επηρεάσει την ψυχολογική ευημερία του αποδέκτη ή αντικειμενοποιεί ένα άτομο.
ΣΕΞΟΥΑΛΙΚΟΣ – Ομιλία που υποδηλώνει σεξουαλικό ενδιαφέρον, δραστηριότητα ή διέγερση χρησιμοποιώντας άμεσες ή έμμεσες αναφορές σε μέρη του σώματος, σωματικά χαρακτηριστικά ή σεξ.
ΒΙΑ_Ή_ΑΠΕΙΛΗ – Ομιλία που περιλαμβάνει απειλές που επιδιώκουν να προκαλέσουν πόνο, τραυματισμό ή εχθρότητα προς ένα άτομο ή μια ομάδα.
ΠΡΟΣΒΟΛΗ – Ομιλία που περιλαμβάνει εξευτελιστική, ταπεινωτική, χλευαστική, προσβλητική ή υποτιμητική γλώσσα.
ΒΛΑΣΦΗΜΙΑ – Ομιλία που περιέχει λέξεις, φράσεις ή ακρωνύμια που είναι αγενής, χυδαία ή προσβλητικά.

Μπορείτε να αποκτήσετε πρόσβαση στο API ανίχνευσης τοξικότητας καλώντας το απευθείας χρησιμοποιώντας το Διεπαφή γραμμής εντολών AWS (AWS CLI) και AWS SDK. Η ανίχνευση τοξικότητας στο Amazon Comprehend υποστηρίζεται επί του παρόντος στην αγγλική γλώσσα.

Χρήση περιπτώσεις

Η εποπτεία κειμένου διαδραματίζει κρίσιμο ρόλο στη διαχείριση περιεχομένου που δημιουργείται από χρήστες σε διάφορες μορφές, συμπεριλαμβανομένων των αναρτήσεων στα μέσα κοινωνικής δικτύωσης, των μηνυμάτων διαδικτυακής συνομιλίας, των συζητήσεων στο φόρουμ, των σχολίων στον ιστότοπο και πολλά άλλα. Επιπλέον, οι πλατφόρμες που δέχονται περιεχόμενο βίντεο και ήχου μπορούν να χρησιμοποιήσουν αυτήν τη δυνατότητα για να εποπτεύουν το μεταγραμμένο περιεχόμενο ήχου.

Η εμφάνιση γενεσιουργών μοντέλων τεχνητής νοημοσύνης και μεγάλων γλωσσών (LLM) αντιπροσωπεύει την τελευταία τάση στον τομέα της τεχνητής νοημοσύνης. Κατά συνέπεια, υπάρχει μια αυξανόμενη ανάγκη για ανταποκρινόμενες λύσεις σε μέτριο περιεχόμενο που δημιουργείται από LLMs. Το Amazon Comprehend Toxicity Detection API είναι ιδανικό για την αντιμετώπιση αυτής της ανάγκης.

Αίτημα Amazon Comprehend Toxicity Detection API

Μπορείτε να στείλετε έως και 10 τμήματα κειμένου στο API ανίχνευσης τοξικότητας, το καθένα με όριο μεγέθους 1 KB. Κάθε τμήμα κειμένου στο αίτημα αντιμετωπίζεται ανεξάρτητα. Στο παρακάτω παράδειγμα, δημιουργούμε ένα αρχείο JSON με το όνομα toxicity_api_input.json που περιέχει το περιεχόμενο κειμένου, συμπεριλαμβανομένων τριών δειγμάτων τμημάτων κειμένου για εποπτεία. Σημειώστε ότι στο παράδειγμα, οι βωμολοχίες καλύπτονται ως XXXX.

{ "TextSegments": [ {"Text": "and go through the door go through the door he's on the right"}, {"Text": "he's on the right XXXXX him"}, {"Text": "what the XXXX are you doing man that's why i didn't want to play"} ], "LanguageCode": "en"
}

Μπορείτε να χρησιμοποιήσετε το AWS CLI για να καλέσετε το API ανίχνευσης τοξικότητας χρησιμοποιώντας το προηγούμενο αρχείο JSON που περιέχει το περιεχόμενο κειμένου:

aws comprehend detect-toxic-content --cli-input-json file://toxicity_api_input.json

Απόκριση API για το Amazon Comprehend Toxicity Detection

Η έξοδος JSON απόκρισης API ανίχνευσης τοξικότητας θα περιλαμβάνει το αποτέλεσμα της ανάλυσης τοξικότητας στο ResultList τομέα. ResultList παραθέτει τα στοιχεία του τμήματος κειμένου και η ακολουθία αντιπροσωπεύει τη σειρά με την οποία ελήφθησαν οι ακολουθίες κειμένου στο αίτημα API. Η τοξικότητα αντιπροσωπεύει τη συνολική βαθμολογία εμπιστοσύνης της ανίχνευσης (μεταξύ 0-1). Οι ετικέτες περιλαμβάνουν μια λίστα ετικετών τοξικότητας με βαθμολογίες εμπιστοσύνης, κατηγοριοποιημένες ανά τύπο τοξικότητας.

Ο ακόλουθος κώδικας δείχνει την απάντηση JSON από το API ανίχνευσης τοξικότητας με βάση το παράδειγμα αιτήματος στην προηγούμενη ενότητα:

{ "ResultList": [ { "Toxicity": 0.009200000204145908, "Labels": [ { "Name": "PROFANITY", "Score": 0.0007999999797903001}, { "Name": "HATE_SPEECH", "Score": 0.0017999999690800905}, { "Name": "INSULT", "Score": 0.003000000026077032}, { "Name": "GRAPHIC", "Score": 0.0010000000474974513}, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.0013000000035390258}, { "Name": "SEXUAL", "Score": 0.0017000000225380063}, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.004999999888241291} ] }, { "Toxicity": 0.7358999848365784, "Labels": [ { "Name": "PROFANITY", "Score": 0.011900000274181366}, { "Name": "HATE_SPEECH", "Score": 0.019500000402331352}, { "Name": "INSULT", "Score": 0.0714000016450882}, { "Name": "GRAPHIC", "Score": 0.006099999882280827}, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.018200000748038292}, { "Name": "SEXUAL", "Score": 0.0027000000700354576}, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.8145999908447266} ] }, { "Toxicity": 0.9843000173568726, "Labels": [ { "Name": "PROFANITY", "Score": 0.9369999766349792 }, { "Name": "HATE_SPEECH", "Score": 0.30880001187324524 }, { "Name": "INSULT", "Score": 0.42100000381469727 }, { "Name": "GRAPHIC", "Score": 0.12630000710487366 }, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.25519999861717224 }, { "Name": "SEXUAL", "Score": 0.19169999659061432 }, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.19539999961853027 } ] } ]
}

Στο προηγούμενο JSON, το πρώτο τμήμα κειμένου θεωρείται ασφαλές με χαμηλή βαθμολογία τοξικότητας. Ωστόσο, το δεύτερο και το τρίτο τμήμα κειμένου έλαβαν βαθμολογίες τοξικότητας 73% και 98%, αντίστοιχα. Για το δεύτερο τμήμα, το Amazon Comprehend εντοπίζει υψηλή βαθμολογία τοξικότητας VIOLENCE_OR_THREAT; για το τρίτο τμήμα, ανιχνεύει PROFANITY με υψηλή βαθμολογία τοξικότητας.

Δείγμα αιτήματος χρησιμοποιώντας το Python SDK

Το παρακάτω απόσπασμα κώδικα δείχνει πώς να χρησιμοποιήσετε το Python SDK για να καλέσετε το API ανίχνευσης τοξικότητας. Αυτός ο κώδικας λαμβάνει την ίδια απόκριση JSON με την εντολή AWS CLI που παρουσιάστηκε νωρίτερα.

import boto3 import base64
# Initialize a Comprehend boto3 client object
comprehend_client = session.client('comprehend') # Call comprehend Detect Toxic Content API with text segments
response = comprehend_client.detect_toxic_content( TextSegments=[ {"Text": "and go through the door go through the door he's on the right"}, {"Text": "he's on the right XXXXX him"}, {"Text": "what the XXXX are you doing man that's why i didn't want to play"} ], LanguageCode='en'
)

Χαρακτηριστικά

Σε αυτήν την ανάρτηση, παρέχουμε μια επισκόπηση του νέου API ανίχνευσης τοξικότητας του Amazon Comprehend. Περιγράψαμε επίσης πώς μπορείτε να αναλύσετε την απόκριση API JSON. Για περισσότερες πληροφορίες, ανατρέξτε στο Κατανοήστε το έγγραφο API.

Η ανίχνευση τοξικότητας του Amazon Comprehend είναι πλέον γενικά διαθέσιμη σε τέσσερις Περιφέρειες: us-east-1, us-west-2, eu-west-1 και ap-southeast-2.

Για να μάθετε περισσότερα σχετικά με την εποπτεία περιεχομένου, ανατρέξτε στο Οδηγίες για την εποπτεία περιεχομένου στο AWS. Κάντε το πρώτο βήμα προς βελτιστοποίηση των λειτουργιών εποπτείας περιεχομένου με το AWS.

Σχετικά με τους Συγγραφείς

Λάνα Ζανγκ είναι Ανώτερος Αρχιτέκτονας Λύσεων στην ομάδα Υπηρεσιών AWS WWSO AI, με εξειδίκευση στην τεχνητή νοημοσύνη και την ML για την εποπτεία περιεχομένου, το Computer Vision, την Επεξεργασία Φυσικής Γλώσσας και το Generative AI. Με την τεχνογνωσία της, είναι αφοσιωμένη στην προώθηση λύσεων AWS AI/ML και στην παροχή βοήθειας στους πελάτες να μεταμορφώσουν τις επιχειρηματικές τους λύσεις σε διάφορους κλάδους, συμπεριλαμβανομένων των μέσων κοινωνικής δικτύωσης, των τυχερών παιχνιδιών, του ηλεκτρονικού εμπορίου, των μέσων ενημέρωσης, της διαφήμισης και του μάρκετινγκ.

Ραβίσα ΣΚ είναι Ανώτερος Διευθυντής Προϊόντων, Τεχνικός στην AWS με έμφαση στο AI/ML. Έχει πάνω από 10 χρόνια εμπειρίας στην ανάλυση δεδομένων και τη μηχανική μάθηση σε διαφορετικούς τομείς. Στον ελεύθερο χρόνο της, της αρέσει να διαβάζει, να πειραματίζεται στην κουζίνα και να εξερευνά νέα καφέ.