अमेज़ॅन ट्रांसक्राइब टॉक्सिसिटी डिटेक्शन | के साथ बोली जाने वाली बातचीत में हानिकारक भाषा को चिह्नित करें अमेज़न वेब सेवाएँ

सोशल नेटवर्किंग या ऑनलाइन गेमिंग जैसी ऑनलाइन सामाजिक गतिविधियों में वृद्धि अक्सर शत्रुतापूर्ण या आक्रामक व्यवहार से भरी होती है जो घृणास्पद भाषण, साइबरबुलिंग या उत्पीड़न की अनचाही अभिव्यक्तियों को जन्म दे सकती है। उदाहरण के लिए, कई ऑनलाइन गेमिंग समुदाय अपने उपयोगकर्ताओं के बीच संचार की सुविधा के लिए वॉयस चैट कार्यक्षमता प्रदान करते हैं। हालाँकि वॉइस चैट अक्सर मैत्रीपूर्ण मज़ाक और बेकार की बातचीत का समर्थन करती है, लेकिन इससे अभद्र भाषा, साइबरबुलिंग, उत्पीड़न और घोटाले जैसी समस्याएं भी हो सकती हैं। हानिकारक भाषा को चिह्नित करने से संगठनों को बातचीत को सभ्य बनाए रखने और उपयोगकर्ताओं को स्वतंत्र रूप से बनाने, साझा करने और भाग लेने के लिए एक सुरक्षित और समावेशी ऑनलाइन वातावरण बनाए रखने में मदद मिलती है। आज, कई कंपनियां विषाक्त सामग्री की समीक्षा के लिए पूरी तरह से मानव मॉडरेटर पर निर्भर हैं। हालाँकि, इन जरूरतों को पर्याप्त गुणवत्ता और गति से पूरा करने के लिए मानव मध्यस्थों को स्केल करना महंगा है। परिणामस्वरूप, कई संगठनों को उच्च उपयोगकर्ता क्षरण दर, प्रतिष्ठा क्षति और नियामक जुर्माने का सामना करने का जोखिम उठाना पड़ता है। इसके अलावा, जहरीली सामग्री की समीक्षा करने से मॉडरेटर अक्सर मनोवैज्ञानिक रूप से प्रभावित होते हैं।

Amazon Transcribe एक स्वचालित वाक् पहचान (एएसआर) सेवा है जो डेवलपर्स के लिए अपने अनुप्रयोगों में वाक्-से-पाठ क्षमता जोड़ना आसान बनाती है। आज, हम घोषणा करते हुए उत्साहित हैं अमेज़ॅन ट्रांसक्राइब विषाक्तता का पता लगाना, एक मशीन लर्निंग (एमएल)-संचालित क्षमता जो यौन उत्पीड़न, अभद्र भाषा, धमकी, दुर्व्यवहार, अपवित्रता, अपमान और ग्राफिक भाषा सहित सात श्रेणियों में आवाज-आधारित विषाक्त सामग्री की पहचान और वर्गीकरण करने के लिए ऑडियो और टेक्स्ट-आधारित संकेतों दोनों का उपयोग करती है। . पाठ के अलावा, विषाक्तता का पता लगाने में भाषण में विषाक्त इरादे को सुधारने के लिए टोन और पिच जैसे भाषण संकेतों का उपयोग किया जाता है।

यह मानक सामग्री मॉडरेशन सिस्टम से एक सुधार है जो इरादे को ध्यान में रखे बिना केवल विशिष्ट शब्दों पर ध्यान केंद्रित करने के लिए डिज़ाइन किया गया है। अधिकांश उद्यमों के पास उपयोगकर्ताओं द्वारा रिपोर्ट की गई सामग्री की समीक्षा करने के लिए 7-15 दिनों का एसएलए है क्योंकि बातचीत कब और कैसे जहरीली हुई, इसका मूल्यांकन करने के लिए मॉडरेटर को लंबी ऑडियो फ़ाइलें सुननी चाहिए। अमेज़ॅन ट्रांसक्राइब टॉक्सिसिटी डिटेक्शन के साथ, मॉडरेटर केवल विषाक्त सामग्री (बनाम संपूर्ण ऑडियो फ़ाइल) के लिए चिह्नित ऑडियो फ़ाइल के विशिष्ट भाग की समीक्षा करते हैं। मानव मॉडरेटर द्वारा समीक्षा की जाने वाली सामग्री को 95% तक कम कर दिया गया है, जिससे ग्राहक अपने एसएलए को केवल कुछ घंटों तक कम कर सकते हैं, साथ ही उन्हें उपयोगकर्ताओं द्वारा चिह्नित सामग्री से परे अधिक सामग्री को सक्रिय रूप से मॉडरेट करने में सक्षम बना सकते हैं। यह उद्यमों को स्वचालित रूप से बड़े पैमाने पर सामग्री का पता लगाने और मॉडरेट करने, एक सुरक्षित और समावेशी ऑनलाइन वातावरण प्रदान करने और उपयोगकर्ता के मंथन या प्रतिष्ठा को नुकसान पहुंचाने से पहले कार्रवाई करने की अनुमति देगा। विषाक्त सामग्री का पता लगाने के लिए उपयोग किए जाने वाले मॉडल अमेज़ॅन ट्रांसक्राइब द्वारा बनाए रखे जाते हैं और सटीकता और प्रासंगिकता बनाए रखने के लिए समय-समय पर अपडेट किए जाते हैं।

इस पोस्ट में, आप सीखेंगे कि कैसे:

• अमेज़ॅन ट्रांसक्राइब टॉक्सिसिटी डिटेक्शन के साथ भाषण में हानिकारक सामग्री की पहचान करें
• विषाक्तता का पता लगाने के लिए अमेज़ॅन ट्रांसक्राइब कंसोल का उपयोग करें
• का उपयोग करके विषाक्तता का पता लगाने के साथ एक प्रतिलेखन कार्य बनाएं AWS कमांड लाइन इंटरफ़ेस (एडब्ल्यूएस सीएलआई) और पायथन एसडीके
• अमेज़ॅन ट्रांसक्राइब विषाक्तता पहचान एपीआई प्रतिक्रिया का उपयोग करें

अमेज़ॅन ट्रांसक्राइब टॉक्सिसिटी डिटेक्शन के साथ ऑडियो चैट में विषाक्तता का पता लगाएं

अमेज़ॅन ट्रांसक्राइब अब बोली जाने वाली बातचीत में हानिकारक भाषा को चिह्नित करने के लिए एक सरल, एमएल-आधारित समाधान प्रदान करता है। यह सुविधा सोशल मीडिया, गेमिंग और सामान्य जरूरतों के लिए विशेष रूप से उपयोगी है, जिससे ग्राहकों को एमएल मॉडल को प्रशिक्षित करने के लिए अपना डेटा प्रदान करने की आवश्यकता समाप्त हो जाती है। विषाक्तता का पता लगाना विषाक्त ऑडियो सामग्री को निम्नलिखित सात श्रेणियों में वर्गीकृत करता है और प्रत्येक श्रेणी के लिए आत्मविश्वास स्कोर (0-1) प्रदान करता है:

• गालियां बकने की क्रिया - ऐसा भाषण जिसमें ऐसे शब्द, वाक्यांश या संक्षिप्ताक्षर हों जो असभ्य, अश्लील या आक्रामक हों।
• द्वेषपूर्ण भाषण - ऐसा भाषण जो किसी पहचान (जैसे जाति, जातीयता, लिंग, धर्म, यौन अभिविन्यास, क्षमता और राष्ट्रीय मूल) के आधार पर किसी व्यक्ति या समूह की आलोचना, अपमान, निंदा या अमानवीयकरण करता है।
• यौन - भाषण जो शरीर के अंगों, शारीरिक लक्षणों या लिंग के प्रत्यक्ष या अप्रत्यक्ष संदर्भों का उपयोग करके यौन रुचि, गतिविधि या उत्तेजना को इंगित करता है।
• अपमान - ऐसा भाषण जिसमें नीचा दिखाने वाली, अपमानित करने वाली, मज़ाक उड़ाने वाली, अपमानित करने वाली या कमतर भाषा बोलने वाली भाषा शामिल हो। इस प्रकार की भाषा को बदमाशी की संज्ञा भी दी जाती है।
• हिंसा या धमकी - ऐसा भाषण जिसमें किसी व्यक्ति या समूह को दर्द, चोट पहुंचाने या शत्रुता पैदा करने की धमकियां शामिल हों।
• ग्राफ़िक - भाषण जो दृश्यात्मक वर्णनात्मक और अप्रिय रूप से ज्वलंत कल्पना का उपयोग करता है। इस प्रकार की भाषा अक्सर प्राप्तकर्ता की असुविधा को बढ़ाने के लिए जानबूझकर वाचाल होती है।
• उत्पीड़न या दुर्व्यवहार - भाषण का उद्देश्य प्राप्तकर्ता के मनोवैज्ञानिक कल्याण को प्रभावित करना है, जिसमें अपमानजनक और आपत्तिजनक शब्द शामिल हैं।

आप या तो अमेज़ॅन ट्रांसक्राइब कंसोल के माध्यम से या एडब्ल्यूएस सीएलआई या एडब्ल्यूएस एसडीके का उपयोग करके सीधे एपीआई को कॉल करके विषाक्तता का पता लगा सकते हैं। अमेज़ॅन ट्रांसक्राइब कंसोल पर, आप उन ऑडियो फ़ाइलों को अपलोड कर सकते हैं जिन्हें आप विषाक्तता के लिए परीक्षण करना चाहते हैं और कुछ ही क्लिक में परिणाम प्राप्त कर सकते हैं। अमेज़ॅन ट्रांसक्राइब उत्पीड़न, अभद्र भाषा, यौन सामग्री, हिंसा, अपमान और अपवित्रता जैसी विषाक्त सामग्री की पहचान और वर्गीकरण करेगा। अमेज़ॅन ट्रांसक्राइब प्रत्येक श्रेणी के लिए एक आत्मविश्वास स्कोर भी प्रदान करता है, जो सामग्री के विषाक्तता स्तर में मूल्यवान अंतर्दृष्टि प्रदान करता है। विषाक्तता का पता लगाना वर्तमान में बैच प्रोसेसिंग के लिए मानक अमेज़ॅन ट्रांसक्राइब एपीआई में उपलब्ध है और यूएस अंग्रेजी भाषा का समर्थन करता है।

अमेज़ॅन ट्रांसक्राइब कंसोल वॉकथ्रू

आरंभ करने के लिए, में साइन इन करें एडब्ल्यूएस प्रबंधन कंसोल और Amazon Transcribe पर जाएं। एक नया ट्रांसक्रिप्शन कार्य बनाने के लिए, आपको अपनी रिकॉर्ड की गई फ़ाइलों को एक में अपलोड करना होगा अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) संसाधित होने से पहले बाल्टी। ऑडियो सेटिंग पृष्ठ पर, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है, सक्षम करें विषाक्तता का पता लगाना और नई नौकरी बनाने के लिए आगे बढ़ें। अमेज़ॅन ट्रांसक्राइब पृष्ठभूमि में ट्रांसक्रिप्शन कार्य को संसाधित करेगा। जैसे-जैसे काम आगे बढ़ेगा, आप स्थिति में बदलाव की उम्मीद कर सकते हैं पूरा कर लिया है जब प्रक्रिया समाप्त हो जाती है।

प्रतिलेखन कार्य के परिणामों की समीक्षा करने के लिए, इसे खोलने के लिए कार्य सूची में से कार्य चुनें। नीचे स्क्रॉल करें ट्रांसक्रिप्शन पूर्वावलोकन परिणामों की जांच करने के लिए अनुभाग विषैलापन टैब. यूआई आत्मविश्वास स्कोर द्वारा निर्धारित विषाक्तता के स्तर को इंगित करने के लिए रंग-कोडित प्रतिलेखन खंड दिखाता है। डिस्प्ले को कस्टमाइज़ करने के लिए, आप टॉगल बार का उपयोग कर सकते हैं फ़िल्टर फलक. ये बार आपको सीमा को समायोजित करने और तदनुसार विषाक्तता श्रेणियों को फ़िल्टर करने की अनुमति देते हैं।

निम्नलिखित स्क्रीनशॉट में संवेदनशील या विषाक्त जानकारी की उपस्थिति के कारण प्रतिलेखन पाठ के कुछ हिस्सों को कवर किया गया है।

विषाक्तता का पता लगाने के अनुरोध के साथ ट्रांसक्रिप्शन एपीआई

इस अनुभाग में, हम प्रोग्रामिंग इंटरफेस का उपयोग करके विषाक्तता का पता लगाने के साथ एक ट्रांसक्रिप्शन कार्य बनाने में आपका मार्गदर्शन करते हैं। यदि ऑडियो फ़ाइल पहले से ही S3 बकेट में नहीं है, तो Amazon Transcribe द्वारा पहुंच सुनिश्चित करने के लिए इसे अपलोड करें। कंसोल पर ट्रांसक्रिप्शन जॉब बनाने के समान, जॉब को लागू करते समय, आपको निम्नलिखित पैरामीटर प्रदान करने की आवश्यकता होती है:

• प्रतिलेखन नौकरी का नाम - एक अद्वितीय कार्य नाम निर्दिष्ट करें।
• MediaFileUri - Amazon S3 पर ऑडियो फ़ाइल का URI स्थान दर्ज करें। Amazon Transcribe निम्नलिखित ऑडियो प्रारूपों का समर्थन करता है: MP3, MP4, WAV, FLAC, AMR, OGG, या WebM
• भाषा कोड - करने के लिए सेट en-US. इस लेखन के समय, विषाक्तता जांच केवल अमेरिकी अंग्रेजी भाषा का समर्थन करती है।
• विषाक्तताश्रेणियाँ - इधर दें ALL सभी समर्थित विषाक्तता पहचान श्रेणियों को शामिल करने के लिए मूल्य।

Python3 का उपयोग करके विषाक्तता का पता लगाने में सक्षम ट्रांसक्रिप्शन कार्य शुरू करने के उदाहरण निम्नलिखित हैं:

import time
import boto3 transcribe = boto3.client('transcribe', 'us-east-1')
job_name = "toxicity-detection-demo"
job_uri = "s3://my-bucket/my-folder/my-file.wav" # start a transcription job
transcribe.start_transcription_job( TranscriptionJobName = job_name, Media = { 'MediaFileUri': job_uri }, OutputBucketName = 'doc-example-bucket', OutputKey = 'my-output-files/', LanguageCode = 'en-US', ToxicityDetection = [{'ToxicityCategories': ['ALL']}]
) # wait for the transcription job to complete
while True: status = transcribe.get_transcription_job(TranscriptionJobName = job_name) if status['TranscriptionJob']['TranscriptionJobStatus'] in ['COMPLETED', 'FAILED']: break print("Not ready yet...") time.sleep(5) print(status)

आप निम्नलिखित AWS CLI कमांड का उपयोग करके विषाक्तता का पता लगाने के साथ उसी ट्रांसक्रिप्शन कार्य को शुरू कर सकते हैं:

aws transcribe start-transcription-job --region us-east-1 --transcription-job-name toxicity-detection-demo --media MediaFileUri=s3://my-bucket/my-folder/my-file.wav --output-bucket-name doc-example-bucket --output-key my-output-files/ --language-code en-US --toxicity-detection ToxicityCategories=ALL

विषाक्तता का पता लगाने की प्रतिक्रिया के साथ प्रतिलेखन एपीआई

अमेज़ॅन ट्रांसक्राइब विषाक्तता का पता लगाने वाले JSON आउटपुट में परिणाम फ़ील्ड में ट्रांसक्रिप्शन परिणाम शामिल होंगे। विषाक्तता का पता लगाने को सक्षम करने से एक अतिरिक्त फ़ील्ड जुड़ जाता है जिसे कहा जाता है toxicityDetection परिणाम फ़ील्ड के अंतर्गत. toxicityDetection निम्नलिखित मापदंडों के साथ प्रतिलेखित वस्तुओं की एक सूची शामिल है:

• टेक्स्ट - कच्चा लिखित पाठ
• विषाक्तता - पता लगाने का आत्मविश्वास स्कोर (0-1 के बीच का मान)
• श्रेणियाँ - विषाक्त भाषण की प्रत्येक श्रेणी के लिए एक आत्मविश्वास स्कोर
• समय शुरू - ऑडियो फ़ाइल में पता लगाने की प्रारंभिक स्थिति (सेकंड)
• अंतिम समय - ऑडियो फ़ाइल में पता लगाने की अंतिम स्थिति (सेकंड)

निम्नलिखित एक नमूना संक्षिप्त विषाक्तता पहचान प्रतिक्रिया है जिसे आप कंसोल से डाउनलोड कर सकते हैं:

{ "results":{ "transcripts": [...], "items":[...], "toxicityDetection": [ { "text": "A TOXIC TRANSCRIPTION SEGMENT GOES HERE.", "toxicity": 0.8419, "categories": { "PROFANITY": 0.7041, "HATE_SPEECH": 0.0163, "SEXUAL": 0.0097, "INSULT": 0.8532, "VIOLENCE_OR_THREAT": 0.0031, "GRAPHIC": 0.0017, "HARASSMENT_OR_ABUSE": 0.0497 }, "start_time": 16.298, "end_time": 20.35 }, ... ] }, "status": "COMPLETED"
}

सारांश

इस पोस्ट में, हमने नए अमेज़ॅन ट्रांसक्राइब टॉक्सिसिटी डिटेक्शन फीचर का अवलोकन प्रदान किया है। हमने यह भी बताया कि आप विषाक्तता का पता लगाने वाले JSON आउटपुट को कैसे पार्स कर सकते हैं। अधिक जानकारी के लिए, अमेज़ॅन ट्रांसक्राइब कंसोल देखें और विषाक्तता जांच के साथ ट्रांसक्रिप्शन एपीआई आज़माएं।

अमेज़ॅन ट्रांसक्राइब टॉक्सिसिटी डिटेक्शन अब निम्नलिखित एडब्ल्यूएस क्षेत्रों में उपलब्ध है: यूएस ईस्ट (ओहियो), यूएस ईस्ट (एन वर्जीनिया), यूएस वेस्ट (ओरेगन), एशिया पैसिफिक (सिडनी), यूरोप (आयरलैंड), और यूरोप (लंदन)। अधिक जानने के लिए, विजिट करें Amazon Transcribe.

इस बारे में अधिक जानें AWS पर सामग्री मॉडरेशन और हमारे सामग्री मॉडरेशन एमएल उपयोग के मामले. की ओर पहला कदम बढ़ाएं AWS के साथ अपने सामग्री मॉडरेशन संचालन को सुव्यवस्थित करना.

लेखक के बारे में

लाना झांगो AWS WWSO AI सर्विसेज टीम में एक वरिष्ठ समाधान वास्तुकार हैं, जो सामग्री मॉडरेशन, कंप्यूटर विज़न और प्राकृतिक भाषा प्रसंस्करण के लिए AI और ML में विशेषज्ञता रखते हैं। अपनी विशेषज्ञता के साथ, वह एडब्ल्यूएस एआई/एमएल समाधानों को बढ़ावा देने और सोशल मीडिया, गेमिंग, ई-कॉमर्स और विज्ञापन एवं मार्केटिंग सहित विभिन्न उद्योगों में अपने व्यावसायिक समाधानों को बदलने में ग्राहकों की सहायता करने के लिए समर्पित है।

सुमित कुमार AWS AI भाषा सेवा टीम में एक वरिष्ठ उत्पाद प्रबंधक, तकनीकी हैं। उनके पास विभिन्न डोमेन में उत्पाद प्रबंधन का 10 साल का अनुभव है और एआई/एमएल के प्रति उनका जुनून है। काम के अलावा, सुमित को यात्रा करना पसंद है और वह क्रिकेट और लॉन-टेनिस खेलना पसंद करता है।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. ऑटोमोटिव/ईवीएस, कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• BlockOffsets. पर्यावरणीय ऑफसेट स्वामित्व का आधुनिकीकरण। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/flag-harmful-language-in-spoken-conversations-with-amazon-transcribe-toxicity-detection/