ضع علامة على اللغة الضارة في المحادثات المنطوقة باستخدام Amazon Transcribe Toxicity Detection | خدمات أمازون ويب

غالبًا ما تكون الزيادة في الأنشطة الاجتماعية عبر الإنترنت مثل الشبكات الاجتماعية أو الألعاب عبر الإنترنت مليئة بالسلوك العدواني أو العدواني الذي يمكن أن يؤدي إلى مظاهر غير مرغوب فيها لخطاب الكراهية أو التنمر عبر الإنترنت أو المضايقة. على سبيل المثال ، تقدم العديد من مجتمعات الألعاب عبر الإنترنت وظائف الدردشة الصوتية لتسهيل الاتصال بين مستخدميها. على الرغم من أن الدردشة الصوتية غالبًا ما تدعم المزاح الودي والتحدث غير المقبول ، إلا أنها قد تؤدي أيضًا إلى مشاكل مثل الكلام الذي يحض على الكراهية والتسلط عبر الإنترنت والمضايقات والخداع. يساعد الإبلاغ عن اللغة الضارة المؤسسات في الحفاظ على المحادثات حضارية والحفاظ على بيئة آمنة وشاملة عبر الإنترنت للمستخدمين لإنشاء ومشاركة والمشاركة بحرية. اليوم ، تعتمد العديد من الشركات فقط على الوسطاء البشريين لمراجعة المحتوى السام. ومع ذلك ، فإن توسيع نطاق الوسطاء البشريين لتلبية هذه الاحتياجات بجودة وسرعة كافيين أمر مكلف. نتيجة لذلك ، تخاطر العديد من المؤسسات بمواجهة معدلات تناقص عدد المستخدمين العالية ، وإلحاق الضرر بالسمعة ، والغرامات التنظيمية. بالإضافة إلى ذلك ، غالبًا ما يتأثر الوسطاء نفسياً بمراجعة المحتوى السام.

الأمازون النسخ هي خدمة التعرف التلقائي على الكلام (ASR) التي تسهل على المطورين إضافة إمكانية تحويل الكلام إلى نص إلى تطبيقاتهم. اليوم ، نحن متحمسون للإعلان Amazon Transcribe كشف السمية، قدرة تعتمد على التعلم الآلي (ML) تستخدم الإشارات الصوتية والنصية لتحديد وتصنيف المحتوى السام القائم على الصوت عبر سبع فئات ، بما في ذلك التحرش الجنسي ، وخطاب الكراهية ، والتهديدات ، والإساءة ، والألفاظ النابية ، والإهانات ، واللغة الرسومية . بالإضافة إلى النص ، يستخدم اكتشاف السمية إشارات الكلام مثل النغمات والنبرة للتركيز على النية السامة في الكلام.

هذا تحسين من أنظمة تعديل المحتوى القياسية المصممة للتركيز فقط على شروط محددة ، دون مراعاة النية. تمتلك معظم المؤسسات اتفاقية مستوى خدمة (SLA) من 7 إلى 15 يومًا لمراجعة المحتوى الذي أبلغ عنه المستخدمون لأن المشرفين يجب أن يستمعوا إلى ملفات صوتية مطولة لتقييم ما إذا كانت المحادثة سامة ومتى. باستخدام Amazon Transcribe Toxicity Detection ، يقوم الوسطاء فقط بمراجعة الجزء المحدد من الملف الصوتي الذي تم وضع علامة عليه بحثًا عن المحتوى السام (مقابل الملف الصوتي بأكمله). يجب أن تتم مراجعة المحتوى الذي يجب على المشرفين البشريين مراجعته بنسبة 95٪ ، مما يمكّن العملاء من تقليل اتفاقية مستوى الخدمة (SLA) الخاصة بهم إلى بضع ساعات فقط ، بالإضافة إلى تمكينهم من الإشراف بشكل استباقي على المزيد من المحتوى بما يتجاوز فقط ما تم الإبلاغ عنه من قبل المستخدمين. سيسمح للمؤسسات باكتشاف المحتوى وتعديله تلقائيًا على نطاق واسع ، وتوفير بيئة آمنة وشاملة عبر الإنترنت ، واتخاذ الإجراءات قبل أن يتسبب في اضطراب المستخدم أو الإضرار بالسمعة. يتم الاحتفاظ بالنماذج المستخدمة لاكتشاف المحتوى السام بواسطة Amazon Transcribe ويتم تحديثها بشكل دوري للحفاظ على الدقة والأهمية.

في هذا المنشور ، ستتعلم كيفية:

• حدد المحتوى الضار في الكلام باستخدام Amazon Transcribe Toxicity Detection
• استخدم وحدة تحكم Amazon Transcribe لاكتشاف السمية
• قم بإنشاء وظيفة نسخ مع الكشف عن السمية باستخدام واجهة سطر الأوامر AWS (AWS CLI) و Python SDK
• استخدم استجابة واجهة برمجة تطبيقات اكتشاف السمية في Amazon Transcribe

اكتشف السمية في الدردشة الصوتية باستخدام Amazon Transcribe Toxicity Detection

يوفر Amazon Transcribe الآن حلاً بسيطًا يعتمد على ML للإبلاغ عن اللغة الضارة في المحادثات المنطوقة. هذه الميزة مفيدة بشكل خاص لوسائل التواصل الاجتماعي والألعاب والاحتياجات العامة ، مما يلغي حاجة العملاء إلى تقديم بياناتهم الخاصة لتدريب نموذج ML. يصنف نظام اكتشاف السمية المحتوى الصوتي السام إلى الفئات السبع التالية ويوفر درجة ثقة (0-1) لكل فئة:

• شتم - الكلام الذي يحتوي على كلمات أو عبارات أو اختصارات غير مهذبة أو مبتذلة أو متأصلة.
• خطاب الكراهية - الكلام الذي ينتقد ، أو يهين ، أو يندد ، أو يجرد شخصًا أو جماعة من إنسانيته على أساس الهوية (مثل العرق ، والعرق ، والجنس ، والدين ، والتوجه الجنسي ، والقدرة ، والأصل القومي).
• جنسي - الكلام الذي يشير إلى الاهتمام الجنسي أو النشاط أو الإثارة باستخدام إشارات مباشرة أو غير مباشرة لأجزاء الجسم أو السمات الجسدية أو الجنس.
• الشتائم - الكلام الذي يتضمن لغة التحقير أو التحقير أو السخرية أو الإهانة أو التقليل من شأنها. يتم أيضًا تصنيف هذا النوع من اللغة على أنه تنمر.
• عنف أو تهديد - الكلام الذي يتضمن تهديدات تسعى إلى إحداث ألم أو إصابة أو عداء تجاه شخص أو مجموعة.
• Graphic - الكلام الذي يستخدم الصور الوصفية المرئية والمفعمة بالحيوية بشكل غير سار. غالبًا ما يكون هذا النوع من اللغة مطولًا عن قصد لتضخيم انزعاج المستلم.
• التحرش أو الإساءة - الكلام الذي يهدف إلى التأثير على الصحة النفسية للمتلقي ، بما في ذلك المصطلحات التحقيرية والشيئية.

يمكنك الوصول إلى اكتشاف السمية إما عبر وحدة تحكم Amazon Transcribe أو عن طريق استدعاء واجهات برمجة التطبيقات مباشرة باستخدام AWS CLI أو AWS SDK. على وحدة تحكم Amazon Transcribe ، يمكنك تحميل الملفات الصوتية التي تريد اختبار السمية والحصول على النتائج ببضع نقرات فقط. ستقوم Amazon Transcribe بتحديد وتصنيف المحتوى السام ، مثل التحرش وخطاب الكراهية والمحتوى الجنسي والعنف والإهانات والألفاظ النابية. يوفر Amazon Transcribe أيضًا درجة ثقة لكل فئة ، مما يوفر رؤى قيمة حول مستوى سمية المحتوى. يتوفر اكتشاف السمية حاليًا في Amazon Transcribe API القياسي لمعالجة الدُفعات ويدعم اللغة الإنجليزية الأمريكية.

إرشادات وحدة تحكم Amazon Transcribe

للبدء ، قم بتسجيل الدخول إلى وحدة تحكم إدارة AWS وانتقل إلى Amazon Transcribe. لإنشاء وظيفة نسخ جديدة ، تحتاج إلى تحميل ملفاتك المسجلة في ملف خدمة تخزين أمازون البسيطة (Amazon S3) قبل معالجتها. في صفحة إعدادات الصوت ، كما هو موضح في لقطة الشاشة التالية ، قم بتمكين كشف السمية والمضي قدما لإنشاء الوظيفة الجديدة. ستقوم Amazon Transcribe بمعالجة وظيفة النسخ في الخلفية. مع تقدم الوظيفة ، يمكنك توقع تغيير الحالة إلى منجز عند انتهاء العملية.

لمراجعة نتائج مهمة النسخ ، اختر الوظيفة من قائمة الوظائف لفتحها. قم بالتمرير لأسفل إلى ملف معاينة النسخ قسم للتحقق من النتائج على سمية فاتورة غير مدفوعة. تعرض واجهة المستخدم مقاطع النسخ ذات الترميز اللوني للإشارة إلى مستوى السمية ، الذي تحدده درجة الثقة. لتخصيص العرض ، يمكنك استخدام أشرطة التبديل في ملف فلاتر جزء. تسمح لك هذه الأشرطة بتعديل الحدود وتصفية فئات السمية وفقًا لذلك.

غطت لقطة الشاشة التالية أجزاء من نص النسخ نظرًا لوجود معلومات حساسة أو سامة.

النسخ API مع طلب الكشف عن السمية

في هذا القسم ، نوجهك خلال إنشاء وظيفة نسخ مع اكتشاف السمية باستخدام واجهات البرمجة. إذا لم يكن الملف الصوتي موجودًا بالفعل في حاوية S3 ، فقم بتحميله لضمان الوصول إليه عن طريق Amazon Transcribe. على غرار إنشاء وظيفة نسخ على وحدة التحكم ، عند استدعاء الوظيفة ، تحتاج إلى توفير المعلمات التالية:

• اسم الوظيفة - تحديد اسم وظيفي فريد.
• ميديا ​​فايلوري - أدخل موقع URI لملف الصوت على Amazon S3. يدعم Amazon Transcribe تنسيقات الصوت التالية: MP3 أو MP4 أو WAV أو FLAC أو AMR أو OGG أو WebM
• رمز اللغة - ضبط ل en-US. حتى كتابة هذه السطور ، يدعم برنامج Toxicity Detection اللغة الإنجليزية الأمريكية فقط.
• الفئات - مرر ال ALL القيمة لتضمين جميع فئات الكشف عن السمية المدعومة.

فيما يلي أمثلة لبدء مهمة نسخ مع تمكين اكتشاف السمية باستخدام Python3:

import time
import boto3 transcribe = boto3.client('transcribe', 'us-east-1')
job_name = "toxicity-detection-demo"
job_uri = "s3://my-bucket/my-folder/my-file.wav" # start a transcription job
transcribe.start_transcription_job( TranscriptionJobName = job_name, Media = { 'MediaFileUri': job_uri }, OutputBucketName = 'doc-example-bucket', OutputKey = 'my-output-files/', LanguageCode = 'en-US', ToxicityDetection = [{'ToxicityCategories': ['ALL']}]
) # wait for the transcription job to complete
while True: status = transcribe.get_transcription_job(TranscriptionJobName = job_name) if status['TranscriptionJob']['TranscriptionJobStatus'] in ['COMPLETED', 'FAILED']: break print("Not ready yet...") time.sleep(5) print(status)

يمكنك استدعاء وظيفة النسخ نفسها مع اكتشاف السمية باستخدام أمر AWS CLI التالي:

aws transcribe start-transcription-job --region us-east-1 --transcription-job-name toxicity-detection-demo --media MediaFileUri=s3://my-bucket/my-folder/my-file.wav --output-bucket-name doc-example-bucket --output-key my-output-files/ --language-code en-US --toxicity-detection ToxicityCategories=ALL

API النسخ مع استجابة الكشف عن السمية

سيتضمن إخراج JSON للكشف عن السمية في Amazon Transcribe نتائج النسخ في حقل النتائج. يؤدي تمكين اكتشاف السمية إلى إضافة حقل إضافي يسمى toxicityDetection تحت حقل النتائج. toxicityDetection يتضمن قائمة بالعناصر المكتوبة مع المعلمات التالية:

• نص - النص الخام المكتوب
• سمية - درجة الثقة في الاكتشاف (قيمة بين 0-1)
• الفئات - درجة ثقة لكل فئة من فئات الكلام السام
• وقت البدء - موضع بدء الكشف في ملف الصوت (بالثواني)
• وقت النهاية - موضع الكشف النهائي في ملف الصوت (بالثواني)

فيما يلي نموذج لاستجابة الكشف عن السمية المختصرة التي يمكنك تنزيلها من وحدة التحكم:

{ "results":{ "transcripts": [...], "items":[...], "toxicityDetection": [ { "text": "A TOXIC TRANSCRIPTION SEGMENT GOES HERE.", "toxicity": 0.8419, "categories": { "PROFANITY": 0.7041, "HATE_SPEECH": 0.0163, "SEXUAL": 0.0097, "INSULT": 0.8532, "VIOLENCE_OR_THREAT": 0.0031, "GRAPHIC": 0.0017, "HARASSMENT_OR_ABUSE": 0.0497 }, "start_time": 16.298, "end_time": 20.35 }, ... ] }, "status": "COMPLETED"
}

نبذة عامة

في هذا المنشور ، قدمنا ​​نظرة عامة على ميزة اكتشاف السمية الجديدة في Amazon Transcribe. وصفنا أيضًا كيف يمكنك تحليل إخراج JSON لاكتشاف السمية. لمزيد من المعلومات ، تحقق من وحدة تحكم Amazon Transcribe وجرب واجهة برمجة تطبيقات Transcription مع اكتشاف السمية.

يتوفر Amazon Transcribe Toxicity Detection الآن في مناطق AWS التالية: شرق الولايات المتحدة (أوهايو) ، وشرق الولايات المتحدة (شمال فيرجينيا) ، وغرب الولايات المتحدة (أوريغون) ، وآسيا والمحيط الهادئ (سيدني) ، وأوروبا (أيرلندا) ، وأوروبا (لندن). لمعرفة المزيد ، قم بزيارة الأمازون النسخ.

معرفة المزيد عن الإشراف على المحتوى على AWS ولنا الاعتدال في المحتوى وحالات استخدام ML. اتخذ الخطوة الأولى نحو تبسيط عمليات إدارة المحتوى باستخدام AWS.

عن المؤلف

لانا تشانغ هو مهندس حلول أقدم في فريق AWS WWSO AI Services ، وهو متخصص في الذكاء الاصطناعي والتعلم الآلي من أجل الإشراف على المحتوى ورؤية الكمبيوتر ومعالجة اللغة الطبيعية. بفضل خبرتها ، تكرس نفسها للترويج لحلول AWS AI / ML ومساعدة العملاء في تحويل حلول أعمالهم عبر صناعات متنوعة ، بما في ذلك الوسائط الاجتماعية والألعاب والتجارة الإلكترونية والإعلان والتسويق.

سوميت كومار هو مدير منتج ، تقني في فريق AWS AI Language Services. لديه 10 سنوات من الخبرة في إدارة المنتجات عبر مجموعة متنوعة من المجالات وهو شغوف بالذكاء الاصطناعي / تعلم الآلة. خارج العمل ، يحب سوميت السفر ويستمتع بلعب الكريكيت والتنس.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون السيارات / المركبات الكهربائية ، كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• BlockOffsets. تحديث ملكية الأوفست البيئية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/flag-harmful-language-in-spoken-conversations-with-amazon-transcribe-toxicity-detection/