סמן שפה מזיקה בשיחות מדוברות עם Amazon Transcribe Toxicity Detection | שירותי האינטרנט של אמזון

הגידול בפעילויות חברתיות מקוונות כגון רשתות חברתיות או משחקים מקוונים רצוף לרוב בהתנהגות עוינת או תוקפנית שעלולה להוביל לביטויים בלתי רצויים של דברי שטנה, בריונות ברשת או הטרדה. לדוגמה, קהילות משחק מקוונות רבות מציעות פונקציונליות של צ'אט קולי כדי להקל על התקשורת בין המשתמשים שלהן. למרות שצ'אט קולי תומך לעתים קרובות בהתלוצצות ידידותית ובדיבור זבל, הוא יכול גם להוביל לבעיות כמו דברי שטנה, בריונות ברשת, הטרדה והונאות. סימון שפה מזיקה עוזר לארגונים לשמור על שיחות אזרחיות ולשמור על סביבה מקוונת בטוחה ומכילה למשתמשים ליצור, לשתף ולהשתתף בחופשיות. כיום, חברות רבות מסתמכות אך ורק על מנחים אנושיים לבדיקת תוכן רעיל. עם זאת, קנה מידה של מנהלים אנושיים כדי לענות על צרכים אלה באיכות ובמהירות מספקת הוא יקר. כתוצאה מכך, ארגונים רבים מסתכנים בפני שיעורי שחיקה גבוהים של משתמשים, פגיעה במוניטין וקנסות רגולטוריים. בנוסף, מנחים לרוב מושפעים פסיכולוגית מבדיקת התוכן הרעיל.

אמזון תעתיק הוא שירות זיהוי דיבור אוטומטי (ASR) המקל על מפתחים להוסיף יכולת דיבור לטקסט ליישומים שלהם. היום אנחנו נרגשים להכריז זיהוי רעילות לתמלול אמזון, יכולת למידת מכונה (ML) שמשתמשת ברמזים מבוססי אודיו וטקסט כדי לזהות ולסווג תוכן רעיל מבוסס קול בשבע קטגוריות, כולל הטרדה מינית, דברי שטנה, איומים, התעללות, ניבול פה, עלבונות ושפה גרפית . בנוסף לטקסט, זיהוי רעילות משתמש ברמזים של דיבור כגון צלילים וגובה קול כדי לחדד את הכוונה הרעילה בדיבור.

זהו שיפור ממערכות ניהול תוכן סטנדרטיות שנועדו להתמקד רק במונחים ספציפיים, ללא התחשבות בכוונה. לרוב הארגונים יש SLA של 7-15 ימים כדי לסקור תוכן שדווח על ידי משתמשים מכיוון שמנחים חייבים להאזין לקבצי אודיו ארוכים כדי להעריך אם ומתי השיחה הפכה רעילה. עם Amazon Transcribe Toxcity Detection, מנהלים בודקים רק את החלק הספציפי של קובץ האודיו המסומן כתוכן רעיל (לעומת קובץ האודיו כולו). התוכן שמנהלים אנושיים חייבים לבדוק מופחת ב-95%, מה שמאפשר ללקוחות להפחית את ה-SLA שלהם למספר שעות בלבד, כמו גם לאפשר להם לנהל באופן יזום יותר תוכן מעבר למה שסומן על ידי המשתמשים. זה יאפשר לארגונים לזהות ולתת תוכן באופן אוטומטי בקנה מידה גדול, לספק סביבה מקוונת בטוחה ומכילה ולנקוט פעולה לפני שהוא יכול לגרום לנטישה של משתמשים או נזק למוניטין. המודלים המשמשים לזיהוי תוכן רעיל מתוחזקים על ידי Amazon Transcribe ומתעדכנים מעת לעת כדי לשמור על דיוק ורלוונטיות.

בפוסט זה תלמדו כיצד:

• זהה תוכן מזיק בדיבור באמצעות Amazon Transcribe Toxicity Detection
• השתמש במסוף התמלול של Amazon לזיהוי רעילות
• צור עבודת תמלול עם זיהוי רעילות באמצעות ה ממשק שורת הפקודה של AWS (AWS CLI) ו- Python SDK
• השתמש בתגובת ה-API לזיהוי רעילות של Amazon Transcribe

זהה רעילות בצ'אט אודיו עם Amazon Transcribe Toxicity Detection

Amazon Transcribe מספקת כעת פתרון פשוט מבוסס ML לסימון שפה מזיקה בשיחות מדוברות. תכונה זו שימושית במיוחד עבור מדיה חברתית, משחקים וצרכים כלליים, ומבטלת את הצורך של לקוחות לספק נתונים משלהם כדי להכשיר את מודל ה-ML. זיהוי רעילות מסווג תוכן שמע רעיל לשבע הקטגוריות הבאות ומספק ציון ביטחון (0-1) לכל קטגוריה:

• ניבולי פה - דיבור המכיל מילים, ביטויים או ראשי תיבות שאינם מנומסים, וולגריים או פוגעניים.
• דברי שנאה - דיבור המבקר, מעליב, מוקיע או עושה דה-הומניזציה של אדם או קבוצה על בסיס זהות (כגון גזע, מוצא אתני, מגדר, דת, נטייה מינית, יכולת ומוצא לאומי).
• מיני - דיבור המעיד על עניין מיני, פעילות או עוררות תוך שימוש בהתייחסויות ישירות או עקיפות לאברי גוף, תכונות גופניות או מין.
• עלבונות – דיבור הכולל שפה משפילה, משפילה, לעג, מעליב או מזלזל. סוג זה של שפה מתויג גם כבריונות.
• אלימות או איום - דיבור הכולל איומים המבקשים לגרום לכאב, פציעה או עוינות כלפי אדם או קבוצה.
• גרפי - דיבור המשתמש בדימויים תיאוריים ויזואליים וחיים בצורה לא נעימה. סוג זה של שפה הוא לעתים קרובות מילולי בכוונה כדי להגביר את אי הנוחות של הנמען.
• הטרדה או התעללות - דיבור שנועד להשפיע על רווחתו הפסיכולוגית של הנמען, כולל מונחים משפילים ומחפצים.

אתה יכול לגשת לזיהוי רעילות או דרך מסוף התמלול של Amazon או על ידי קריאה ישירה לממשקי ה-API באמצעות AWS CLI או AWS SDKs. בקונסולת התמלול של Amazon, אתה יכול להעלות את קבצי האודיו שברצונך לבדוק לגבי רעילות ולקבל תוצאות בכמה קליקים בלבד. Amazon Transcribe תזהה ותסווג תוכן רעיל, כגון הטרדה, דברי שטנה, תוכן מיני, אלימות, עלבונות וניבול פה. Amazon Transcribe מספקת גם ציון ביטחון עבור כל קטגוריה, ומספקת תובנות חשובות לגבי רמת הרעילות של התוכן. זיהוי רעילות זמין כעת ב-Amazon Transcribe API הסטנדרטי לעיבוד אצווה ותומך בשפה האנגלית בארה"ב.

הדרכה על קונסולת התמלול של Amazon

כדי להתחיל, היכנס ל- קונסולת הניהול של AWS ועבור אל Amazon Transcribe. כדי ליצור עבודת תמלול חדשה, עליך להעלות את הקבצים המוקלטים שלך לקובץ שירות אחסון פשוט של אמזון (Amazon S3) דלי לפני שניתן יהיה לעבד אותם. בדף הגדרות השמע, כפי שמוצג בצילום המסך הבא, הפעל זיהוי רעילות והמשך ליצירת העבודה החדשה. Amazon Transcribe תעבד את עבודת התמלול ברקע. ככל שהעבודה מתקדמת, אתה יכול לצפות שהסטטוס ישתנה ל הושלם כאשר התהליך יסתיים.

כדי לעיין בתוצאות של עבודת תמלול, בחר את המשרה מרשימת התפקידים כדי לפתוח אותה. גלול מטה אל תצוגה מקדימה של תמלול סעיף לבדיקת תוצאות על רעילות לשונית. ממשק המשתמש מציג מקטעי תמלול מקודדי צבע כדי לציין את רמת הרעילות, שנקבעת על פי ציון הביטחון. כדי להתאים אישית את התצוגה, אתה יכול להשתמש בפס ההחלפה ב- מסנן שִׁמשָׁה. פסים אלו מאפשרים לך להתאים את הספים ולסנן את קטגוריות הרעילות בהתאם.

צילום המסך הבא כיסה חלקים מטקסט התעתיק עקב נוכחות מידע רגיש או רעיל.

תמלול API עם בקשת זיהוי רעילות

בחלק זה, אנו מנחים אותך ביצירת עבודת תמלול עם זיהוי רעילות באמצעות ממשקי תכנות. אם קובץ השמע עדיין לא נמצא בדלי S3, העלה אותו כדי להבטיח גישה באמצעות Amazon Transcribe. בדומה ליצירת עבודת תמלול במסוף, בעת הפעלת העבודה, עליך לספק את הפרמטרים הבאים:

• TranscriptionJobName – ציין שם עבודה ייחודי.
• MediaFileUri - הזן את מיקום ה-URI של קובץ השמע ב-Amazon S3. Amazon Transcribe תומך בפורמטי האודיו הבאים: MP3, MP4, WAV, FLAC, AMR, OGG או WebM
• קוד שפה - מכוון ל en-US. נכון לכתיבת שורות אלה, זיהוי רעילות תומך רק בשפה האנגלית בארה"ב.
• קטגוריות רעילות - תעביר את ה ALL ערך שיכלול את כל קטגוריות זיהוי הרעילות הנתמכות.

להלן דוגמאות לתחילת עבודת תמלול עם זיהוי רעילות מופעל באמצעות Python3:

import time
import boto3 transcribe = boto3.client('transcribe', 'us-east-1')
job_name = "toxicity-detection-demo"
job_uri = "s3://my-bucket/my-folder/my-file.wav" # start a transcription job
transcribe.start_transcription_job( TranscriptionJobName = job_name, Media = { 'MediaFileUri': job_uri }, OutputBucketName = 'doc-example-bucket', OutputKey = 'my-output-files/', LanguageCode = 'en-US', ToxicityDetection = [{'ToxicityCategories': ['ALL']}]
) # wait for the transcription job to complete
while True: status = transcribe.get_transcription_job(TranscriptionJobName = job_name) if status['TranscriptionJob']['TranscriptionJobStatus'] in ['COMPLETED', 'FAILED']: break print("Not ready yet...") time.sleep(5) print(status)

אתה יכול להפעיל את אותה עבודת תמלול עם זיהוי רעילות באמצעות הפקודה הבאה של AWS CLI:

aws transcribe start-transcription-job --region us-east-1 --transcription-job-name toxicity-detection-demo --media MediaFileUri=s3://my-bucket/my-folder/my-file.wav --output-bucket-name doc-example-bucket --output-key my-output-files/ --language-code en-US --toxicity-detection ToxicityCategories=ALL

API לתעתוק עם תגובה לגילוי רעילות

פלט JSON לזיהוי רעילות של Amazon Transcribe יכלול את תוצאות התמלול בשדה התוצאות. הפעלת זיהוי רעילות מוסיפה שדה נוסף בשם toxicityDetection מתחת לשדה התוצאות. toxicityDetection כולל רשימה של פריטים מתומללים עם הפרמטרים הבאים:

• טֶקסט – הטקסט המתומלל הגולמי
• רַעֲלָנוּת - ציון ביטחון של זיהוי (ערך בין 0-1)
• קטגוריות - ציון ביטחון עבור כל קטגוריה של דיבור רעיל
• שעת התחלה - מיקום ההתחלה של הזיהוי בקובץ השמע (שניות)
• שעת סיום - מיקום הקצה של הזיהוי בקובץ השמע (שניות)

להלן תגובת זיהוי רעילות מקוצרת לדוגמה שתוכל להוריד מהמסוף:

{ "results":{ "transcripts": [...], "items":[...], "toxicityDetection": [ { "text": "A TOXIC TRANSCRIPTION SEGMENT GOES HERE.", "toxicity": 0.8419, "categories": { "PROFANITY": 0.7041, "HATE_SPEECH": 0.0163, "SEXUAL": 0.0097, "INSULT": 0.8532, "VIOLENCE_OR_THREAT": 0.0031, "GRAPHIC": 0.0017, "HARASSMENT_OR_ABUSE": 0.0497 }, "start_time": 16.298, "end_time": 20.35 }, ... ] }, "status": "COMPLETED"
}

<br> סיכום

בפוסט זה, סיפקנו סקירה כללית על התכונה החדשה של זיהוי רעילות תמלול של אמזון. תיארנו גם כיצד ניתן לנתח את פלט זיהוי הרעילות של JSON. למידע נוסף, בדוק את קונסולת התמלול של Amazon ונסה את ה-API של תמלול עם זיהוי רעילות.

זיהוי רעילות תמלול של אמזון זמין כעת באזורי ה-AWS הבאים: מזרח ארה"ב (אוהיו), מזרח ארה"ב (נ' וירג'יניה), מערב ארה"ב (אורגון), אסיה פסיפיק (סידני), אירופה (אירלנד) ואירופה (לונדון). למידע נוסף, בקר אמזון תעתיק.

למידע נוסף בנושא ניהול תוכן ב-AWS ו שלנו ניהול תוכן ML מקרי שימוש. תעשה את הצעד הראשון לקראת ייעול פעולות ניהול התוכן שלך עם AWS.

על הסופר

לאנה ג'אנג הוא ארכיטקט פתרונות בכיר בצוות שירותי AI של AWS WWSO, המתמחה בבינה מלאכותית ו-ML לניהול תוכן, ראייה ממוחשבת ועיבוד שפה טבעית. עם המומחיות שלה, היא מחויבת לקידום פתרונות AI/ML של AWS ולסייע ללקוחות לשנות את הפתרונות העסקיים שלהם בתעשיות מגוונות, כולל מדיה חברתית, משחקים, מסחר אלקטרוני ופרסום ושיווק.

סומית קומאר הוא מנהל מוצר Sr, טכני בצוות שירותי השפה של AWS AI. יש לו ניסיון של 10 שנים בניהול מוצר במגוון תחומים והוא נלהב מבינה מלאכותית/ML. מחוץ לעבודה, סומיט אוהבת לטייל ונהנית לשחק קריקט וטניס דשא.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. רכב / רכבים חשמליים, פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• BlockOffsets. מודרניזציה של בעלות על קיזוז סביבתי. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/flag-harmful-language-in-spoken-conversations-with-amazon-transcribe-toxicity-detection/