Позначайте шкідливу мову в розмовах за допомогою Amazon Transcribe Toxicity Detection | Веб-сервіси Amazon

Збільшення соціальної активності в Інтернеті, як-от спілкування в соціальних мережах або онлайн-ігри, часто супроводжується ворожою або агресивною поведінкою, яка може призвести до небажаних проявів ненависті, кіберзалякування або агресивних дій. Наприклад, багато ігрових онлайн-спільнот пропонують функцію голосового чату для полегшення спілкування між своїми користувачами. Хоча голосовий чат часто підтримує дружні жарти та сміття, він також може призвести до таких проблем, як ворожнеча, кіберзалякування, переслідування та шахрайство. Позначення шкідливих висловлювань допомагає організаціям підтримувати розмови ввічливо та підтримувати безпечне та інклюзивне онлайн-середовище, у якому користувачі можуть створювати, ділитися та вільно брати участь. Сьогодні багато компаній покладаються виключно на людей-модераторів для перегляду токсичного вмісту. Однак масштабування людських модераторів для задоволення цих потреб із достатньою якістю та швидкістю коштує дорого. Як наслідок, багато організацій ризикують зіткнутися з високим рівнем відтоку користувачів, репутаційною шкодою та регуляторними штрафами. Крім того, модератори часто зазнають психологічного впливу, переглядаючи токсичний вміст.

Амазонська розшифровка — це служба автоматичного розпізнавання мовлення (ASR), яка дозволяє розробникам легко додавати до своїх програм можливість перетворення мовлення в текст. Сьогодні ми раді оголосити Виявлення токсичності транскрипції Amazon, функція машинного навчання (ML), яка використовує звукові та текстові підказки для ідентифікації та класифікації голосового токсичного вмісту за семи категоріями, включаючи сексуальні домагання, ворожі висловлювання, погрози, образи, ненормативну лексику, образи та графічні висловлювання. . На додаток до тексту, виявлення токсичності використовує мовні підказки, такі як тон і висота, щоб відточити токсичний намір у мовленні.

Це вдосконалення стандартних систем модерації вмісту, які розроблені для зосередження лише на конкретних термінах без урахування наміру. Більшість підприємств мають SLA 7–15 днів для перегляду вмісту, про який повідомляють користувачі, оскільки модератори повинні прослуховувати довгі аудіофайли, щоб оцінити, чи і коли розмова стала шкідливою. За допомогою Amazon Transcribe Toxicity Detection модератори переглядають лише певну частину аудіофайлу, позначену як токсичний вміст (порівняно з усім аудіофайлом). Вміст, який модератори мають переглядати, скорочується на 95%, що дає змогу клієнтам скоротити час дії SLA лише до кількох годин, а також завчасно модерувати більше вмісту, крім того, що позначають користувачі. Це дозволить підприємствам автоматично виявляти та модерувати вміст у великих масштабах, забезпечувати безпечне та інклюзивне онлайн-середовище та вживати заходів до того, як це призведе до відтоку користувачів або погіршить репутацію. Моделі, які використовуються для виявлення токсичного вмісту, обслуговуються Amazon Transcribe і періодично оновлюються для підтримки точності та актуальності.

У цій публікації ви дізнаєтесь, як:

• Визначайте шкідливий вміст у мові за допомогою Amazon Transcribe Toxicity Detection
• Використовуйте консоль Amazon Transcribe для виявлення токсичності
• Створіть завдання транскрипції з виявленням токсичності за допомогою Інтерфейс командного рядка AWS (AWS CLI) і Python SDK
• Використовуйте відповідь API виявлення токсичності Amazon Transcribe

Виявляйте токсичність в аудіочаті за допомогою Amazon Transcribe Toxicity Detection

Тепер Amazon Transcribe пропонує просте рішення на основі ML для позначення шкідливої ​​мови в розмовах. Ця функція особливо корисна для соціальних мереж, ігор і загальних потреб, усуваючи потребу клієнтам надавати власні дані для навчання моделі ML. Виявлення токсичності класифікує токсичний аудіовміст за наступними семи категоріями та надає оцінку достовірності (0–1) для кожної категорії:

• Богохульство – Висловлювання, що містять слова, фрази чи абревіатури, які є неввічливими, вульгарними чи образливими.
• Ненависна мова – Виступи, які критикують, ображають, засуджують або дегуманізують особу чи групу на основі їхньої приналежності (наприклад, раси, етнічного походження, статі, релігії, сексуальної орієнтації, здібностей і національного походження).
• Сексуальний – Мова, яка вказує на сексуальний інтерес, активність або збудження з використанням прямих чи непрямих посилань на частини тіла, фізичні риси чи стать.
• Образи – Висловлювання, що містять принизливу, глузливу, образливу або принижуючу мову. Такий тип мови також називають залякуванням.
• Насильство чи погроза – Висловлювання, що містять погрози з метою заподіяти біль, травму або ворожнечу по відношенню до особи чи групи.
• Графічний – Мова, яка використовує візуально описові та неприємно яскраві образи. Цей тип мови часто навмисно багатослівний, щоб посилити дискомфорт одержувача.
• Переслідування або образа – Висловлювання, спрямовані на те, щоб вплинути на психологічне благополуччя одержувача, включаючи принизливі та об’єктивні слова.

Ви можете отримати доступ до Toxicity Detection або через консоль Amazon Transcribe, або викликаючи API безпосередньо за допомогою AWS CLI або AWS SDK. На консолі Amazon Transcribe ви можете завантажити аудіофайли, які хочете перевірити на токсичність, і отримати результати всього за кілька кліків. Amazon Transcribe визначатиме та класифікуватиме токсичний вміст, як-от переслідування, ворожі висловлювання, сексуальний вміст, насильство, образи та ненормативну лексику. Amazon Transcribe також надає оцінку надійності для кожної категорії, надаючи цінну інформацію про рівень токсичності вмісту. Виявлення токсичності наразі доступне в стандартному API Amazon Transcribe для пакетної обробки та підтримує англійську мову США.

Покрокове керівництво консолі Amazon Transcribe

Щоб почати, увійдіть у Консоль управління AWS і перейдіть до Amazon Transcribe. Щоб створити нове завдання транскрипції, вам потрібно завантажити записані файли в Служба простого зберігання Amazon (Amazon S3) перед їх обробкою. На сторінці налаштувань звуку, як показано на наступному знімку екрана, увімкніть Виявлення токсичності і перейдіть до створення нового завдання. Amazon Transcribe оброблятиме завдання транскрипції у фоновому режимі. У міру виконання завдання ви можете очікувати зміни статусу на ВИКОНАНО коли процес завершиться.

Щоб переглянути результати завдання транскрипції, виберіть завдання зі списку завдань, щоб відкрити його. Прокрутіть униз до Попередній перегляд транскрипції розділ для перевірки результатів на Токсичність вкладка. Інтерфейс користувача показує кольорові сегменти транскрипції, щоб вказати рівень токсичності, визначений оцінкою достовірності. Щоб налаштувати відображення, ви можете використовувати панелі перемикань у фільтри панель. Ці смужки дозволяють регулювати порогові значення та відповідно фільтрувати категорії токсичності.

Наступний знімок екрана охоплює частини тексту транскрипції через наявність конфіденційної або токсичної інформації.

API транскрипції із запитом на виявлення токсичності

У цьому розділі ми допоможемо вам створити завдання транскрипції з виявленням токсичності за допомогою інтерфейсів програмування. Якщо аудіофайл ще не знаходиться в сегменті S3, завантажте його, щоб забезпечити доступ через Amazon Transcribe. Подібно до створення завдання транскрипції на консолі, під час виклику завдання вам потрібно надати такі параметри:

• TranscriptionJobName – Вкажіть унікальну назву завдання.
• MediaFileUri – Введіть розташування URI аудіофайлу на Amazon S3. Amazon Transcribe підтримує такі аудіоформати: MP3, MP4, WAV, FLAC, AMR, OGG або WebM
• LanguageCode - Встановлений в en-US. На момент написання цієї статті виявлення токсичності підтримує лише англійську мову США.
• Категорії токсичності – Передайте ALL значення для включення всіх підтримуваних категорій виявлення токсичності.

Нижче наведено приклади запуску завдання транскрипції з увімкненим виявленням токсичності за допомогою Python3:

import time
import boto3 transcribe = boto3.client('transcribe', 'us-east-1')
job_name = "toxicity-detection-demo"
job_uri = "s3://my-bucket/my-folder/my-file.wav" # start a transcription job
transcribe.start_transcription_job( TranscriptionJobName = job_name, Media = { 'MediaFileUri': job_uri }, OutputBucketName = 'doc-example-bucket', OutputKey = 'my-output-files/', LanguageCode = 'en-US', ToxicityDetection = [{'ToxicityCategories': ['ALL']}]
) # wait for the transcription job to complete
while True: status = transcribe.get_transcription_job(TranscriptionJobName = job_name) if status['TranscriptionJob']['TranscriptionJobStatus'] in ['COMPLETED', 'FAILED']: break print("Not ready yet...") time.sleep(5) print(status)

Ви можете викликати те саме завдання транскрипції з виявленням токсичності за допомогою такої команди AWS CLI:

aws transcribe start-transcription-job --region us-east-1 --transcription-job-name toxicity-detection-demo --media MediaFileUri=s3://my-bucket/my-folder/my-file.wav --output-bucket-name doc-example-bucket --output-key my-output-files/ --language-code en-US --toxicity-detection ToxicityCategories=ALL

API транскрипції з реакцією виявлення токсичності

Вихід JSON для виявлення токсичності Amazon Transcribe міститиме результати транскрипції в полі результатів. Увімкнення виявлення токсичності додає додаткове поле під назвою toxicityDetection під полем результатів. toxicityDetection містить список транскрибованих елементів із такими параметрами:

• текст – Необроблений транскрибований текст
• токсичність – Оцінка достовірності виявлення (значення між 0–1)
• категорії – Оцінка впевненості для кожної категорії токсичного мовлення
• Час початку – Початкова позиція виявлення в аудіофайлі (секунди)
• end_time – Кінцева позиція виявлення в аудіофайлі (секунди)

Нижче наведено зразок скороченої відповіді виявлення токсичності, який можна завантажити з консолі:

{ "results":{ "transcripts": [...], "items":[...], "toxicityDetection": [ { "text": "A TOXIC TRANSCRIPTION SEGMENT GOES HERE.", "toxicity": 0.8419, "categories": { "PROFANITY": 0.7041, "HATE_SPEECH": 0.0163, "SEXUAL": 0.0097, "INSULT": 0.8532, "VIOLENCE_OR_THREAT": 0.0031, "GRAPHIC": 0.0017, "HARASSMENT_OR_ABUSE": 0.0497 }, "start_time": 16.298, "end_time": 20.35 }, ... ] }, "status": "COMPLETED"
}

Підсумки

У цій публікації ми надали огляд нової функції Amazon Transcribe Toxicity Detection. Ми також описали, як ви можете проаналізувати вихід JSON для виявлення токсичності. Щоб дізнатися більше, перегляньте консоль Amazon Transcribe і спробуйте API транскрипції з виявленням токсичності.

Amazon Transcribe Toxicity Detection тепер доступний у таких регіонах AWS: Схід США (Огайо), Схід США (Північна Вірджинія), Захід США (Орегон), Азіатсько-Тихоокеанський регіон (Сідней), Європа (Ірландія) та Європа (Лондон). Щоб дізнатися більше, відвідайте Амазонська розшифровка.

Дізнатися більше про модерація контенту на AWS і наші модерування вмісту. Варіанти використання ML. Зробіть перший крок назустріч спрощення операцій модерації вмісту за допомогою AWS.

Про автора

Лана Чжан є старшим архітектором рішень у команді AWS WWSO AI Services, яка спеціалізується на AI та ML для модерації вмісту, комп’ютерного зору та обробки природної мови. Завдяки своєму досвіду вона присвятила себе просуванню рішень AWS AI/ML і допомозі клієнтам трансформувати їхні бізнес-рішення в різних галузях, включаючи соціальні мережі, ігри, електронну комерцію, рекламу та маркетинг.

Суміт Кумар є старшим менеджером із продуктів, технічним відділом команди AWS AI Language Services. Він має 10 років досвіду управління продуктами в різних сферах і захоплюється ШІ/ML. Поза роботою Саміт любить подорожувати та любить грати в крикет і лаун-теніс.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/flag-harmful-language-in-spoken-conversations-with-amazon-transcribe-toxicity-detection/