Контент, створений користувачами (UGC), зростає в геометричній прогресії, а також вимоги та витрати на забезпечення безпеки та відповідності вмісту та онлайн-спільнот. Сучасні веб- і мобільні платформи стимулюють бізнес і залучають користувачів за допомогою соціальних функцій, від стартапів до великих організацій. Учасники онлайн-спільноти очікують безпечного та інклюзивного досвіду, коли вони можуть вільно споживати та додавати зображення, відео, текст та аудіо. Постійно зростаючий обсяг, різноманітність і складність UGC роблять традиційні робочі процеси модерації людьми складними для масштабування для захисту користувачів. Ці обмеження змушують клієнтів використовувати неефективні, дорогі та реактивні процеси пом’якшення, які несуть непотрібний ризик для користувачів і бізнесу. Результатом є поганий, шкідливий і неінклюзивний досвід спільноти, який відокремлює користувачів, негативно впливаючи на спільноту та бізнес-цілі.
Рішення — масштабовані робочі процеси модерації вмісту, які спираються на технології штучного інтелекту (AI), машинного навчання (ML), глибокого навчання (DL) і обробки природної мови (NLP). Ці конструкції перекладають, транскрибують, розпізнають, виявляють, маскують, редагують і стратегічно залучають людський талант до робочого процесу модерації, щоб виконувати дії, необхідні для забезпечення безпеки та залучення користувачів, одночасно підвищуючи точність і ефективність процесу, а також знижуючи операційні витрати.
У цій публікації розглядається, як створити робочі процеси модерації вмісту за допомогою служб AWS AI. Щоб дізнатися більше про бізнес-потреби, вплив і зниження витрат, які автоматизована модерація вмісту приносить у соціальні мережі, ігри, електронну комерцію та рекламу, див. Використовуйте служби AWS AI для автоматизації модерації вмісту та відповідності вимогам.
Огляд рішення
Щоб реалізувати ці робочі процеси, вам не потрібен досвід у ML, і ви можете налаштувати ці шаблони відповідно до потреб свого бізнесу! AWS надає ці можливості за допомогою повністю керованих сервісів, які усувають операційну складність і недиференційований важкий підйом, і без команди аналізу даних.
У цій публікації ми демонструємо, як ефективно модерувати місця, де клієнти обговорюють і оглядають продукти, використовуючи текст, аудіо, зображення, відео та навіть PDF-файли. Наведена нижче схема ілюструє архітектуру рішення.
Передумови
За замовчуванням ці шаблони демонструють безсерверну методологію, де ви платите лише за те, що використовуєте. Ви продовжуєте платити за обчислювальні ресурси, наприклад AWS Fargate контейнери та зберігання, наприклад Служба простого зберігання Amazon (Amazon S3), доки ви не видалите ці ресурси. Обговорювані послуги AWS AI також дотримуються моделі ціноутворення за споживання за операцію.
У невиробничих середовищах можна протестувати кожен із цих шаблонів у межах безкоштовного рівня, припускаючи, що ваш обліковий запис відповідає вимогам.
Помірний простий текст
По-перше, вам потрібно реалізувати модерацію вмісту для звичайного тексту. Ця процедура служить основою для більш складних типів носіїв і передбачає два етапи високого рівня:
- Перекладіть текст.
- Проаналізуйте текст.
Глобальні клієнти хочуть співпрацювати з соціальними платформами рідною мовою. Виконання цього очікування може ускладнити роботу, оскільки команди дизайнерів повинні створити робочий процес або кроки для кожної мови. Замість цього можна використовувати Amazon Translate конвертувати текст більш ніж 70 мовами та варіантами в більш ніж 15 регіонах. Ця можливість дає змогу писати правила аналізу для однієї мови та застосовувати ці правила в глобальній онлайн-спільноті.
Amazon Translate — це служба нейронного машинного перекладу, яка забезпечує швидкий, високоякісний, доступний і настроюваний переклад мовою. Ви можете інтегрувати його у свої робочі процеси, щоб виявити домінуючу мову та перекладіть текст. Наступна схема ілюструє робочий процес.
API працюють таким чином:
- Команда Визначити домінантну мову API визначає домінуючу мову вхідного тексту. Список мов, які Amazon Comprehend може виявити, див Домінуюча мова.
- Команда TranslateText API перекладає вхідний текст з мови оригіналу на мову перекладу за бажанням маскування нецензурної лексики. Список доступних мов і коди мов див Підтримувані мови та коди мов.
- Команда Почати виконання та StartSyncExecution API запускають Функції кроку AWS державна машина.
Далі ви можете використовувати НЛП, щоб розкривати зв’язки в тексті, як-от виявлення ключових фраз, аналіз настроїв і виявлення особистої інформації (PII). «Амазонка» API витягують цю цінну інформацію та передають її в спеціальні обробники функцій.
Запуск цих обробників всередині AWS Lambda Функції еластично масштабують ваш код, не думаючи про сервери чи кластери. Крім того, ви можете обробляти статистичні дані з Amazon Comprehend за допомогою шаблони архітектури мікросервісів. Незалежно від середовища виконання, ваш код зосереджений на використанні результатів, а не на аналізі тексту.
Наступна схема ілюструє робочий процес.
Лямбда-функції взаємодіють із такими API:
- Команда DetectEntities API виявляє та групує назви об’єктів реального світу, наприклад людей і місць у тексті. Ви можете використовувати спеціальний словник, щоб редагувати невідповідні та специфічні для бізнесу типи об’єктів.
- Команда DetectSentiment API визначає загальний настрій тексту як позитивний, негативний або нейтральний. Ви можете навчити користувальницькі класифікатори розпізнавати ситуації, що представляють інтерес для конкретної галузі, і витягувати концептуальне значення тексту.
- Команда DetectPIIEntities API визначає ідентифікаційну інформацію у вашому тексті, наприклад адресу, номер банківського рахунку або номер телефону. Вихідні дані містять тип сутності ідентифікаційної інформації та її відповідне розташування.
Помірні аудіофайли
Щоб модерувати аудіофайли, ви повинні транскрибувати файл у текст, а потім проаналізувати його. Цей процес має два варіанти залежно від того, чи обробляєте ви окремі файли (синхронно) чи прямі аудіопотоки (асинхронно). Синхронні робочі процеси ідеально підходять для пакетної обробки, коли абонент отримує одну повну відповідь. Навпаки, аудіопотоки потребують періодичної вибірки з кількома результатами транскрипції.
Амазонська розшифровка це служба автоматичного розпізнавання мовлення, яка використовує моделі ML для перетворення звуку в текст. Ви можете інтегрувати його в синхронні робочі процеси за допомогою почати роботу з транскрипції і періодично запит статусу роботи. Після завершення роботи ви можете проаналізувати вихідні дані за допомогою процесу модерації простого тексту з попереднього кроку.
Наступна схема ілюструє робочий процес.
API працюють таким чином:
- Команда StartTranscriptionJob API запускає асинхронне завдання для транскрипції мовлення в текст.
- Команда GetTranscriptionJob API повертає інформацію про завдання транскрипції. Щоб побачити статус завдання, перевірте
TranscriptionJobStatus
поле. Якщо властивість status єCOMPLETED
, ви можете знайти результати за місцем, указаним уTranscriptFileUri
поле. Якщо ви ввімкнете редагування вмісту, відредагована стенограма з’явиться вRedactedTranscriptFileUri
.
Для живих аудіопотоків потрібен інший шаблон, який підтримує модель доставки в реальному часі. Потокове передавання може включати попередньо записані медіафайли, такі як фільми, музика та подкасти, а також медіафайли в реальному часі, такі як прямі трансляції новин. Ви можете миттєво транскрибувати аудіофрагменти за допомогою Потокове передавання Amazon Transscribe через протоколи HTTP/2 і WebSockets. Опублікувавши шматок у службі, ви отримуєте один або кілька об'єкти результату транскрипції з описом сегментів часткової та повної транскрипції. Сегменти, які потребують модерації, можуть повторно використовувати робочий процес звичайного тексту з попереднього розділу. Наступна діаграма ілюструє цей процес.
Команда StartStreamingTranscription API запускає двонаправлений потік HTTP/2, де аудіо передається в Amazon Transcribe, а результати транскрипції передаються у вашу програму.
Помірні зображення та фото
Для модерування зображень потрібно виявляти неприйнятний, небажаний або образливий вміст, який містить зображення оголеного тіла, непристойність, насильство та інші категорії вмісту зображень і фотографій.
Amazon Rekognition дає змогу оптимізувати або автоматизувати робочі процеси модерації зображень і відео, не вимагаючи досвіду ML. Amazon Rekognition повертає ієрархічну таксономію міток, пов’язаних із модерацією. Ця інформація спрощує визначення детальних бізнес-правил відповідно до ваших стандартів і практик, безпеки користувачів і інструкцій щодо відповідності. Для використання цих можливостей не потрібен досвід ML. Amazon Rekognition може виявляти та читати текст на зображенні та повертати обмежувальні рамки для кожного знайденого слова. Amazon Rekognition підтримує розпізнавання тексту, написаного англійською, арабською, російською, німецькою, французькою, італійською, португальською та іспанською мовами!
Ви можете використовувати машинні прогнози для повної автоматизації конкретних завдань модерації. Ця можливість дозволяє людям-модераторам зосередитися на роботі вищого рівня. Крім того, Amazon Rekognition може швидко переглядати мільйони зображень або тисячі відео за допомогою ML і позначати підмножину активів, які потребують подальших дій. Попередня фільтрація допомагає забезпечити повне, але економічно ефективне охоплення модерації, одночасно зменшуючи кількість вмісту, який модерують команди людей.
Наступна схема ілюструє робочий процес.
API працюють таким чином:
- Команда DetectModerationLabels API виявляє небезпечний вміст у певних зображеннях у форматі JPEG або PNG. Використовуйте DetectModerationLabels для модерації зображень залежно від ваших вимог. Наприклад, ви можете відфільтрувати зображення, які містять зображення оголеного тіла, але не зображення з непристойним вмістом.
- Команда DetectText API виявляє текст у вхідному зображенні та перетворює його на машиночитаний текст.
Помірні текстові документи
Далі можна використовувати Текст Amazon для вилучення рукописного тексту та даних зі сканованих документів. Цей процес починається з виклику Запустіть аналіз документів дія для аналізу файлів Microsoft Word і Adobe PDF. Ви можете стежити за ходом роботи за допомогою GetDocumentAnalysis дії.
Результат аналізу визначає кожну непокриту сторінку, абзац, таблицю та пару ключ-значення в документі. Наприклад, припустімо, що медичний працівник повинен маскувати імена пацієнтів лише в полі опису претензії. У такому випадку звіт про аналіз може бути потужним конвеєри інтелектуальної обробки документів модерувати та редагувати конкретне поле даних. Наступна діаграма ілюструє конвеєр.
API працюють таким чином:
- Команда Запустіть аналіз документів API запускає асинхронний аналіз вхідного документа на наявність зв’язків між виявленими елементами, такими як пари ключ-значення, таблиці та елементи вибору
- Команда GetDocumentAnalysis API отримує результати для асинхронної операції Amazon Texttract, яка аналізує текст у документі
Помірні відео
Стандартним підходом до модерації відеовмісту є процедура вибірки кадрів. У багатьох випадках використання не потрібно перевіряти кожен кадр, і достатньо вибирати один кожні 15–30 секунд. Відібрані відеокадри можуть повторно використовувати кінцевий автомат для модерації зображень із попереднього розділу. Так само існуючий процес модерації аудіо може підтримувати звуковий вміст файлу. Наступна діаграма ілюструє цей робочий процес.
Команда волати API запускає лямбда-функцію та синхронно очікує на відповідь.
Припустімо, що медіафайл — це цілий фільм із кількома сценами. У такому випадку ви можете скористатися API сегмента Amazon Rekognition, складений API для виявлення технічних ознак або виявлення пострілу. Далі ви можете використовувати ці часові зсуви для паралельної обробки кожного сегмента з попереднім шаблоном модерації відео, як показано на наступній схемі.
API працюють таким чином:
- Команда StartSegmentationDetection API запускає асинхронне виявлення виявлення сегментів у збереженому відео
- Команда GetSegmentationDetection API отримує результати виявлення сегментів аналізу Amazon Rekognition Video, розпочатого API StartSegmentDetection
Для вилучення окремих кадрів із фільму не потрібно кілька разів завантажувати об’єкт із Amazon S3. Наївне рішення включає читання відео в пам'ять і перегортання сторінок до кінця. Цей шаблон ідеально підходить для коротких кліпів і там, де оцінювання не залежить від часу.
Інша стратегія передбачає одноразове переміщення файлу в Еластична файлова система Amazon (Amazon EFS), повністю керована, масштабована, спільна файлова система для інших служб AWS, таких як Lambda. с Amazon EFS для Lambda, ви можете ефективно розподіляти дані між викликами функцій. Кожен виклик ефективно обробляє невеликий фрагмент, відкриваючи потенціал масової паралельної обробки та пришвидшення часу обробки.
Прибирати
Після того як ви поекспериментуєте з методами, наведеними в цій публікації, вам слід видалити будь-який вміст у сегментах S3, щоб уникнути майбутніх витрат. Якщо ви реалізували ці шаблони за допомогою наданих обчислювальних ресурсів, наприклад Обчислювальна хмара Amazon Elastic (Amazon EC2) або Служба еластичних контейнерів Amazon (Amazon ECS), ви повинні припинити ці випадки, щоб уникнути подальших стягнень.
Висновок
Контент, створений користувачами, і його цінність для ігор, соціальних медіа, електронної комерції, фінансових і медичних організацій продовжуватимуть зростати. Тим не менш, стартапам і великим організаціям необхідно створити ефективні процеси модерації, щоб захистити користувачів, інформацію та бізнес, одночасно знижуючи операційні витрати. Це рішення демонструє, як технології AI, ML і NLP можуть ефективно допомогти вам модерувати вміст у масштабі. Ви можете налаштувати служби AWS AI відповідно до ваших конкретних потреб модерування! Ці повністю керовані можливості усувають операційні складності. Ця гнучкість стратегічно інтегрує контекстуальне розуміння та людський талант у ваші процеси модерування.
Щоб отримати додаткову інформацію, ресурси та почати безкоштовно сьогодні, відвідайте Домашня сторінка модерації вмісту AWS.
Про авторів
Нейт Бахмаєр є старшим архітектором рішень AWS, який кочівно досліджує Нью-Йорк, одну хмарну інтеграцію за раз. Він спеціалізується на міграції та модернізації додатків. Крім того, Нейт навчається на денній формі навчання і має двох дітей.
Рам Патангі є архітектором рішень в Amazon Web Services в районі затоки Сан-Франциско. Він допомагав клієнтам у сільському господарстві, страхуванні, банківській справі, роздрібній торгівлі, охороні здоров’я та науках про життя, готельному бізнесі та високотехнологічних галузях успішно вести свій бізнес у хмарі AWS. Він спеціалізується на базах даних, аналітиці та машинному навчанні.
Руп Бейнз є архітектором рішень в AWS, який зосереджується на ШІ/ML. Він захоплено допомагає клієнтам впроваджувати інновації та досягати бізнес-цілей за допомогою штучного інтелекту та машинного навчання. У вільний час Руп захоплюється читанням і пішим туризмом.
- Coinsmart. Найкраща в Європі біржа біткойн та криптовалют.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. БЕЗКОШТОВНИЙ ДОСТУП.
- CryptoHawk. Альткойн Радар. Безкоштовне випробування.
- Джерело: https://aws.amazon.com/blogs/machine-learning/content-moderation-design-patterns-with-aws-managed-ai-services/
- "
- 100
- 70
- МЕНЮ
- РЕЗЮМЕ
- рахунки
- через
- дію
- дії
- доповнення
- Додатковий
- адреса
- реклама
- сільське господарство
- AI
- Послуги ШІ
- Amazon
- Amazon Web Services
- кількість
- аналіз
- аналітика
- API
- Інтерфейси
- додаток
- застосування
- підхід
- архітектура
- ПЛОЩА
- штучний
- штучний інтелект
- Штучний інтелект (AI)
- Штучний інтелект і машинне навчання
- Активи
- аудіо
- автоматизувати
- Автоматизований
- автоматичний
- доступний
- AWS
- Банк
- рахунок у банку
- Banking
- затока
- будувати
- бізнес
- підприємства
- гість
- можливості
- нести
- випадків
- складні
- вантажі
- кліпси
- хмара
- код
- співпрацювати
- Приходити
- спільноти
- співтовариство
- складності
- дотримання
- поступливий
- всеосяжний
- обчислення
- Зв'язки
- споживати
- споживання
- Контейнер
- Контейнери
- містить
- зміст
- продовжувати
- сприяти
- Відповідний
- рентабельним
- витрати
- створювати
- виготовлений на замовлення
- Клієнти
- настроюється
- дані
- наука про дані
- базами даних
- постачає
- доставка
- демонструвати
- Залежно
- дизайн
- виявлено
- Виявлення
- різний
- обговорювати
- документація
- Ні
- управляти
- e-commerce
- електронної комерції
- ефективність
- ефективний
- продуктивно
- включіть
- зачеплення
- англійська
- суб'єкта
- приклад
- існуючий
- очікувати
- досвід
- Досліди
- експеримент
- експертиза
- експоненціально
- ШВИДКО
- швидше
- риси
- фінансовий
- Гнучкість
- потік
- Сфокусувати
- фокусується
- стежити
- після
- знайдений
- фонд
- FRAME
- Франциско
- Безкоштовна
- французька
- Паливо
- функція
- далі
- майбутнє
- азартні ігри
- Глобальний
- Групи
- Рости
- керівні вказівки
- здоров'я
- охорона здоров'я
- допомога
- допомогу
- допомагає
- високоякісний
- Як
- How To
- HTTPS
- людина
- зображення
- Impact
- здійснювати
- реалізовані
- включати
- зростаючий
- індивідуальний
- промисловості
- інформація
- вхід
- розуміння
- страхування
- інтегрувати
- інтеграція
- Інтелект
- інтерес
- IT
- робота
- ключ
- Діти
- етикетки
- мова
- мови
- великий
- УЧИТЬСЯ
- вивчення
- Life Sciences
- підйомний
- список
- розташування
- машина
- навчання за допомогою машини
- РОБОТИ
- вдалося
- маска
- сенс
- Медіа
- засідання
- члени
- пам'ять
- Microsoft
- може бути
- мільйони
- ML
- Mobile
- модель
- Моделі
- монітор
- більше
- фільм
- кіно
- переміщення
- множинний
- музика
- Імена
- Природний
- негативний
- Нью-Йорк
- новини
- номер
- онлайн
- працювати
- операція
- організації
- Інше
- загальний
- пристрасний
- Викрійки
- Платити
- Люди
- фрази
- Платформи
- подкасти
- бідні
- португальська
- позитивний
- потенціал
- влада
- Прогнози
- попередній
- ціни без прихованих комісій
- процес
- процеси
- обробка
- Продукти
- власність
- захист
- протоколи
- забезпечувати
- швидко
- читання
- реального часу
- отримати
- визнавати
- зниження
- Відносини
- звітом
- вимагати
- вимагається
- Вимога
- ресурси
- відповідь
- результати
- роздрібна торгівля
- повертати
- Умови повернення
- огляд
- Відгуки
- Risk
- Правила
- прогін
- сейф
- Безпека
- Сан -
- Сан Франциско
- масштабовані
- шкала
- сцени
- наука
- НАУКИ
- seconds
- сегмент
- сегменти
- настрій
- Без сервера
- обслуговування
- Послуги
- загальні
- Короткий
- показаний
- Аналогічно
- простий
- невеликий
- соціальна
- соціальні медіа
- рішення
- Рішення
- складний
- пробіли
- спеціалізується
- standard
- стандартів
- старт
- почалася
- починається
- Стартапи
- стан
- Статус
- зберігання
- Стратегія
- потік
- потоковий
- студент
- Успішно
- підтримка
- Опори
- система
- талант
- Мета
- завдання
- команда
- технічний
- Технології
- тест
- Джерело
- Мислення
- тисячі
- через
- час
- сьогодні
- разом
- традиційний
- Розшифровка
- Переклад
- Типи
- розкрити
- використання
- користувачі
- значення
- різноманітність
- вертикалі
- Відео
- Відео
- обсяг
- Web
- веб-сервіси
- Що
- Чи
- в той час як
- в
- без
- Work