Сервис интерактивного видео Amazon (Amazon IVS) — это управляемое решение для потоковой передачи в реальном времени, которое обеспечивает быструю и простую настройку, позволяющую создавать интерактивные видео и обрабатывать интерактивный видеоконтент от приема до доставки.
С ростом использования потокового вещания необходимость в эффективной модерации контента становится еще более важной. Пользовательский контент (UGC) представляет собой сложную проблему для безопасности. Многие компании полагаются на модераторов для мониторинга видеопотоков, что отнимает много времени, подвержено ошибкам и не масштабируется со скоростью роста бизнеса. Решение для автоматической модерации, поддерживающее участие человека в процессе (HITL), становится все более необходимым.
Модерация контента Amazon Rekognition, способность Апостол, автоматизирует и оптимизирует рабочие процессы модерации изображений и видео, не требуя опыта машинного обучения (ML). В этом посте мы объясняем распространенную практику визуальной модерации прямых трансляций с помощью решения, которое использует API Amazon Rekognition Image для модерации прямых трансляций. Вы можете развернуть это решение в своей учетной записи AWS, используя Комплект для разработки облачных сервисов AWS (AWS CDK) доступен в нашем Репо GitHub.
Модерировать визуальный контент прямой трансляции
Самый распространенный подход к визуальной модерации UGC в прямом эфире включает в себя выборку изображений из потока и использование модерации изображений для получения результатов, близких к реальному времени. Платформы прямых трансляций могут использовать гибкие правила для модерации визуального контента. Например, платформы с более молодой аудиторией могут иметь строгие правила в отношении контента для взрослых и определенных продуктов, тогда как другие могут фокусироваться на символах ненависти. Эти платформы устанавливают разные правила для эффективного соответствия своей политике. Гибридный процесс, сочетающий в себе человеческую и автоматическую проверку, является распространенным подходом к проектированию. Некоторые потоки будут остановлены автоматически, но модераторы-люди также оценят, нарушает ли поток политику платформы и его следует деактивировать.
На следующей диаграмме показан концептуальный рабочий процесс системы модерации, работающей почти в реальном времени, разработанной со слабой связью с системой прямой трансляции.
Рабочий процесс состоит из следующих этапов:
- Служба прямой трансляции (или клиентское приложение) выбирает кадры изображения из видеопотоков на основе определенного интервала.
- Механизм правил оценивает рекомендации по модерации, определяя частоту выборки потока и применимые категории модерации — и все это в рамках предопределенных политик. Этот процесс предполагает использование как алгоритмов машинного обучения, так и алгоритмов, не связанных с машинным обучением.
- Механизм правил предупреждает модераторов при обнаружении нарушений в видеопотоках.
- Модераторы-люди оценивают результат и деактивируют прямую трансляцию.
Модерирование прямых трансляций пользовательского контента отличается от классической модерации видео в СМИ. Это соответствует различным правилам. Частота выборки изображений из видеокадров для модерации обычно определяется политикой доверия и безопасности платформы и соглашением об уровне обслуживания (SLA). Например, если платформа прямых трансляций стремится останавливать каналы в течение 3 минут в случае нарушений политики, практический подход состоит в том, чтобы брать образцы каждые 1–2 минуты, предоставляя модераторам время для проверки и принятия мер. Некоторые платформы требуют гибкого управления частотой модерации. Например, стримеры с хорошей репутацией могут нуждаться в меньшей модерации, тогда как новые требуют более пристального внимания. Это также позволяет оптимизировать затраты за счет уменьшения частоты выборки.
Стоимость является важным фактором в любом решении для модерации прямых трансляций. Поскольку платформы прямых трансляций UGC быстро расширяются, модерирование одновременных потоков на высокой частоте может вызвать проблемы с затратами. Решение, представленное в этом посте, предназначено для оптимизации затрат, позволяя вам определять правила модерации для настройки частоты выборки, игнорирования похожих кадров изображений и других методов.
Запись потокового контента Amazon IVS на Amazon S3
Amazon IVS предлагает собственные решения для запись содержимого потока к Простой сервис хранения Amazon (Amazon S3) и создание миниатюр — кадров изображений из видеопотока. По умолчанию он генерирует миниатюры каждые 60 секунд и предоставляет пользователям возможность настроить качество и частоту изображения. Используя Консоль управления AWS, Вы можете создать конфигурацию записи и свяжите его с каналом Amazon IVS. Если конфигурация записи связана с каналом, прямые трансляции канала автоматически записываются в указанную корзину S3.
Плата за использование функции автоматической записи в Amazon S3 или за запись в Amazon S3 не взимается с Amazon IVS. За хранилище Amazon S3 взимается плата, за вызовы API Amazon S3, которые Amazon IVS выполняет от имени клиента, а также за предоставление сохраненного видео зрителям. Подробную информацию о стоимости Amazon IVS см. Затраты (потоковое вещание с малой задержкой).
API-интерфейсы модерации Amazon Rekognition
В этом решении мы используем API Amazon Rekognition DetectModerationLabel модерировать миниатюры Amazon IVS практически в реальном времени. Amazon Rekognition Content Moderation предоставляет предварительно обученные API для анализа широкого спектра неприемлемого или оскорбительного контента, такого как насилие, нагота, символы ненависти и т. д. Полный список таксономий модерации контента Amazon Rekognition см. Модерация контента.
В следующем фрагменте кода показано, как вызвать API Amazon Rekognition DetectModerationLabel для модерации изображений в AWS Lambda функция с использованием библиотеки Python Boto3:
Ниже приведен пример ответа API модерации изображений Amazon Rekognition:
Дополнительные примеры API модерации изображений Amazon Rekognition см. Лаборатория изображений для модерации контента.
Обзор решения
Это решение интегрируется с Amazon IVS, считывая миниатюры изображений из корзины S3 и отправляя изображения в API модерации изображений Amazon Rekognition. Он предоставляет варианты автоматической остановки потока и оперативного контроля. Вы можете настроить правила для автоматической остановки потоков в зависимости от условий. Он также включает в себя легкий портал для проверки человеком, позволяющий модераторам отслеживать потоки, управлять оповещениями о нарушениях и при необходимости останавливать потоки.
В этом разделе мы кратко представляем архитектуру системы. Для получения более подробной информации см. Репо GitHub.
На следующей записи экрана показан пользовательский интерфейс модератора, позволяющий им отслеживать активные потоки с предупреждениями модерации и предпринимать такие действия, как остановка потока или отклонение предупреждений.
Пользователи могут настраивать правила модерации, контролировать частоту выборки видеопотока для каждого канала, настраивать категории модерации Amazon Rekognition с пороговыми значениями достоверности и включать проверки сходства, что обеспечивает оптимизацию производительности и затрат за счет предотвращения обработки избыточных изображений.
На следующей записи экрана показан пользовательский интерфейс для управления глобальной конфигурацией.
В решении используется микросервисная архитектура, состоящая из двух ключевых компонентов, слабо связанных с Amazon IVS.
движок правил
Механизм правил составляет основу системы модерации прямых трансляций. Это служба обработки в реальном времени, которая обеспечивает модерацию практически в реальном времени. Он использует Amazon Rekognition для модерации изображений, проверяет результаты на соответствие настраиваемым правилам, использует алгоритмы хеширования изображений для распознавания и исключения похожих изображений, а также может автоматически останавливать потоки или предупреждать подсистему проверки человеком о нарушениях правил. Сервис интегрируется с Amazon IVS посредством чтения изображений на базе Amazon S3 и упрощает вызов API через Шлюз API Amazon.
Следующая схема архитектуры иллюстрирует рабочий процесс модерации практически в реальном времени.
Существует два метода запуска рабочего процесса обработки механизма правил:
- Триггер файла S3 – Когда в корзину S3 добавляется новое изображение, запускается рабочий процесс. Это рекомендуемый способ интеграции с Amazon IVS.
- Вызов REST API – Вы можете выполнить вызов API RESTful к шлюзу API, используя байты изображения в теле запроса. API сохраняет изображение в корзине S3, запуская обработку практически в реальном времени. Этот подход подходит для изображений, снятых клиентской частью приложения прямой трансляции и передаваемых через Интернет.
Рабочий процесс обработки изображений, которым управляет Шаговые функции AWS, включает в себя несколько шагов:
- Проверьте правило частоты выборки. Обработка останавливается, если предыдущий момент выборки слишком поздний.
- Если в конфигурации включено, выполните проверку на сходство с использованием алгоритмов хэширования изображений. Процесс пропускает изображение, если оно похоже на предыдущее, полученное для того же канала.
- Используйте API модерации изображений Amazon Rekognition, чтобы оценить изображение на соответствие настроенным правилам, применяя порог достоверности и игнорируя ненужные категории.
- Если результат модерации нарушает какие-либо правила, отправьте уведомление на Amazon Простая служба уведомлений (Amazon SNS), оповещающая нижестоящие системы предупреждениями о модерации.
- Если правило автоматической остановки модерации нарушено, поток Amazon IVS будет остановлен автоматически.
Проект управляет правилами через конечный автомат Step Functions, предоставляя графический интерфейс с возможностью перетаскивания для гибкого определения рабочего процесса. Вы можете расширить механизм правил, включив дополнительные рабочие процессы Step Functions.
Панель мониторинга и управления
Панель мониторинга и управления представляет собой веб-приложение с пользовательским интерфейсом, которое позволяет модераторам отслеживать прямые трансляции Amazon IVS. Он предоставляет оповещения модераторов практически в реальном времени, позволяя модераторам останавливать потоки или отклонять предупреждения. Веб-портал также позволяет администраторам управлять правилами модерации для механизма правил. Он поддерживает два типа конфигураций:
- Правила канала – Вы можете определить правила для конкретных каналов.
- Глобальные правила – Эти правила применяются ко всем или к части каналов Amazon IVS, у которых отсутствуют определенные конфигурации. Вы можете определить регулярное выражение, чтобы применить глобальное правило к именам каналов Amazon IVS, соответствующим шаблону. Например: .* применяется ко всем каналам. /^test-/ применяется к каналам, имена которых начинаются с test-.
Система представляет собой бессерверное веб-приложение со статическим интерфейсом React, размещенным на Amazon S3 с Amazon CloudFront для кэширования. Аутентификацию осуществляет Амазон Когнито. Данные передаются через API Gateway и Lambda с сохранением состояния в Amazon DynamoDB. Следующая диаграмма иллюстрирует эту архитектуру.
Панель мониторинга — это легкое демонстрационное приложение, предоставляющее модераторам необходимые функции. Чтобы улучшить функциональность, вы можете расширить реализацию, чтобы поддерживать несколько модераторов с помощью системы управления и сократить задержку, реализовав механизм push-уведомлений с использованием WebSockets.
Задержка модерации
Решение предназначено для модерации практически в реальном времени, при этом задержка измеряется в двух отдельных подсистемах:
- Рабочий процесс механизма правил – Рабочий процесс механизма правил, от получения изображений до отправки уведомлений через Amazon SNS, в среднем занимает 2 секунды. Этот сервис оперативно обрабатывает изображения через конечный автомат Step Functions. API модерации изображений Amazon Rekognition обрабатывает менее 500 миллисекунд для файлов среднего размера менее 1 МБ. (Эти результаты основаны на тестах, проведенных с примером приложения и отвечающих требованиям, близким к реальному времени.) В Amazon IVS у вас есть возможность выбирать различные разрешения миниатюр для настройки размера изображения.
- Веб-портал мониторинга – Веб-портал мониторинга подписывается на тему SNS механизма правил. Он записывает предупреждения в таблицу DynamoDB, а пользовательский интерфейс веб-сайта получает последние предупреждения каждые 10 секунд. Этот дизайн демонстрирует упрощенную демонстрацию точки зрения модератора. Чтобы еще больше сократить задержку, рассмотрите возможность внедрения WebSocket для мгновенной отправки предупреждений в пользовательский интерфейс по их прибытии через Amazon SNS.
Расширить решение
В этом посте основное внимание уделяется модерации визуального контента в прямом эфире. Однако решение намеренно является гибким, способным учитывать сложные бизнес-правила и расширяемым для поддержки других типов мультимедиа, включая модерацию сообщений чата и аудио в прямых трансляциях. Вы можете улучшить механизм правил, представив новые рабочие процессы конечного автомата Step Functions с восходящей логикой диспетчеризации. В следующих публикациях мы углубимся в модерацию текста и аудио в прямых трансляциях с использованием сервисов AWS AI.
Обзор
В этом посте мы представили обзор примера решения, которое демонстрирует, как модерировать видео прямых трансляций Amazon IVS с помощью Amazon Rekognition. Вы можете протестировать пример приложения, следуя инструкциям в Репо GitHub и развернуть его в своей учетной записи AWS с помощью прилагаемого пакета AWS CDK.
Узнать больше о модерация контента на AWS. Сделайте первый шаг навстречу оптимизация операций модерации контента с помощью AWS.
Об авторах
Лана Чжан является старшим архитектором решений в команде AWS WWSO AI Services, специализирующейся на ИИ и машинном обучении для модерации контента, компьютерного зрения, обработки естественного языка и генеративного ИИ. Благодаря своему опыту она занимается продвижением решений AWS AI/ML и помогает клиентам трансформировать их бизнес-решения в различных отраслях, включая социальные сети, игры, электронную коммерцию, средства массовой информации, рекламу и маркетинг.
Тони Ву — старший инженер по работе с партнерами в Twitch. Он специализируется на оценке партнерских технологий для интеграции с Amazon Interactive Video Service (IVS) с целью разработки и предоставления комплексных совместных решений нашим клиентам IVS.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/moderate-your-amazon-ivs-live-stream-using-amazon-rekognition/
- :является
- 1
- 10
- 100
- 118
- 12
- 500
- 60
- 7
- a
- О нас
- услужливый
- Учетная запись
- через
- Действие
- действия
- активный
- добавленный
- дополнительный
- администраторы
- Для взрослых
- Реклама
- против
- ДОГОВОР
- AI
- Услуги искусственного интеллекта
- AI / ML
- Стремясь
- Цель
- Оповещение
- Оповещения
- алгоритмы
- Все
- Позволяющий
- причислены
- Amazon
- Апостол
- Amazon Web Services
- an
- анализировать
- и
- любой
- API
- API
- приложение
- отношение
- Применение
- применяется
- Применить
- Применение
- подхода
- архитектура
- МЫ
- прибытие
- AS
- оценить
- Оценка
- содействие
- связанный
- At
- внимание
- аудитории
- аудио
- Аутентификация
- автор
- автоматический
- Автоматизированный
- автоматы
- Автоматический
- автоматически
- доступен
- в среднем
- избегающий
- AWS
- Позвоночник
- основанный
- BE
- становится
- от имени
- ниже
- тело
- изоферменты печени
- кратко
- строить
- бизнес
- но
- by
- призывают
- Объявления
- CAN
- возможности
- способный
- захваченный
- категории
- обслуживает
- определенный
- проблемы
- Канал
- каналы
- расходы
- проверка
- Проверки
- выбор
- классический
- клиент
- ближе
- облако
- код
- комбинируя
- Общий
- Компании
- комплекс
- компоненты
- комплексный
- компьютер
- Компьютерное зрение
- концептуальный
- Обеспокоенность
- параллельный
- Условия
- проводятся
- доверие
- Конфигурация
- настроить
- Рассматривать
- рассмотрение
- состоит
- содержит
- содержание
- контроль
- управление
- Цена
- Расходы
- соединенный
- решающее значение
- клиент
- Клиенты
- настраиваемый
- настроить
- приборная панель
- данным
- преданный
- более глубокий
- По умолчанию
- определять
- определение
- доставить
- поставка
- копаться
- демонстрация
- демонстрирует
- развертывание
- развертывание
- Проект
- предназначенный
- подробный
- подробнее
- определены
- определения
- развивать
- Развитие
- различный
- Принять
- дисплеев
- отчетливый
- Разное
- не
- электронная коммерция
- Эффективный
- фактически
- работает
- расширение прав и возможностей
- Наделяет
- включен
- позволяет
- позволяет
- конец
- Двигатель
- инженер
- повышать
- обеспечивает
- существенный
- установить
- Даже
- Каждая
- пример
- Примеры
- Расширьте
- опыт
- Впечатления
- опыта
- Объяснять
- выражение
- продлить
- облегчает
- Особенность
- Особенности
- Показывая
- женский пол
- Файл
- результаты
- Во-первых,
- примерка
- гибкого
- Фокус
- фокусируется
- после
- Что касается
- формы
- частота
- часто
- от
- передний
- Внешний интерфейс
- функция
- функциональность
- Функции
- далее
- игровой
- шлюз
- генерирует
- порождающий
- генеративный
- Генеративный ИИ
- GIF
- Глобальный
- Рост
- методические рекомендации
- Ручки
- хэш
- Хеширования
- ненавидеть
- Есть
- he
- ее
- High
- очень
- состоялся
- Как
- How To
- Однако
- HTML
- HTTP
- HTTPS
- человек
- Гибридный
- if
- игнорировать
- иллюстрирует
- изображение
- изображений
- реализация
- Осуществляющий
- важную
- in
- включены
- включает в себя
- В том числе
- включения
- расширились
- все больше и больше
- промышленности
- информация
- пример
- немедленно
- инструкции
- Интегрируется
- интеграции.
- намеренно
- интерактивный
- Интернет
- в
- вводить
- введение
- IT
- совместная
- JPG
- Основные
- Отсутствие
- язык
- Задержка
- последний
- изучение
- Меньше
- позволять
- Lets
- Библиотека
- легкий
- легкий
- LINK
- Список
- жить
- Трансляции
- логика
- машина
- обучение с помощью машины
- сделать
- ДЕЛАЕТ
- управлять
- управляемого
- управление
- управляет
- управления
- многих
- Маркетинг
- Совпадение
- согласование
- Май..
- механизм
- Медиа
- заседания
- Сообщения
- методы
- microservices
- может быть
- миллисекунды
- Минут
- ML
- умеренность
- монитор
- Мониторинг
- БОЛЕЕ
- самых
- с разными
- имя
- имена
- родной
- натуральный
- Обработка естественного языка
- необходимо
- Необходимость
- необходимый
- Новые
- нет
- уведомление
- Уведомления
- объект
- of
- наступление
- Предложения
- on
- ONE
- те,
- Операционный отдел
- Оптимизировать
- Опция
- or
- Другое
- Другое
- наши
- за
- общий
- обзор
- пакет
- партнер
- шаблон
- для
- Выполнять
- производительность
- Платформа
- Платформы
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- сборах
- политика
- Портал
- После
- Блог
- практическое
- практика
- представлены
- разрабатывает
- предыдущий
- процесс
- Процессы
- обработка
- Продукция
- Содействие
- обеспечивать
- при условии
- приводит
- обеспечение
- Push
- Питон
- САЙТ
- повышение
- ассортимент
- быстро
- реагировать
- Reading
- Получать
- получила
- получение
- последний
- признавать
- Управление по борьбе с наркотиками (DEA)
- записанный
- запись
- учет
- уменьшить
- снижение
- относиться
- регулярный
- правила
- полагаться
- уважаемый
- запросить
- требовать
- Требования
- ответ
- результат
- Итоги
- обзоре
- Правило
- условиями,
- Сохранность
- то же
- Шкала
- экран
- секунды
- Раздел
- Отправить
- отправка
- старший
- отдельный
- служил
- Serverless
- обслуживание
- Услуги
- выступающей
- установка
- несколько
- она
- должен
- сторона
- аналогичный
- просто
- Размер
- Размеры
- отрывок
- Соцсети
- социальные сети
- Решение
- Решения
- некоторые
- специализируется
- специализация
- конкретный
- указанный
- скорость
- Начало
- начинается
- Область
- статический
- Шаг
- Шаги
- Stop
- остановившийся
- остановка
- диск
- хранить
- магазины
- простой
- поток
- потоковый
- потоки
- Строгий
- такие
- поддержка
- поддержки
- Поддержка
- система
- системы
- ТАБЛИЦЫ
- взять
- команда
- снижения вреда
- Технологии
- тестов
- текст
- который
- Ассоциация
- их
- Их
- Там.
- Эти
- этой
- порог
- Через
- миниатюрами
- время
- кропотливый
- в
- Тони
- слишком
- тема
- к
- превращение
- вызвать
- срабатывание
- Доверие
- Twitch
- два
- Типы
- типично
- UGC
- ui
- под
- ненужный
- Предстоящие
- на
- Применение
- использование
- пользователей
- использования
- через
- Использующий
- проверить
- с помощью
- Видео
- Видео
- Вид
- просмотров
- нарушаться
- НАРУШЕНИЕ
- Нарушения
- Насилие
- видение
- визуальный
- Путь..
- we
- Web
- веб приложение
- веб-сервисы
- Вебсайт
- веб-сокет
- когда
- в то время как
- будь то
- который
- в то время как
- широкий
- Широкий диапазон
- будете
- в
- без
- рабочий
- Рабочие процессы
- письмо
- Ты
- Моложе
- ВАШЕ
- зефирнет