Інтерактивний відеосервіс Amazon (Amazon IVS) — це кероване рішення для потокового передавання в прямому ефірі, яке розроблено для швидкого й простого налаштування, щоб дозволити створювати інтерактивні відео та обробляти інтерактивний відеовміст від прийому до доставки.
Із збільшенням використання прямих трансляцій потреба в ефективній модерації вмісту стає ще більш важливою. Вміст, створений користувачами (UGC), створює складні проблеми для безпеки. Багато компаній покладаються на людей-модераторів для моніторингу відеопотоків, що займає багато часу, схильне до помилок і не масштабується зі швидкістю розвитку бізнесу. Автоматизоване рішення для модерації, яке підтримує роботу людини в циклі (HITL), стає все більш потрібним.
Модерація вмісту Amazon Rekognition, здатність Amazon Rekognition, автоматизує та оптимізує робочі процеси модерації зображень і відео, не вимагаючи досвіду машинного навчання (ML). У цій публікації ми пояснюємо поширену практику візуальної модерації прямих трансляцій за допомогою рішення, яке використовує API зображення Amazon Rekognition для модерації прямих трансляцій. Ви можете розгорнути це рішення у своєму обліковому записі AWS за допомогою Набір хмарних розробок AWS (AWS CDK) доступний у нашому GitHub репо.
Помірний візуальний вміст прямого ефіру
Найпоширеніший підхід до візуальної модерації прямого потоку UGC передбачає вибірку зображень із потоку та використання модерації зображень для отримання результатів майже в реальному часі. Платформи прямих трансляцій можуть використовувати гнучкі правила для модерації візуального вмісту. Наприклад, платформи з молодшою аудиторією можуть мати суворі правила щодо вмісту для дорослих і певних продуктів, тоді як інші можуть зосереджуватися на символах ненависті. Ці платформи встановлюють різні правила для ефективної відповідності своїм політикам. Змішаний процес, який поєднує людський і автоматичний перегляд, є поширеним підходом до проектування. Деякі потоки буде зупинено автоматично, але люди-модератори також оцінюватимуть, чи потік порушує політику платформи та чи слід його деактивувати.
Наступна діаграма ілюструє концептуальний робочий процес системи модерації майже в реальному часі, розробленої з слабким зв’язком із системою живих потоків.
Робочий процес містить наступні кроки:
- Служба прямої трансляції (або клієнтська програма) відбирає кадри зображення з відеопотоків на основі певного інтервалу.
- Механізм правил оцінює вказівки щодо модерації, визначаючи частоту вибірки потоку та відповідні категорії модерації, усе в рамках попередньо визначених політик. Цей процес передбачає використання як алгоритмів ML, так і не-ML.
- Механізм правил сповіщає людей-модераторів про виявлення порушень у відеопотоках.
- Люди-модератори оцінюють результат і деактивують пряму трансляцію.
Модерація прямих трансляцій UGC відрізняється від класичної модерації відео в ЗМІ. Він відповідає різноманітним нормам. Частота вибірки зображень із відеокадрів для модерації зазвичай визначається політикою довіри та безпеки платформи та угодою про рівень обслуговування (SLA). Наприклад, якщо платформа для прямих трансляцій має на меті зупинити канали протягом 3 хвилин за порушення політики, практичним підходом є вибірка кожні 1–2 хвилини, даючи час людям-модераторам перевірити та вжити заходів. Деякі платформи вимагають гнучкого контролю частоти модерації. Наприклад, стримери з високою репутацією можуть потребувати менше модерації, тоді як нові вимагають пильнішої уваги. Це також дозволяє оптимізувати витрати за рахунок зменшення частоти вибірки.
Вартість є важливим фактором у будь-якому рішенні модерації прямого ефіру. Оскільки платформи прямих трансляцій UGC швидко розширюються, модерування одночасних потоків із високою частотою може викликати проблеми з витратами. Рішення, представлене в цій публікації, призначене для оптимізації витрат, дозволяючи визначати правила модерації, щоб налаштувати частоту вибірки, ігнорувати схожі кадри зображень та інші методи.
Запис потокового вмісту Amazon IVS на Amazon S3
Amazon IVS пропонує рідні рішення для запис потокового вмісту в Служба простого зберігання Amazon (Amazon S3) і генерує мініатюри — кадри зображень із відеопотоку. За замовчуванням він створює мініатюри кожні 60 секунд і надає користувачам можливість налаштувати якість і частоту зображення. Використовуючи Консоль управління AWS, Ви можете створити конфігурацію запису і пов’яжіть його з каналом Amazon IVS. Якщо конфігурація запису пов’язана з каналом, прямі трансляції каналу автоматично записуються до вказаного сегмента S3.
Amazon IVS не стягує плату за використання функції автоматичного запису в Amazon S3 або за запис в Amazon S3. Існує плата за зберігання Amazon S3, виклики Amazon S3 API, які Amazon IVS здійснює від імені клієнта, і надання збереженого відео глядачам. Докладніше про вартість Amazon IVS див Витрати (потокове передавання з низькою затримкою).
API модерації Amazon Rekognition
У цьому рішенні ми використовуємо API Amazon Rekognition DetectModerationLabel модерувати мініатюри Amazon IVS майже в реальному часі. Amazon Rekognition Content Moderation надає попередньо підготовлені API для аналізу широкого діапазону неприйнятного або образливого вмісту, наприклад насильства, оголеного тіла, символів ненависті тощо. Повний список таксономій модерації вмісту Amazon Rekognition див Модерація контенту.
Наступний фрагмент коду демонструє, як викликати Amazon Rekognition DetectModerationLabel API для модерації зображень у межах AWS Lambda за допомогою бібліотеки Python Boto3:
Нижче наведено приклад відповіді від Amazon Rekognition Image Moderation API:
Щоб отримати додаткові приклади API модерації зображень Amazon Rekognition, зверніться до нашого Лабораторія зображень модерації вмісту.
Огляд рішення
Це рішення інтегрується з Amazon IVS, зчитуючи мініатюри зображень із контейнера S3 і надсилаючи зображення до API модерації зображень Amazon Rekognition. Він надає варіанти автоматичної зупинки потоку та перегляду в циклі. Ви можете налаштувати правила, щоб система автоматично зупиняла потоки на основі умов. Він також містить легкий портал для перевірки користувачами, який дає модераторам можливість контролювати потоки, керувати сповіщеннями про порушення та зупиняти потоки, коли це необхідно.
У цьому розділі ми коротко представимо архітектуру системи. Для отримання більш детальної інформації зверніться до GitHub репо.
На наступному записі екрану відображається інтерфейс модератора, який дає змогу контролювати активні потоки за допомогою попереджень про модерацію та виконувати такі дії, як зупинка потоку або відхилення попереджень.
Користувачі можуть налаштовувати правила модерації, керуючи частотою вибірки відеопотоку для кожного каналу, налаштовуючи категорії модерації Amazon Rekognition із пороговими значеннями достовірності та вмикаючи перевірки подібності, що забезпечує продуктивність і оптимізацію витрат, уникаючи обробки зайвих зображень.
На наступному записі екрана показано інтерфейс користувача для керування глобальною конфігурацією.
Рішення використовує архітектуру мікросервісів, яка складається з двох ключових компонентів, слабко пов’язаних із Amazon IVS.
правила двигуна
Механізм правил є основою системи модерації прямого ефіру. Це служба живої обробки, яка забезпечує модерацію майже в реальному часі. Він використовує Amazon Rekognition для модерації зображень, перевіряє результати на відповідність налаштованим правилам, використовує алгоритми хешування зображень для розпізнавання та виключення схожих зображень, а також може автоматично зупиняти потоки або сповіщати підсистему перевірки людьми про порушення правил. Сервіс інтегрується з Amazon IVS за допомогою читання зображень на основі Amazon S3 і полегшує виклик API через API -шлюз Amazon.
Наступна діаграма архітектури ілюструє робочий процес модерації майже в реальному часі.
Існує два способи запустити робочий процес обробки механізму правил:
- Тригер файлу S3 – Коли нове зображення додається до сегмента S3, починається робочий процес. Це рекомендований спосіб для інтеграції Amazon IVS.
- Виклик REST API – Ви можете здійснити виклик RESTful API до API Gateway з байтами зображення в тілі запиту. API зберігає зображення у відрі S3, запускаючи обробку майже в реальному часі. Цей підхід підходить для зображень, зроблених клієнтською частиною додатка для прямої трансляції та переданих через Інтернет.
Робочий процес обробки зображень, яким керує Функції кроку AWS, складається з кількох кроків:
- Перевірте правило частоти вибірки. Обробка припиняється, якщо попередній час вибірки надто давній.
- Якщо ввімкнено в конфігурації, виконувати перевірку подібності за допомогою алгоритмів хешування зображення. Процес пропускає зображення, якщо воно схоже на попереднє, отримане для того самого каналу.
- Використовуйте API модерації зображень Amazon Rekognition, щоб оцінити зображення за налаштованими правилами, застосовуючи поріг достовірності й ігноруючи непотрібні категорії.
- Якщо результат модерації порушує будь-які правила, надішліть сповіщення на адресу Служба простих сповіщень Amazon Тема (Amazon SNS), яка сповіщає наступні системи за допомогою попереджень модерації.
- Якщо порушується правило модерації автоматичної зупинки, потік Amazon IVS буде зупинено автоматично.
Дизайн керує правилами через кінцевий автомат Step Functions, надаючи графічний інтерфейс користувача з можливістю перетягування для гнучкого визначення робочого процесу. Ви можете розширити механізм правил, додавши додаткові робочі процеси покрокових функцій.
Інформаційна панель моніторингу та управління
Інформаційна панель моніторингу та керування — це веб-програма з інтерфейсом користувача, який дозволяє модераторам відстежувати прямі трансляції Amazon IVS. Він надає сповіщення про модерацію майже в реальному часі, дозволяючи модераторам зупиняти трансляції або відхиляти попередження. Веб-портал також надає адміністраторам можливість керувати правилами модерації для механізму правил. Він підтримує два типи конфігурацій:
- Правила каналу – Ви можете визначити правила для окремих каналів.
- Глобальні правила – Ці правила застосовуються до всіх або частини каналів Amazon IVS, які не мають певних конфігурацій. Ви можете визначити регулярний вираз, щоб застосувати глобальне правило до імен каналів Amazon IVS, які відповідають шаблону. Наприклад: .* застосовується до всіх каналів. /^test-/ застосовується до каналів, назви яких починаються з test-.
Система є безсерверним веб-додатком із статичним інтерфейсом React, розміщеним на Amazon S3 Amazon CloudFront для кешування. Автентифікацію виконує Амазонка Когніто. Дані обслуговуються через API Gateway і Lambda зі сховищем стану Amazon DynamoDB. Наступна діаграма ілюструє цю архітектуру.
Інформаційна панель моніторингу – це легка демонстраційна програма, яка надає важливі функції для модераторів. Щоб покращити функціональність, ви можете розширити реалізацію для підтримки кількох модераторів із системою керування та зменшити затримку, реалізувавши механізм push за допомогою WebSockets.
Затримка модерації
Рішення розроблено для модерації майже в реальному часі, із затримкою, виміряною у двох окремих підсистемах:
- Робочий процес двигуна правил – Робочий процес механізму правил, від отримання зображень до надсилання сповіщень через Amazon SNS, становить у середньому 2 секунди. Ця служба оперативно обробляє зображення через кінцевий автомат Step Functions. API Amazon Rekognition Image Moderation обробляє менше 500 мілісекунд для середніх розмірів файлів менше 1 МБ. (Ці висновки ґрунтуються на тестах, проведених із зразком програми, що відповідає вимогам майже в реальному часі.) В Amazon IVS ви можете вибрати різні роздільна здатність мініатюр щоб налаштувати розмір зображення.
- Веб-портал моніторингу – Веб-портал моніторингу підписується на тему SNS механізму правил. Він записує попередження в таблицю DynamoDB, а інтерфейс веб-сайту отримує останні попередження кожні 10 секунд. Цей дизайн демонструє легку демонстрацію погляду модератора. Щоб ще більше зменшити затримку, подумайте про впровадження WebSocket, щоб миттєво надсилати попередження в інтерфейс користувача після їх надходження через Amazon SNS.
Розширити рішення
Ця публікація присвячена модерації візуального вмісту в прямому ефірі. Однак це рішення є навмисно гнучким, здатним враховувати складні бізнес-правила та розширюваним для підтримки інших типів медіа, включаючи модерування повідомлень чату та аудіо в прямих трансляціях. Ви можете покращити механізм правил, запровадивши нові робочі цикли кінцевого автомата Step Functions із логікою диспетчеризації вгорі. У наступних публікаціях ми детальніше розглянемо модерацію тексту та аудіо в прямому ефірі за допомогою служб AWS AI.
Підсумки
У цій публікації ми надали огляд зразка рішення, яке демонструє, як модерувати відео прямого потоку Amazon IVS за допомогою Amazon Rekognition. Ви можете спробувати приклад програми, дотримуючись інструкцій у GitHub репо і розгортання його у вашому обліковому записі AWS за допомогою включеного пакета AWS CDK.
Дізнатися більше про модерація контенту на AWS. Зробіть перший крок назустріч спрощення операцій модерації вмісту за допомогою AWS.
Про авторів
Лана Чжан є старшим архітектором рішень у команді AWS WWSO AI Services, яка спеціалізується на штучному інтелекті та машинному моделюванні для модерації вмісту, комп’ютерного зору, обробки природної мови та генеративного штучного інтелекту. Завдяки своєму досвіду вона присвятила себе просуванню рішень AWS AI/ML і допомозі клієнтам трансформувати їхні бізнес-рішення в різних галузях, включаючи соціальні мережі, ігри, електронну комерцію, медіа, рекламу та маркетинг.
Тоні Вю є старшим інженером-партнером у Twitch. Він спеціалізується на оцінці партнерських технологій для інтеграції з Amazon Interactive Video Service (IVS), щоб розробити та надати комплексні спільні рішення нашим клієнтам IVS.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/moderate-your-amazon-ivs-live-stream-using-amazon-rekognition/
- :є
- 1
- 10
- 100
- 118
- 12
- 500
- 60
- 7
- a
- МЕНЮ
- поступливий
- рахунки
- через
- дію
- дії
- активний
- доданий
- Додатковий
- Адміністратори
- Для дорослих
- реклама
- проти
- Угода
- AI
- Послуги ШІ
- AI / ML
- прицілювання
- Цілі
- Оповіщення
- Alerts
- алгоритми
- ВСІ
- Дозволити
- Також
- Amazon
- Amazon Rekognition
- Amazon Web Services
- an
- аналізувати
- та
- будь-який
- API
- Інтерфейси
- додаток
- застосовно
- додаток
- застосовується
- Застосовувати
- Застосування
- підхід
- архітектура
- ЕСТЬ
- прибуття
- AS
- оцінити
- Оцінювання
- допомагати
- асоційований
- At
- увагу
- слухання
- аудіо
- Authentication
- автор
- автоматичний
- Автоматизований
- автоматизує
- автоматичний
- автоматично
- доступний
- середній
- уникає
- AWS
- Хребет
- заснований
- BE
- стає
- імені
- нижче
- тіло
- обидва
- коротко
- будувати
- бізнес
- але
- by
- call
- Виклики
- CAN
- можливості
- здатний
- захоплений
- категорії
- обслуговує
- певний
- проблеми
- Канал
- канали
- вантажі
- перевірка
- Перевірки
- вибір
- classic
- клієнт
- ближче
- хмара
- код
- об'єднання
- загальний
- Компанії
- комплекс
- Компоненти
- всеосяжний
- комп'ютер
- Комп'ютерне бачення
- концептуальний
- Турбота
- одночасно
- Умови
- проводиться
- довіра
- конфігурація
- налаштувати
- Вважати
- розгляду
- складається
- містить
- зміст
- контроль
- управління
- Коштувати
- витрати
- з'єднаний
- вирішальне значення
- клієнт
- Клієнти
- настроюється
- налаштувати
- приладова панель
- дані
- присвячених
- глибше
- дефолт
- визначати
- визначення
- доставляти
- доставка
- заглиблюватися
- демонстрація
- демонструє
- розгортання
- розгортання
- дизайн
- призначений
- докладно
- деталі
- певний
- визначення
- розвивати
- розробка
- різний
- відхиляти
- дисплеїв
- чіткий
- Різне
- Ні
- e-commerce
- Ефективний
- фактично
- працює
- уповноважують
- повноваження
- включений
- дозволяє
- дозволяє
- кінець
- двигун
- інженер
- підвищувати
- гарантує
- істотний
- встановити
- Навіть
- Кожен
- приклад
- Приклади
- Розширювати
- досвід
- Досліди
- експертиза
- Пояснювати
- вираз
- продовжити
- полегшує
- особливість
- риси
- Показуючи
- жінка
- філе
- результати
- Перший
- пристосування
- гнучкий
- Сфокусувати
- фокусується
- після
- для
- форми
- частота
- часто
- від
- перед
- передня частина
- функція
- функціональність
- Функції
- далі
- азартні ігри
- шлюз
- генерує
- породжує
- генеративний
- Генеративний ШІ
- GIF
- Глобальний
- Зростання
- керівні вказівки
- Ручки
- мішанина
- хешування
- ненавидіти
- Мати
- he
- її
- Високий
- дуже
- відбувся
- Як
- How To
- Однак
- HTML
- HTTP
- HTTPS
- людина
- гібрид
- if
- ігнорувати
- ілюструє
- зображення
- зображень
- реалізація
- реалізації
- важливо
- in
- включені
- includes
- У тому числі
- включення
- збільшений
- все більше і більше
- промисловості
- інформація
- екземпляр
- негайно
- інструкції
- Інтеграція
- інтеграція
- навмисно
- інтерактивний
- інтернет
- в
- вводити
- введення
- IT
- спільна
- JPG
- ключ
- відсутність
- мова
- Затримка
- останній
- вивчення
- менше
- дозволяти
- дозволяє
- бібліотека
- світло
- легкий
- LINK
- список
- жити
- Прямі потоки
- логіка
- машина
- навчання за допомогою машини
- зробити
- РОБОТИ
- управляти
- вдалося
- управління
- управляє
- управління
- багато
- Маркетинг
- матч
- узгодження
- Може..
- механізм
- Медіа
- засідання
- повідомлення
- методика
- мікросервіс
- може бути
- мілісекунд
- хвилин
- ML
- помірність
- монітор
- моніторинг
- більше
- найбільш
- множинний
- ім'я
- Імена
- рідний
- Природний
- Обробка природних мов
- необхідно
- Необхідність
- необхідний
- Нові
- немає
- сповіщення
- Повідомлення
- об'єкт
- of
- наступ
- Пропозиції
- on
- ONE
- ті,
- операції
- Оптимізувати
- варіант
- or
- Інше
- інші
- наші
- над
- загальний
- огляд
- пакет
- партнер
- Викрійки
- для
- Виконувати
- продуктивність
- платформа
- Платформи
- plato
- Інформація про дані Платона
- PlatoData
- Політика
- політика
- Портал
- пошта
- Пости
- Практичний
- практика
- представлений
- подарунки
- попередній
- процес
- процеси
- обробка
- Продукти
- сприяння
- забезпечувати
- за умови
- забезпечує
- забезпечення
- Штовхати
- Python
- якість
- Швидко
- підвищення
- діапазон
- швидко
- Реагувати
- читання
- отримати
- отримано
- отримання
- останній
- визнавати
- рекомендований
- записаний
- запис
- облік
- зменшити
- зниження
- послатися
- регулярний
- правила
- покладатися
- шановний
- запросити
- вимагати
- Вимога
- відповідь
- результат
- результати
- огляд
- Правило
- Правила
- Безпека
- то ж
- шкала
- Екран
- seconds
- розділ
- послати
- відправка
- старший
- окремий
- служив
- Без сервера
- обслуговування
- Послуги
- виступаючої
- установка
- кілька
- вона
- Повинен
- сторона
- аналогічний
- простий
- Розмір
- розміри
- уривок
- соціальна
- соціальні медіа
- рішення
- Рішення
- деякі
- спеціалізується
- спеціалізується
- конкретний
- зазначений
- швидкість
- Починаючи
- починається
- стан
- статичний
- Крок
- заходи
- Стоп
- зупинений
- зупинка
- зберігання
- зберігати
- магазинів
- просто
- потік
- потоковий
- потоки
- Strict
- такі
- підтримка
- Підтримуючий
- Опори
- система
- Systems
- таблиця
- Приймати
- команда
- методи
- Технологія
- Тести
- текст
- Що
- Команда
- їх
- Їх
- Там.
- Ці
- це
- поріг
- через
- слайдами
- час
- трудомісткий
- до
- Тоні
- занадто
- тема
- до
- перетворення
- викликати
- спрацьовування
- Довіряйте
- Сіпатися
- два
- Типи
- типово
- UGC
- ui
- при
- непотрібний
- Майбутні
- на
- Використання
- використання
- користувачі
- використовує
- використання
- використовує
- перевірити
- через
- Відео
- Відео
- вид
- глядачів
- порушено
- ПОРУШЕННЯ
- Порушення
- Насильство
- бачення
- візуальний
- шлях..
- we
- Web
- Веб-додаток
- веб-сервіси
- веб-сайт
- веб-сайт
- коли
- в той час як
- Чи
- який
- в той час як
- широкий
- Широкий діапазон
- волі
- з
- в
- без
- робочий
- Робочі процеси
- лист
- Ти
- молодший
- вашу
- зефірнет