Service vidéo interactif Amazon (Amazon IVS) est une solution de diffusion en direct gérée conçue pour fournir une configuration rapide et simple afin de vous permettre de créer des expériences vidéo interactives et de gérer le contenu vidéo interactif de l'ingestion à la livraison.
Avec l’utilisation croissante du streaming en direct, la nécessité d’une modération efficace du contenu devient encore plus cruciale. Le contenu généré par les utilisateurs (UGC) présente des défis complexes en matière de sécurité. De nombreuses entreprises s'appuient sur des modérateurs humains pour surveiller les flux vidéo, ce qui prend du temps, est sujet aux erreurs et ne s'adapte pas à la vitesse de croissance de l'entreprise. Une solution de modération automatisée prenant en charge un humain dans la boucle (HITL) est de plus en plus nécessaire.
Modération de contenu Amazon Rekognition, une capacité de Amazon Reconnaissance, automatise et rationalise les flux de travail de modération d'images et de vidéos sans nécessiter d'expérience en apprentissage automatique (ML). Dans cet article, nous expliquons la pratique courante de modération visuelle des flux en direct avec une solution qui utilise l'API Amazon Rekognition Image pour modérer les flux en direct. Vous pouvez déployer cette solution sur votre compte AWS à l'aide du Kit de développement AWS Cloud (AWS CDK) disponible dans notre GitHub repo.
Modérer le contenu visuel du flux en direct
L'approche la plus courante pour la modération visuelle du flux UGC en direct consiste à échantillonner des images du flux et à utiliser la modération des images pour recevoir des résultats en temps quasi réel. Les plateformes de diffusion en direct peuvent utiliser des règles flexibles pour modérer le contenu visuel. Par exemple, les plateformes destinées à un public plus jeune peuvent avoir des règles strictes concernant le contenu pour adultes et certains produits, tandis que d’autres peuvent se concentrer sur les symboles de haine. Ces plateformes établissent des règles différentes pour correspondre efficacement à leurs politiques. Combinant examen humain et automatique, un processus hybride est une approche de conception courante. Certains flux seront arrêtés automatiquement, mais les modérateurs humains évalueront également si un flux viole les politiques de la plateforme et doit être désactivé.
Le diagramme suivant illustre le flux de travail conceptuel d'un système de modération en temps quasi réel, conçu avec un couplage lâche avec le système de diffusion en direct.
Le workflow contient les étapes suivantes:
- Le service de diffusion en direct (ou l'application client) échantillonne les images des flux vidéo en fonction d'un intervalle spécifique.
- Un moteur de règles évalue les directives de modération, déterminant la fréquence d'échantillonnage du flux et les catégories de modération applicables, le tout dans le cadre de politiques prédéfinies. Ce processus implique l'utilisation d'algorithmes ML et non ML.
- Le moteur de règles alerte les modérateurs humains lors de la détection de violations dans les flux vidéo.
- Les modérateurs humains évaluent le résultat et désactivent la diffusion en direct.
La modération des flux en direct UGC est distincte de la modération vidéo classique dans les médias. Il répond à diverses réglementations. La fréquence à laquelle les images sont échantillonnées à partir d'images vidéo à des fins de modération est généralement déterminée par la politique de confiance et de sécurité de la plateforme et par l'accord de niveau de service (SLA). Par exemple, si une plate-forme de diffusion en direct vise à arrêter les chaînes dans les 3 minutes en cas de violation des règles, une approche pratique consiste à échantillonner toutes les 1 à 2 minutes, ce qui laisse le temps aux modérateurs humains de vérifier et d'agir. Certaines plates-formes nécessitent un contrôle flexible de la fréquence de modération. Par exemple, les streamers très réputés peuvent nécessiter moins de modération, tandis que les nouveaux streamers nécessitent une plus grande attention. Cela permet également d’optimiser les coûts en réduisant la fréquence d’échantillonnage.
Le coût est une considération importante dans toute solution de modération de diffusion en direct. À mesure que les plateformes de diffusion en direct UGC se développent rapidement, la modération des flux simultanés à haute fréquence peut soulever des problèmes de coûts. La solution présentée dans cet article est conçue pour optimiser les coûts en vous permettant de définir des règles de modération pour personnaliser la fréquence d'échantillonnage, ignorer les images similaires et d'autres techniques.
Enregistrement du contenu du flux Amazon IVS sur Amazon S3
Amazon IVS propose des solutions natives pour enregistrement du contenu du flux à un Service de stockage simple Amazon (Amazon S3) et génération de vignettes : images d'image à partir d'un flux vidéo. Il génère des vignettes toutes les 60 secondes par défaut et offre aux utilisateurs la possibilité de personnaliser la qualité et la fréquence de l'image. En utilisant le Console de gestion AWS, vous pouvez créer une configuration d'enregistrement et associez-le à un canal Amazon IVS. Lorsqu'une configuration d'enregistrement est associée à un canal, les flux en direct du canal sont automatiquement enregistrés dans le compartiment S3 spécifié.
Il n'y a aucun frais Amazon IVS pour l'utilisation de la fonctionnalité d'enregistrement automatique sur Amazon S3 ou pour l'écriture sur Amazon S3. Des frais sont facturés pour le stockage Amazon S3, les appels d'API Amazon S3 effectués par Amazon IVS au nom du client et la diffusion de la vidéo stockée aux spectateurs. Pour plus de détails sur les coûts Amazon IVS, reportez-vous à Coûts (streaming à faible latence).
API de modération Amazon Rekognition
Dans cette solution, nous utilisons le API Amazon Rekognition DetectModerationLabel pour modérer les miniatures Amazon IVS en temps quasi réel. Amazon Rekognition Content Moderation fournit des API pré-entraînées pour analyser un large éventail de contenus inappropriés ou offensants, tels que la violence, la nudité, les symboles de haine, etc. Pour une liste complète des taxonomies de modération de contenu Amazon Rekognition, reportez-vous à Modération du contenu.
L'extrait de code suivant montre comment appeler l'API Amazon Rekognition DetectModerationLabel pour modérer des images dans un AWS Lambda fonction utilisant la bibliothèque Python Boto3 :
Voici un exemple de réponse de l'API de modération d'images Amazon Rekognition :
Pour d'autres exemples de l'API Amazon Rekognition Image Moderation, consultez notre Laboratoire d'images de modération de contenu.
Vue d'ensemble de la solution
Cette solution s'intègre à Amazon IVS en lisant les images miniatures d'un compartiment S3 et en envoyant des images à l'API de modération d'images Amazon Rekognition. Il offre des choix pour arrêter automatiquement le flux et effectuer une révision humaine dans la boucle. Vous pouvez configurer des règles pour que le système arrête automatiquement les flux en fonction des conditions. Il comprend également un portail d'examen humain léger, permettant aux modérateurs de surveiller les flux, de gérer les alertes de violation et d'arrêter les flux si nécessaire.
Dans cette section, nous présentons brièvement l'architecture du système. Pour des informations plus détaillées, reportez-vous au GitHub repo.
L'enregistrement d'écran suivant affiche l'interface utilisateur du modérateur, lui permettant de surveiller les flux actifs avec des avertissements de modération et de prendre des mesures telles que l'arrêt du flux ou le rejet des avertissements.
Les utilisateurs peuvent personnaliser les règles de modération, contrôler la fréquence d'échantillonnage du flux vidéo par canal, configurer les catégories de modération Amazon Rekognition avec des seuils de confiance et activer les contrôles de similarité, ce qui garantit les performances et l'optimisation des coûts en évitant le traitement d'images redondantes.
L'enregistrement d'écran suivant affiche l'interface utilisateur permettant de gérer une configuration globale.
La solution utilise une architecture de microservices composée de deux composants clés faiblement couplés à Amazon IVS.
moteur de règles
Le moteur de règles constitue l’épine dorsale du système de modération du flux en direct. Il s'agit d'un service de traitement en direct qui permet une modération en temps quasi réel. Il utilise Amazon Rekognition pour modérer les images, valide les résultats par rapport à des règles personnalisables, utilise des algorithmes de hachage d'images pour reconnaître et exclure des images similaires, et peut arrêter automatiquement les flux ou alerter le sous-système d'examen humain en cas de violation des règles. Le service s'intègre à Amazon IVS via la lecture d'images basée sur Amazon S3 et facilite l'invocation d'API via Passerelle d'API Amazon.
Le diagramme d'architecture suivant illustre le flux de travail de modération en temps quasi réel.
Il existe deux méthodes pour déclencher le workflow de traitement du moteur de règles :
- Déclencheur de fichier S3 – Lorsqu'une nouvelle image est ajoutée au compartiment S3, le flux de travail démarre. Il s'agit de la méthode recommandée pour l'intégration d'Amazon IVS.
- Appel d'API REST – Vous pouvez effectuer un appel d'API RESTful à API Gateway avec les octets d'image dans le corps de la demande. L'API stocke l'image dans un compartiment S3, déclenchant un traitement en temps quasi réel. Cette approche convient aux images capturées par le côté client de l'application de diffusion en direct et transmises sur Internet.
Le workflow de traitement d'images, géré par Fonctions d'étape AWS, comporte plusieurs étapes :
- Vérifiez la règle de fréquence d’échantillonnage. Le traitement s'arrête si l'heure d'échantillonnage précédente est trop récente.
- Si activé dans la configuration, effectuez une vérification de similarité à l'aide d'algorithmes de hachage d'image. Le processus ignore l'image si elle est similaire à la précédente reçue pour le même canal.
- Utilisez l'API Amazon Rekognition Image Moderation pour évaluer l'image par rapport aux règles configurées, en appliquant un seuil de confiance et en ignorant les catégories inutiles.
- Si le résultat de la modération enfreint des règles, envoyez des notifications à un Service de notification simple d'Amazon (Amazon SNS), alertant les systèmes en aval avec des avertissements de modération.
- Si la règle de modération d'arrêt automatique n'est pas respectée, le flux Amazon IVS sera automatiquement arrêté.
La conception gère les règles via une machine à états Step Functions, fournissant une interface graphique par glisser-déposer pour une définition flexible du flux de travail. Vous pouvez étendre le moteur de règles en incorporant des workflows Step Functions supplémentaires.
Tableau de bord de suivi et de gestion
Le tableau de bord de surveillance et de gestion est une application Web dotée d'une interface utilisateur qui permet aux modérateurs humains de surveiller les flux en direct Amazon IVS. Il fournit des alertes de modération en temps quasi réel, permettant aux modérateurs d'arrêter les flux ou d'ignorer les avertissements. Le portail Web permet également aux administrateurs de gérer les règles de modération du moteur de règles. Il prend en charge deux types de configurations :
- Règles de chaîne – Vous pouvez définir des règles pour des canaux spécifiques.
- Règles mondiales – Ces règles s'appliquent à tout ou partie des canaux Amazon IVS dépourvus de configurations spécifiques. Vous pouvez définir une expression régulière pour appliquer la règle globale aux noms de canaux Amazon IVS correspondant à un modèle. Par exemple : .* s’applique à tous les canaux. /^test-/ s'applique aux canaux dont les noms commencent par test-.
Le système est une application Web sans serveur, dotée d'un frontal React statique hébergé sur Amazon S3 avec Amazon CloudFront pour la mise en cache. L'authentification est gérée par Amazon Cognito. Les données sont servies via API Gateway et Lambda, avec un stockage d'état dans Amazon DynamoDB. Le schéma suivant illustre cette architecture.
Le tableau de bord de surveillance est une application de démonstration légère qui fournit des fonctionnalités essentielles aux modérateurs. Pour améliorer les fonctionnalités, vous pouvez étendre l'implémentation pour prendre en charge plusieurs modérateurs avec un système de gestion et réduire la latence en implémentant un mécanisme push à l'aide de WebSockets.
Latence de modération
La solution est conçue pour une modération en temps quasi réel, avec une latence mesurée sur deux sous-systèmes distincts :
- Flux de travail du moteur de règles – Le flux de travail du moteur de règles, de la réception d'images à l'envoi de notifications via Amazon SNS, dure en moyenne 2 secondes. Ce service gère rapidement les images via une machine à états Step Functions. L'API de modération d'images Amazon Rekognition traite moins de 500 millisecondes pour des tailles de fichier moyennes inférieures à 1 Mo. (Ces résultats sont basés sur des tests effectués avec l'exemple d'application, répondant aux exigences en temps quasi réel.) Dans Amazon IVS, vous avez la possibilité de sélectionner différents résolutions des vignettes pour régler la taille de l'image.
- Portail Web de surveillance – Le portail Web de surveillance s'abonne à la rubrique SNS du moteur de règles. Il enregistre les avertissements dans une table DynamoDB, tandis que l'interface utilisateur du site Web récupère les derniers avertissements toutes les 10 secondes. Cette conception présente une démonstration légère du point de vue du modérateur. Pour réduire davantage la latence, envisagez d'implémenter un WebSocket pour envoyer instantanément les avertissements à l'interface utilisateur dès leur arrivée via Amazon SNS.
Étendre la solution
Cet article se concentre sur la modération du contenu visuel des diffusions en direct. Cependant, la solution est intentionnellement flexible, capable de s'adapter à des règles commerciales complexes et extensible pour prendre en charge d'autres types de médias, notamment la modération des messages de discussion et de l'audio dans les flux en direct. Vous pouvez améliorer le moteur de règles en introduisant de nouveaux workflows de machine d'état Step Functions avec une logique de répartition en amont. Nous approfondirons la modération du texte et de l'audio en direct à l'aide des services AWS AI dans les prochaines publications.
Résumé
Dans cet article, nous avons fourni un aperçu d'un exemple de solution qui montre comment modérer les vidéos diffusées en direct Amazon IVS à l'aide d'Amazon Rekognition. Vous pouvez découvrir l'exemple d'application en suivant les instructions dans le GitHub repo et en le déployant sur votre compte AWS à l'aide du package AWS CDK inclus.
En savoir plus sur modération de contenu sur AWS. Faites le premier pas vers rationaliser vos opérations de modération de contenu avec AWS.
À propos des auteurs
Lana Zhang est architecte de solutions senior au sein de l'équipe AWS WWSO AI Services, spécialisée dans l'IA et le ML pour la modération de contenu, la vision par ordinateur, le traitement du langage naturel et l'IA générative. Grâce à son expertise, elle se consacre à la promotion des solutions AWS AI/ML et à aider les clients à transformer leurs solutions commerciales dans divers secteurs, notamment les médias sociaux, les jeux, le commerce électronique, les médias, la publicité et le marketing.
Tony Vu est ingénieur partenaire senior chez Twitch. Il se spécialise dans l'évaluation de la technologie des partenaires pour l'intégration avec Amazon Interactive Video Service (IVS), dans le but de développer et de fournir des solutions communes complètes à nos clients IVS.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
- La source: https://aws.amazon.com/blogs/machine-learning/moderate-your-amazon-ivs-live-stream-using-amazon-rekognition/
- :est
- 1
- 10
- 100
- 118
- 12
- 500
- 60
- 7
- a
- A Propos
- accommodant
- Compte
- à travers
- Action
- actes
- infection
- ajoutée
- Supplémentaire
- administrateurs
- Adulte
- Numérique
- à opposer à
- contrat
- AI
- Services d'IA
- AI / ML
- Visée
- vise
- Alerte
- Alertes
- algorithmes
- Tous
- Permettre
- aussi
- Amazon
- Amazon Reconnaissance
- Amazon Web Services
- an
- il analyse
- ainsi que le
- tous
- api
- Apis
- appli
- en vigueur
- Application
- s'applique
- Appliquer
- Application
- une approche
- architecture
- SONT
- arrivée
- AS
- Evaluer
- Évaluation
- assistant
- associé
- At
- précaution
- public
- acoustique
- Authentification
- auteur
- auto
- Automatisation
- Automates
- Automatique
- automatiquement
- disponibles
- moyen
- en évitant
- AWS
- Colonne vertébrale
- basé
- BE
- devient
- nom
- ci-dessous
- corps
- tous les deux
- brièvement
- construire
- la performance des entreprises
- mais
- by
- Appelez-nous
- Appels
- CAN
- aptitude
- capable
- capturé
- catégories
- répond
- certaines
- globaux
- Développement
- Voies
- des charges
- vérifier
- Contrôles
- choix
- classiques
- client
- plus
- le cloud
- code
- combinant
- Commun
- Sociétés
- complexe
- composants électriques
- complet
- ordinateur
- Vision par ordinateur
- conceptuel
- Préoccupations
- concurrent
- conditions
- menée
- confiance
- configuration
- configurée
- Considérer
- considération
- consiste
- contient
- contenu
- des bactéries
- contrôle
- Prix
- Costs
- accouplé
- crucial
- des clients
- Clients
- personnalisables
- personnaliser
- tableau de bord
- données
- dévoué
- profond
- Réglage par défaut
- Vous permet de définir
- définition
- livrer
- page de livraison.
- delve
- demo
- démontre
- déployer
- déployer
- Conception
- un
- détaillé
- détails
- déterminé
- détermination
- développer
- Développement
- différent
- Fermer
- affiche
- distinct
- plusieurs
- Ne fait pas
- e-commerce
- Efficace
- de manière efficace
- emploie
- l'autonomisation des
- responsabilise
- activé
- permet
- permettant
- fin
- Moteur
- ingénieur
- de renforcer
- Assure
- essential
- établir
- Pourtant, la
- Chaque
- exemple
- exemples
- Développer vous
- d'experience
- Expériences
- nous a permis de concevoir
- Expliquer
- expression
- étendre
- facilite
- Fonctionnalité
- Fonctionnalités:
- Doté d'
- femelle
- Déposez votre dernière attestation
- résultats
- Prénom
- raccord
- flexible
- Focus
- se concentre
- Abonnement
- Pour
- document
- La fréquence
- fréquemment
- De
- avant
- L'extrémité avant
- fonction
- fonctions
- plus
- jeux
- porte
- génère
- générateur
- génératif
- IA générative
- gif
- Global
- Croissance
- lignes directrices
- Poignées
- hachage
- Hachage
- haine
- Vous avez
- he
- ici
- Haute
- très
- organisé
- Comment
- How To
- Cependant
- HTML
- http
- HTTPS
- humain
- Hybride
- if
- ignorer
- illustre
- image
- satellite
- la mise en oeuvre
- la mise en œuvre
- important
- in
- inclus
- inclut
- Y compris
- incorporation
- increased
- de plus en plus
- secteurs
- d'information
- instance
- immédiatement
- Des instructions
- Intègre
- l'intégration
- intentionnellement
- Interactif
- Internet
- développement
- introduire
- Découvrez le tout nouveau
- IT
- joint
- jpg
- ACTIVITES
- Peindre
- langue
- Latence
- Nouveautés
- apprentissage
- moins
- laisser
- Allons-y
- Bibliothèque
- lumière
- léger
- LINK
- Liste
- le travail
- live Streams
- logique
- click
- machine learning
- a prendre une
- FAIT DU
- gérer
- gérés
- gestion
- gère
- les gérer
- de nombreuses
- Stratégie
- Match
- assorti
- Mai..
- mécanisme
- Médias
- réunion
- messages
- méthodes
- microservices
- pourrait
- millisecondes
- Minutes
- ML
- modération
- Surveiller
- Stack monitoring
- PLUS
- (en fait, presque toutes)
- plusieurs
- prénom
- noms
- indigène
- Nature
- Traitement du langage naturel
- nécessaire
- Besoin
- nécessaire
- Nouveauté
- aucune
- déclaration
- Notifications
- objet
- of
- offensive
- Offres Speciales
- on
- ONE
- et, finalement,
- Opérations
- Optimiser
- Option
- or
- Autre
- Autres
- nos
- plus de
- global
- vue d'ensemble
- paquet
- les partenaires
- Patron de Couture
- /
- Effectuer
- performant
- plateforme
- Plateformes
- Platon
- Intelligence des données Platon
- PlatonDonnées
- politiques
- politique
- Portail
- Post
- Poteaux
- Méthode
- pratique
- présenté
- cadeaux
- précédent
- processus
- les process
- traitement
- Produits
- la promotion de
- fournir
- à condition de
- fournit
- aportando
- Push
- Python
- qualité
- Rapide
- augmenter
- gamme
- rapidement
- Réagir
- en cours
- recevoir
- reçu
- recevoir
- récent
- reconnaître
- recommandé
- enregistré
- l'enregistrement
- Articles
- réduire
- réduire
- reportez-vous
- Standard
- règlements
- compter
- honorable
- nécessaire
- exigent
- Exigences
- réponse
- résultat
- Résultats
- Avis
- Règle
- Sécurité
- même
- Escaliers intérieurs
- pour écran
- secondes
- Section
- envoyer
- envoi
- supérieur
- séparé
- servi
- Sans serveur
- service
- Services
- service
- installation
- plusieurs
- elle
- devrait
- côté
- similaires
- étapes
- Taille
- tailles
- Fragment
- Réseaux sociaux
- réseaux sociaux
- sur mesure
- Solutions
- quelques
- spécialise
- spécialisation
- groupe de neurones
- spécifié
- vitesse
- Commencez
- départs
- Région
- statique
- étapes
- Étapes
- Arrêter
- arrêté
- arrêt
- storage
- stockée
- STORES
- simple
- courant
- streaming
- flux
- Strict
- tel
- Support
- Appuyer
- Les soutiens
- combustion propre
- Système
- table
- Prenez
- équipe
- techniques
- Technologie
- tests
- texte
- qui
- La
- leur
- Les
- Là.
- Ces
- this
- порог
- Avec
- thumbnail
- fiable
- long
- à
- Tony
- trop
- sujet
- vers
- transformer
- déclencher
- déclenchement
- La confiance
- Twitch
- deux
- types
- typiquement
- ugc
- ui
- sous
- inutile
- prochain
- sur
- Utilisation
- utilisé
- utilisateurs
- Usages
- en utilisant
- Utilisant
- vérifier
- via
- Vidéo
- Vidéos
- Voir
- téléspectateurs
- violé
- VIOLATION
- Violations
- Violence
- vision
- visuel
- Façon..
- we
- web
- application Web
- services Web
- Site Web
- Websocket
- quand
- Les
- que
- qui
- tout en
- large
- Large gamme
- sera
- comprenant
- dans les
- sans
- workflow
- workflows
- écriture
- Vous n'avez
- Younger
- Votre
- zéphyrnet