Serviço de vídeo interativo da Amazon (Amazon IVS) é uma solução gerenciada de streaming ao vivo projetada para fornecer uma configuração rápida e direta para permitir que você crie experiências de vídeo interativas e lide com conteúdo de vídeo interativo desde a ingestão até a entrega.
Com o aumento do uso da transmissão ao vivo, a necessidade de moderação eficaz de conteúdo torna-se ainda mais crucial. O conteúdo gerado pelo usuário (UGC) apresenta desafios complexos para a segurança. Muitas empresas dependem de moderadores humanos para monitorar streams de vídeo, o que é demorado, sujeito a erros e não acompanha a velocidade de crescimento dos negócios. Uma solução de moderação automatizada que suporte um humano no circuito (HITL) é cada vez mais necessária.
Moderação de conteúdo do Amazon Rekognition, uma capacidade de Reconhecimento da Amazônia, automatiza e simplifica fluxos de trabalho de moderação de imagens e vídeos sem exigir experiência em aprendizado de máquina (ML). Nesta postagem, explicamos a prática comum de moderação visual de transmissões ao vivo com uma solução que usa a API Amazon Rekognition Image para moderar transmissões ao vivo. Você pode implantar esta solução em sua conta da AWS usando o Kit de desenvolvimento em nuvem da AWS (AWS CDK) disponível em nosso GitHub repo.
Conteúdo visual moderado de transmissão ao vivo
A abordagem mais comum para moderação visual de transmissão ao vivo UGC envolve amostragem de imagens da transmissão e utilização de moderação de imagens para receber resultados quase em tempo real. As plataformas de transmissão ao vivo podem usar regras flexíveis para moderar o conteúdo visual. Por exemplo, plataformas com públicos mais jovens podem ter regras rigorosas sobre conteúdo adulto e determinados produtos, enquanto outras podem concentrar-se em símbolos de ódio. Estas plataformas estabelecem regras diferentes para corresponder eficazmente às suas políticas. Combinando revisão humana e automática, um processo híbrido é uma abordagem de design comum. Certas transmissões serão interrompidas automaticamente, mas os moderadores humanos também avaliarão se uma transmissão viola as políticas da plataforma e deve ser desativada.
O diagrama a seguir ilustra o fluxo de trabalho conceitual de um sistema de moderação quase em tempo real, projetado com baixo acoplamento ao sistema de transmissão ao vivo.
O fluxo de trabalho contém as seguintes etapas:
- O serviço de transmissão ao vivo (ou o aplicativo cliente) faz amostras de quadros de imagem de transmissões de vídeo com base em um intervalo específico.
- Um mecanismo de regras avalia as diretrizes de moderação, determinando a frequência da amostragem de fluxo e as categorias de moderação aplicáveis, tudo dentro de políticas predefinidas. Este processo envolve a utilização de algoritmos de ML e não-ML.
- O mecanismo de regras alerta os moderadores humanos ao detectar violações nas transmissões de vídeo.
- Moderadores humanos avaliam o resultado e desativam a transmissão ao vivo.
A moderação de transmissões ao vivo de UGC é diferente da moderação clássica de vídeo na mídia. Atende a diversas regulamentações. A frequência com que as imagens são amostradas de quadros de vídeo para moderação é normalmente determinada pela política de confiança e segurança da plataforma e pelo acordo de nível de serviço (SLA). Por exemplo, se uma plataforma de transmissão ao vivo pretende interromper canais em 3 minutos por violações de políticas, uma abordagem prática é fazer amostras a cada 1–2 minutos, dando tempo para que moderadores humanos verifiquem e tomem medidas. Algumas plataformas exigem controle de frequência de moderação flexível. Por exemplo, streamers altamente conceituados podem precisar de menos moderação, enquanto os novos requerem mais atenção. Isso também permite a otimização de custos, reduzindo a frequência de amostragem.
O custo é uma consideração importante em qualquer solução de moderação de transmissão ao vivo. À medida que as plataformas de transmissão ao vivo UGC se expandem rapidamente, a moderação de transmissões simultâneas em alta frequência pode levantar preocupações de custo. A solução apresentada nesta postagem foi projetada para otimizar custos, permitindo definir regras de moderação para personalizar a frequência da amostra, ignorar quadros de imagens semelhantes e outras técnicas.
Gravação de conteúdo de streaming do Amazon IVS no Amazon S3
O Amazon IVS oferece soluções nativas para gravação de conteúdo de fluxo para uma Serviço de armazenamento simples da Amazon (Amazon S3) e geração de miniaturas – quadros de imagem de um stream de vídeo. Ele gera miniaturas a cada 60 segundos por padrão e oferece aos usuários a opção de personalizar a qualidade e a frequência da imagem. Usando o Console de gerenciamento da AWS, você pode criar uma configuração de gravação e vincule-o a um canal do Amazon IVS. Quando uma configuração de gravação é associada a um canal, as transmissões ao vivo do canal são gravadas automaticamente no bucket S3 especificado.
Não há cobranças do Amazon IVS pelo uso do recurso de gravação automática no Amazon S3 ou pela gravação no Amazon S3. Há cobranças pelo armazenamento do Amazon S3, pelas chamadas de API do Amazon S3 que o Amazon IVS faz em nome do cliente e pela veiculação do vídeo armazenado aos espectadores. Para obter detalhes sobre os custos do Amazon IVS, consulte Custos (streaming de baixa latência).
APIs de moderação do Amazon Rekognition
Nesta solução, usamos o API DetectModerationLabel do Amazon Rekognition para moderar miniaturas do Amazon IVS quase em tempo real. O Amazon Rekognition Content Moderation fornece APIs pré-treinadas para analisar uma ampla variedade de conteúdos inapropriados ou ofensivos, como violência, nudez, símbolos de ódio e muito mais. Para obter uma lista abrangente de taxonomias de moderação de conteúdo do Amazon Rekognition, consulte Moderando conteúdo.
O snippet de código a seguir demonstra como chamar a API DetectModerationLabel do Amazon Rekognition para moderar imagens em um AWS Lambda função usando a biblioteca Python Boto3:
Veja a seguir um exemplo de resposta da API de moderação de imagens do Amazon Rekognition:
Para obter exemplos adicionais da API de moderação de imagem do Amazon Rekognition, consulte nosso Laboratório de imagem de moderação de conteúdo.
Visão geral da solução
Esta solução integra-se ao Amazon IVS lendo imagens em miniatura de um bucket S3 e enviando imagens para a API de moderação de imagens do Amazon Rekognition. Ele fornece opções para interromper o fluxo automaticamente e revisão humana. Você pode configurar regras para o sistema interromper automaticamente os fluxos com base nas condições. Também inclui um portal leve de revisão humana, capacitando os moderadores a monitorar transmissões, gerenciar alertas de violação e interromper transmissões quando necessário.
Nesta seção, apresentamos brevemente a arquitetura do sistema. Para informações mais detalhadas, consulte o GitHub repo.
A gravação de tela a seguir exibe a IU do moderador, permitindo que eles monitorem transmissões ativas com avisos de moderação e tomem ações como interromper a transmissão ou descartar avisos.
Os usuários podem personalizar regras de moderação, controlando a frequência de amostra de stream de vídeo por canal, configurando categorias de moderação do Amazon Rekognition com limites de confiança e habilitando verificações de similaridade, o que garante desempenho e otimização de custos, evitando o processamento de imagens redundantes.
A gravação de tela a seguir exibe a UI para gerenciar uma configuração global.
A solução usa uma arquitetura de microsserviços, que consiste em dois componentes principais fracamente acoplados ao Amazon IVS.
motor de regras
O mecanismo de regras constitui a espinha dorsal do sistema de moderação de transmissão ao vivo. É um serviço de processamento ao vivo que permite moderação quase em tempo real. Ele usa o Amazon Rekognition para moderar imagens, valida resultados em relação a regras personalizáveis, emprega algoritmos de hash de imagens para reconhecer e excluir imagens semelhantes e pode interromper fluxos automaticamente ou alertar o subsistema de revisão humana sobre violações de regras. O serviço se integra ao Amazon IVS por meio da leitura de imagens baseada no Amazon S3 e facilita a invocação de API por meio de Gateway de API da Amazon.
O diagrama de arquitetura a seguir ilustra o fluxo de trabalho de moderação quase em tempo real.
Existem dois métodos para acionar o fluxo de trabalho de processamento do mecanismo de regras:
- Gatilho de arquivo S3 – Quando uma nova imagem é adicionada ao bucket do S3, o fluxo de trabalho é iniciado. Esta é a forma recomendada para integração do Amazon IVS.
- Chamada de API REST – Você pode fazer uma chamada de API RESTful para o API Gateway com os bytes da imagem no corpo da solicitação. A API armazena a imagem em um bucket S3, acionando o processamento quase em tempo real. Essa abordagem é adequada para imagens capturadas pelo lado do cliente do aplicativo de transmissão ao vivo e transmitidas pela Internet.
O fluxo de trabalho de processamento de imagens, gerenciado por Funções de etapa da AWS, envolve várias etapas:
- Verifique a regra de frequência da amostra. O processamento é interrompido se o tempo de amostragem anterior for muito recente.
- Se habilitado na configuração, execute uma verificação de similaridade usando algoritmos de hash de imagem. O processo ignora a imagem se ela for semelhante à anterior recebida para o mesmo canal.
- Use a API de moderação de imagens do Amazon Rekognition para avaliar a imagem em relação às regras configuradas, aplicando um limite de confiança e ignorando categorias desnecessárias.
- Se o resultado da moderação violar alguma regra, envie notificações para um Serviço de notificação simples da Amazon (Amazon SNS), alertando sistemas downstream com avisos de moderação.
- Se a regra de moderação de interrupção automática for violada, o stream do Amazon IVS será interrompido automaticamente.
O design gerencia regras por meio de uma máquina de estado Step Functions, fornecendo uma GUI de arrastar e soltar para definição flexível de fluxo de trabalho. Você pode estender o mecanismo de regras incorporando fluxos de trabalho adicionais do Step Functions.
Painel de monitoramento e gerenciamento
O painel de monitoramento e gerenciamento é um aplicativo web com uma UI que permite que moderadores humanos monitorem transmissões ao vivo do Amazon IVS. Ele fornece alertas de moderação quase em tempo real, permitindo que os moderadores interrompam transmissões ou ignorem avisos. O portal da web também permite que os administradores gerenciem regras de moderação para o mecanismo de regras. Suporta dois tipos de configurações:
- Regras do canal – Você pode definir regras para canais específicos.
- Regras globais – Essas regras se aplicam a todos ou a um subconjunto de canais do Amazon IVS que não possuem configurações específicas. Você pode definir uma expressão regular para aplicar a regra global aos nomes de canais do Amazon IVS que correspondam a um padrão. Por exemplo: .* aplica-se a todos os canais. /^test-/ aplica-se a canais com nomes começando com test-.
O sistema é um aplicativo web sem servidor, apresentando um front-end React estático hospedado no Amazon S3 com Amazon CloudFront para cache. A autenticação é feita por Amazon Cognito. Os dados são servidos por meio de API Gateway e Lambda, com armazenamento de estado em Amazon DynamoDB. O diagrama a seguir ilustra essa arquitetura.
O painel de monitoramento é um aplicativo de demonstração leve que fornece recursos essenciais para moderadores. Para aprimorar a funcionalidade, você pode estender a implementação para oferecer suporte a vários moderadores com um sistema de gerenciamento e reduzir a latência implementando um mecanismo push usando WebSockets.
Latência de moderação
A solução foi projetada para moderação quase em tempo real, com latência medida em dois subsistemas separados:
- Fluxo de trabalho do mecanismo de regras – O fluxo de trabalho do mecanismo de regras, desde o recebimento de imagens até o envio de notificações via Amazon SNS, leva em média 2 segundos. Este serviço manipula imagens prontamente por meio de uma máquina de estado do Step Functions. A API de moderação de imagens do Amazon Rekognition processa menos de 500 milissegundos para tamanhos médios de arquivo abaixo de 1 MB. (Essas descobertas são baseadas em testes realizados com o aplicativo de amostra, atendendo aos requisitos quase em tempo real.) No Amazon IVS, você tem a opção de selecionar diferentes resoluções de miniaturas para ajustar o tamanho da imagem.
- Portal de monitoramento – O portal da web de monitoramento assina o tópico SNS do mecanismo de regras. Ele registra avisos em uma tabela DynamoDB, enquanto a IU do site busca os avisos mais recentes a cada 10 segundos. Este design apresenta uma demonstração leve da visão do moderador. Para reduzir ainda mais a latência, considere implementar um WebSocket para enviar avisos instantaneamente à IU após sua chegada por meio do Amazon SNS.
Estenda a solução
Esta postagem se concentra na moderação de conteúdo visual de transmissão ao vivo. No entanto, a solução é intencionalmente flexível, capaz de acomodar regras de negócios complexas e extensível para suportar outros tipos de mídia, incluindo moderação de mensagens de chat e áudio em transmissões ao vivo. Você pode aprimorar o mecanismo de regras introduzindo novos fluxos de trabalho de máquina de estado do Step Functions com lógica de despacho upstream. Iremos nos aprofundar na moderação de áudio e texto de transmissão ao vivo usando os serviços de IA da AWS nas próximas postagens.
Resumo
Nesta postagem, fornecemos uma visão geral de um exemplo de solução que mostra como moderar vídeos de transmissão ao vivo do Amazon IVS usando o Amazon Rekognition. Você pode experimentar o aplicativo de exemplo seguindo as instruções no GitHub repo e implantá-lo em sua conta AWS usando o pacote AWS CDK incluído.
Saiba mais sobre moderação de conteúdo na AWS. Dê o primeiro passo para simplificando suas operações de moderação de conteúdo com a AWS.
Sobre os autores
Lana Zhang é arquiteto de soluções sênior na equipe de serviços de IA do AWS WWSO, especializado em IA e ML para moderação de conteúdo, visão computacional, processamento de linguagem natural e IA generativa. Com sua experiência, ela se dedica a promover soluções de IA/ML da AWS e ajudar os clientes a transformar suas soluções de negócios em diversos setores, incluindo mídia social, jogos, comércio eletrônico, mídia, publicidade e marketing.
Tony Vu é engenheiro parceiro sênior da Twitch. Ele é especialista em avaliar tecnologia de parceiros para integração com Amazon Interactive Video Service (IVS), com o objetivo de desenvolver e fornecer soluções conjuntas abrangentes aos nossos clientes IVS.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/moderate-your-amazon-ivs-live-stream-using-amazon-rekognition/
- :é
- 1
- 10
- 100
- 118
- 12
- 500
- 60
- 7
- a
- Sobre
- acomodando
- Conta
- em
- Açao Social
- ações
- ativo
- adicionado
- Adicional
- administradores
- Adulto
- Publicidade
- contra
- Acordo
- AI
- Serviços de IA
- AI / ML
- Visando
- visa
- Alertar
- Alertas
- algoritmos
- Todos os Produtos
- Permitindo
- tb
- Amazon
- Reconhecimento da Amazônia
- Amazon Web Services
- an
- analisar
- e
- qualquer
- api
- APIs
- app
- relevante
- Aplicação
- aplica
- Aplicar
- Aplicando
- abordagem
- arquitetura
- SOMOS
- chegada
- AS
- avaliar
- Avaliando
- ajudando
- associado
- At
- por WhatsApp.
- público
- auditivo
- Autenticação
- autor
- auto
- Automatizado
- automatiza
- Automático
- automaticamente
- disponível
- média
- evitando
- AWS
- Espinha dorsal
- baseado
- BE
- torna-se
- lado
- abaixo
- corpo
- ambos
- brevemente
- construir
- negócio
- mas a
- by
- chamada
- chamadas
- CAN
- capacidade
- capaz
- capturados
- Categorias
- atende
- certo
- desafios
- Canal
- canais
- acusações
- verificar
- Cheques
- escolhas
- clássico
- cliente
- mais próximo
- Na nuvem
- código
- combinando
- comum
- Empresas
- integrações
- componentes
- compreensivo
- computador
- Visão de Computador
- conceptual
- Preocupações
- concorrente
- condições
- conduzido
- confiança
- Configuração
- configurado
- Considerar
- consideração
- consiste
- contém
- conteúdo
- ao controle
- controle
- Custo
- custos
- acoplado
- crucial
- cliente
- Clientes
- personalizável
- personalizar
- painel de instrumentos
- dados,
- dedicado
- mais profunda
- Padrão
- definir
- definição
- entregar
- Entrega
- mergulhar
- demonstração
- demonstra
- implantar
- Implantação
- Design
- projetado
- detalhado
- detalhes
- determinado
- determinando
- desenvolver
- Desenvolvimento
- diferente
- Fechar
- monitores
- distinto
- diferente
- Não faz
- e-commerce,
- Eficaz
- efetivamente
- emprega
- capacitação
- empodera
- habilitado
- permite
- permitindo
- final
- Motor
- engenheiro
- aumentar
- garante
- essencial
- estabelecer
- Mesmo
- Cada
- exemplo
- exemplos
- Expandir
- vasta experiência
- Experiências
- experiência
- Explicação
- expressão
- estender
- facilita
- Característica
- Funcionalidades
- Apresentando
- feminina
- Envie o
- descobertas
- Primeiro nome
- apropriado
- flexível
- Foco
- concentra-se
- seguinte
- Escolha
- formas
- Frequência
- freqüentemente
- da
- frente
- Front-end
- função
- funcionalidade
- funções
- mais distante
- jogos
- porta de entrada
- gera
- gerando
- generativo
- IA generativa
- gif
- Global
- Growth
- orientações
- Alças
- hash
- Hashing
- odiar
- Ter
- he
- sua experiência
- Alta
- altamente
- hospedado
- Como funciona o dobrador de carta de canal
- Como Negociar
- Contudo
- HTML
- http
- HTTPS
- humano
- HÍBRIDO
- if
- ignorar
- ilustra
- imagem
- imagens
- implementação
- implementação
- importante
- in
- incluído
- inclui
- Incluindo
- incorporando
- aumentou
- cada vez mais
- indústrias
- INFORMAÇÕES
- instância
- imediatamente
- instruções
- Integra-se
- integração
- intencionalmente
- interativo
- Internet
- para dentro
- introduzir
- introduzindo
- IT
- articulação
- jpg
- Chave
- Falta
- língua
- Latência
- mais recente
- aprendizagem
- menos
- deixar
- Permite
- Biblioteca
- leve
- leve
- LINK
- Lista
- viver
- Transmissões ao vivo
- lógica
- máquina
- aprendizado de máquina
- fazer
- FAZ
- gerencia
- gerenciados
- de grupos
- gestão
- gestão
- muitos
- Marketing
- Match
- correspondente
- Posso..
- mecanismo
- Mídia
- reunião
- mensagens
- métodos
- microsserviços
- poder
- milissegundos
- Minutos
- ML
- moderação
- Monitore
- monitoração
- mais
- a maioria
- múltiplo
- nome
- nomes
- nativo
- natural
- Processamento de linguagem natural
- necessário
- você merece...
- necessário
- Novo
- não
- notificação
- notificações
- objeto
- of
- ofensivo
- Oferece
- on
- ONE
- queridos
- Operações
- Otimize
- Opção
- or
- Outros
- Outros
- A Nossa
- Acima de
- global
- Visão geral
- pacote
- parceiro
- padrão
- para
- Realizar
- atuação
- plataforma
- Plataformas
- platão
- Inteligência de Dados Platão
- PlatãoData
- políticas
- Privacidade
- Portal
- Publique
- POSTAGENS
- Prática
- prática
- apresentado
- presentes
- anterior
- processo
- processos
- em processamento
- Produtos
- Promoção
- fornecer
- fornecido
- fornece
- fornecendo
- Empurrar
- Python
- qualidade
- Links
- aumentar
- alcance
- rapidamente
- Reagir
- Leitura
- receber
- recebido
- receber
- recentemente
- reconhecer
- Recomenda
- gravado
- gravação
- registros
- reduzir
- redução
- referir
- regular
- regulamentos
- depender
- respeitável
- solicitar
- requerer
- Requisitos
- resposta
- resultar
- Resultados
- rever
- Regra
- regras
- Segurança
- mesmo
- Escala
- Peneira
- segundo
- Seção
- enviar
- envio
- senior
- separado
- servido
- Serverless
- serviço
- Serviços
- de servir
- instalação
- vários
- ela
- rede de apoio social
- lado
- semelhante
- simples
- Tamanho
- tamanhos
- fragmento
- Redes Sociais
- meios de comunicação social
- solução
- Soluções
- alguns
- especializada
- especializando
- específico
- especificada
- velocidade
- Comece
- começa
- Estado
- estático
- Passo
- Passos
- Dê um basta
- parou
- paragem
- armazenamento
- armazenadas
- lojas
- franco
- transmitir canais
- de streaming
- córregos
- Estrito
- tal
- ajuda
- Apoiar
- suportes
- .
- sistemas
- mesa
- Tire
- Profissionais
- técnicas
- Tecnologia
- testes
- texto
- que
- A
- deles
- Eles
- Lá.
- Este
- isto
- limiar
- Através da
- miniaturas
- tempo
- demorado
- para
- Tony
- também
- tópico
- para
- transformando
- desencadear
- desencadeando
- Confiança
- Twitch
- dois
- tipos
- tipicamente
- ugc
- ui
- para
- desnecessário
- os próximos
- sobre
- Uso
- usar
- usuários
- usos
- utilização
- Utilizando
- verificar
- via
- Vídeo
- VÍDEOS
- Ver
- VISITANTES
- violados
- VIOLAÇÃO
- Violações
- Violência
- visão
- visual
- Caminho..
- we
- web
- Aplicativo da Web
- serviços web
- Site
- soquete da web
- quando
- enquanto que
- se
- qual
- enquanto
- Largo
- Ampla variedade
- precisarão
- de
- dentro
- sem
- de gestão de documentos
- fluxos de trabalho
- escrita
- Vocês
- Younger
- investimentos
- zefirnet