O conteúdo gerado pelo usuário (UGC) cresce exponencialmente, assim como os requisitos e os custos para manter o conteúdo e as comunidades online seguros e em conformidade. As modernas plataformas web e móveis alimentam os negócios e impulsionam o envolvimento dos usuários por meio de recursos sociais, desde startups até grandes organizações. Os membros da comunidade online esperam experiências seguras e inclusivas, onde possam consumir e contribuir livremente com imagens, vídeos, texto e áudio. O volume, a variedade e a complexidade cada vez maiores do UGC tornam os fluxos de trabalho tradicionais de moderação humana difíceis de escalar para proteger os usuários. Essas limitações forçam os clientes a processos de mitigação ineficientes, caros e reativos que acarretam riscos desnecessários para os usuários e para os negócios. O resultado é uma experiência comunitária pobre, prejudicial e não inclusiva que desengaja os utilizadores, impactando negativamente a comunidade e os objectivos empresariais.
A solução são fluxos de trabalho escalonáveis de moderação de conteúdo que dependem de tecnologias de inteligência artificial (IA), aprendizado de máquina (ML), aprendizado profundo (DL) e processamento de linguagem natural (PNL). Essas construções traduzem, transcrevem, reconhecem, detectam, mascaram, redigem e trazem estrategicamente o talento humano para o fluxo de trabalho de moderação, para executar as ações necessárias para manter os usuários seguros e engajados, aumentando a precisão e a eficiência do processo e reduzindo os custos operacionais.
Esta postagem analisa como criar fluxos de trabalho de moderação de conteúdo usando serviços de IA da AWS. Para saber mais sobre as necessidades de negócios, o impacto e as reduções de custos que a moderação automatizada de conteúdo traz para as indústrias de mídia social, jogos, comércio eletrônico e publicidade, consulte Utilize os serviços de IA da AWS para automatizar a moderação e a conformidade de conteúdo.
Visão geral da solução
Você não precisa de experiência em ML para implementar esses fluxos de trabalho e pode adaptar esses padrões às suas necessidades comerciais específicas! A AWS oferece esses recursos por meio de serviços totalmente gerenciados que eliminam a complexidade operacional e o trabalho pesado indiferenciado, e sem uma equipe de ciência de dados.
Nesta postagem, demonstramos como moderar com eficiência espaços onde os clientes discutem e avaliam produtos usando texto, áudio, imagens, vídeo e até arquivos PDF. O diagrama a seguir ilustra a arquitetura da solução.
Pré-requisitos
Por padrão, esses padrões demonstram uma metodologia sem servidor, onde você paga apenas pelo que usa. Você continua pagando pelos recursos de computação, como AWS Fargate recipientes e armazenamento, como Serviço de armazenamento simples da Amazon (Amazon S3), até que você exclua esses recursos. Os serviços de IA da AWS discutidos também seguem um modelo de precificação de consumo por operação.
Ambientes que não sejam de produção podem testar cada um desses padrões no nível gratuito, presumindo a elegibilidade da sua conta.
Texto simples moderado
Primeiro, você precisa implementar a moderação de conteúdo para texto simples. Este procedimento serve de base para tipos de mídia mais sofisticados e envolve duas etapas de alto nível:
- Traduza o texto.
- Analise o texto.
Os clientes globais desejam colaborar com plataformas sociais em seu idioma nativo. Atender a essa expectativa pode aumentar a complexidade porque as equipes de design devem construir um fluxo de trabalho ou etapas para cada linguagem. Em vez disso, você pode usar Amazon Tradutor para converter texto para mais de 70 idiomas e variantes em mais de 15 regiões. Esse recurso permite escrever regras de análise para um único idioma e aplicar essas regras em toda a comunidade on-line global.
O Amazon Translate é um serviço de tradução automática neural que oferece tradução de idiomas rápida, de alta qualidade, acessível e personalizável. Você pode integrá-lo aos seus fluxos de trabalho para detectar o idioma dominante e traduza o texto. O diagrama a seguir ilustra o fluxo de trabalho.
As APIs funcionam da seguinte forma:
- A DetectarIdiomaDominante A API determina o idioma dominante do texto de entrada. Para obter uma lista de idiomas que o Amazon Comprehend pode detectar, consulte Língua dominante.
- A TraduzirTexto A API traduz o texto de entrada do idioma de origem para o idioma de destino com opção mascaramento de palavrões. Para obter uma lista de idiomas e códigos de idiomas disponíveis, consulte Idiomas e códigos de idioma suportados.
- A IniciarExecução e StartSyncExecution APIs iniciam um Funções de etapa da AWS máquina de estado.
Em seguida, você pode usar a PNL para descobrir conexões no texto, como descobrir frases-chave, analisar sentimentos e detectar informações de identificação pessoal (PII). Amazon Comprehend As APIs extraem esses insights valiosos e os transmitem para manipuladores de funções personalizadas.
Executando esses manipuladores dentro AWS Lambda As funções dimensionam elasticamente seu código sem pensar em servidores ou clusters. Como alternativa, você pode processar insights do Amazon Comprehend com padrões de arquitetura de microsserviços. Independentemente do tempo de execução, seu código se concentra no uso dos resultados, não na análise do texto.
O diagrama a seguir ilustra o fluxo de trabalho.
As funções Lambda interagem com as seguintes APIs:
- A Detectar entidades A API descobre e agrupa no texto os nomes de objetos do mundo real, como pessoas e lugares. Você pode usar um vocabulário personalizado para redigir tipos de entidade inadequados e específicos do negócio.
- A Detectar Sentimento A API identifica o sentimento geral do texto como positivo, negativo ou neutro. Você pode treinar classificadores personalizados para reconhecer situações de interesse específicas do setor e extrair o significado conceitual do texto.
- A Detectar PIIEntities A API identifica PII em seu texto, como endereço, número de conta bancária ou número de telefone. A saída contém o tipo de entidade PII e seu local correspondente.
Arquivos de áudio moderados
Para moderar arquivos de áudio, você deve transcrever o arquivo para texto e depois analisá-lo. Esse processo tem duas variantes, dependendo se você está processando arquivos individuais (síncronos) ou fluxos de áudio ao vivo (assíncronos). Fluxos de trabalho síncronos são ideais para processamento em lote, com o chamador recebendo uma resposta completa. Em contraste, os fluxos de áudio requerem amostragem periódica com múltiplos resultados de transcrição.
Amazon Transcribe é um serviço automático de reconhecimento de fala que usa modelos de ML para converter áudio em texto. Você pode integrá-lo em fluxos de trabalho síncronos iniciando um trabalho de transcrição e periodicamente consultando o status do trabalho. Após a conclusão do trabalho, você poderá analisar a saída usando o fluxo de trabalho de moderação de texto simples da etapa anterior.
O diagrama a seguir ilustra o fluxo de trabalho.
As APIs funcionam da seguinte forma:
- A IniciarTranscriptionJob A API inicia um trabalho assíncrono para transcrever fala em texto.
- A ObterTranscriçãoJob A API retorna informações sobre um trabalho de transcrição. Para ver o status do trabalho, verifique o
TranscriptionJobStatus
campo. Se a propriedade status forCOMPLETED
, você pode encontrar os resultados no local especificado noTranscriptFileUri
campo. Se você ativar a redação de conteúdo, a transcrição editada aparecerá emRedactedTranscriptFileUri
.
As transmissões de áudio ao vivo precisam de um padrão diferente que suporte um modelo de entrega em tempo real. O streaming pode incluir mídia pré-gravada, como filmes, músicas e podcasts, e mídia em tempo real, como transmissões de notícias ao vivo. Você pode transcrever trechos de áudio instantaneamente usando Transmissão do Amazon Transcribe sobre protocolos HTTP/2 e WebSockets. Depois de postar um pedaço no serviço, você recebe um ou mais objetos de resultado de transcrição descrevendo os segmentos de transcrição parcial e completa. Os segmentos que exigem moderação podem reutilizar o fluxo de trabalho de texto simples da seção anterior. O diagrama a seguir ilustra esse processo.
A Iniciar Streaming Transcrição A API inicia um stream HTTP/2 bidirecional em que o áudio é transmitido para o Amazon Transcribe, transmitindo os resultados da transcrição para seu aplicativo.
Moderar imagens e fotos
A moderação de imagens requer a detecção de conteúdo impróprio, indesejado ou ofensivo contendo nudez, sugestividade, violência e outras categorias do conteúdo de imagens e fotos.
Reconhecimento da Amazônia permite que você simplifique ou automatize seus fluxos de trabalho de moderação de imagens e vídeos sem exigir experiência em ML. O Amazon Rekognition retorna uma taxonomia hierárquica de rótulos relacionados à moderação. Essas informações facilitam a definição de regras de negócios granulares de acordo com seus padrões e práticas, segurança do usuário e diretrizes de conformidade. Não é necessária experiência em ML para usar esses recursos. O Amazon Rekognition pode detectar e ler o texto em uma imagem e retornar caixas delimitadoras para cada palavra encontrada. O Amazon Rekognition oferece suporte à detecção de texto escrito em inglês, árabe, russo, alemão, francês, italiano, português e espanhol!
Você pode usar as previsões da máquina para automatizar totalmente tarefas específicas de moderação. Esse recurso permite que moderadores humanos se concentrem em trabalhos de alto nível. Além disso, o Amazon Rekognition pode analisar rapidamente milhões de imagens ou milhares de vídeos usando ML e sinalizar o subconjunto de ativos que exigem ações adicionais. A pré-filtragem ajuda a fornecer uma cobertura de moderação abrangente, porém econômica, ao mesmo tempo que reduz a quantidade de conteúdo moderado pelas equipes humanas.
O diagrama a seguir ilustra o fluxo de trabalho.
As APIs funcionam da seguinte forma:
- A DetectarModeraçãoLabels A API detecta conteúdo inseguro em imagens especificadas no formato JPEG ou PNG. Use DetectModerationLabels para moderar imagens dependendo de suas necessidades. Por exemplo, você pode querer filtrar imagens que contenham nudez, mas não imagens que contenham conteúdo sugestivo.
- A Detectar Texto A API detecta texto na imagem de entrada e o converte em texto legível por máquina.
Documentos rich text moderados
Em seguida, você pode usar amazontext para extrair texto manuscrito e dados de documentos digitalizados. Este processo começa com a invocação do Iniciar análise de documentos ação para analisar arquivos do Microsoft Word e Adobe PDF. Você pode monitorar o progresso do trabalho com o ObterAnálise de Documentos ação.
O resultado da análise especifica cada página, parágrafo, tabela e par de valores-chave descobertos no documento. Por exemplo, suponha que um profissional de saúde deva mascarar os nomes dos pacientes apenas no campo de descrição da solicitação. Nesse caso, o relatório de análise pode alimentar pipelines inteligentes de processamento de documentos que moderam e editam o campo de dados específico. O diagrama a seguir ilustra o pipeline.
As APIs funcionam da seguinte forma:
- A Iniciar análise de documentos API inicia a análise assíncrona de um documento de entrada para relacionamentos entre itens detectados, como pares de valores-chave, tabelas e elementos de seleção
- A ObterAnálise de Documentos A API obtém os resultados de uma operação assíncrona do Amazon Textract que analisa texto em um documento
Vídeos moderados
Uma abordagem padrão para moderação de conteúdo de vídeo é através de um procedimento de amostragem de quadros. Muitos casos de uso não precisam verificar cada quadro, e selecionar um a cada 15 a 30 segundos é suficiente. Os quadros de vídeo amostrados podem reutilizar a máquina de estado para moderar as imagens da seção anterior. Da mesma forma, o processo existente para moderar áudio pode suportar o conteúdo audível do arquivo. O diagrama a seguir ilustra esse fluxo de trabalho.
A invocar A API executa uma função Lambda e aguarda de forma síncrona pela resposta.
Suponha que o arquivo de mídia seja um filme inteiro com várias cenas. Nesse caso, você pode usar o API de segmento do Amazon Rekognition, uma API composta para detectar sinais técnicos ou detecção de tiros. Em seguida, você pode usar essas compensações de tempo para processar cada segmento em paralelo com o padrão de moderação de vídeo anterior, conforme mostrado no diagrama a seguir.
As APIs funcionam da seguinte forma:
- A IniciarSegmentaçãoDetecção API inicia detecção assíncrona de detecção de segmento em um vídeo armazenado
- A GetSegmentationDetecção A API obtém os resultados de detecção de segmentos de uma análise do Amazon Rekognition Video iniciada pela API StartSegmentDetection
A extração de quadros individuais do filme não exige a busca do objeto no Amazon S3 diversas vezes. Uma solução ingênua envolve ler o vídeo na memória e paginar até o fim. Esse padrão é ideal para clipes curtos e onde as avaliações não são sensíveis ao tempo.
Outra estratégia envolve mover o arquivo uma vez para Sistema de arquivos elástico da Amazon (Amazon EFS), um sistema de arquivos compartilhado, totalmente gerenciado e escalável para outros serviços da AWS, como o Lambda. Com Amazon EFS para Lambda, você poderá distribuir dados com eficiência entre invocações de função. Cada invocação lida com eficiência com um pequeno pedaço, liberando o potencial para processamento massivamente paralelo e tempos de processamento mais rápidos.
limpar
Depois de experimentar os métodos desta postagem, você deve excluir qualquer conteúdo dos buckets S3 para evitar custos futuros. Se você implementou esses padrões com recursos de computação provisionados, como Amazon Elastic Compute Nuvem (Amazon EC2) ou Serviço Amazon Elastic Container (Amazon ECS), você deve interromper essas instâncias para evitar cobranças adicionais.
Conclusão
O conteúdo gerado pelo usuário e seu valor para organizações de jogos, mídias sociais, comércio eletrônico e serviços financeiros e de saúde continuarão a crescer. Ainda assim, as startups e as grandes organizações precisam de criar processos de moderação eficientes para proteger os utilizadores, as informações e os negócios, ao mesmo tempo que reduzem os custos operacionais. Esta solução demonstra como as tecnologias de IA, ML e PNL podem ajudá-lo a moderar conteúdo em grande escala com eficiência. Você pode personalizar os serviços de IA da AWS para atender às suas necessidades específicas de moderação! Esses recursos totalmente gerenciados eliminam as complexidades operacionais. Essa flexibilidade integra estrategicamente insights contextuais e talento humano em seus processos de moderação.
Para obter informações e recursos adicionais e para começar gratuitamente hoje, visite o Página inicial de moderação de conteúdo da AWS.
Sobre os autores
Nate Bachmeier é um arquiteto de soluções sênior da AWS que explora Nova York de maneira nômade, uma integração de nuvem por vez. Ele é especialista em migração e modernização de aplicativos. Além disso, Nate é estudante em tempo integral e tem dois filhos.
Ram Pathangi é arquiteto de soluções na Amazon Web Services na área da baía de São Francisco. Ele ajudou clientes dos setores de agricultura, seguros, bancos, varejo, saúde e ciências biológicas, hotelaria e verticais de alta tecnologia a administrar seus negócios com sucesso na Nuvem AWS. Ele é especialista em bancos de dados, análises e aprendizado de máquina.
Banheiros Roop é arquiteto de soluções na AWS com foco em IA/ML. Ele é apaixonado por ajudar os clientes a inovar e atingir seus objetivos de negócios usando inteligência artificial e aprendizado de máquina. Nas horas vagas, Roop gosta de ler e fazer caminhadas.
- Coinsmart. A melhor troca de Bitcoin e criptografia da Europa.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. ACESSO LIVRE.
- CryptoHawk. Radar Altcoin. Teste grátis.
- Fonte: https://aws.amazon.com/blogs/machine-learning/content-moderation-design-patterns-with-aws-owned-ai-services/
- "
- 100
- 70
- Sobre
- RESUMO
- Conta
- em
- Açao Social
- ações
- Adição
- Adicional
- endereço
- Publicidade
- agricultura
- AI
- Serviços de IA
- Amazon
- Amazon Web Services
- quantidade
- análise
- analítica
- api
- APIs
- Aplicação
- aplicações
- abordagem
- arquitetura
- ÁREA
- artificial
- inteligência artificial
- Inteligência artificial (AI)
- Inteligência Artificial e Aprendizado de Máquinas
- Ativos
- auditivo
- automatizar
- Automatizado
- Automático
- disponível
- AWS
- Bank
- conta bancária
- Bancário
- Bay
- construir
- negócio
- negócios
- visitante
- capacidades
- transportar
- casos
- desafiante
- acusações
- clipes
- Na nuvem
- código
- colaborar
- como
- Comunidades
- comunidade
- complexidades
- compliance
- compatível
- compreensivo
- Computar
- Coneções
- consumir
- consumo
- Recipiente
- Containers
- contém
- conteúdo
- continuar
- contribuir
- Correspondente
- relação custo-benefício
- custos
- crio
- personalizadas
- Clientes
- personalizável
- dados,
- ciência de dados
- bases de dados
- entrega
- Entrega
- demonstrar
- Dependendo
- Design
- detectou
- Detecção
- diferente
- discutir
- INSTITUCIONAIS
- Não faz
- distância
- e-commerce,
- Loja virtual
- eficiência
- eficiente
- eficientemente
- permitir
- COMPROMETIMENTO
- Inglês
- entidade
- exemplo
- existente
- esperar
- vasta experiência
- Experiências
- experimentar
- experiência
- exponencialmente
- RÁPIDO
- mais rápido
- Funcionalidades
- financeiro
- Flexibilidade
- fluxo
- Foco
- concentra-se
- seguir
- seguinte
- encontrado
- Foundation
- QUADRO
- Francisco
- Gratuito
- Francês
- Combustível
- função
- mais distante
- futuro
- jogos
- Global
- Do grupo
- Cresça:
- orientações
- Saúde
- saúde
- ajudar
- ajuda
- ajuda
- alta qualidade
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTTPS
- humano
- imagem
- Impacto
- executar
- implementado
- incluir
- aumentando
- Individual
- indústrias
- INFORMAÇÕES
- entrada
- insights
- com seguro
- integrar
- integração
- Inteligência
- interesse
- IT
- Trabalho
- Chave
- crianças
- Rótulos
- língua
- Idiomas
- grande
- APRENDER
- aprendizagem
- Ciências da Vida
- facelift
- Lista
- localização
- máquina
- aprendizado de máquina
- FAZ
- gerenciados
- máscara
- significado
- Mídia
- reunião
- Membros
- Memória
- Microsoft
- poder
- milhões
- ML
- Móvel Esteira
- modelo
- modelos
- Monitore
- mais
- filme
- Filmes
- em movimento
- múltiplo
- Música
- nomes
- natural
- negativo
- New York
- notícias
- número
- online
- operar
- operação
- organizações
- Outros
- global
- apaixonado
- padrão
- Pagar
- Pessoas
- Frases
- Plataformas
- Podcasts
- pobre
- Português
- positivo
- potencial
- poder
- Previsões
- anterior
- preços
- processo
- processos
- em processamento
- Produtos
- propriedade
- proteger
- protocolos
- fornecer
- rapidamente
- Leitura
- em tempo real
- receber
- reconhecer
- redução
- Relacionamentos
- Denunciar
- requerer
- requeridos
- Requisitos
- Recursos
- resposta
- Resultados
- varejo
- retorno
- Retorna
- rever
- Opinões
- Risco
- regras
- Execute
- seguro
- Segurança
- San
- San Francisco
- escalável
- Escala
- Cenas
- Ciência
- CIÊNCIAS
- segundo
- segmento
- segmentos
- sentimento
- Serverless
- serviço
- Serviços
- compartilhado
- Baixo
- mostrando
- Similarmente
- simples
- pequeno
- Redes Sociais
- meios de comunicação social
- solução
- Soluções
- sofisticado
- espaços
- especializada
- padrão
- padrões
- começo
- começado
- começa
- Startups
- Estado
- Status
- armazenamento
- Estratégia
- transmitir canais
- de streaming
- estudante
- entraram com sucesso
- ajuda
- suportes
- .
- Talento
- Target
- tarefas
- Profissionais
- Dados Técnicos:
- Tecnologias
- teste
- A fonte
- Pensando
- milhares
- Através da
- tempo
- hoje
- juntos
- tradicional
- Cópia
- Tradução
- tipos
- descobrir
- usar
- usuários
- valor
- variedade
- Verticais
- Vídeo
- VÍDEOS
- volume
- web
- serviços web
- O Quê
- se
- enquanto
- dentro
- sem
- Atividades: