Como a Synamedia usa o Amazon Rekognition Video para criar recursos avançados de pesquisa de vídeo para vídeos de formato longo

Synamedia é um fornecedor líder de tecnologia de vídeo que atende às necessidades de provedores de serviços de vídeo premium e direto ao consumidor (D2C) com um portfólio de soluções abrangente. As soluções da Synamedia se espalham por vários pilares, como redes de vídeo, plataformas de TV, publicidade e monetização, proteção de conteúdo e interrupção da pirataria.

A Synamedia fez uma parceria com a AWS para usar inteligência artificial (IA) para desenvolver recursos aprimorados de pesquisa de vídeo para vídeos de formato longo. Isso serve para ajudar seus clientes a pesquisar vídeos com base em uma descrição de cenas que não estão descritas nos metadados dos recursos. Por exemplo, pesquisar um vídeo (mesmo dentro de uma série) que contenha uma cena em um barco que não seja significativa o suficiente para ser mencionada nos metadados. Isso permite a descoberta de conteúdo orientada a partir de objetos do mundo real.

Com o Vídeo do Amazon Rekognition, a Synamedia construiu uma solução de IA capaz de realizar a detecção de rótulos em vídeos e imagens usando modelos padrão e personalizados. Isso permitiu a detecção em nível de cena de objetos específicos em vídeo de formato longo, com base no que está realmente na cena no momento. Esse novo recurso permite que os usuários encontrem ocorrências específicas no vídeo de formato longo, com base apenas em uma descrição geral do que estão procurando. Isso permite que a Synamedia tenha um desempenho extremamente rápido ao integrar novos conteúdos, o que agora leva algumas horas para girar e obter resultados. A solução é simples de usar e extensa, fornecendo a capacidade de adicionar mais modelos personalizados para imagens específicas do domínio.

Usando IA para indexar conteúdo visual

À medida que o fornecimento de conteúdo de vídeo e a demanda por maiores insights de vídeo continuam a crescer, os recursos eficazes de pesquisa de vídeo estão se tornando mais importantes. A pesquisa de vídeo tradicional, no entanto, normalmente é limitada a informações básicas, como o título do vídeo ou, em alguns casos, a metadados anexados como tags que descrevem os principais temas ou conteúdo do vídeo.

A maioria das informações descritivas precisa ser adicionada manualmente, mas isso se torna proibitivo à medida que a quantidade de vídeos aumenta. Como resultado, o desempenho da pesquisa de vídeo tradicional geralmente é limitado. Essa limitação é ainda mais pronunciada para conteúdo de vídeo de formato longo, para o qual os metadados em nível de cena geralmente não existem, considerando o quão caro e demorado é produzir.

Para resolver essa limitação, a Synamedia decidiu desenvolver uma solução de pesquisa de vídeo com inteligência artificial usando visão computacional para identificar automaticamente os detalhes no nível da cena em qualquer vídeo e tornar essas informações detectáveis ​​pelos usuários com base nas descrições gerais dessas cenas.

Usando o Amazon Rekognition para criar uma solução de visão computacional personalizada em apenas 2 semanas

Para atingir esse objetivo, o bolsista de engenharia de software da Synamedia, Avi Fruchter, voltou-se para Reconhecimento da Amazônia, um serviço de análise de vídeo totalmente gerenciado que ajuda a acelerar o processo de uso de modelos de visão computacional para detectar ocorrências relevantes em nível de cena, como objetos, atividades e até mesmo texto e cenas.

O Amazon Rekognition Video acelera o desenvolvimento de soluções de visão computacional para vídeo processando e marcando automaticamente o conteúdo de vídeo usando modelos de visão computacional. Esses modelos são totalmente gerenciados e mantidos pelo Amazon Rekognition. Ele remove o trabalho pesado indiferenciado de gerenciar a infraestrutura necessária e também reduz o conhecimento técnico necessário para construir e implantar esses modelos.

Para começar, basta escolher qual dos diversos recursos do Amazon Rekognition é relevante para sua tarefa e chamar a API relevante. Os resultados são retornados como uma resposta JSON fácil de gerenciar para cada trabalho.

Por exemplo, a Synamedia usou a API StartLabelDetection para gerar automaticamente uma lista de rótulos para objetos detectados em cada quadro de vídeo de sua biblioteca de vídeos. A partir dessa simples chamada de API, o Amazon Rekognition retornou a lista de rótulos, a pontuação de confiança de cada um e os timestamps relevantes para cada frame. Isso permitiu que a Synamedia criasse imediatamente um conjunto totalmente novo de metadados de pesquisa para cada vídeo em sua biblioteca de teste. Os usuários podem pesquisar conteúdo de vídeo específico apenas descrevendo objetos ou cenários específicos nos quais estão interessados ​​e obter resultados que não apenas correspondem à consulta, mas também os direcionam para a cena específica no vídeo que apresentou esse conteúdo.

Outras APIs relevantes do Amazon Rekognition para análise de vídeo são StartFaceDetection, StartPersonTracking e StartSegmentDetection — um recurso que pode identificar o momento em que as cenas de um vídeo mudam.

O Amazon Rekognition funciona em vídeo pré-gravado e ao vivo. O vídeo pré-gravado é lido de Serviço de armazenamento simples da Amazon (Amazon S3), e o vídeo ao vivo pode ser processado a partir Streams de vídeo do Amazon Kinesis.

A Synamedia escolheu o Amazon Rekogntion por sua capacidade de expandir rapidamente seus recursos. A equipe de inovação da Synamedia dedica-se exclusivamente à criação de novas inovações técnicas em vídeo e possui forte conhecimento técnico. No entanto, mesmo para eles, nem sempre é possível ter profundo conhecimento de domínio em todas as áreas da tecnologia de vídeo. Entre no Amazon Rekogntion, que ampliou seus recursos em visão computacional, permitindo conceituar um caso de uso e testar rapidamente sua viabilidade.

“Foi extremamente rápido embarcar e os resultados foram extremamente rápidos”, diz Avi Fruchter. “Nem sempre somos especialistas de domínio em todas as áreas de ML, e o Amazon Rekognition nos dá a capacidade de aproveitar nossa experiência existente em novos tipos de casos de uso aprimorados para nossos clientes.”

A Synamedia antecipa que sua solução terá amplos benefícios para uma ampla gama de clientes, incluindo empresas com grandes bibliotecas de vídeo, bem como o crescente número de empresas que precisam monitorar eventos específicos em feeds de vídeo ao vivo, como riscos de saúde e segurança.

Resumo

Com o Amazon Rekognition Video, a Synamedia conseguiu criar e testar um recurso avançado de pesquisa de vídeo em questão de semanas, sem precisar contratar ou desenvolver conhecimentos adicionais de visão computacional especializada.

Esse novo recurso permitiu que a Synamedia expandisse o impacto de sua equipe de inovação e continuasse com sua missão de impulsionar a inovação de vídeo para seus clientes.

Saiba mais sobre como você pode criar rapidamente soluções avançadas de visão computacional para vídeo visitando Vídeo do Amazon Rekognition ou referindo-se Recursos do Amazon Rekognition.

Sobre os autores

Daniel Burke é a líder europeia de IA e ML no grupo de Private Equity da AWS. Daniel trabalha diretamente com fundos de Private Equity e suas empresas de portfólio, ajudando-os a acelerar a adoção de IA e ML para melhorar a inovação e aumentar o valor da empresa.

John Shaw é a líder norte-americana de IA e ML no grupo de Private Equity da AWS. John trabalha diretamente com fundos de Private Equity e suas empresas de portfólio, ajudando-os a acelerar a adoção de IA e ML para melhorar a inovação e aumentar o valor da empresa.