Cómo utiliza Synamedia Amazon Rekognition Video para crear funciones avanzadas de búsqueda de videos para videos de formato largo

Synamedia es un proveedor líder de tecnología de video que satisface las necesidades de los proveedores de servicios de video premium y directo al consumidor (D2C) con una cartera de soluciones integral. Las soluciones de Synamedia se distribuyen en varios pilares, como redes de video, plataformas de televisión, publicidad y monetización, y protección de contenido e interrupción de la piratería.

Synamedia se asoció con AWS para usar inteligencia artificial (IA) para desarrollar capacidades mejoradas de búsqueda de videos para videos de formato largo. Esto es para ayudar a sus clientes a buscar videos en función de una descripción de escenas que no se describen en los metadatos de los recursos. Por ejemplo, buscar un video (incluso dentro de una serie) que contenga una escena en un barco que no sea lo suficientemente significativa como para ser mencionada en los metadatos. Esto permite el descubrimiento de contenido impulsado por objetos del mundo real.

Con Vídeo de reconocimiento de Amazon, Synamedia creó una solución de IA que podía realizar la detección de etiquetas en videos e imágenes utilizando modelos estándar y personalizados. Esto permitió la detección a nivel de escena de objetos específicos en video de formato largo, en función de lo que realmente hay en la escena en ese momento. Esta nueva capacidad permite a los usuarios encontrar ocurrencias específicas dentro del video de formato largo, basándose únicamente en una descripción general de lo que están buscando. Esto permite que Synamedia se desempeñe extremadamente rápido al incorporar contenido nuevo, que ahora tarda algunas horas en activarse y obtener resultados. La solución es simple de usar y amplia al brindar la capacidad de agregar más modelos personalizados para imágenes específicas del dominio.

Uso de IA para indexar contenido visual

A medida que crece la oferta de contenido de video y la demanda de mayor información sobre videos, las capacidades efectivas de búsqueda de videos se vuelven más importantes. Sin embargo, la búsqueda tradicional de videos generalmente se limita a información básica como el título del video o, en algunos casos, a metadatos adjuntos como etiquetas que describen los temas clave o el contenido del video.

La mayor parte de la información descriptiva debe agregarse manualmente, pero esto se vuelve prohibitivo a medida que crece la cantidad de video. Como resultado, el rendimiento de la búsqueda de videos tradicional suele ser limitado. Esta limitación es aún más pronunciada para el contenido de video de formato largo, para el cual los metadatos a nivel de escena generalmente no existen, dado lo costoso y lento que es producirlo.

Para hacer frente a esta limitación, Synamedia se propuso desarrollar una solución de búsqueda de video impulsada por IA utilizando visión artificial para identificar automáticamente los detalles a nivel de escena en cualquier video determinado y hacer que esa información sea visible para los usuarios en función de las descripciones generales de esas escenas.

Uso de Amazon Rekognition para crear una solución de visión artificial personalizada en solo 2 semanas

Para lograr este objetivo, Avi Fruchter, miembro de ingeniería de software de Synamedia, recurrió a Reconocimiento de amazonas, servicio de análisis de video totalmente administrado que ayuda a acelerar el proceso de uso de modelos de visión artificial para detectar sucesos relevantes a nivel de escena, como objetos, actividades e incluso texto y escenas.

Amazon Rekognition Video acelera el desarrollo de soluciones de visión por computadora para video al procesar y etiquetar automáticamente el contenido de video usando modelos de visión por computadora. Amazon Rekognition administra y mantiene completamente estos modelos. Elimina el trabajo pesado indiferenciado de administrar la infraestructura necesaria y también reduce la experiencia técnica requerida para construir e implementar estos modelos.

Para comenzar, simplemente elija cuál de la amplia gama de capacidades de Amazon Rekognition es relevante para su tarea y llame a la API correspondiente. Luego, los resultados se devuelven como una respuesta JSON fácil de administrar para cada trabajo.

Por ejemplo, Synamedia usó la API StartLabelDetection para generar automáticamente una lista de etiquetas para los objetos detectados en cada cuadro de video de su biblioteca de videos. A partir de esta simple llamada a la API, Amazon Rekognition devolvió la lista de etiquetas, la puntuación de confianza de cada una y las marcas de tiempo relevantes para cada fotograma. Esto permitió a Synamedia crear inmediatamente un conjunto completamente nuevo de metadatos de búsqueda para cada video en su biblioteca de prueba. Luego, los usuarios pueden buscar contenido de video específico simplemente describiendo objetos o escenarios específicos en los que están interesados, y obtener resultados que no solo coinciden con su consulta, sino que también los señalan a la escena específica en el video que presenta ese contenido.

Otras API de Amazon Rekognition relevantes para el análisis de video son StartFaceDetection, StartPersonTracking y StartSegmentDetection, una función que puede identificar el momento en que cambian las escenas de un video.

Amazon Rekognition funciona tanto en video pregrabado como en vivo. El video pregrabado se lee de Servicio de almacenamiento simple de Amazon (Amazon S3), y el video en vivo se puede procesar desde Transmisiones de video de Amazon Kinesis.

Synamedia eligió Amazon Rekogtion por su capacidad para expandir rápidamente sus capacidades. El equipo de innovación de Synamedia se dedica exclusivamente a crear nuevas innovaciones técnicas en video y tiene una sólida experiencia técnica. Sin embargo, incluso para ellos no siempre es posible tener una gran experiencia en todas las áreas de la tecnología de video. Ingrese a Amazon Rekogntion, que amplió sus capacidades en visión artificial, lo que les permitió conceptualizar un caso de uso y probar rápidamente su viabilidad.

“Fue extremadamente rápido incorporarlo y los resultados fueron extremadamente rápidos”, dice Avi Fruchter. “No siempre somos expertos en dominios en todas las áreas de ML, y Amazon Rekognition nos brinda la capacidad de aprovechar nuestra experiencia existente en nuevos tipos de casos de uso mejorados para nuestros clientes”.

Synamedia anticipa que su solución tendrá amplios beneficios para una amplia gama de clientes, incluidas empresas con grandes bibliotecas de videos, así como el creciente número de empresas que necesitan monitorear eventos específicos en transmisiones de video en vivo, como riesgos para la salud y la seguridad.

Resumen

Con Amazon Rekognition Video, Synamedia pudo crear y probar una capacidad avanzada de búsqueda de videos en cuestión de semanas, sin necesidad de contratar ni desarrollar experiencia especializada adicional en visión artificial.

Esta nueva capacidad ha permitido a Synamedia expandir el impacto de su equipo de innovación y continuar con su misión de impulsar la innovación de nuevos videos para sus clientes.

Obtenga más información sobre cómo puede crear rápidamente soluciones avanzadas de visión por computadora para video visitando Vídeo de reconocimiento de Amazon o refiriéndose a Recursos de Amazon Rekognition.

Sobre los autores

daniel burke es el líder europeo de IA y ML en el grupo de capital privado de AWS. Daniel trabaja directamente con fondos de capital privado y sus empresas de cartera, ayudándolos a acelerar su adopción de IA y ML para mejorar la innovación y aumentar el valor empresarial.

John Shaw es el líder norteamericano de inteligencia artificial y aprendizaje automático en el grupo de capital privado de AWS. John trabaja directamente con fondos de capital privado y sus empresas de cartera, ayudándolos a acelerar su adopción de IA y ML para mejorar la innovación y aumentar el valor empresarial.