Как Synamedia использует Amazon Rekognition Video для создания расширенных возможностей поиска видео для длинных видео

Synamedia является ведущим поставщиком видеотехнологий, удовлетворяющим потребности поставщиков видеоуслуг премиум-класса и услуг прямого доступа к потребителю (D2C) с помощью комплексного портфеля решений. Решения Synamedia распространяются на несколько столпов, таких как видеосети, телевизионные платформы, реклама и монетизация, а также защита контента и борьба с пиратством.

Synamedia заключила партнерское соглашение с AWS, чтобы использовать искусственный интеллект (ИИ) для разработки расширенных возможностей поиска видео для длинных видео. Это должно помочь их клиентам в поиске видео на основе описания сцен, которые не описаны в метаданных ресурсов. Например, поиск видео (даже в серии), содержавшего сцену на лодке, недостаточно важную для упоминания в метаданных. Это позволяет обнаруживать контент, основанный на реальных объектах.

Доступно Видео о признании Amazon, Synamedia создала решение на основе ИИ, способное обнаруживать метки на видео и изображениях с использованием стандартных и пользовательских моделей. Это позволило обнаруживать определенные объекты на уровне сцены в длинном видео на основе того, что на самом деле находится в сцене в данный момент. Эта новая возможность позволяет пользователям находить определенные эпизоды в длинном видео, основываясь только на общем описании того, что они ищут. Это позволяет Synamedia работать очень быстро при добавлении нового контента, который теперь занимает несколько часов, чтобы раскрутиться и получить результаты. Решение простое в использовании и обширное, предоставляя возможность добавлять дополнительные пользовательские модели для изображений, специфичных для предметной области.

Использование ИИ для индексации визуального контента

Поскольку как предложение видеоконтента, так и спрос на более подробные сведения о видео продолжают расти, эффективные возможности поиска видео становятся все более важными. Однако традиционный поиск видео обычно ограничивается базовой информацией, такой как название видео, или, в некоторых случаях, метаданными, прикрепленными в виде тегов, описывающих ключевые темы или содержание видео.

Большую часть описательной информации необходимо добавлять вручную, но это становится недопустимым по мере роста количества видео. В результате производительность традиционного поиска видео часто ограничена. Это ограничение еще более заметно для длинного видеоконтента, для которого метаданные на уровне сцены обычно не существуют, учитывая, насколько дорого и долго это делается.

Чтобы устранить это ограничение, Synamedia приступила к разработке решения для поиска видео на основе искусственного интеллекта, использующего компьютерное зрение для автоматического определения деталей на уровне сцены в любом заданном видео и предоставления этой информации пользователям на основе общих описаний этих сцен.

Использование Amazon Rekognition для создания индивидуального решения для компьютерного зрения всего за 2 недели

Для достижения этой цели научный сотрудник Synamedia по разработке программного обеспечения Ави Фрухтер обратился к Апостол, чтобы полностью управляемый сервис видеоанализа это помогает ускорить процесс использования моделей компьютерного зрения для обнаружения соответствующих событий на уровне сцены, таких как объекты, действия и даже текст и сцены.

Amazon Rekognition Video ускоряет разработку решений компьютерного зрения для видео за счет автоматической обработки и маркировки видеоконтента с помощью моделей компьютерного зрения. Эти модели полностью управляются и обслуживаются Amazon Rekognition. Это избавляет от рутинной работы по управлению необходимой инфраструктурой, а также уменьшает количество технических знаний, необходимых для создания и развертывания этих моделей.

Чтобы приступить к работе, вы просто выбираете, какие из широкого спектра возможностей Amazon Rekognition соответствуют вашей задаче, и вызываете соответствующий API. Затем результаты возвращаются в виде простого в управлении ответа JSON для каждого задания.

Например, Synamedia использовала API StartLabelDetection для автоматического создания списка меток для объектов, обнаруженных в каждом видеокадре их видеотеки. Из этого простого вызова API Amazon Rekognition вернул список меток, оценку достоверности каждой из них и соответствующие метки времени для каждого кадра. Это позволило Synamedia немедленно создать совершенно новый набор поисковых метаданных для каждого видео в своей тестовой библиотеке. Затем пользователи могут искать определенный видеоконтент, просто описывая интересующие их объекты или пейзажи, и получать результаты, которые не только соответствуют их запросу, но и указывают на конкретную сцену в видео, в которой был показан этот контент.

Другими соответствующими API Amazon Rekognition для анализа видео являются StartFaceDetection, StartPersonTracking и StartSegmentDetection — функция, которая может определять момент смены сцен в видео.

Amazon Rekognition работает как с предварительно записанным, так и с живым видео. Предварительно записанное видео читается с Простой сервис хранения Amazon (Amazon S3), а живое видео можно обрабатывать с Видеопотоки Amazon Kinesis.

Synamedia выбрала Amazon Rekogntion за его способность быстро расширять свои возможности. Инновационная команда Synamedia занимается исключительно созданием новых технических инноваций в области видео и обладает обширным техническим опытом. Однако даже для них не всегда возможно иметь глубокие познания во всех областях видеотехнологий. Войдите в Amazon Rekogntion, который расширил свои возможности в области компьютерного зрения, позволив им концептуализировать вариант использования и быстро проверить его жизнеспособность.

«Это было очень быстро, и результаты были очень быстрыми», — говорит Ави Фрухтер. «Мы не всегда являемся экспертами во всех областях ML, и Amazon Rekognition дает нам возможность использовать наш существующий опыт в новых типах расширенных вариантов использования для наших клиентов».

Synamedia ожидает, что их решение будет иметь широкие преимущества для широкого круга клиентов, включая компании с большими видеотеками, а также растущее число компаний, которым необходимо отслеживать определенные события в прямом эфире, такие как риски для здоровья и безопасности.

Обзор

С помощью Amazon Rekognition Video компания Synamedia смогла создать и протестировать расширенную функцию поиска видео всего за несколько недель без необходимости нанимать или развивать дополнительные специализированные знания в области компьютерного зрения.

Эта новая возможность позволила Synamedia расширить влияние своей инновационной команды и продолжить свою миссию по внедрению новых видео-инноваций для своих клиентов.

Узнайте больше о том, как быстро создавать передовые решения компьютерного зрения для видео, посетив Видео о признании Amazon или ссылаясь на Ресурсы Amazon Rekognition.

Об авторах

Дэниел Берк является европейским лидером в области искусственного интеллекта и машинного обучения в группе прямых инвестиций в AWS. Дэниел работает напрямую с фондами прямых инвестиций и их портфельными компаниями, помогая им ускорить внедрение ИИ и машинного обучения для улучшения инноваций и повышения ценности предприятия.

Джон Шоу является североамериканским лидером по искусственному интеллекту и машинному обучению в группе прямых инвестиций в AWS. Джон работает напрямую с фондами прямых инвестиций и их портфельными компаниями, помогая им ускорить внедрение ИИ и машинного обучения для улучшения инноваций и повышения ценности предприятия.