Jak firma Synamedia wykorzystuje Amazon Rekognition Video do tworzenia zaawansowanych funkcji wyszukiwania wideo dla długich filmów

Synamedia to wiodący dostawca technologii wideo, który odpowiada na potrzeby dostawców usług wideo premium i usług bezpośrednich (D2C) z kompleksowym portfolio rozwiązań. Rozwiązania Synamedia obejmują kilka filarów, takich jak sieci wideo, platformy telewizyjne, reklama i monetyzacja oraz ochrona treści i zapobieganie piractwu.

Synamedia nawiązała współpracę z AWS, aby wykorzystać sztuczną inteligencję (AI) do opracowania ulepszonych funkcji wyszukiwania wideo dla długich filmów. Ma to pomóc klientom w wyszukiwaniu filmów na podstawie opisu scen, które nie są opisane w metadanych zasobów. Na przykład wyszukiwanie wideo (nawet w ramach serii), które zawiera scenę na łodzi, która nie jest na tyle znacząca, aby została wymieniona w metadanych. Umożliwia to odnajdywanie treści na podstawie rzeczywistych obiektów.

Z Film dotyczący rozpoznawania AmazonSynamedia zbudowała rozwiązanie AI, które było w stanie wykrywać etykiety w filmach i obrazach przy użyciu standardowych i niestandardowych modeli. Umożliwiło to wykrywanie określonych obiektów na poziomie sceny w długim materiale wideo na podstawie tego, co w danym momencie znajduje się na scenie. Ta nowa funkcja umożliwia użytkownikom znajdowanie określonych zdarzeń w długim filmie, wyłącznie na podstawie ogólnego opisu tego, czego szukają. Dzięki temu firma Synamedia może działać niezwykle szybko podczas wprowadzania nowej zawartości, której rozkręcenie i uzyskanie wyników zajmuje teraz kilka godzin. Rozwiązanie jest proste w użyciu i rozbudowane, ponieważ zapewnia możliwość dodawania kolejnych niestandardowych modeli dla obrazów specyficznych dla domeny.

Korzystanie ze sztucznej inteligencji do indeksowania treści wizualnych

Ponieważ zarówno podaż treści wideo, jak i zapotrzebowanie na dokładniejsze informacje wideo stale rosną, skuteczne możliwości wyszukiwania wideo stają się coraz ważniejsze. Jednak tradycyjne wyszukiwanie filmów zazwyczaj ogranicza się do podstawowych informacji, takich jak tytuł filmu, a w niektórych przypadkach do metadanych dołączonych jako tagi opisujące kluczowe tematy lub treść filmu.

Większość informacji opisowych należy dodać ręcznie, ale staje się to przeszkodą w miarę wzrostu ilości filmów. W rezultacie wydajność tradycyjnego wyszukiwania wideo jest często ograniczona. To ograniczenie jest jeszcze bardziej widoczne w przypadku długich treści wideo, dla których metadane na poziomie sceny zwykle nie istnieją, biorąc pod uwagę to, jak kosztowne i czasochłonne jest ich wyprodukowanie.

Aby rozwiązać ten problem, firma Synamedia postanowiła opracować oparte na sztucznej inteligencji rozwiązanie do wyszukiwania wideo z wykorzystaniem wizji komputerowej, aby automatycznie identyfikować szczegóły na poziomie sceny w dowolnym filmie i umożliwiać użytkownikom odnalezienie tych informacji na podstawie ogólnych opisów tych scen.

Wykorzystanie Amazon Rekognition do zbudowania niestandardowego rozwiązania komputerowego w zaledwie 2 tygodnie

Aby osiągnąć ten cel, Avi Fruchter, Software Engineering Fellow firmy Synamedia, zwrócił się do: Amazon Rekognition, A w pełni zarządzana usługa analizy wideo pomaga przyspieszyć proces wykorzystywania modeli wizji komputerowych do wykrywania odpowiednich zdarzeń na poziomie sceny, takich jak obiekty, czynności, a nawet tekst i sceny.

Amazon Rekognition Video przyspiesza rozwój rozwiązań komputerowego widzenia wideo poprzez automatyczne przetwarzanie i oznaczanie treści wideo przy użyciu modeli komputerowego widzenia. Modele te są w pełni zarządzane i utrzymywane przez Amazon Rekognition. Eliminuje niezróżnicowany ciężar związany z zarządzaniem niezbędną infrastrukturą, a także zmniejsza wiedzę techniczną wymaganą do budowania i wdrażania tych modeli.

Aby rozpocząć, wystarczy wybrać, która z szerokiej gamy funkcji Amazon Rekognition jest odpowiednia dla Twojego zadania, i wywołać odpowiedni interfejs API. Wyniki są następnie zwracane jako łatwa w zarządzaniu odpowiedź JSON dla każdego zadania.

Na przykład firma Synamedia użyła interfejsu API StartLabelDetection do automatycznego generowania listy etykiet dla obiektów wykrytych w każdej klatce wideo ich biblioteki wideo. Z tego prostego wywołania interfejsu API Amazon Rekognition zwróciło listę etykiet, wynik ufności każdej z nich oraz odpowiednie sygnatury czasowe dla każdej ramki. Umożliwiło to firmie Synamedia natychmiastowe utworzenie zupełnie nowego zestawu metadanych wyszukiwania dla każdego filmu w swojej bibliotece testowej. Użytkownicy mogą wówczas wyszukiwać określone treści wideo, opisując określone obiekty lub scenerie, którymi są zainteresowani, i uzyskiwać wyniki, które nie tylko pasują do ich zapytania, ale także wskazują konkretną scenę w filmie, w której znajduje się ta treść.

Inne odpowiednie interfejsy API Amazon Rekognition do analizy wideo to StartFaceDetection, StartPersonTracking i StartSegmentDetection — funkcja, która może zidentyfikować moment zmiany scen w filmie.

Amazon Rekognition działa zarówno na nagranym, jak i na żywo wideo. Nagrane wideo jest odczytywane z Usługa Amazon Simple Storage (Amazon S3), a wideo na żywo może być przetwarzane z Strumienie wideo Amazon Kinesis.

Synamedia wybrała Amazon Rekogntion ze względu na możliwość szybkiego rozszerzania swoich możliwości. Zespół ds. innowacji firmy Synamedia zajmuje się wyłącznie tworzeniem nowych innowacji technicznych w dziedzinie wideo i dysponuje dużą wiedzą techniczną. Jednak nawet dla nich nie zawsze jest możliwe posiadanie głębokiej wiedzy o domenach we wszystkich obszarach technologii wideo. Wejdź do Amazon Rekognition, który rozszerzył ich możliwości w zakresie wizji komputerowej, umożliwiając im konceptualizację przypadku użycia i szybkie przetestowanie jego wykonalności.

„Wdrożenie było niezwykle szybkie, a wyniki były niezwykle szybkie”, mówi Avi Fruchter. „Nie zawsze jesteśmy ekspertami w dziedzinie domen we wszystkich obszarach ML, a Amazon Rekognition daje nam możliwość wykorzystania naszej istniejącej wiedzy w nowych typach ulepszonych przypadków użycia dla naszych klientów”.

Synamedia przewiduje, że ich rozwiązanie przyniesie szerokie korzyści szerokiemu gronu klientów, w tym firmom posiadającym duże biblioteki wideo, a także rosnącej liczbie firm, które muszą monitorować określone zdarzenia w przekazach wideo na żywo, takie jak zagrożenia dla zdrowia i bezpieczeństwa.

Podsumowanie

Dzięki Amazon Rekognition Video firma Synamedia była w stanie zbudować i przetestować zaawansowaną funkcję wyszukiwania wideo w ciągu kilku tygodni, bez konieczności zatrudniania lub rozwijania dodatkowej specjalistycznej wiedzy z zakresu widzenia komputerowego.

Ta nowa funkcja pozwoliła firmie Synamedia zwiększyć wpływ jej zespołu ds. innowacji i kontynuować misję dostarczania nowych innowacji wideo dla swoich klientów.

Dowiedz się więcej o tym, jak szybko zbudować zaawansowane rozwiązania widzenia komputerowego dla wideo, odwiedzając Film dotyczący rozpoznawania Amazon lub odnosząc się do Zasoby Amazon Recognition.

O autorach

Daniela Burka jest europejskim liderem AI i ML w grupie Private Equity w AWS. Daniel współpracuje bezpośrednio z funduszami Private Equity i ich spółkami portfelowymi, pomagając im przyspieszyć wdrażanie AI i ML w celu poprawy innowacyjności i zwiększenia wartości przedsiębiorstwa.

John Shaw jest liderem w obszarze AI i ML w Ameryce Północnej w grupie Private Equity w AWS. John współpracuje bezpośrednio z funduszami Private Equity i ich spółkami portfelowymi, pomagając im przyspieszyć wdrażanie AI i ML w celu poprawy innowacyjności i zwiększenia wartości przedsiębiorstwa.