Hvordan Synamedia bruger Amazon Rekognition Video til at opbygge avancerede videosøgningsfunktioner til video i lang format

Synamedia er en førende udbyder af videoteknologi, der imødekommer behovene for premium videotjenesteudbydere og direkte til forbrugeren (D2C) med en omfattende løsningsportefølje. Synamedia-løsninger spredt på tværs af flere søjler såsom videonetværk, tv-platforme, reklamer og indtægtsgenerering samt indholdsbeskyttelse og piratkopiering.

Synamedia samarbejdede med AWS for at bruge kunstig intelligens (AI) til at udvikle forbedrede videosøgningsfunktioner til video i lang format. Dette er for at hjælpe deres kunder med at søge efter videoer baseret på en beskrivelse af scener, der ikke er beskrevet i aktivernes metadata. For eksempel at søge efter en video (selv inden for en serie), der indeholdt en scene på en båd, der ikke er signifikant nok til at blive nævnt i metadataene. Dette muliggør opdagelse af indhold drevet fra objekter i den virkelige verden.

Med Amazon-genkendelsesvideo, Synamedia byggede en AI-løsning, der var i stand til at udføre etiketdetektering i videoer og i billeder ved hjælp af standard- og brugerdefinerede modeller. Dette muliggjorde detektering på sceneniveau af specifikke objekter i lang video, baseret på hvad der faktisk er i scenen på det tidspunkt. Denne nye funktion giver brugerne mulighed for at finde specifikke hændelser i den lange video, kun baseret på en generel beskrivelse af, hvad de leder efter. Dette gør det muligt for Synamedia at præstere ekstremt hurtigt, når man onboarder nyt indhold, som nu tager et par timer at spinne op og få resultater. Løsningen er enkel at bruge og omfattende ved at give mulighed for at tilføje yderligere brugerdefinerede modeller til domænespecifikke billeder.

Brug af AI til at indeksere visuelt indhold

Efterhånden som både udbuddet af videoindhold og efterspørgslen efter større videoindsigt fortsætter med at vokse, bliver effektive videosøgningsmuligheder vigtigere. Traditionel videosøgning er dog typisk begrænset til grundlæggende oplysninger såsom videotitlen eller i nogle tilfælde til metadata, der er vedhæftet som tags, der beskriver videoens nøgletemaer eller indhold.

De fleste beskrivende oplysninger skal tilføjes manuelt, men dette bliver uoverkommeligt, efterhånden som mængden af ​​video vokser. Som et resultat er den traditionelle videosøgnings ydeevne ofte begrænset. Denne begrænsning er endnu mere udtalt for videoindhold i lang format, for hvilket metadata på sceneniveau normalt ikke findes, i betragtning af hvor dyrt og tidskrævende det er at producere.

For at imødegå denne begrænsning satte Synamedia sig for at udvikle en AI-drevet videosøgeløsning, der bruger computervision til automatisk at identificere detaljer på sceneniveau i en given video og gøre denne information synlig for brugerne baseret på generelle beskrivelser af disse scener.

Brug af Amazon Rekognition til at bygge en brugerdefineret computervisionsløsning på kun 2 uger

For at nå dette mål henvendte Synamedias Software Engineering Fellow, Avi Fruchter, sig til Amazon-anerkendelse, en fuldt administreret videoanalysetjeneste der hjælper med at accelerere processen med at bruge computervisionsmodeller til at detektere relevante hændelser på sceneniveau såsom objekter, aktiviteter og endda tekst og scener.

Amazon Rekognition Video accelererer udviklingen af ​​computervisionsløsninger til video ved automatisk at behandle og tagge videoindhold ved hjælp af computervisionsmodeller. Disse modeller administreres og vedligeholdes fuldt ud af Amazon Rekognition. Det fjerner de udifferentierede tunge løft ved at administrere den nødvendige infrastruktur og reducerer også den tekniske ekspertise, der kræves for at bygge og implementere disse modeller.

For at komme i gang vælger du blot, hvilken af ​​Amazon Rekognitions brede vifte af muligheder, der er relevante for din opgave, og ringer til den relevante API. Resultaterne returneres derefter som et let-at administrere JSON-svar for hvert job.

For eksempel brugte Synamedia StartLabelDetection API til automatisk at generere en liste over etiketter for objekter, der er fundet i hver videoramme i deres videobibliotek. Fra dette simple API-kald returnerede Amazon Rekognition listen over etiketter, konfidensscore for hver og de relevante tidsstempler for hver frame. Dette gjorde det muligt for Synamedia straks at oprette et helt nyt sæt søgemetadata for hver video i deres testbibliotek. Brugere er derefter i stand til at søge efter specifikt videoindhold blot ved at beskrive specifikke objekter eller landskaber, de er interesserede i, og få resultater, der ikke kun matcher deres forespørgsel, men som også peger dem til den specifikke scene i videoen, der indeholdt det pågældende indhold.

Andre relevante Amazon Rekognition API'er til videoanalyse er StartFaceDetection, StartPersonTracking og StartSegmentDetection – en funktion, der kan identificere det øjeblik, scenerne i en video ændres.

Amazon Rekognition fungerer på både forudindspillet og live video. Forudindspillet video læses fra Amazon Simple Storage Service (Amazon S3), og live video kan behandles fra Amazon Kinesis videostreams.

Synamedia valgte Amazon Rekogntion for dets evne til hurtigt at udvide deres muligheder. Synamedias innovationsteam er udelukkende dedikeret til at bygge nye tekniske innovationer inden for video og har stærk teknisk ekspertise. Men selv for dem er det ikke altid muligt at have dyb domæneekspertise inden for alle områder af videoteknologi. Gå ind i Amazon Rekogntion, som udvidede deres muligheder inden for computervision, hvilket gjorde dem i stand til at konceptualisere en use case og hurtigt teste dens levedygtighed.

"Det var ekstremt hurtigt at komme ombord, og resultaterne var ekstremt hurtige," siger Avi Fruchter. "Vi er ikke altid domæneeksperter inden for alle områder af ML, og Amazon Rekognition giver os muligheden for at udnytte vores eksisterende ekspertise til nye typer forbedrede use cases for vores kunder."

Synamedia forventer, at deres løsning vil have brede fordele for en bred vifte af kunder, herunder virksomheder med store videobiblioteker samt det voksende antal virksomheder, der har brug for at overvåge specifikke begivenheder i live video-feeds, såsom sundheds- og sikkerhedsrisici.

Resumé

Med Amazon Rekognition Video var Synamedia i stand til at bygge og teste en avanceret videosøgningsfunktion i løbet af få uger uden at skulle ansætte eller udvikle yderligere specialiseret computervisionsekspertise.

Denne nye kapacitet har gjort det muligt for Synamedia at udvide deres innovationsteams indflydelse og fortsætte med sin mission om at drive ny videoinnovation for sine kunder.

Få mere at vide om, hvordan du hurtigt kan bygge avancerede computervisionsløsninger til video ved at besøge Amazon-genkendelsesvideo eller henviser til Amazon-genkendelsesressourcer.

Om forfatterne

Daniel Burke er den europæiske leder for AI og ML i Private Equity-gruppen hos AWS. Daniel arbejder direkte med Private Equity-fonde og deres porteføljevirksomheder og hjælper dem med at accelerere deres AI- og ML-adoption for at forbedre innovation og øge virksomhedens værdi.

John Shaw er den nordamerikanske leder for AI og ML i Private Equity-gruppen hos AWS. John arbejder direkte med private equity-fonde og deres porteføljeselskaber og hjælper dem med at accelerere deres AI- og ML-adoption for at forbedre innovation og øge virksomhedens værdi.