Hvordan Synamedia bruker Amazon Rekognition Video til å bygge avanserte videosøkefunksjoner for langformatvideo

Synamedia er en ledende leverandør av videoteknologi som imøtekommer behovene til premium videotjenesteleverandører og direkte til forbruker (D2C) med en omfattende løsningsportefølje. Synamedia-løsninger spredt over flere pilarer som videonettverk, TV-plattformer, reklame og inntektsgenerering, og innholdsbeskyttelse og piratkopiering.

Synamedia samarbeidet med AWS for å bruke kunstig intelligens (AI) for å utvikle forbedrede videosøkefunksjoner for langformatvideo. Dette er for å hjelpe kundene deres med å søke etter videoer basert på en beskrivelse av scener som ikke er beskrevet i metadataene til ressursene. For eksempel å søke etter en video (selv innenfor en serie) som inneholdt en scene på en båt som ikke er signifikant nok til å bli nevnt i metadataene. Dette muliggjør innholdsoppdagelse drevet fra virkelige objekter.

Med Amazon-gjenkjenningsvideo, bygde Synamedia en AI-løsning som var i stand til å utføre etikettdeteksjon i videoer og i bilder ved bruk av standard og tilpassede modeller. Dette muliggjorde deteksjon på scenenivå av spesifikke objekter i lang video, basert på hva som faktisk er i scenen på det tidspunktet. Denne nye funksjonen lar brukere finne spesifikke forekomster i den lange videoen, kun basert på en generell beskrivelse av hva de leter etter. Dette gjør det mulig for Synamedia å yte ekstremt raskt når du tar med nytt innhold, som nå tar noen timer å spinne opp og få resultater. Løsningen er enkel å bruke og omfattende ved å gi muligheten til å legge til flere tilpassede modeller for domenespesifikke bilder.

Bruke AI til å indeksere visuelt innhold

Ettersom både tilbudet av videoinnhold og etterspørselen etter større videoinnsikt fortsetter å vokse, blir effektive videosøkemuligheter viktigere. Tradisjonelt videosøk er imidlertid vanligvis begrenset til grunnleggende informasjon som videotittelen, eller i noen tilfeller til metadata vedlagt som tagger som beskriver hovedtemaene eller innholdet i videoen.

Det meste av beskrivende informasjon må legges til manuelt, men dette blir uoverkommelig etter hvert som mengden video vokser. Som et resultat er ytelsen til tradisjonell videosøk ofte begrenset. Denne begrensningen er enda mer uttalt for videoinnhold i lang form, hvor metadata på scenenivå vanligvis ikke eksisterer, gitt hvor dyrt og tidkrevende det er å produsere.

For å adressere denne begrensningen, satte Synamedia seg for å utvikle en AI-drevet videosøkeløsning som bruker datasyn for å automatisk identifisere scenenivådetaljer i en gitt video, og gjøre denne informasjonen synlig for brukere basert på generelle beskrivelser av disse scenene.

Bruker Amazon Rekognition til å bygge en tilpasset datasynsløsning på bare 2 uker

For å oppnå dette målet henvendte Synamedias Software Engineering Fellow, Avi Fruchter, seg til Amazon-anerkjennelseen fullstendig administrert videoanalysetjeneste som hjelper til med å akselerere prosessen med å bruke datasynsmodeller for å oppdage relevante hendelser på scenenivå som objekter, aktiviteter og til og med tekst og scener.

Amazon Rekognition Video akselererer utviklingen av datasynsløsninger for video ved automatisk å behandle og merke videoinnhold ved hjelp av datasynsmodeller. Disse modellene er fullstendig administrert og vedlikeholdt av Amazon Rekognition. Det fjerner de udifferensierte tunge løftene ved å administrere den nødvendige infrastrukturen, og reduserer også den tekniske ekspertisen som kreves for å bygge og distribuere disse modellene.

For å komme i gang velger du ganske enkelt hvilken av Amazon Rekognitions brede spekter av muligheter som er relevant for oppgaven din, og ringer til den aktuelle APIen. Resultatene blir deretter returnert som et enkelt å administrere JSON-svar for hver jobb.

Synamedia brukte for eksempel StartLabelDetection API for automatisk å generere en liste over etiketter for objekter som ble oppdaget i hver videoramme i videobiblioteket deres. Fra dette enkle API-kallet returnerte Amazon Rekognition listen over etiketter, konfidenspoengsummen for hver og de relevante tidsstemplene for hver ramme. Dette gjorde at Synamedia umiddelbart kunne lage et helt nytt sett med søkemetadata for hver video i testbiblioteket deres. Brukere kan deretter søke etter spesifikt videoinnhold bare ved å beskrive spesifikke objekter eller landskap de er interessert i, og få resultater som ikke bare samsvarer med søket deres, men som også peker dem til den spesifikke scenen i videoen som inneholdt det innholdet.

Andre relevante Amazon Rekognition APIer for videoanalyse er StartFaceDetection, StartPersonTracking og StartSegmentDetection – en funksjon som kan identifisere øyeblikket som scener i en video endres.

Amazon Rekognition fungerer på både forhåndsinnspilt og live video. Forhåndsinnspilt video leses fra Amazon enkel lagringstjeneste (Amazon S3), og live video kan behandles fra Amazon Kinesis videostrømmer.

Synamedia valgte Amazon Rekogntion for sin evne til raskt å utvide sine evner. Synamedias innovasjonsteam er utelukkende dedikert til å bygge nye tekniske innovasjoner innen video og har sterk teknisk ekspertise. Men selv for dem er det ikke alltid mulig å ha dyp domeneekspertise innen alle områder av videoteknologi. Gå inn i Amazon Rekogntion, som utvidet deres evner innen datasyn, slik at de kunne konseptualisere en brukssituasjon og raskt teste dens levedyktighet.

"Det var ekstremt raskt å komme ombord, og resultatene var ekstremt raske," sier Avi Fruchter. "Vi er ikke alltid domeneeksperter på alle områder av ML, og Amazon Rekognition gir oss muligheten til å utnytte vår eksisterende ekspertise til nye typer forbedrede brukstilfeller for våre kunder."

Synamedia forventer at løsningen deres vil ha brede fordeler for et bredt spekter av kunder, inkludert selskaper med store videobiblioteker samt det økende antallet selskaper som trenger å overvåke spesifikke hendelser i direktesendte videofeeder, for eksempel helse- og sikkerhetsrisikoer.

Oppsummering

Med Amazon Rekognition Video var Synamedia i stand til å bygge og teste en avansert videosøkefunksjon i løpet av noen uker, uten å måtte ansette eller utvikle ytterligere spesialisert datasynsekspertise.

Denne nye funksjonen har gjort det mulig for Synamedia å utvide virkningen av innovasjonsteamet sitt og fortsette med sitt oppdrag om å drive ny videoinnovasjon for sine kunder.

Lær mer om hvordan du raskt kan bygge avanserte datasynsløsninger for video ved å besøke Amazon-gjenkjenningsvideo eller refererer til Amazon-gjenkjenningsressurser.

Om forfatterne

Daniel Burke er europeisk leder for AI og ML i Private Equity-gruppen hos AWS. Daniel jobber direkte med Private Equity-fond og deres porteføljeselskaper, og hjelper dem med å akselerere deres AI og ML-adopsjon for å forbedre innovasjon og øke bedriftsverdien.

John Shaw er nordamerikansk leder for AI og ML i Private Equity-gruppen hos AWS. John jobber direkte med Private Equity-fond og deres porteføljeselskaper, og hjelper dem med å akselerere AI- og ML-adopsjonen for å forbedre innovasjon og øke bedriftsverdien.