Hur Synamedia använder Amazon Rekognition Video för att bygga avancerade videosökningsfunktioner för långformsvideo

Synamedia är en ledande leverantör av videoteknik som tillgodoser behoven för leverantörer av premiumvideotjänster och direkt till konsument (D2C) med en omfattande lösningsportfölj. Synamedia-lösningar spridda över flera pelare som videonätverk, TV-plattformar, reklam och intäktsgenerering samt innehållsskydd och piratkopiering.

Synamedia samarbetade med AWS för att använda artificiell intelligens (AI) för att utveckla förbättrade videosökningsmöjligheter för långformsvideo. Detta för att hjälpa sina kunder att söka efter videor baserat på en beskrivning av scener som inte beskrivs i tillgångarnas metadata. Till exempel att söka efter en video (även inom en serie) som innehöll en scen på en båt som inte är tillräckligt betydande för att nämnas i metadata. Detta möjliggör upptäckt av innehåll som drivs från verkliga objekt.

Med Amazon erkännande video, byggde Synamedia en AI-lösning som kunde utföra etikettdetektering i videor och i bilder med standardmodeller och anpassade modeller. Detta möjliggjorde detektering på scennivå av specifika objekt i långformat video, baserat på vad som faktiskt finns i scenen vid den tidpunkten. Den här nya förmågan gör det möjligt för användare att hitta specifika händelser i den långa videon, endast baserat på en allmän beskrivning av vad de letar efter. Detta gör det möjligt för Synamedia att prestera extremt snabbt när det kommer till nytt innehåll, vilket nu tar några timmar att snurra upp och få resultat. Lösningen är enkel att använda och omfattande genom att den ger möjlighet att lägga till ytterligare anpassade modeller för domänspecifika bilder.

Använder AI för att indexera visuellt innehåll

Eftersom både utbudet av videoinnehåll och efterfrågan på större videoinsikter fortsätter att växa, blir effektiva videosökningsmöjligheter allt viktigare. Traditionell videosökning är dock vanligtvis begränsad till grundläggande information som videotiteln, eller i vissa fall till metadata bifogade som taggar som beskriver huvudteman eller innehållet i videon.

Den mesta beskrivande informationen måste läggas till manuellt, men detta blir oöverkomligt när mängden video växer. Som ett resultat är resultatet för traditionell videosökning ofta begränsad. Denna begränsning är ännu mer uttalad för långformat videoinnehåll, för vilket metadata på scennivå vanligtvis inte finns, med tanke på hur dyrt och tidskrävande det är att producera.

För att komma till rätta med denna begränsning satte Synamedia sig för att utveckla en AI-driven videosökningslösning som använder datorseende för att automatiskt identifiera detaljer på scennivå i en given video och göra den informationen upptäckbar för användare baserat på allmänna beskrivningar av dessa scener.

Använder Amazon Rekognition för att bygga en anpassad datorvisionslösning på bara två veckor

För att uppnå detta mål vände sig Synamedias Software Engineering Fellow, Avi Fruchter, till Amazon-erkännande, en fullständigt hanterad videoanalystjänst som hjälper till att påskynda processen att använda datorseendemodeller för att upptäcka relevanta händelser på scennivå som objekt, aktiviteter och till och med text och scener.

Amazon Rekognition Video påskyndar utvecklingen av datorseendelösningar för video genom att automatiskt bearbeta och tagga videoinnehåll med datorseendemodeller. Dessa modeller hanteras och underhålls helt av Amazon Rekognition. Det tar bort det odifferentierade tunga lyftet av att hantera den nödvändiga infrastrukturen, och minskar också den tekniska expertis som krävs för att bygga och distribuera dessa modeller.

För att komma igång väljer du helt enkelt vilken av Amazon Rekognitions breda utbud av möjligheter som är relevant för din uppgift och anropar relevant API. Resultaten returneras sedan som ett lätthanterligt JSON-svar för varje jobb.

Synamedia använde till exempel StartLabelDetection API för att automatiskt generera en lista med etiketter för objekt som upptäckts i varje videobildruta i deras videobibliotek. Från detta enkla API-anrop returnerade Amazon Rekognition listan med etiketter, konfidenspoängen för varje och de relevanta tidsstämplarna för varje bildruta. Detta gjorde det möjligt för Synamedia att omedelbart skapa en helt ny uppsättning sökmetadata för varje video i deras testbibliotek. Användare kan sedan söka efter specifikt videoinnehåll bara genom att beskriva specifika objekt eller landskap som de är intresserade av, och få resultat som inte bara matchar deras sökfråga, utan som också pekar dem till den specifika scenen i videon som innehöll det innehållet.

Andra relevanta Amazon Rekognition API:er för videoanalys är StartFaceDetection, StartPersonTracking och StartSegmentDetection – en funktion som kan identifiera ögonblicket då scenerna i en video förändras.

Amazon Rekognition fungerar på både förinspelad och livevideo. Förinspelad video läses från Amazon enkel lagringstjänst (Amazon S3), och livevideo kan bearbetas från Amazon Kinesis videoströmmar.

Synamedia valde Amazon Rekogntion för dess förmåga att snabbt utöka sina möjligheter. Synamedias innovationsteam är dedikerade enbart till att bygga nya tekniska innovationer inom video och har stark teknisk expertis. Men även för dem är det inte alltid möjligt att ha djup domänexpertis inom alla områden av videoteknik. Gå in i Amazon Rekogntion, som utökade deras kapacitet inom datorseende, vilket gjorde det möjligt för dem att konceptualisera ett användningsfall och snabbt testa dess livskraft.

"Det gick extremt snabbt att gå ombord, och resultaten var extremt snabba", säger Avi Fruchter. "Vi är inte alltid domänexperter inom alla områden av ML, och Amazon Rekognition ger oss möjligheten att utnyttja vår befintliga expertis till nya typer av förbättrade användningsfall för våra kunder."

Synamedia räknar med att deras lösning kommer att ha breda fördelar för ett brett spektrum av kunder, inklusive företag med stora videobibliotek samt det växande antalet företag som behöver övervaka specifika händelser i livevideoflöden, såsom hälso- och säkerhetsrisker.

Sammanfattning

Med Amazon Rekognition Video kunde Synamedia bygga och testa en avancerad videosökningsfunktion på några veckor, utan att behöva anställa eller utveckla ytterligare specialiserad datorseende expertis.

Denna nya förmåga har gjort det möjligt för Synamedia att utöka effekten av sitt innovationsteam och fortsätta med sitt uppdrag att driva ny videoinnovation för sina kunder.

Läs mer om hur du snabbt kan bygga avancerade datorvisionslösningar för video genom att besöka Amazon erkännande video eller hänvisar till Amazon erkännande resurser.

Om författarna

Daniel Burke är den europeiska ledaren för AI och ML i Private Equity-gruppen på AWS. Daniel arbetar direkt med Private Equity-fonder och deras portföljbolag, och hjälper dem att accelerera deras AI- och ML-adoption för att förbättra innovation och öka företagsvärdet.

John Shaw är den nordamerikanska ledaren för AI och ML i Private Equity-gruppen på AWS. John arbetar direkt med Private Equity-fonder och deras portföljbolag och hjälper dem att påskynda deras AI- och ML-adoption för att förbättra innovation och öka företagsvärdet.