Dette er et gjesteinnlegg skrevet sammen med Tamir Rubinsky og Aviad Aranias fra Nielsen Sports.
Nielsen Sports former verdens medier og innhold som en global leder innen publikumsinnsikt, data og analyser. Gjennom vår forståelse av mennesker og deres atferd på tvers av alle kanaler og plattformer, styrker vi kundene våre med uavhengig og handlingskraftig intelligens slik at de kan koble seg til og engasjere seg med publikummet deres – nå og i fremtiden.
Hos Nielsen Sports er vår oppgave å gi kundene våre – merkevarer og rettighetshavere – muligheten til å måle avkastningen på investeringen (ROI) og effektiviteten til en reklamekampanje for sportssponsorer på tvers av alle kanaler, inkludert TV, online, sosiale medier og selv aviser, og for å gi nøyaktig målretting på lokalt, nasjonalt og internasjonalt nivå.
I dette innlegget beskriver vi hvordan Nielsen Sports moderniserte et system som kjører tusenvis av forskjellige maskinlæringsmodeller (ML) i produksjon ved å bruke Amazon SageMaker multi-model endpoints (MMEs) og reduserte operasjonelle og økonomiske kostnader med 75 %.
Utfordringer med segmentering av kanalvideo
Vår teknologi er basert på kunstig intelligens (AI) og spesifikt datasyn (CV), som lar oss spore merkevareeksponering og identifisere plasseringen nøyaktig. For eksempel identifiserer vi om merket er på et banner eller en skjorte. I tillegg identifiserer vi plasseringen av merket på varen, for eksempel det øverste hjørnet på et skilt eller ermet. Følgende figur viser et eksempel på vårt merkesystem.
For å forstå våre skalerings- og kostnadsutfordringer, la oss se på noen representative tall. Hver måned identifiserer vi over 120 millioner merkevarevisninger på tvers av ulike kanaler, og systemet skal støtte identifikasjon av over 100,000 6 merker og varianter av ulike merker. Vi har bygget en av de største databasene med merkevareinntrykk i verden med over XNUMX milliarder datapunkter.
Medieevalueringsprosessen vår inkluderer flere trinn, som illustrert i følgende figur:
- For det første tar vi opp tusenvis av kanaler rundt om i verden ved hjelp av et internasjonalt opptakssystem.
- Vi streamer innholdet i kombinasjon med sendeskjemaet (Electronic Programming Guide) til neste trinn, som er segmentering og skille mellom selve spillsendingene og annet innhold eller annonser.
- Vi utfører medieovervåking, hvor vi legger til ytterligere metadata til hvert segment, for eksempel ligaresultater, relevante lag og spillere.
- Vi utfører en eksponeringsanalyse av merkenes synlighet og kombinerer deretter publikumsinformasjonen for å beregne verdivurderingen av kampanjen.
- Informasjonen leveres til kunden av et dashbord eller analytikerrapporter. Analytikeren får direkte tilgang til rådataene eller gjennom vårt datavarehus.
Fordi vi opererer i en skala på over tusen kanaler og titusenvis av timer med video i året, må vi ha et skalerbart automatiseringssystem for analyseprosessen. Vår løsning segmenterer sendingen automatisk og vet hvordan de relevante videoklippene skal isoleres fra resten av innholdet.
Vi gjør dette ved hjelp av dedikerte algoritmer og modeller utviklet av oss for å analysere de spesifikke egenskapene til kanalene.
Totalt kjører vi tusenvis av forskjellige modeller i produksjon for å støtte dette oppdraget, som er kostbart, medfører driftskostnader, og er utsatt for feil og sakte. Det tok måneder å få modeller med ny modellarkitektur til produksjon.
Det var her vi ønsket å innovere og ombygge systemet vårt.
Kostnadseffektiv skalering for CV-modeller som bruker SageMaker MME-er
Vårt eldre videosegmenteringssystem var vanskelig å teste, endre og vedlikeholde. Noen av utfordringene inkluderer å jobbe med et gammelt ML-rammeverk, gjensidige avhengigheter mellom komponenter og en arbeidsflyt som er vanskelig å optimalisere. Dette er fordi vi var basert på RabbitMQ for rørledningen, som var en stateful løsning. For å feilsøke én komponent, for eksempel funksjonsutvinning, måtte vi teste hele rørledningen.
Følgende diagram illustrerer den forrige arkitekturen.
Som en del av analysen vår identifiserte vi ytelsesflaskehalser som å kjøre en enkelt modell på en maskin, som viste en lav GPU-utnyttelse på 30–40 %. Vi oppdaget også ineffektive pipeline-kjøringer og planleggingsalgoritmer for modellene.
Derfor bestemte vi oss for å bygge en ny multi-tenant-arkitektur basert på SageMaker, som ville implementere ytelsesoptimaliseringsforbedringer, støtte dynamiske batchstørrelser og kjøre flere modeller samtidig.
Hver kjøring av arbeidsflyten er rettet mot en gruppe videoer. Hver video er mellom 30–90 minutter lang, og hver gruppe har mer enn fem modeller å kjøre.
La oss undersøke et eksempel: en video kan være 60 minutter lang, bestå av 3,600 bilder, og hvert bilde må utledes av tre forskjellige ML-modeller i løpet av den første fasen. Med SageMaker MME-er kan vi kjøre batcher på 12 bilder parallelt, og hele batchen fullføres på mindre enn 2 sekunder. På en vanlig dag har vi mer enn 20 grupper med videoer, og på en fullsatt helgedag kan vi ha mer enn 100 grupper med videoer.
Følgende diagram viser vår nye, forenklede arkitektur med en SageMaker MME.
Resultater
Med den nye arkitekturen oppnådde vi mange av våre ønskede resultater og noen usynlige fordeler i forhold til den gamle arkitekturen:
- Bedre kjøretid – Ved å øke batchstørrelsene (12 videoer parallelt) og kjøre flere modeller samtidig (fem modeller parallelt), har vi redusert vår totale pipeline-kjøringstid med 33 %, fra 1 time til 40 minutter.
- Forbedret infrastruktur – Med SageMaker oppgraderte vi vår eksisterende infrastruktur, og vi bruker nå nyere AWS-instanser med nyere GPU-er som g5.xlarge. En av de største fordelene med endringen er den umiddelbare ytelsesforbedringen ved å bruke TorchScript- og CUDA-optimaliseringer.
- Optimalisert infrastrukturbruk – Ved å ha ett enkelt endepunkt som kan være vert for flere modeller, kan vi redusere både antall endepunkter og antall maskiner vi trenger å vedlikeholde, og også øke utnyttelsen av en enkelt maskin og dens GPU. For en spesifikk oppgave med fem videoer bruker vi nå kun fem maskiner med g5-forekomster, noe som gir oss 75 % kostnadsfordel fra den forrige løsningen. For en typisk arbeidsbelastning i løpet av dagen bruker vi ett enkelt endepunkt med en enkelt maskin på g5.xlarge med en GPU-utnyttelse på mer enn 80 %. Til sammenligning hadde den forrige løsningen mindre enn 40 % utnyttelse.
- Økt smidighet og produktivitet – Ved å bruke SageMaker kunne vi bruke mindre tid på å migrere modeller og mer tid på å forbedre våre kjernealgoritmer og modeller. Dette har økt produktiviteten for våre ingeniør- og datavitenskapsteam. Vi kan nå undersøke og distribuere en ny ML-modell på under 7 dager, i stedet for over 1 måned tidligere. Dette er en forbedring på 75 % i hastighet og planlegging.
- Bedre kvalitet og selvtillit – Med SageMaker A/B-testfunksjoner kan vi distribuere modellene våre på en gradvis måte og trygt kunne rulle tilbake. Den raskere livssyklusen til produksjon økte også ML-modellenes nøyaktighet og resultater.
Følgende figur viser vår GPU-bruk med den forrige arkitekturen (30-40 % GPU-bruk).
Følgende figur viser GPU-bruken vår med den nye forenklede arkitekturen (90 % GPU-utnyttelse).
konklusjonen
I dette innlegget delte vi hvordan Nielsen Sports moderniserte et system som kjører tusenvis av forskjellige modeller i produksjon ved å bruke SageMaker MME-er og reduserte deres operasjonelle og økonomiske kostnader med 75 %.
For mer lesing, se følgende:
Om forfatterne
Eitan Sela er en generativ AI- og maskinlæringsspesialistløsningsarkitekt med Amazon Web Services. Han jobber med AWS-kunder for å gi veiledning og teknisk assistanse, og hjelper dem med å bygge og drifte Generative AI og Machine Learning-løsninger på AWS. På fritiden liker Eitan å jogge og lese de siste maskinlæringsartiklene.
Gal Goldman er en Senior Software Engineer og en Enterprise Senior Solution Architect i AWS med lidenskap for banebrytende løsninger. Han spesialiserer seg på og har utviklet mange distribuerte maskinlæringstjenester og løsninger. Gal fokuserer også på å hjelpe AWS-kunder med å akselerere og overvinne sine tekniske og generative AI-utfordringer.
Tal Panchek er senior forretningsutviklingssjef for kunstig intelligens og maskinlæring med Amazon Web Services. Som BD-spesialist er han ansvarlig for å øke bruken, utnyttelsen og inntektene for AWS-tjenester. Han samler kunde- og industribehov og samarbeider med AWS-produktteam for å innovere, utvikle og levere AWS-løsninger.
Tamir Rubinsky leder Global R&D Engineering hos Nielsen Sports, og har stor erfaring med å bygge innovative produkter og lede team med høy ytelse. Arbeidet hans forvandlet sportssponsing medieevaluering gjennom innovative, AI-drevne løsninger.
Aviad Aranias er en MLOps-teamleder og Nielsen Sports Analysis Architect som spesialiserer seg på å lage komplekse rørledninger for å analysere sportsbegivenheter på tvers av en rekke kanaler. Han utmerker seg i å bygge og distribuere dyplæringsmodeller for å håndtere data i stor skala effektivt. På fritiden liker han å bake deilige napolitanske pizzaer.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/nielsen-sports-sees-75-cost-reduction-in-video-analysis-with-amazon-sagemaker-multi-model-endpoints/
- : har
- :er
- :hvor
- 000
- 1
- 100
- 12
- 120
- 150
- 20
- 40
- 60
- 600
- 7
- a
- evne
- I stand
- akselerere
- adgang
- nøyaktighet
- nøyaktig
- nøyaktig
- oppnådd
- tvers
- handlings
- legge til
- tillegg
- Ytterligere
- Adopsjon
- fordeler
- Annonsering
- AI
- AI-drevet
- algoritmer
- Alle
- tillatt
- tillater
- også
- Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- analyse
- analytiker
- analytics
- analyserer
- og
- arkitektur
- ER
- rundt
- artikler
- kunstig
- kunstig intelligens
- Kunstig intelligens (AI)
- Kunstig intelligens og maskinlæring
- AS
- Assistanse
- At
- publikum
- automatisk
- Automatisering
- AWS
- tilbake
- banner
- basert
- BD
- BE
- fordi
- atferd
- nytte
- Fordeler
- mellom
- Biggest
- Milliarder
- både
- flaskehalser
- merke
- merker
- Bringe
- kringkaste
- sendinger
- bygge
- Bygning
- bygget
- virksomhet
- forretningsutvikling
- by
- beregne
- Kampanje
- CAN
- evner
- utfordringer
- endring
- Kanal
- kanaler
- egenskaper
- klienter
- klipp
- kombinasjon
- kombinere
- sammenligning
- Fullfører
- komplekse
- komponent
- komponenter
- datamaskin
- Datamaskin syn
- selvtillit
- Koble
- Består
- innhold
- Kjerne
- Corner
- Kostnad
- kostnadsreduksjon
- kostbar
- laging
- kunde
- Kunder
- skjærekant
- dashbord
- dato
- datapunkter
- datavitenskap
- databaser
- dag
- Dager
- besluttet
- redusert
- dedikert
- dyp
- dyp læring
- leverer
- levert
- utplassere
- utplasserings
- beskrive
- ønsket
- utvikle
- utviklet
- Utvikling
- diagram
- forskjellig
- vanskelig
- direkte
- Direkte adgang
- oppdaget
- distribueres
- do
- under
- dynamisk
- hver enkelt
- effektivitet
- effektivt
- elektronisk
- bemyndige
- Endpoint
- engasjere
- ingeniør
- Ingeniørarbeid
- Enterprise
- evaluering
- Selv
- Event
- Hver
- undersøke
- eksempel
- eksisterende
- erfaring
- Eksponering
- utdrag
- raskere
- Trekk
- Figur
- finansiell
- Først
- fem
- fokuserer
- etter
- Til
- Rammeverk
- fra
- fullt
- videre
- framtid
- GAL
- spill
- generative
- Generativ AI
- få
- gitt
- gir
- Global
- Goldman
- GPU
- GPU
- gradvis
- Gruppe
- Gruppens
- Økende
- Gjest
- gjest innlegg
- veiledning
- veilede
- HAD
- håndtere
- Ha
- å ha
- he
- hjelpe
- høytytende
- hans
- vert
- time
- TIMER
- Hvordan
- Hvordan
- HTTPS
- Identifikasjon
- identifisert
- identifisere
- if
- illustrerer
- bilde
- bilder
- umiddelbar
- iverksette
- forbedring
- forbedringer
- bedre
- in
- inkludere
- inkluderer
- Inkludert
- Øke
- økt
- økende
- uavhengig
- industri
- ineffektiv
- utledet
- informasjon
- Infrastruktur
- innovere
- innovative
- innsikt
- i stedet
- Intelligens
- internasjonalt
- inn
- investering
- IT
- DET ER
- jpg
- vet
- storskala
- største
- siste
- leder
- Fører
- League
- læring
- Legacy
- mindre
- nivåer
- Livssyklus
- lokal
- plassering
- Lang
- Se
- Lav
- maskin
- maskinlæring
- maskiner
- vedlikeholde
- leder
- administrerende
- mange
- måle
- Media
- metadata
- Migrere
- millioner
- minutter
- Oppdrag
- ML
- MLOps
- modell
- modeller
- overvåking
- Måned
- måneder
- mer
- flere
- må
- nasjonal
- Trenger
- behov
- Ny
- nyere
- Aviser
- neste
- nå
- Antall
- tall
- mange
- of
- Gammel
- on
- ONE
- på nett
- bare
- betjene
- operasjonell
- optimalisering
- optimaliseringer
- or
- Annen
- vår
- utfall
- enn
- samlet
- Overcome
- overhead
- pakket
- Parallel
- del
- partner
- lidenskap
- Ansatte
- Utfør
- ytelse
- rørledning
- planlegging
- Plattformer
- plato
- Platon Data Intelligence
- PlatonData
- spillere
- poeng
- Post
- forrige
- tidligere
- prosess
- Produkt
- Produksjon
- produktivitet
- Produkter
- Programmering
- gi
- kvalitet
- FoU
- Raw
- Lesning
- rekord
- innspilling
- redusere
- Redusert
- reduksjon
- referere
- regelmessig
- relevant
- Rapporter
- representant
- forskning
- ansvarlig
- REST
- Resultater
- retur
- inntekter
- rettigheter
- ROI
- Rull
- Kjør
- rennende
- går
- runtime
- trygt
- sagemaker
- skalerbar
- Skala
- skalering
- planlegge
- planlegging
- Vitenskap
- score
- sekunder
- Sees
- segmentet
- segmentering
- segmenter
- senior
- Tjenester
- flere
- figurer
- delt
- viste
- Viser
- undertegne
- forenklet
- samtidig
- enkelt
- størrelser
- langsom
- So
- selskap
- sosiale medier
- Software
- Software Engineer
- løsning
- Solutions
- noen
- spesialist
- spesialisert
- spesifikk
- spesielt
- bruke
- sponsoravtale
- Sport
- Sports
- Scene
- Steps
- stream
- slik
- støtte
- system
- rettet mot
- mål
- Oppgave
- lag
- lag
- Teknisk
- Teknologi
- titus
- test
- Testing
- enn
- Det
- De
- Fremtiden
- verden
- deres
- Dem
- seg
- deretter
- de
- denne
- tusen
- tusener
- tre
- Gjennom
- tid
- til
- tok
- topp
- Totalt
- spor
- forvandlet
- tv
- typisk
- etter
- forstå
- forståelse
- oppgradert
- us
- bruk
- bruke
- ved hjelp av
- Verdivurdering
- variasjoner
- enorme
- Hastighet
- video
- videoer
- synlighet
- syn
- ønsket
- var
- Vei..
- we
- web
- webtjenester
- helg
- var
- hvilken
- HVEM
- med
- Arbeid
- arbeidsflyt
- arbeid
- virker
- verden
- Verdens
- ville
- år
- zephyrnet