To je gostujoča objava, ki sta jo napisala skupaj s Tamirjem Rubinskyjem in Aviadom Araniasom iz Nielsen Sports.
Nielsen Sports oblikuje svetovne medije in vsebino kot globalno vodilno podjetje na področju vpogledov v občinstvo, podatkov in analitike. Z našim razumevanjem ljudi in njihovega vedenja na vseh kanalih in platformah opolnomočimo naše stranke z neodvisno in delujočo inteligenco, da se lahko povežejo in sodelujejo s svojim občinstvom – zdaj in v prihodnosti.
Pri Nielsen Sports je naše poslanstvo našim strankam – blagovnim znamkam in imetnikom pravic – zagotoviti možnost merjenja donosnosti naložbe (ROI) in učinkovitosti oglaševalske kampanje športnega sponzorstva na vseh kanalih, vključno s televizijo, spletom, družbenimi mediji in celo časopise in zagotoviti natančno ciljanje na lokalni, nacionalni in mednarodni ravni.
V tej objavi opisujemo, kako je Nielsen Sports posodobil sistem, ki poganja na tisoče različnih modelov strojnega učenja (ML) v proizvodnji z uporabo Amazon SageMaker multi-model endpoints (MME) ter znižanje operativnih in finančnih stroškov za 75 %.
Izzivi s segmentacijo videa kanala
Naša tehnologija temelji na umetni inteligenci (AI) in posebej računalniškem vidu (CV), ki nam omogoča sledenje izpostavljenosti blagovne znamke in natančno prepoznavanje njene lokacije. Na primer, ugotovimo, ali je blagovna znamka na transparentu ali srajci. Poleg tega prepoznamo lokacijo blagovne znamke na izdelku, kot je zgornji kot znaka ali rokav. Naslednja slika prikazuje primer našega sistema označevanja.
Da bi razumeli naše izzive glede skaliranja in stroškov, si poglejmo nekaj reprezentativnih številk. Vsak mesec identificiramo več kot 120 milijonov prikazov blagovnih znamk na različnih kanalih, sistem pa mora podpirati identifikacijo več kot 100,000 blagovnih znamk in različic različnih blagovnih znamk. Zgradili smo eno največjih baz podatkov o vtisih blagovnih znamk na svetu z več kot 6 milijardami podatkovnih točk.
Naš postopek ocenjevanja medijev vključuje več korakov, kot je prikazano na naslednji sliki:
- Prvič, z mednarodnim snemalnim sistemom posnamemo na tisoče kanalov po vsem svetu.
- Vsebino pretakamo v kombinaciji s sporedom oddajanja (Electronic Programming Guide) na naslednjo stopnjo, ki je segmentacija in ločevanje med samimi prenosi iger in ostalimi vsebinami ali oglasi.
- Izvajamo spremljanje medijev, kjer vsakemu segmentu dodamo dodatne metapodatke, kot so ligaški rezultati, ustrezne ekipe in igralci.
- Izvedemo analizo izpostavljenosti prepoznavnosti blagovnih znamk in nato združimo informacije o občinstvu, da izračunamo vrednotenje kampanje.
- Informacije se stranki posredujejo preko nadzorne plošče ali poročil analitikov. Analitik ima neposreden dostop do neobdelanih podatkov ali prek našega podatkovnega skladišča.
Ker delujemo v obsegu več kot tisoč kanalov in več deset tisoč ur videa na leto, moramo imeti razširljiv sistem avtomatizacije za proces analize. Naša rešitev samodejno segmentira oddajo in zna izolirati ustrezne video posnetke od preostale vsebine.
To počnemo z namenskimi algoritmi in modeli, ki smo jih razvili za analizo specifičnih značilnosti kanalov.
Skupaj izvajamo na tisoče različnih modelov v proizvodnji, da bi podprli to nalogo, ki je draga, povzroča operativne stroške in je nagnjena k napakam ter je počasna. Trajalo je več mesecev, da so modeli z novo arhitekturo modelov prišli v proizvodnjo.
Tu smo želeli inovirati in preoblikovati naš sistem.
Stroškovno učinkovito skaliranje za modele CV z uporabo SageMaker MME
Naš stari sistem za segmentacijo videa je bilo težko preizkusiti, spremeniti in vzdrževati. Nekateri izzivi vključujejo delo s starim ogrodjem ML, medsebojne odvisnosti med komponentami in potek dela, ki ga je težko optimizirati. To je zato, ker smo za cevovod temeljili na RabbitMQ, ki je bila rešitev s stanjem. Za odpravljanje napak v eni komponenti, kot je ekstrakcija funkcij, smo morali preizkusiti ves cevovod.
Naslednji diagram ponazarja prejšnjo arhitekturo.
Kot del naše analize smo odkrili ozka grla pri delovanju, kot je izvajanje enega samega modela na računalniku, ki je pokazal nizko izkoriščenost GPU-ja 30–40 %. Odkrili smo tudi neučinkovite poteke cevovoda in algoritme za načrtovanje za modele.
Zato smo se odločili zgraditi novo arhitekturo z več najemniki, ki temelji na SageMakerju, ki bi izvajala izboljšave optimizacije delovanja, podpirala dinamične velikosti paketov in izvajala več modelov hkrati.
Vsak zagon poteka dela cilja na skupino videoposnetkov. Vsak video je dolg od 30 do 90 minut in vsaka skupina ima več kot pet modelov za izvajanje.
Oglejmo si primer: videoposnetek je lahko dolg 60 minut in je sestavljen iz 3,600 slik, vsako sliko pa morajo na prvi stopnji sklepati trije različni modeli ML. Z MME-ji SageMaker lahko vzporedno izvajamo serije po 12 slik, celotna serija pa je dokončana v manj kot 2 sekundah. V običajnem dnevu imamo več kot 20 skupin videoposnetkov, ob natrpanem dnevu tedna pa lahko več kot 100 skupin videoposnetkov.
Naslednji diagram prikazuje našo novo, poenostavljeno arhitekturo z uporabo SageMaker MME.
Rezultati
Z novo arhitekturo smo dosegli številne želene rezultate in nekaj nevidnih prednosti pred staro arhitekturo:
- Boljši čas delovanja – S povečanjem velikosti paketov (12 videoposnetkov vzporedno) in hkratnim izvajanjem več modelov (33 modelov vzporedno) smo zmanjšali naš skupni čas delovanja za 1 %, z 40 ure na XNUMX minut.
- Izboljšana infrastruktura – S SageMakerjem smo nadgradili našo obstoječo infrastrukturo in zdaj uporabljamo novejše instance AWS z novejšimi grafičnimi procesorji, kot je g5.xlarge. Ena največjih prednosti spremembe je takojšnje izboljšanje zmogljivosti z uporabo optimizacij TorchScript in CUDA.
- Optimizirana uporaba infrastrukture – Z eno samo končno točko, ki lahko gosti več modelov, lahko zmanjšamo število končnih točk in število strojev, ki jih moramo vzdrževati, ter povečamo izkoriščenost posameznega stroja in njegovega GPE-ja. Za določeno nalogo s petimi videoposnetki zdaj uporabljamo samo pet strojev instanc g5, kar nam daje 75-odstotno stroškovno korist od prejšnje rešitve. Za običajno delovno obremenitev čez dan uporabljamo eno samo končno točko z enim strojem g5.xlarge z več kot 80-odstotno izkoriščenostjo GPU. Za primerjavo, prejšnja rešitev je imela manj kot 40-odstotno izkoriščenost.
- Povečana okretnost in produktivnost – Uporaba SageMaker nam je omogočila, da smo porabili manj časa za selitev modelov in več časa za izboljšanje naših osnovnih algoritmov in modelov. To je povečalo produktivnost naših inženirskih in podatkovnih ekip. Zdaj lahko raziščemo in uvedemo nov model ML v manj kot 7 dneh, namesto v več kot 1 mesecu prej. To je 75-odstotno izboljšanje hitrosti in načrtovanja.
- Boljša kakovost in zaupanje – Z zmožnostmi testiranja A/B SageMaker lahko svoje modele uvedemo postopoma in se lahko varno vrnemo nazaj. Hitrejši življenjski cikel do proizvodnje je prav tako povečal natančnost in rezultate naših modelov ML.
Naslednja slika prikazuje našo uporabo GPE s prejšnjo arhitekturo (30-40 % izkoriščenost GPU).
Naslednja slika prikazuje našo uporabo GPE z novo poenostavljeno arhitekturo (90-odstotna izkoriščenost GPE).
zaključek
V tej objavi smo delili, kako je Nielsen Sports posodobil sistem, ki poganja na tisoče različnih modelov v proizvodnji, z uporabo SageMaker MME in zmanjšal njihove operativne in finančne stroške za 75 %.
Za nadaljnje branje si oglejte naslednje:
O avtorjih
Eitan Sela je strokovnjak za rešitve za generativno umetno inteligenco in strojno učenje pri Amazon Web Services. Sodeluje s strankami AWS pri zagotavljanju smernic in tehnične pomoči ter jim pomaga zgraditi in upravljati rešitve Generative AI in Machine Learning na AWS. V prostem času Eitan rad teče in bere najnovejše članke o strojnem učenju.
Gal Goldman je višji inženir programske opreme in višji arhitekt za rešitve v podjetju AWS s strastjo do najsodobnejših rešitev. Specializiral se je in razvil številne storitve in rešitve za distribuirano strojno učenje. Gal se osredotoča tudi na pomoč strankam AWS pri pospeševanju in premagovanju njihovih inženirskih izzivov in izzivov Generative AI.
Tal Panček je višji vodja poslovnega razvoja za umetno inteligenco in strojno učenje pri Amazon Web Services. Kot strokovnjak za BD je odgovoren za rast sprejemanja, uporabe in prihodkov za storitve AWS. Zbira potrebe strank in industrije ter sodeluje z ekipami izdelkov AWS za inovacije, razvoj in zagotavljanje rešitev AWS.
Tamir Rubinsky vodi globalni inženiring za raziskave in razvoj pri Nielsen Sports, s čimer prinaša bogate izkušnje pri izdelavi inovativnih izdelkov in vodenju zelo uspešnih ekip. Njegovo delo je preoblikovalo medijsko vrednotenje športnih sponzorstev z inovativnimi rešitvami, ki jih poganja AI.
Aviad Aranias je vodja ekipe MLOps in arhitekt Nielsen Sports Analysis, ki je specializiran za izdelavo kompleksnih cevovodov za analizo videoposnetkov športnih dogodkov na številnih kanalih. Odličen je pri gradnji in uvajanju modelov globokega učenja za učinkovito obdelavo podatkov velikega obsega. V prostem času rada peče slastne neapeljske pice.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/nielsen-sports-sees-75-cost-reduction-in-video-analysis-with-amazon-sagemaker-multi-model-endpoints/
- :ima
- : je
- :kje
- 000
- 1
- 100
- 12
- 120
- 150
- 20
- 40
- 60
- 600
- 7
- a
- sposobnost
- Sposobna
- pospeši
- dostop
- natančnost
- natančna
- natančno
- doseže
- čez
- deljiv
- dodajte
- Poleg tega
- Dodatne
- Sprejetje
- Prednosti
- Oglaševanje
- AI
- Z AI napajanjem
- algoritmi
- vsi
- dovoljene
- omogoča
- Prav tako
- Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- Analiza
- Analitik
- analitika
- analiziranje
- in
- Arhitektura
- SE
- okoli
- članki
- umetni
- Umetna inteligenca
- Umetna inteligenca (AI)
- Umetna inteligenca in strojno učenje
- AS
- pomoč
- At
- Občinstvo
- samodejno
- Avtomatizacija
- AWS
- nazaj
- banner
- temeljijo
- BD
- BE
- ker
- vedenja
- koristi
- Prednosti
- med
- največji
- Billion
- tako
- ozka grla
- blagovne znamke
- blagovne znamke
- Predložitev
- oddaja
- oddaj
- izgradnjo
- Building
- zgrajena
- poslovni
- poslovni razvoj
- by
- izračun
- Akcija
- CAN
- Zmogljivosti
- izzivi
- spremenite
- Channel
- kanali
- lastnosti
- stranke
- posnetki
- kombinacija
- združujejo
- Primerjava
- Zaključi
- kompleksna
- komponenta
- deli
- računalnik
- Računalniška vizija
- zaupanje
- Connect
- Sestavljeno
- vsebina
- Core
- Kotiček
- strošek
- zmanjšanje cene
- drago
- obdelujete
- stranka
- Stranke, ki so
- vrhunsko
- Armaturna plošča
- datum
- podatkovne točke
- znanost o podatkih
- baze podatkov
- dan
- Dnevi
- odločil
- zmanjšala
- namenjen
- globoko
- globoko učenje
- poda
- dostavi
- razporedi
- uvajanja
- opisati
- želeno
- Razvoj
- razvili
- Razvoj
- diagram
- drugačen
- težko
- neposredna
- Neposreden dostop
- odkril
- porazdeljena
- do
- med
- dinamično
- vsak
- učinkovitost
- učinkovito
- Electronic
- opolnomočiti
- Končna točka
- sodelovati
- inženir
- Inženiring
- Podjetje
- Ocena
- Tudi
- Event
- Tudi vsak
- preučiti
- Primer
- obstoječih
- izkušnje
- Izpostavljenost
- pridobivanje
- hitreje
- Feature
- Slika
- finančna
- prva
- pet
- Osredotoča
- po
- za
- Okvirni
- iz
- polno
- nadalje
- Prihodnost
- GAL
- igra
- generativno
- Generativna AI
- dobili
- dana
- daje
- Globalno
- goldinar
- GPU
- Grafične kartice
- postopno
- skupina
- Skupine
- Pridelovanje
- Gost
- Gost Prispevek
- Navodila
- vodi
- imel
- ročaj
- Imajo
- ob
- he
- pomoč
- visoko zmogljiv
- njegov
- gostitelj
- uro
- URE
- Kako
- Kako
- HTTPS
- Identifikacija
- identificirati
- identificirati
- if
- ponazarja
- slika
- slike
- Takojšen
- izvajati
- Izboljšanje
- Izboljšave
- izboljšanju
- in
- vključujejo
- vključuje
- Vključno
- Povečajte
- povečal
- narašča
- Neodvisni
- Industrija
- neučinkovit
- sklepati
- Podatki
- Infrastruktura
- inovacije
- inovativne
- vpogledi
- Namesto
- Intelligence
- Facebook Global
- v
- naložbe
- IT
- ITS
- jpg
- ve
- obsežne
- Največji
- Zadnji
- Vodja
- Interesenti
- Liga
- učenje
- Legacy
- manj
- ravni
- življenski krog
- lokalna
- kraj aktivnosti
- Long
- Poglej
- nizka
- stroj
- strojno učenje
- Stroji
- vzdrževati
- upravitelj
- upravljanje
- več
- merjenje
- mediji
- metapodatki
- selitev
- milijonov
- Minute
- Mission
- ML
- MLOps
- Model
- modeli
- spremljanje
- mesec
- mesecev
- več
- več
- morajo
- nacionalni
- Nimate
- potrebe
- Novo
- novejši
- Časopisi
- Naslednja
- zdaj
- Številka
- številke
- številne
- of
- Staro
- on
- ONE
- na spletu
- samo
- deluje
- operativno
- optimizacija
- optimizacije
- or
- Ostalo
- naši
- rezultatov
- več
- Splošni
- Premagajte
- režijske
- pakirano
- vzporedno
- del
- partner
- strast
- ljudje
- Izvedite
- performance
- plinovod
- načrtovanje
- Platforme
- platon
- Platonova podatkovna inteligenca
- PlatoData
- igralci
- točke
- Prispevek
- prejšnja
- prej
- Postopek
- Izdelek
- proizvodnja
- produktivnost
- Izdelki
- Programiranje
- zagotavljajo
- kakovost
- R & D
- Surovi
- reading
- zapis
- Snemanje
- zmanjša
- Zmanjšana
- Zmanjšanje
- glejte
- redni
- pomembno
- Poročila
- predstavnik
- Raziskave
- odgovorna
- REST
- Rezultati
- vrnitev
- prihodki
- pravice
- ROI
- Roll
- Run
- tek
- deluje
- runtime
- varno
- sagemaker
- razširljive
- Lestvica
- skaliranje
- urnik
- razporejanje
- Znanost
- rezultati
- sekund
- vidi
- Segment
- segmentacija
- segmentih
- višji
- Storitve
- več
- Oblike
- deli
- je pokazala,
- Razstave
- podpisati
- poenostavljeno
- hkrati
- sam
- velikosti
- počasi
- So
- socialna
- družbeni mediji
- Software
- Software Engineer
- Rešitev
- rešitve
- nekaj
- specialist
- specializirano
- specifična
- posebej
- preživeti
- sponzorstvo
- Šport
- Šport
- Stage
- Koraki
- tok
- taka
- podpora
- sistem
- ciljanje
- Cilji
- Naloga
- skupina
- Skupine
- tehnični
- Tehnologija
- deset
- Test
- Testiranje
- kot
- da
- O
- Prihodnost
- svet
- njihove
- Njih
- sami
- POTEM
- jih
- ta
- tisoč
- tisoče
- 3
- skozi
- čas
- do
- vzel
- vrh
- Skupaj za plačilo
- sledenje
- preoblikovati
- tv
- tipičen
- pod
- razumeli
- razumevanje
- nadgrajen
- us
- Uporaba
- uporaba
- uporabo
- Vrednotenje
- variacije
- Popravljeno
- VeloCity
- Video
- Video posnetki
- vidljivost
- Vizija
- hotel
- je
- način..
- we
- web
- spletne storitve
- vikend
- so bili
- ki
- WHO
- z
- delo
- potek dela
- deluje
- deluje
- svet
- svetu
- bi
- leto
- zefirnet