Ez egy vendégbejegyzés, amelyet Tamir Rubinskyvel és Aviad Araniasszal közösen írt a Nielsen Sportstól.
Nielsen Sports a világ médiáját és tartalmát globális vezetővé formálja a közönségbetekintés, az adatok és az elemzések terén. Azáltal, hogy minden csatornán és platformon megértjük az embereket és viselkedésüket, ügyfeleinket független és működőképes intelligenciával ruházzuk fel, hogy kapcsolatba léphessenek közönségükkel és kapcsolatba léphessenek velük – most és a jövőben is.
A Nielsen Sportsnál az a küldetésünk, hogy ügyfeleinknek – márkáknak és jogtulajdonosoknak – lehetőséget biztosítsunk egy sportszponzorációs hirdetési kampány befektetésarányos megtérülésének (ROI) és hatékonyságának mérésére minden csatornán, beleértve a tévét, az online, a közösségi médiát és a akár újságokra is, és pontos célzást biztosítson helyi, országos és nemzetközi szinten.
Ebben a bejegyzésben leírjuk, hogy a Nielsen Sports hogyan modernizálta a több ezer különböző gépi tanulási (ML) modellt futtató rendszert termelésben Amazon SageMaker többmodell végpontok (MME) és 75%-kal csökkentik a működési és pénzügyi költségeket.
Kihívások a csatorna videó szegmentálásával kapcsolatban
Technológiánk mesterséges intelligencián (AI) és konkrétan számítógépes látáson (CV) alapul, amely lehetővé teszi számunkra, hogy nyomon kövessük a márka megjelenését és pontosan azonosítsuk annak helyét. Például azonosítjuk, hogy a márka transzparensen vagy ingen van-e. Ezenkívül azonosítjuk a márka helyét a tételen, például egy tábla vagy a hüvely felső sarkában. A következő ábra egy példát mutat be címkézési rendszerünkre.
A méretezési és költségkihívásaink megértéséhez nézzünk meg néhány reprezentatív számot. Minden hónapban több mint 120 millió márkamegjelenítést azonosítunk a különböző csatornákon, és a rendszernek támogatnia kell több mint 100,000 6 márka és különböző márkák változatának azonosítását. Felépítettük a világ egyik legnagyobb márkamegjelenítési adatbázisát, több mint XNUMX milliárd adatponttal.
Médiaértékelési folyamatunk több lépésből áll, amint azt az alábbi ábra szemlélteti:
- Először is több ezer csatornát rögzítünk világszerte egy nemzetközi rögzítési rendszer segítségével.
- A tartalmat a közvetítés ütemtervével (elektronikus programozási útmutató) kombinálva továbbítjuk a következő szakaszba, amely a játékközvetítések és más tartalmak vagy hirdetések közötti szegmentálás és elkülönítés.
- Médiafigyelést végzünk, ahol további metaadatokat adunk az egyes szegmensekhez, például a ligaeredményeket, a releváns csapatokat és a játékosokat.
- Elvégezzük a márkák láthatóságának expozíciós elemzését, majd a közönséginformációk kombinálásával kiszámítjuk a kampány értékelését.
- Az információkat egy műszerfal vagy elemzői jelentések juttatják el az ügyfélhez. Az elemző közvetlen hozzáférést kap a nyers adatokhoz vagy adattárházunkon keresztül.
Mivel évente több mint ezer csatornán és több tízezer órányi videóval dolgozunk, az elemzési folyamathoz méretezhető automatizálási rendszerrel kell rendelkeznünk. Megoldásunk automatikusan szegmentálja az adást, és tudja, hogyan lehet elkülöníteni a releváns videoklipeket a tartalom többi részétől.
Ezt az általunk kifejlesztett dedikált algoritmusok és modellek segítségével tesszük a csatornák sajátos jellemzőinek elemzésére.
Összességében több ezer különböző modellt futtatunk gyártásban, hogy támogassuk ezt a küldetést, amely költséges, működési többletköltséggel jár, valamint hibalehető és lassú. Hónapokba telt, mire az új modellarchitektúrával rendelkező modellek gyártásba kerültek.
Itt akartuk megújítani és újratervezni a rendszerünket.
Költséghatékony méretezés a SageMaker MME-ket használó CV-modellekhez
Korábbi videószegmentációs rendszerünket nehéz volt tesztelni, módosítani és karbantartani. A kihívások közé tartozik a régi ML keretrendszerrel való munkavégzés, az összetevők közötti kölcsönös függőségek és a nehezen optimalizálható munkafolyamat. Ennek az az oka, hogy a RabbitMQ-t használtuk a csővezetékhez, ami állapotalapú megoldás volt. Egy komponens hibakereséséhez, például a szolgáltatás kibontásához, az összes folyamatot tesztelnünk kellett.
A következő ábra az előző architektúrát mutatja be.
Elemzésünk részeként olyan teljesítménybeli szűk keresztmetszeteket azonosítottunk, mint például egyetlen modell futtatása egy gépen, amely alacsony, 30–40%-os GPU-kihasználást mutatott. Felfedeztük a nem hatékony folyamatfolyamatokat és a modellek ütemezési algoritmusait is.
Ezért úgy döntöttünk, hogy a SageMakeren alapuló új, több bérlős architektúrát építünk, amely teljesítményoptimalizálási fejlesztéseket valósít meg, támogatja a dinamikus kötegméreteket, és több modellt futtat egyidejűleg.
A munkafolyamat minden egyes futtatása videók egy csoportját célozza meg. Minden videó 30–90 perces hosszú, és minden csoportnak több mint öt modellje van.
Nézzünk meg egy példát: egy videó 60 perces lehet, 3,600 képből állhat, és minden képet három különböző ML-modellel kell kikövetkeztetni az első szakaszban. A SageMaker MME-kkel 12 képből álló kötegeket tudunk párhuzamosan futtatni, és a teljes köteg kevesebb, mint 2 másodperc alatt elkészül. Egy átlagos napon több mint 20 videócsoportunk van, egy zsúfolt hétvégi napon pedig több mint 100 videócsoportunk lehet.
A következő diagram bemutatja az új, egyszerűsített architektúránkat SageMaker MME használatával.
Eredmények
Az új architektúrával számos kívánt eredményt elértünk, és néhány láthatatlan előnyt is elértünk a régi architektúrával szemben:
- Jobb futásidő - A kötegméretek növelésével (párhuzamosan 12 videó) és több modell egyidejű futtatásával (öt modell párhuzamosan) 33%-kal csökkentettük a teljes folyamatidőt, 1 óráról 40 percre.
- Továbbfejlesztett infrastruktúra – A SageMakerrel frissítettük meglévő infrastruktúránkat, és most újabb AWS-példányokat használunk újabb GPU-kkal, mint például a g5.xlarge. A változás egyik legnagyobb előnye a TorchScript és a CUDA optimalizálás használatából adódó azonnali teljesítménynövekedés.
- Optimalizált infrastruktúra használat – Egyetlen végponttal, amely több modellt is tárolhat, csökkenthetjük a végpontok és a karbantartandó gépek számát, valamint növelhetjük egyetlen gép és annak GPU-jának kihasználtságát. Egy konkrét feladathoz öt videóval most már csak öt gépet használunk g5 példányból, ami 75%-os költséghaszonnal jár az előző megoldáshoz képest. Egy tipikus napi munkaterheléshez egyetlen végpontot használunk egyetlen g5.xlarge géppel, 80% feletti GPU kihasználtsággal. Összehasonlításképpen, az előző megoldás kevesebb mint 40%-os kihasználtságot mutatott.
- Fokozott mozgékonyság és termelékenység – A SageMaker használatával kevesebb időt tölthettünk a modellek migrálásával, és több időt töltöttünk az alapvető algoritmusaink és modelljeink fejlesztésével. Ez növelte mérnöki és adattudományi csapataink termelékenységét. Mostantól kevesebb mint 7 nap alatt kutathatunk és telepíthetünk egy új ML-modellt, a korábbi több mint 1 hónap helyett. Ez 75%-os javulás a sebességben és a tervezésben.
- Jobb minőség és magabiztosság – A SageMaker A/B tesztelési lehetőségeivel fokozatosan telepíthetjük modelljeinket, és biztonságosan visszatehetjük. A gyorsabb gyártási életciklus az ML modelljeink pontosságát és eredményeit is növelte.
A következő ábra a GPU kihasználtságát mutatja a korábbi architektúrával (30-40%-os GPU kihasználtság).
A következő ábra a GPU kihasználtságát mutatja az új, egyszerűsített architektúrával (90%-os GPU kihasználtság).
Következtetés
Ebben a bejegyzésben megosztottuk, hogy a Nielsen Sports hogyan modernizálta a SageMaker MME-k használatával a több ezer különböző modellt futtató rendszert, és 75%-kal csökkentette a működési és pénzügyi költségeiket.
További olvasáshoz olvassa el a következőket:
A szerzőkről
Eitan Sela az Amazon Web Services generatív mesterséges intelligencia és gépi tanulási megoldások szakértője. Együttműködik az AWS-ügyfelekkel, hogy útmutatást és technikai segítséget nyújtson, segítve őket generatív AI és gépi tanulási megoldások AWS-en való kiépítésében és működtetésében. Szabadidejében Eitan szívesen kocog, és olvassa a legújabb gépi tanulási cikkeket.
Gal Goldman Senior Software Engineer és Enterprise Senior Solution Architect az AWS-ben, és szenvedélye az élvonalbeli megoldások iránt. Számos elosztott gépi tanulási szolgáltatásra és megoldásra szakosodott és fejlesztett. Gal arra is összpontosít, hogy segítse az AWS-ügyfeleket a mérnöki és a generatív mesterségesintelligencia kihívásainak felgyorsításában és leküzdésében.
Tal Panchek az Amazon Web Services mesterséges intelligenciáért és gépi tanulásért felelős vezető üzletfejlesztési menedzsere. BD-szakértőként felelős az AWS-szolgáltatások növekvő bevezetéséért, használatáért és bevételeiért. Összegyűjti az ügyfelek és az iparági igényeket, és együttműködik az AWS termékcsapataival az AWS megoldások innovációja, fejlesztése és szállítása érdekében.
Tamir Rubinszkij vezeti a Nielsen Sports globális kutatás-fejlesztési mérnöki részlegét, hatalmas tapasztalattal gazdagítva az innovatív termékek építésében és a nagy teljesítményű csapatok irányításában. Munkája innovatív, mesterséges intelligencia alapú megoldások révén átalakította a sportszponzorációs média értékelését.
Aviad Aranias az MLOps csapatvezetője és a Nielsen Sports Analysis Architect, aki a sportesemények videóinak számos csatornán keresztüli elemzésére alkalmas komplex csővezetékek kidolgozására specializálódott. Kiemelkedik a mély tanulási modellek felépítésében és bevezetésében a nagyméretű adatok hatékony kezelésére. Szabadidejében szívesen süt finom nápolyi pizzákat.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/nielsen-sports-sees-75-cost-reduction-in-video-analysis-with-amazon-sagemaker-multi-model-endpoints/
- :van
- :is
- :ahol
- 000
- 1
- 100
- 12
- 120
- 150
- 20
- 40
- 60
- 600
- 7
- a
- képesség
- Képes
- gyorsul
- hozzáférés
- pontosság
- pontos
- pontosan
- elért
- át
- perelhető
- hozzá
- mellett
- További
- Örökbefogadás
- előnyei
- Hirdetés
- AI
- AI-hajtású
- algoritmusok
- Minden termék
- megengedett
- lehetővé teszi, hogy
- Is
- amazon
- Amazon SageMaker
- Az Amazon Web Services
- an
- elemzés
- elemző
- analitika
- elemzése
- és a
- építészet
- VANNAK
- körül
- cikkek
- mesterséges
- mesterséges intelligencia
- Mesterséges intelligencia (AI)
- Mesterséges intelligencia és gépi tanulás
- AS
- Támogatás
- At
- közönség
- automatikusan
- Automatizálás
- AWS
- vissza
- zászló
- alapján
- BD
- BE
- mert
- viselkedés
- haszon
- Előnyök
- között
- Legnagyobb
- Billió
- mindkét
- szűk
- márka
- márka
- Bringing
- rádióadás
- adások
- épít
- Épület
- épült
- üzleti
- üzlet fejlesztés
- by
- számít
- Kampány
- TUD
- képességek
- kihívások
- változik
- csatorna
- csatornák
- jellemzők
- ügyfél részére
- klipek
- kombináció
- össze
- összehasonlítás
- Befejezi
- bonyolult
- összetevő
- alkatrészek
- számítógép
- Számítógépes látás
- bizalom
- Csatlakozás
- Összeáll
- tartalom
- Mag
- Sarok
- Költség
- költségcsökkentés
- drága
- gyárts
- vevő
- Ügyfelek
- élvonalbeli
- műszerfal
- dátum
- adat pontok
- adat-tudomány
- adatbázisok
- nap
- Nap
- határozott
- csökkent
- elszánt
- mély
- mély tanulás
- szállít
- szállított
- telepíteni
- bevezetéséhez
- leírni
- kívánatos
- Fejleszt
- fejlett
- Fejlesztés
- diagram
- különböző
- nehéz
- közvetlen
- Közvetlen hozzáférés
- felfedezett
- megosztott
- do
- alatt
- dinamikus
- minden
- hatékonyság
- eredményesen
- Elektronikus
- képessé
- Endpoint
- vegyenek
- mérnök
- Mérnöki
- Vállalkozás
- értékelés
- Még
- esemény
- Minden
- megvizsgálni
- példa
- létező
- tapasztalat
- Exponálás
- kitermelés
- gyorsabb
- Funkció
- Ábra
- pénzügyi
- vezetéknév
- öt
- koncentrál
- következő
- A
- Keretrendszer
- ból ből
- Tele
- további
- jövő
- GAL
- játék
- nemző
- Generatív AI
- kap
- adott
- ad
- Globális
- Goldman
- GPU
- GPU
- fokozatos
- Csoport
- Csoportok
- Növekvő
- Vendég
- Vendég bejegyzés
- útmutatást
- útmutató
- kellett
- fogantyú
- Legyen
- tekintettel
- he
- segít
- nagy teljesítményű
- övé
- vendéglátó
- óra
- NYITVATARTÁS
- Hogyan
- How To
- HTTPS
- Azonosítás
- azonosított
- azonosítani
- if
- illusztrálja
- kép
- képek
- azonnali
- végre
- javulás
- fejlesztések
- javuló
- in
- tartalmaz
- magában foglalja a
- Beleértve
- Növelje
- <p></p>
- növekvő
- független
- ipar
- nem hatékony
- kikövetkeztetett
- információ
- Infrastruktúra
- újít
- újító
- meglátások
- helyette
- Intelligencia
- Nemzetközi
- bele
- beruházás
- IT
- ITS
- jpg
- tudja
- nagyarányú
- legnagyobb
- legutolsó
- vezető
- vezetékek
- Liga
- tanulás
- Örökség
- kevesebb
- szintek
- életciklus
- helyi
- elhelyezkedés
- Hosszú
- néz
- Elő/Utó
- gép
- gépi tanulás
- gép
- fenntartása
- menedzser
- kezelése
- sok
- intézkedés
- Média
- Metaadatok
- vándorló
- millió
- Perc
- Küldetés
- ML
- MLOps
- modell
- modellek
- ellenőrzés
- Hónap
- hónap
- több
- többszörös
- kell
- nemzeti
- Szükség
- igények
- Új
- újabb
- Újság
- következő
- Most
- szám
- számok
- számos
- of
- Régi
- on
- ONE
- online
- csak
- működik
- operatív
- optimalizálás
- optimalizáció
- or
- Más
- mi
- eredmények
- felett
- átfogó
- Overcome
- felső
- csomagolt
- Párhuzamos
- rész
- partner
- szenvedély
- Emberek (People)
- Teljesít
- teljesítmény
- csővezeték
- tervezés
- Platformok
- Plató
- Platón adatintelligencia
- PlatoData
- játékos
- pont
- állás
- előző
- korábban
- folyamat
- Termékek
- Termelés
- termelékenység
- Termékek
- Programozás
- ad
- világítás
- K + F
- Nyers
- Olvasás
- rekord
- felvétel
- csökkenteni
- Csökkent
- csökkentés
- utal
- szabályos
- Jelentések
- reprezentatív
- kutatás
- felelős
- REST
- Eredmények
- visszatérés
- jövedelem
- jogok
- ROI
- Tekercs
- futás
- futás
- fut
- futásidejű
- biztosan
- sagemaker
- skálázható
- Skála
- skálázás
- menetrend
- ütemezés
- Tudomány
- pontszámok
- másodperc
- lát
- részes
- szegmentáció
- szegmensek
- idősebb
- Szolgáltatások
- számos
- formák
- megosztott
- kimutatta,
- Műsorok
- <p></p>
- egyszerűsített
- egyszerre
- egyetlen
- méretek
- lassú
- So
- Közösség
- Közösségi média
- szoftver
- Software Engineer
- megoldások
- Megoldások
- néhány
- szakember
- specializálódott
- különleges
- kifejezetten
- költ
- szponzorálás
- Sport
- Sport
- Színpad
- Lépései
- folyam
- ilyen
- támogatás
- rendszer
- célzás
- célok
- Feladat
- csapat
- csapat
- Műszaki
- Technológia
- tíz
- teszt
- Tesztelés
- mint
- hogy
- A
- A jövő
- a világ
- azok
- Őket
- maguk
- akkor
- ők
- ezt
- ezer
- ezer
- három
- Keresztül
- idő
- nak nek
- vett
- felső
- Végösszeg
- vágány
- át
- tv
- tipikus
- alatt
- megért
- megértés
- frissített
- us
- Használat
- használ
- segítségével
- Értékelés
- variációk
- Hatalmas
- Sebesség
- videó
- Videók
- láthatóság
- látomás
- kívánatos
- volt
- Út..
- we
- háló
- webes szolgáltatások
- hétvége
- voltak
- ami
- WHO
- val vel
- Munka
- munkafolyamat
- dolgozó
- művek
- világ
- világ
- lenne
- év
- zephyrnet