Це гостьовий пост, написаний спільно з Таміром Рубінскі та Авіадом Араніасом з Nielsen Sports.
Nielsen Sports формує світові медіа та контент як світовий лідер у аналізі аудиторії, даних і аналітиці. Завдяки нашому розумінню людей та їхньої поведінки на всіх каналах і платформах ми надаємо нашим клієнтам незалежну та дієву інформацію, щоб вони могли спілкуватися та взаємодіяти зі своєю аудиторією — зараз і в майбутньому.
Наша місія в Nielsen Sports полягає в тому, щоб надати нашим клієнтам — брендам і правовласникам — можливість вимірювати рентабельність інвестицій (ROI) і ефективність рекламної кампанії спортивного спонсорства на всіх каналах, включаючи телебачення, онлайн, соціальні мережі та навіть газети та забезпечити точне націлювання на місцевому, національному та міжнародному рівнях.
У цій публікації ми описуємо, як компанія Nielsen Sports модернізувала систему, що використовує тисячі різних моделей машинного навчання (ML) у виробництві, використовуючи Amazon SageMaker багатомодельні кінцеві точки (MME) і зниження операційних і фінансових витрат на 75%.
Проблеми з сегментацією відео каналу
Наша технологія базується на штучному інтелекті (AI) і, зокрема, на комп’ютерному зорі (CV), що дозволяє нам відстежувати вплив бренду та точно визначати його місцезнаходження. Наприклад, ми визначаємо, чи є бренд на банері чи сорочці. Крім того, ми визначаємо розташування бренду на предметі, наприклад у верхньому куті знака або на рукаві. На наступному малюнку показано приклад нашої системи тегів.
Щоб зрозуміти наші проблеми з масштабуванням і витратами, давайте подивимося на деякі типові цифри. Щомісяця ми ідентифікуємо понад 120 мільйонів показів брендів у різних каналах, і система має підтримувати ідентифікацію понад 100,000 6 брендів і варіантів різних брендів. Ми створили одну з найбільших у світі баз даних показів брендів із понад XNUMX мільярдами точок даних.
Наш процес оцінки ЗМІ складається з кількох етапів, як показано на малюнку нижче:
- По-перше, ми записуємо тисячі каналів по всьому світу за допомогою міжнародної системи запису.
- Ми транслюємо вміст у поєднанні з розкладом трансляції (Електронний довідник з програмування) на наступний етап, який є сегментацією та поділом між трансляціями самих ігор та іншим вмістом або рекламою.
- Ми здійснюємо медіа-моніторинг, додаючи до кожного сегменту додаткові метадані, як-от результати ліг, відповідні команди та гравців.
- Ми проводимо аналіз видимості брендів, а потім об’єднуємо інформацію про аудиторію, щоб розрахувати оцінку кампанії.
- Інформація доводиться до клієнта через інформаційну панель або звіти аналітиків. Аналітику надається прямий доступ до необроблених даних або через наше сховище даних.
Оскільки ми працюємо з понад тисячею каналів і десятками тисяч годин відео на рік, ми повинні мати масштабовану систему автоматизації для процесу аналізу. Наше рішення автоматично сегментує трансляцію та знає, як відокремити відповідні відеокліпи від решти вмісту.
Ми робимо це за допомогою спеціальних алгоритмів і моделей, розроблених нами для аналізу конкретних характеристик каналів.
Загалом ми запускаємо тисячі різних моделей у виробництво для підтримки цієї місії, яка є дорогою, вимагає операційних витрат, схильна до помилок і повільна. Щоб запустити у виробництво моделі з новою архітектурою, знадобилися місяці.
Саме тут ми хотіли впровадити інновації та перебудувати нашу систему.
Економічне масштабування для моделей CV за допомогою MME SageMaker
Нашу застарілу систему сегментації відео було важко тестувати, змінювати та підтримувати. Деякі з проблем включають роботу зі старою системою машинного навчання, взаємозалежність між компонентами та складний для оптимізації робочий процес. Це тому, що ми базувалися на RabbitMQ для конвеєра, який був рішенням із збереженням стану. Щоб налагодити один компонент, наприклад вилучення функцій, нам довелося протестувати весь конвеєр.
Наступна діаграма ілюструє попередню архітектуру.
У рамках нашого аналізу ми виявили вузькі місця продуктивності, такі як запуск однієї моделі на машині, яка показала низьке використання GPU на 30–40%. Ми також виявили неефективні роботи конвеєрів і алгоритми планування для моделей.
Тому ми вирішили побудувати нову мультитенантну архітектуру на основі SageMaker, яка б реалізувала покращення оптимізації продуктивності, підтримувала динамічні розміри пакетів і запускала кілька моделей одночасно.
Кожен запуск робочого процесу націлений на групу відео. Кожне відео триває від 30 до 90 хвилин, і кожна група має більше п’яти моделей для запуску.
Давайте розглянемо приклад: відео може тривати 60 хвилин і складатися з 3,600 зображень, і кожне зображення має бути отримано трьома різними моделями ML на першому етапі. За допомогою MME SageMaker ми можемо запускати пакети з 12 зображень паралельно, і повний пакет завершується менш ніж за 2 секунди. У звичайний день ми маємо понад 20 груп відео, а у насичений вихідний день ми можемо мати понад 100 груп відео.
На наступній діаграмі показано нашу нову спрощену архітектуру з використанням MME SageMaker.
результати
Завдяки новій архітектурі ми досягли багатьох бажаних результатів і деяких невидимих переваг порівняно зі старою архітектурою:
- Кращий час виконання – Завдяки збільшенню розмірів пакетів (12 відео паралельно) і одночасному запуску кількох моделей (п’ять моделей паралельно) ми зменшили загальний час виконання конвеєра на 33%, з 1 години до 40 хвилин.
- Покращена інфраструктура – За допомогою SageMaker ми оновили нашу існуючу інфраструктуру, і тепер ми використовуємо нові екземпляри AWS із новішими графічними процесорами, такими як g5.xlarge. Однією з найбільших переваг цієї зміни є негайне підвищення продуктивності завдяки оптимізації TorchScript і CUDA.
- Оптимізоване використання інфраструктури – Маючи одну кінцеву точку, яка може розміщувати кілька моделей, ми можемо зменшити як кількість кінцевих точок, так і кількість машин, які нам потрібно підтримувати, а також збільшити використання однієї машини та її графічного процесора. Для конкретного завдання з п’ятьма відео тепер ми використовуємо лише п’ять комп’ютерів екземплярів g5, що дає нам 75% рентабельності порівняно з попереднім рішенням. Для типового робочого навантаження протягом дня ми використовуємо одну кінцеву точку з одним комп’ютером g5.xlarge із завантаженням GPU понад 80%. Для порівняння, попереднє рішення мало використання менше 40%.
- Підвищена маневреність і продуктивність – Використання SageMaker дозволило нам витрачати менше часу на міграцію моделей і більше часу на вдосконалення наших основних алгоритмів і моделей. Це підвищило продуктивність наших інженерних команд і команд з обробки даних. Тепер ми можемо досліджувати та розгортати нову модель машинного навчання менш ніж за 7 днів замість 1 місяця раніше. Це на 75% покращення швидкості та планування.
- Краща якість і впевненість – Завдяки можливостям A/B-тестування SageMaker ми можемо поступово розгортати наші моделі та мати можливість безпечно відкочуватися. Швидший життєвий цикл до виробництва також підвищив точність і результати наших моделей ML.
На наступному малюнку показано використання GPU з попередньою архітектурою (30-40% використання GPU).
На наступному малюнку показано використання графічного процесора з новою спрощеною архітектурою (90% використання графічного процесора).
Висновок
У цьому дописі ми поділилися тим, як Nielsen Sports модернізувала систему, що використовує тисячі різних моделей у виробництві, використовуючи SageMaker MME, і зменшила їх експлуатаційні та фінансові витрати на 75%.
Для подальшого читання зверніться до наступного:
Про авторів
Ейтан Села є спеціалістом із генеративного штучного інтелекту та машинного навчання, архітектором рішень Amazon Web Services. Він працює з клієнтами AWS, щоб надавати вказівки та технічну допомогу, допомагаючи їм створювати та використовувати рішення Generative AI та Machine Learning на AWS. У вільний час Ейтан любить бігати підтюпцем і читати останні статті про машинне навчання.
Гал Голдман є старшим інженером із програмного забезпечення та старшим архітектором корпоративних рішень в AWS із пристрастю до передових рішень. Він спеціалізується та розробив багато розподілених послуг і рішень машинного навчання. Гал також зосереджується на допомозі клієнтам AWS пришвидшити та подолати їхні інженерні та генеративні проблеми ШІ.
Тал Панчек є старшим менеджером з розвитку бізнесу штучного інтелекту та машинного навчання Amazon Web Services. Як спеціаліст BD, він відповідає за зростання впровадження, використання та доходів від послуг AWS. Він збирає потреби клієнтів і галузі та співпрацює з командами продуктів AWS для інновацій, розробки та доставки рішень AWS.
Тамір Рубінський очолює відділ глобальних досліджень і розробок у Nielsen Sports, маючи величезний досвід у створенні інноваційних продуктів і керуючи високоефективними командами. Його робота змінила оцінку спортивного спонсорства за допомогою інноваційних рішень на основі ШІ.
Авіад Араніас є керівником групи MLOps і архітектором Nielsen Sports Analysis, який спеціалізується на розробці складних конвеєрів для аналізу відео спортивних подій у багатьох каналах. Він чудово створює та розгортає моделі глибокого навчання для ефективної обробки великомасштабних даних. У вільний час він захоплюється випіканням смачної неаполітанської піци.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/nielsen-sports-sees-75-cost-reduction-in-video-analysis-with-amazon-sagemaker-multi-model-endpoints/
- : має
- :є
- :де
- 000
- 1
- 100
- 12
- 120
- 150
- 20
- 40
- 60
- 600
- 7
- a
- здатність
- Здатний
- прискорювати
- доступ
- точність
- точний
- точно
- досягнутий
- через
- дієвий
- додавати
- доповнення
- Додатковий
- Прийняття
- Переваги
- реклама
- AI
- Можливість
- алгоритми
- ВСІ
- дозволено
- дозволяє
- Також
- Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- аналіз
- аналітик
- аналітика
- Аналізуючи
- та
- архітектура
- ЕСТЬ
- навколо
- статті
- штучний
- штучний інтелект
- Штучний інтелект (AI)
- Штучний інтелект і машинне навчання
- AS
- Допомога
- At
- аудиторія
- автоматично
- Автоматизація
- AWS
- назад
- банер
- заснований
- BD
- BE
- оскільки
- поведінки
- користь
- Переваги
- між
- найбільший
- Мільярд
- обидва
- вузькі місця
- марка
- бренди
- Приведення
- віщати
- трансляції
- будувати
- Створюємо
- побудований
- бізнес
- розвиток бізнесу
- by
- обчислювати
- Кампанія
- CAN
- можливості
- проблеми
- зміна
- Канал
- канали
- характеристика
- клієнтів
- кліпси
- поєднання
- об'єднувати
- порівняння
- Завершує
- комплекс
- компонент
- Компоненти
- комп'ютер
- Комп'ютерне бачення
- довіра
- З'єднуватися
- Складається
- зміст
- Core
- Кут
- Коштувати
- зниження витрат
- дорого
- крафт
- клієнт
- Клієнти
- передовий
- приладова панель
- дані
- точки даних
- наука про дані
- базами даних
- день
- Днів
- вирішене
- знизився
- присвячених
- глибокий
- глибоке навчання
- доставляти
- поставляється
- розгортання
- розгортання
- описувати
- бажаний
- розвивати
- розвиненою
- розробка
- схема
- різний
- важкий
- прямий
- Прямий доступ
- відкритий
- розподілений
- do
- під час
- динамічний
- кожен
- ефективність
- продуктивно
- Electronic
- уповноважувати
- Кінцева точка
- займатися
- інженер
- Машинобудування
- підприємство
- оцінка
- Навіть
- Event
- Кожен
- досліджувати
- приклад
- існуючий
- досвід
- експонування
- видобуток
- швидше
- особливість
- Рисунок
- фінансовий
- Перший
- п'ять
- фокусується
- після
- для
- Рамки
- від
- Повний
- далі
- майбутнє
- GAL
- гра
- генеративний
- Генеративний ШІ
- отримати
- даний
- дає
- Глобальний
- золотар
- GPU
- Графічні процесори
- поступовий
- Group
- Групи
- Зростання
- гість
- Guest Post
- керівництво
- керівництво
- було
- обробляти
- Мати
- має
- he
- допомогу
- високопродуктивний
- його
- господар
- годину
- ГОДИННИК
- Як
- How To
- HTTPS
- Ідентифікація
- ідентифікований
- ідентифікувати
- if
- ілюструє
- зображення
- зображень
- Негайний
- здійснювати
- поліпшення
- поліпшення
- поліпшення
- in
- включати
- includes
- У тому числі
- Augmenter
- збільшений
- зростаючий
- незалежний
- промисловість
- неефективний
- зробити висновок
- інформація
- Інфраструктура
- оновлювати
- інноваційний
- розуміння
- замість
- Інтелект
- Міжнародне покриття
- в
- інвестиції
- IT
- ЙОГО
- JPG
- знає
- масштабний
- найбільших
- останній
- лідер
- Веде за собою
- Ліга
- вивчення
- Legacy
- менше
- рівні
- Життєвий цикл
- місцевий
- розташування
- Довго
- подивитися
- низький
- машина
- навчання за допомогою машини
- Машинки для перманенту
- підтримувати
- менеджер
- управління
- багато
- вимір
- Медіа
- метадані
- мігруючи
- мільйона
- хвилин
- Місія
- ML
- MLOps
- модель
- Моделі
- моніторинг
- місяць
- місяців
- більше
- множинний
- повинен
- National
- Необхідність
- потреби
- Нові
- новіший
- Газети
- наступний
- зараз
- номер
- номера
- численний
- of
- Старий
- on
- ONE
- онлайн
- тільки
- працювати
- оперативний
- оптимізація
- оптимізації
- or
- Інше
- наші
- Результати
- над
- загальний
- Подолати
- накладні витрати
- упакований
- Паралельні
- частина
- партнер
- пристрасть
- Люди
- Виконувати
- продуктивність
- трубопровід
- планування
- Платформи
- plato
- Інформація про дані Платона
- PlatoData
- гравці
- точок
- пошта
- попередній
- раніше
- процес
- Product
- Production
- продуктивність
- Продукти
- Програмування
- забезпечувати
- якість
- R & D
- Сировина
- читання
- запис
- запис
- зменшити
- Знижений
- скорочення
- послатися
- регулярний
- доречний
- Звіти
- представник
- дослідження
- відповідальний
- REST
- результати
- повертати
- revenue
- праві
- ROI
- Котити
- прогін
- біг
- пробіжки
- час виконання
- безпечно
- мудрець
- масштабовані
- шкала
- Масштабування
- розклад
- планування
- наука
- безліч
- seconds
- бачить
- сегмент
- сегментація
- сегменти
- старший
- Послуги
- кілька
- форми
- загальні
- показав
- Шоу
- підпис
- спрощений
- одночасно
- один
- розміри
- сповільнювати
- So
- соціальна
- соціальні медіа
- Софтвер
- Інженер-програміст
- рішення
- Рішення
- деякі
- спеціаліст
- спеціалізується
- конкретний
- конкретно
- витрачати
- спонсорство
- Спорт
- SPORTS
- Стажування
- заходи
- потік
- такі
- підтримка
- система
- націлювання
- цілі
- Завдання
- команда
- команди
- технічний
- Технологія
- тензор
- тест
- Тестування
- ніж
- Що
- Команда
- Майбутнє
- світ
- їх
- Їх
- самі
- потім
- вони
- це
- тисяча
- тисячі
- три
- через
- час
- до
- прийняли
- топ
- Усього:
- трек
- перетворений
- tv
- типовий
- при
- розуміти
- розуміння
- підвищений
- us
- Використання
- використання
- використання
- Оцінка
- варіації
- величезний
- VeloCity
- Відео
- Відео
- видимість
- бачення
- хотів
- було
- шлях..
- we
- Web
- веб-сервіси
- уїк-енд
- були
- який
- ВООЗ
- з
- Work
- робочий
- робочий
- працює
- світ
- світі
- б
- рік
- зефірнет