Este é um post convidado co-escrito com Tamir Rubinsky e Aviad Aranias da Nielsen Sports.
Nielsen Esportes molda a mídia e o conteúdo mundial como líder global em insights, dados e análises de público. Através da nossa compreensão das pessoas e dos seus comportamentos em todos os canais e plataformas, capacitamos os nossos clientes com inteligência independente e acionável para que possam ligar-se e interagir com os seus públicos – agora e no futuro.
Na Nielsen Sports, nossa missão é fornecer aos nossos clientes – marcas e detentores de direitos – a capacidade de medir o retorno sobre o investimento (ROI) e a eficácia de uma campanha publicitária de patrocínio esportivo em todos os canais, incluindo TV, online, mídia social e até mesmo jornais, e fornecer uma segmentação precisa nos níveis local, nacional e internacional.
Nesta postagem, descrevemos como a Nielsen Sports modernizou um sistema que executa milhares de modelos diferentes de aprendizado de máquina (ML) em produção usando Amazon Sage Maker endpoints multimodelos (MMEs) e reduziu os custos operacionais e financeiros em 75%.
Desafios com segmentação de vídeo de canal
Nossa tecnologia é baseada em inteligência artificial (IA) e especificamente em visão computacional (CV), que nos permite rastrear a exposição da marca e identificar sua localização com precisão. Por exemplo, identificamos se a marca está num banner ou numa camisa. Além disso, identificamos a localização da marca na peça, como no canto superior de uma placa ou na manga. A figura a seguir mostra um exemplo de nosso sistema de etiquetagem.
Para entender nossos desafios de escala e custo, vejamos alguns números representativos. Todos os meses, identificamos mais de 120 milhões de impressões de marcas em diferentes canais, e o sistema deve suportar a identificação de mais de 100,000 marcas e variações de diferentes marcas. Construímos um dos maiores bancos de dados de impressões de marcas do mundo, com mais de 6 bilhões de pontos de dados.
Nosso processo de avaliação de mídia inclui diversas etapas, conforme ilustrado na figura a seguir:
- Primeiro, gravamos milhares de canais em todo o mundo utilizando um sistema de gravação internacional.
- Transmitimos o conteúdo em combinação com a programação de transmissão (Guia Eletrônico de Programação) para a próxima etapa, que é a segmentação e separação entre as próprias transmissões do jogo e outros conteúdos ou propagandas.
- Realizamos monitoramento de mídia, onde adicionamos metadados adicionais a cada segmento, como resultados da liga, times relevantes e jogadores.
- Realizamos uma análise de exposição de visibilidade das marcas e depois combinamos as informações do público para calcular o valor da campanha.
- As informações são entregues ao cliente por meio de um dashboard ou relatórios de analistas. O analista tem acesso direto aos dados brutos ou através do nosso data warehouse.
Como operamos numa escala de mais de mil canais e dezenas de milhares de horas de vídeo por ano, devemos ter um sistema de automação escalável para o processo de análise. Nossa solução segmenta automaticamente a transmissão e sabe como isolar os videoclipes relevantes do restante do conteúdo.
Fazemos isso utilizando algoritmos e modelos dedicados desenvolvidos por nós para analisar as características específicas dos canais.
No total, estamos executando milhares de modelos diferentes em produção para apoiar esta missão, que é cara, gera sobrecarga operacional e é lenta e propensa a erros. Demorou meses para colocar em produção modelos com nova arquitetura de modelo.
É aqui que queríamos inovar e reestruturar nosso sistema.
Dimensionamento econômico para modelos de CV usando MMEs SageMaker
Nosso sistema legado de segmentação de vídeo era difícil de testar, alterar e manter. Alguns dos desafios incluem trabalhar com uma estrutura de ML antiga, interdependências entre componentes e um fluxo de trabalho difícil de otimizar. Isso ocorre porque nos baseamos no RabbitMQ para o pipeline, que era uma solução com estado. Para depurar um componente, como extração de recursos, tivemos que testar todo o pipeline.
O diagrama a seguir ilustra a arquitetura anterior.
Como parte de nossa análise, identificamos gargalos de desempenho, como a execução de um único modelo em uma máquina, que mostrou uma baixa utilização de GPU de 30 a 40%. Também descobrimos execuções de pipeline e algoritmos de agendamento ineficientes para os modelos.
Portanto, decidimos construir uma nova arquitetura multilocatário baseada no SageMaker, que implementaria melhorias de otimização de desempenho, suportaria tamanhos de lote dinâmicos e executaria vários modelos simultaneamente.
Cada execução do fluxo de trabalho tem como alvo um grupo de vídeos. Cada vídeo tem entre 30 e 90 minutos de duração e cada grupo tem mais de cinco modelos para executar.
Vejamos um exemplo: um vídeo pode ter 60 minutos de duração, consistindo em 3,600 imagens, e cada imagem precisa ser inferida por três modelos de ML diferentes durante a primeira etapa. Com os MMEs SageMaker, podemos executar lotes de 12 imagens em paralelo, e o lote completo é concluído em menos de 2 segundos. Num dia normal, temos mais de 20 grupos de vídeos, e num dia de fim de semana movimentado, podemos ter mais de 100 grupos de vídeos.
O diagrama a seguir mostra nossa nova arquitetura simplificada usando um SageMaker MME.
Resultados
Com a nova arquitetura, alcançamos muitos dos resultados desejados e algumas vantagens invisíveis em relação à arquitetura antiga:
- Melhor tempo de execução – Ao aumentar o tamanho dos lotes (12 vídeos em paralelo) e executar vários modelos simultaneamente (cinco modelos em paralelo), reduzimos o tempo de execução geral do pipeline em 33%, de 1 hora para 40 minutos.
- Infraestrutura aprimorada – Com o SageMaker, atualizamos nossa infraestrutura existente e agora estamos usando instâncias AWS mais recentes com GPUs mais recentes, como g5.xlarge. Um dos maiores benefícios da mudança é a melhoria imediata do desempenho com o uso de otimizações TorchScript e CUDA.
- Uso otimizado da infraestrutura – Ao ter um único endpoint que pode hospedar vários modelos, podemos reduzir o número de endpoints e o número de máquinas que precisamos manter, e também aumentar a utilização de uma única máquina e sua GPU. Para uma tarefa específica com cinco vídeos, passamos a utilizar apenas cinco máquinas de instâncias g5, o que nos dá 75% de custo benefício em relação à solução anterior. Para uma carga de trabalho típica durante o dia, usamos um único endpoint com uma única máquina g5.xlarge com utilização de GPU superior a 80%. Para efeito de comparação, a solução anterior tinha menos de 40% de utilização.
- Maior agilidade e produtividade – O uso do SageMaker nos permitiu gastar menos tempo migrando modelos e mais tempo melhorando nossos algoritmos e modelos principais. Isso aumentou a produtividade de nossas equipes de engenharia e ciência de dados. Agora podemos pesquisar e implantar um novo modelo de ML em menos de 7 dias, em vez de 1 mês anteriormente. Esta é uma melhoria de 75% na velocidade e no planejamento.
- Melhor qualidade e confiança – Com os recursos de teste A/B do SageMaker, podemos implantar nossos modelos de forma gradual e reverter com segurança. O ciclo de vida mais rápido até a produção também aumentou a precisão e os resultados dos nossos modelos de ML.
A figura a seguir mostra nossa utilização de GPU com a arquitetura anterior (30-40% de utilização da GPU).
A figura a seguir mostra nossa utilização de GPU com a nova arquitetura simplificada (90% de utilização de GPU).
Conclusão
Nesta postagem, compartilhamos como a Nielsen Sports modernizou um sistema que executa milhares de modelos diferentes em produção usando MMEs SageMaker e reduziu seus custos operacionais e financeiros em 75%.
Para leitura adicional, consulte o seguinte:
Sobre os autores
Eitan Sela é arquiteto de soluções especialista em IA generativa e aprendizado de máquina na Amazon Web Services. Ele trabalha com clientes da AWS para fornecer orientação e assistência técnica, ajudando-os a criar e operar soluções de IA generativa e aprendizado de máquina na AWS. Em seu tempo livre, Eitan gosta de correr e ler os artigos mais recentes sobre aprendizado de máquina.
Gal Goldman é engenheiro de software sênior e arquiteto de soluções corporativo sênior na AWS, apaixonado por soluções de ponta. Ele é especialista e desenvolveu muitos serviços e soluções distribuídas de aprendizado de máquina. Gal também se concentra em ajudar os clientes da AWS a acelerar e superar seus desafios de engenharia e IA generativa.
Tal Panchek é gerente sênior de desenvolvimento de negócios para inteligência artificial e aprendizado de máquina na Amazon Web Services. Como especialista em BD, ele é responsável pelo aumento da adoção, utilização e receita dos serviços da AWS. Ele reúne as necessidades dos clientes e do setor e faz parceria com equipes de produtos da AWS para inovar, desenvolver e fornecer soluções da AWS.
Tamir Rubinsky lidera a Engenharia Global de P&D na Nielsen Sports, trazendo vasta experiência na construção de produtos inovadores e no gerenciamento de equipes de alto desempenho. Seu trabalho transformou a avaliação de mídia de patrocínio esportivo por meio de soluções inovadoras baseadas em IA.
Aviad Aranias é líder de equipe MLOps e arquiteto de análise esportiva da Nielsen, especializado na criação de pipelines complexos para análise de vídeos de eventos esportivos em vários canais. Ele se destaca na construção e implantação de modelos de aprendizagem profunda para lidar com dados em grande escala com eficiência. Nas horas vagas, ele gosta de preparar deliciosas pizzas napolitanas.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/nielsen-sports-sees-75-cost-reduction-in-video-analysis-with-amazon-sagemaker-multi-model-endpoints/
- :tem
- :é
- :onde
- 000
- 1
- 100
- 12
- 120
- 150
- 20
- 40
- 60
- 600
- 7
- a
- habilidade
- Capaz
- acelerar
- Acesso
- precisão
- preciso
- exatamente
- alcançado
- em
- acionável
- adicionar
- Adição
- Adicional
- Adoção
- vantagens
- Publicidade
- AI
- Alimentado por AI
- algoritmos
- Todos os Produtos
- permitidas
- permite
- tb
- Amazon
- Amazon Sage Maker
- Amazon Web Services
- an
- análise
- analista
- analítica
- análise
- e
- arquitetura
- SOMOS
- por aí
- artigos
- artificial
- inteligência artificial
- Inteligência artificial (AI)
- Inteligência Artificial e Aprendizado de Máquinas
- AS
- Assistência
- At
- público
- automaticamente
- Automação
- AWS
- em caminho duplo
- bandeira
- baseado
- BD
- BE
- Porque
- comportamentos
- beneficiar
- Benefícios
- entre
- O maior
- bilhão
- ambos
- gargalos
- interesse?
- marcas
- Trazendo
- transmissão
- Transmissões
- construir
- Prédio
- construído
- negócio
- desenvolvimento de negócios
- by
- calcular
- Campanha
- CAN
- capacidades
- desafios
- alterar
- Canal
- canais
- características
- clientes
- clipes
- combinação
- combinar
- comparação
- Completa
- integrações
- componente
- componentes
- computador
- Visão de Computador
- confiança
- Contato
- Consistindo
- conteúdo
- núcleo
- Canto
- Custo
- redução de custos
- dispendioso
- elaboração
- cliente
- Clientes
- ponta
- painel de instrumentos
- dados,
- Os pontos de dados
- ciência de dados
- bases de dados
- dia
- dias
- decidido
- diminuiu
- dedicado
- profundo
- deep learning
- entregar
- entregue
- implantar
- Implantação
- descreve
- desejado
- desenvolver
- desenvolvido
- Desenvolvimento
- diagrama
- diferente
- difícil
- diretamente
- Acesso direto
- descoberto
- distribuído
- do
- durante
- dinâmico
- cada
- eficácia
- eficientemente
- Eletrônico
- autorizar
- Ponto final
- engajar
- engenheiro
- Engenharia
- Empreendimento
- avaliação
- Mesmo
- Evento
- Cada
- examinar
- exemplo
- existente
- vasta experiência
- Exposição
- Extração
- mais rápido
- Característica
- Figura
- financeiro
- Primeiro nome
- cinco
- concentra-se
- seguinte
- Escolha
- Quadro
- da
- cheio
- mais distante
- futuro
- GAL
- jogo
- generativo
- IA generativa
- ter
- dado
- dá
- Global
- goldman
- GPU
- GPUs
- gradual
- Grupo
- Do grupo
- Crescente
- Locatário
- Visitante Mensagem
- orientações
- guia
- tinha
- manipular
- Ter
- ter
- he
- ajuda
- Alta performance
- sua
- hospedeiro
- hora
- HORÁRIO
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTTPS
- identificação
- identificado
- identificar
- if
- ilustra
- imagem
- imagens
- Imediato
- executar
- melhoria
- melhorias
- melhorar
- in
- incluir
- inclui
- Incluindo
- Crescimento
- aumentou
- aumentando
- de treinadores em Entrevista Motivacional
- indústria
- ineficiente
- inferido
- INFORMAÇÕES
- Infraestrutura
- inovar
- inovadores
- insights
- em vez disso
- Inteligência
- Internacionais
- para dentro
- investimento
- IT
- ESTÁ
- jpg
- sabe
- em grande escala
- maior
- mais recente
- líder
- Leads
- Liga
- aprendizagem
- Legado
- menos
- níveis
- wifecycwe
- local
- localização
- longo
- olhar
- Baixo
- máquina
- aprendizado de máquina
- máquinas
- a manter
- Gerente
- gestão
- muitos
- a medida
- Mídia
- metadados
- migrando
- milhão
- Minutos
- Missão
- ML
- MLOps
- modelo
- modelos
- monitoração
- Mês
- mês
- mais
- múltiplo
- devo
- Nacional
- você merece...
- Cria
- Novo
- mais novo
- Jornal
- Próximo
- agora
- número
- números
- numeroso
- of
- Velho
- on
- ONE
- online
- só
- operar
- operacional
- otimização
- otimizações
- or
- Outros
- A Nossa
- resultados
- Acima de
- global
- Superar
- em cima
- embalado
- Paralelo
- parte
- parceiro
- paixão
- Pessoas
- Realizar
- atuação
- oleoduto
- planejamento
- Plataformas
- platão
- Inteligência de Dados Platão
- PlatãoData
- players
- pontos
- Publique
- anterior
- anteriormente
- processo
- Produto
- Produção
- produtividade
- Produtos
- Programação
- fornecer
- qualidade
- R & D
- Cru
- Leitura
- registro
- gravação
- reduzir
- Reduzido
- redução
- referir
- regular
- relevante
- Relatórios
- representante
- pesquisa
- responsável
- DESCANSO
- Resultados
- retorno
- receita
- direitos
- ROI
- Rolo
- Execute
- corrida
- é executado
- tempo de execução
- seguramente
- sábio
- escalável
- Escala
- dimensionamento
- cronograma
- agendamento
- Ciência
- pontuações
- segundo
- vê
- segmento
- segmentação
- segmentos
- senior
- Serviços
- vários
- formas
- compartilhado
- mostrou
- Shows
- assinar
- simplificada
- simultaneamente
- solteiro
- tamanhos
- lento
- So
- Redes Sociais
- meios de comunicação social
- Software
- Engenheiro de Software
- solução
- Soluções
- alguns
- especialista
- especializada
- específico
- especificamente
- gastar
- de patrocínio
- Desporto
- Esportes
- Etapa
- Passos
- transmitir canais
- tal
- ajuda
- .
- alvejando
- tem como alvo
- Tarefa
- Profissionais
- equipes
- Dados Técnicos:
- Equipar
- dezenas
- teste
- ensaio
- do que
- que
- A
- O Futuro
- o mundo
- deles
- Eles
- si mesmos
- então
- deles
- isto
- mil
- milhares
- três
- Através da
- tempo
- para
- levou
- topo
- Total
- pista
- transformado
- tv
- típico
- para
- compreender
- compreensão
- atualizado
- us
- Uso
- usar
- utilização
- Avaliação
- variações
- Grande
- Velocidade
- Vídeo
- VÍDEOS
- visibilidade
- visão
- querido
- foi
- Caminho..
- we
- web
- serviços web
- fim de semana
- foram
- qual
- QUEM
- de
- Atividades:
- de gestão de documentos
- trabalhar
- trabalho
- mundo
- do mundo
- seria
- ano
- zefirnet