Estamos entusiasmados em lançar um recurso de análise de contribuição causal em Amazon Lookout para métricas que ajuda você a entender as possíveis causas-raiz das anomalias críticas para os negócios nos dados. Anteriormente, você só recebia as causas-raiz de uma única anomalia por medida. Você tinha que analisar para determinar se existiam relações causais entre as anomalias detectadas em diferentes medidas. Ao focar em uma única anomalia, você pode facilmente perder o impacto downstream (ou upstream) da anomalia. Por exemplo, você pode ver um aumento no abandono do carrinho de compras e saber que sua receita diminuirá. No entanto, você pode não saber o que fez com que os carrinhos de checkout fossem abandonados a uma taxa mais alta. O recurso de análise de contribuição causal pode informar que o pico no abandono do carrinho de compras pode ser devido a picos de falhas nas transações ou mudanças repentinas nos preços devido ao vencimento da promoção.
O Lookout for Metrics usa aprendizado de máquina (ML) para detectar e diagnosticar automaticamente anomalias em grandes conjuntos de dados em que desvios do normal são difíceis de detectar e anomalias perdidas têm impacto crítico para os negócios. O Lookout for Metrics reduz o tempo de implementação de serviços de IA/ML para problemas críticos para os negócios.
Neste post, discutimos a nova capacidade de análise de contribuição causal e seus benefícios.
Desafios na detecção de anomalias
A detecção de anomalias tem duas partes: detectar anomalias e identificar a causa raiz que desencadeou as anomalias para que a equipe possa tomar medidas para mitigar o problema.
Os sistemas tradicionais de business intelligence (BI) que usam anomalias estáticas baseadas em limites ou em regras têm três problemas. Primeiro, você pode ter milhões de métricas para rastrear em várias fontes de dados. Veja o anúncio digital, por exemplo: você deseja rastrear métricas como impressões, cliques, receita e métricas de carrinho de compras em IDs de campanha, categorias de produtos, geografias e muito mais. E é o mesmo para qualquer domínio, seja varejo, telecomunicações, jogos ou serviços financeiros. Com as ferramentas tradicionais de BI, gerenciar dados em várias fontes, criar painéis e relatórios e adicionar alertas em um nível granular requer muito trabalho manual e não é escalável.
Em segundo lugar, essas ferramentas tradicionais de BI funcionam configurando regras. Você configura um intervalo e qualquer coisa fora do intervalo é uma anomalia e você é alertado sobre isso. Se o intervalo for muito amplo, você perderá alertas importantes e, se for muito estreito, receberá muitos alertas falsos.
Esses intervalos (limite superior e inferior na imagem acima) também são estáticos e não mudam com base na hora do dia, dia da semana ou estações do ano; eles precisam ser atualizados manualmente. É provável que você perca anomalias importantes e receba muitos alarmes falsos, ou perca a confiança na ferramenta e comece a ignorar esses alertas completamente.
Por fim, os relatórios e painéis de BI geralmente são gerados no final da hora, final do dia ou final da semana, quando é tarde demais para você agir em um problema. E mesmo quando esses resultados chegam, não responde o porquê. Assim, desenvolvedores, analistas e proprietários de negócios podem passar semanas tentando identificar a causa raiz da anomalia, atrasando ainda mais ações significativas.
Inferência causal no Lookout for Metrics
Embora perguntar pela causa raiz de um evento inesperado pareça estar no cerne da maneira humana de entender o mundo, as associações estatísticas são muitas vezes mal interpretadas como uma influência causal. Ou seja, a correlação não implica causalidade, e discernir as causas dos eventos a partir de dados observacionais requer métodos especializados de inferência causal.
A análise de causa raiz no Lookout for Metrics usa técnicas de inferência causal para aumentar a visibilidade e a interpretabilidade de anomalias entre as medidas. O Lookout for Metrics é capaz não apenas de identificar causas causais, mas também atribuir quantitativamente os eventos anômalos a eles, fornecendo uma pontuação percentual de probabilidade entre os prováveis condutores causais de um evento anômalo. Por exemplo, o Lookout for Metrics agora pode traçar ligações causais entre uma queda nas visualizações de anúncios (anomalia) devido a menos cliques em seu site, IOS e Android (causação), levando a um declínio na receita (impacto downstream). Suponha que uma ou mais causas-raiz potenciais ocorram (site, iOS, Android). Nesse caso, o Lookout for Metrics pode identificar a causa mais provável (por exemplo, site com 90% de probabilidade) que levou a uma queda nas visualizações de anúncios.
A abordagem científica baseia-se em um procedimento de duas etapas:
- Inferir as relações causais entre as medidas.
- Com base na estrutura causal inferida, atribua as anomalias da medida afetada às medidas causadoras.
Para inferir as relações causais entre as medidas, usamos um método de causalidade de Granger que leva em consideração a estrutura de dados em painel do Lookout for Metrics. Os métodos de causalidade Granger existentes para dados em painel não podem lidar com dependências entre combinações de valores de dimensão (por exemplo, dependências de receita em diferentes países que normalmente temos em dados reais). Por exemplo, eventos como a Black Friday aumentam a receita de vários países e, portanto, há uma fonte externa que torna a receita de diferentes países dependentes). Portanto, tivemos que desenvolver nossa própria causalidade de Granger[1] método em dados de painel que podem lidar com esses tipos de dependências.
Uma vez que a estrutura causal está disponível, atribuímos as anomalias da medida afetada às suas medidas causadoras para quantificar as relações causa-efeito.
Analisar anomalias no console Lookout for Metrics
Depois que o Lookout for Metrics iniciar a detecção de anomalias, você poderá procurar as anomalias detectadas no Anomalias página para o detector. Ao escolher uma anomalia, você é redirecionado para a página de detalhes da anomalia observada.
A página de detalhes da anomalia inclui um Análise de causa raiz seção. Esta seção tenta explicar esta anomalia observada em relação às outras anomalias para as medidas configuradas do detector de anomalias.
No exemplo a seguir, “Receita impactada” é a anomalia observada e as causas potenciais incluem pedidos e medidas não configuradas. Os pedidos contribuem com aproximadamente 81.84% para a anomalia atual, ou seja, receita que leva a um impacto downstream no lucro.
Escolhendo a causa potencial ordens nos leva aos detalhes de sua anomalia observada. Neste caso, as possíveis causas para esta anomalia são cliques e medidas não configuradas. Os cliques podem ser uma das causas potenciais dessa anomalia, mas obtém uma pontuação de contribuição relativamente baixa de 8.37%, e o detector não observa nada de anormal para isso. Nesse caso, o Lookout for Metrics conclui que a anomalia dos pedidos é causada por fatores externos ou medidas que não foram configuradas para monitoramento durante a fase de configuração do detector. Essa anomalia nos pedidos tem um impacto potencial a jusante no lucro e na receita.
Escolhendo o potencial impacto a jusante lucro nos leva aos detalhes de sua anomalia observada. Nesse caso, as causas potenciais parecem ser uma mistura de anomalias na receita, pedidos e medidas não configuradas, com respectivas pontuações de contribuição de 33%, 14% e 53%. Nenhuma medida a jusante é afetada por esta anomalia.
Para este exemplo, a anomalia no lucro pode ser parcialmente explicada pelas anomalias na receita e nos pedidos. Então a anomalia na receita pode ser explicada pela anomalia nos pedidos com alta certeza.
Conclusão
O novo recurso de análise de contribuição causal no Lookout for Metrics detecta a interação causal entre anomalias em suas medidas. Para conseguir isso, o detector aprende a relação causal entre as medidas em seus dados de forma totalmente auto-supervisionada e usa essas informações causais para rastrear anomalias até suas causas-raiz. Esse recurso pode ajudá-lo a conectar causalmente anomalias entre medidas e fornecer uma ferramenta para diagnosticar rapidamente e, posteriormente, corrigir quaisquer problemas em seu sistema.
[1] L. Minorics, C. Turkmen, P. Bloebaum, D. Kernert, L. Callot e D. Janzing. Testando a Não Causalidade de Granger em Painéis com Dependências Transversais. AISTAS, 2022.
Sobre os autores
Lenon Menores é um Cientista Aplicado com foco em inferência causal e detecção de anomalias. Antes da Amazon, Lenon era pesquisador acadêmico em matemática. Seus interesses pessoais de pesquisa incluem aprendizado de máquina, inferência causal, estocástica e geometria fractal. Em seu tempo livre, Lenon gosta de praticar todos os tipos de esportes, especialmente o Jiu-Jitsu brasileiro.
Shashank Srivastava é gerente de produto sênior para serviços verticais da Amazon AI. Ele é apaixonado por resolver problemas de IA em PNL, detecção de novidades e escassez de dados. Em seu tempo livre, Shashank gosta de jogar tênis e golfe.
Caner turcomano é Cientista Aplicado na Amazon Web Services, onde trabalha em problemas na interseção de aprendizado de máquina, previsão e detecção de anomalias. Antes de ingressar na AWS, ele trabalhou no setor de consultoria de gerenciamento como cientista de dados, atendendo os setores de serviços financeiros e telecomunicações em projetos em todo o mundo. Os interesses pessoais de pesquisa de Caner abrangem uma variedade de tópicos, incluindo ML probabilístico e Bayesiano, processos estocásticos e suas aplicações práticas.
Alex Kim é gerente de produto sênior para serviços de IA da AWS. Sua missão é fornecer soluções de IA/ML para todos os clientes que podem se beneficiar delas. Em seu tempo livre, ele gosta de todos os tipos de esportes e descobrir novos lugares para comer.
- Coinsmart. A melhor troca de Bitcoin e criptografia da Europa.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. ACESSO LIVRE.
- CryptoHawk. Radar Altcoin. Teste grátis.
- Fonte: https://aws.amazon.com/blogs/machine-learning/identify-potential-root-cause-in-business-critical-anomalies-using-amazon-lookout-for-metrics/
- "
- 100
- 2022
- a
- Sobre
- Conta
- Alcançar
- em
- Aja
- Açao Social
- Anúncios
- AI
- Serviços de IA
- Todos os Produtos
- Amazon
- Amazon Web Services
- entre
- análise
- analisar
- andróide
- responder
- aplicações
- aplicado
- abordagem
- aproximadamente
- automaticamente
- disponível
- AWS
- antes
- beneficiar
- Benefícios
- entre
- Preto
- Black Friday
- fronteira
- negócio
- inteligência de negócios
- Campanha
- capaz
- Causar
- causado
- causas
- causando
- alterar
- Finalizar compra
- Escolha
- combinações
- como
- Contato
- consultor
- poderia
- países
- Criar
- Atual
- Clientes
- dados,
- cientista de dados
- dia
- acordo
- dependente
- detalhes
- detectou
- Detecção
- Determinar
- desenvolver
- desenvolvedores
- diferente
- digital
- Dimensão
- discutir
- Não faz
- domínio
- Cair
- durante
- facilmente
- comer
- especialmente
- Evento
- eventos
- exemplo
- animado
- existente
- fatores
- Característica
- financeiro
- serviços financeiros
- Primeiro nome
- Fixar
- focando
- seguinte
- Gratuito
- Sexta-feira
- da
- mais distante
- jogos
- globo
- ajudar
- ajuda
- Alta
- superior
- Contudo
- HTTPS
- humano
- identificar
- identificar
- imagem
- Impacto
- executar
- importante
- incluir
- inclui
- Incluindo
- Crescimento
- indústrias
- indústria
- influência
- INFORMAÇÕES
- instância
- Inteligência
- interação
- interesses
- interseção
- iOS
- questões
- IT
- Saber
- grande
- lançamento
- principal
- Leads
- aprendizagem
- levou
- Nível
- Provável
- Links
- olhar
- máquina
- aprendizado de máquina
- de grupos
- Gerente
- gestão
- manual
- trabalho manual
- manualmente
- matemática
- significativo
- a medida
- medidas
- métodos
- Métrica
- poder
- milhões
- Missão
- ML
- monitoração
- mais
- a maioria
- múltiplo
- nomeadamente
- normal
- ordens
- Outros
- próprio
- proprietários
- apaixonado
- percentagem
- pessoal
- fase
- jogar
- possível
- potencial
- Problema
- problemas
- processos
- Produto
- Lucro
- projetos
- promoção
- fornece
- fornecendo
- rapidamente
- alcance
- receber
- relações
- Relacionamentos
- torna
- Relatórios
- exige
- pesquisa
- Resultados
- varejo
- receita
- raiz
- regras
- mesmo
- escalável
- Cientista
- Serviços
- de servir
- conjunto
- contexto
- instalação
- minha
- solteiro
- So
- sólido
- Soluções
- especializado
- gastar
- Esportes
- começo
- começa
- estatístico
- Subseqüentemente
- súbito
- .
- sistemas
- Profissionais
- técnicas
- telecom
- telecomunicações
- ensaio
- A
- o mundo
- assim sendo
- três
- tempo
- ferramenta
- ferramentas
- Temas
- pista
- tradicional
- transação
- Confiança
- tipos
- tipicamente
- compreender
- compreensão
- us
- usar
- valor
- visibilidade
- web
- serviços web
- Site
- semana
- O Quê
- QUEM
- Atividades:
- trabalhou
- trabalho
- mundo
- investimentos