Amazon Lookout para métricas é um serviço da AWS que usa machine learning (ML) para monitorar automaticamente as métricas mais importantes para os negócios com maior velocidade e precisão. O serviço também facilita o diagnóstico da causa raiz de anomalias, como quedas inesperadas na receita, altas taxas de carrinhos de compras abandonados, picos de falhas em transações de pagamento, aumento de novas inscrições de usuários e muito mais. O Lookout for Metrics vai além da simples detecção de anomalias. Ele permite que os desenvolvedores configurem o monitoramento autônomo de métricas importantes para detectar anomalias e identificar sua causa raiz em questão de alguns cliques para detectar anomalias em suas métricas - tudo sem a necessidade de experiência em ML.
Amazona atena é um serviço de consulta interativo que facilita a análise de dados em Serviço de armazenamento simples da Amazon (Amazon S3) usando SQL padrão. Basta apontar para seus dados no Amazon S3, definir o esquema e começar a consultar usando SQL padrão. A maioria dos resultados são entregues em segundos. Com o Athena, não há necessidade de trabalhos de ETL complexos para preparar seus dados para análise. Isso facilita para qualquer pessoa com habilidades em SQL analisar rapidamente conjuntos de dados em grande escala.
Com o lançamento de hoje, o Lookout for Metrics agora pode se conectar perfeitamente aos seus dados no Athena para configurar detectores de anomalias altamente precisos. Isso permite que você implante rapidamente a detecção de anomalias de última geração via ML com Lookout for Metrics em qualquer conjunto de dados disponível no Athena.
A conectividade do Athena estende os recursos do Lookout for Metrics, trazendo os seguintes benefícios:
- Ele estende os recursos do Lookout for Metrics em termos de suporte de tipo de arquivo. Antes disso, o Lookout for Metrics suportava arquivos formatados em CSV e JSONLines, mas com o Athena isso foi expandido para Parquet, Avro, Plaintext e muito mais. Se você pode analisá-lo via Athena, agora é possível importar e aproveitar com o Lookout for Metrics.
- Também introduz suporte para dados com consultas federadas. Antes deste lançamento, se seus dados fossem armazenados em vários bancos de dados ou fontes, você precisaria definir um processo ETL complexo completo, bem como gerenciar suas características de desempenho antes de exportar todos os dados para um arquivo CSV ou JSONLines e inseri-los no Lookout for Metrics for Anomaly Detection. Com as consultas federadas do Athena, você define as fontes diferentes, bem como a forma como a junção deve ser realizada e quando os dados são processados e podem ser consultados pelo Athena, ele fica imediatamente pronto para o Lookout for Metrics. Isso permite que você entregue o fardo da transformação de dados, agregação e local de entrega para o Athena e se concentre apenas nas anomalias identificadas do Lookout for Metrics.
Visão geral da solução
Neste post, demonstramos como integrar uma tabela Athena e detectar anomalias nas métricas de receita. Também rastreamos como a taxa de pedidos e as métricas de estoque são afetadas. Os dados de origem estão no Amazon S3 e configuramos as tabelas do Athena para poder consultar os dados neles. Um AWS Lambda é responsável por atualizar as partições no Athena, que são usadas pelo Lookout for Metrics para detectar anomalias. Esta solução permite que você use uma fonte de dados Athena para Lookout for Metrics.
Você pode usar o fornecido Formação da Nuvem AWS stack para configurar recursos para o passo a passo. Ele contém recursos para gerar continuamente dados ao vivo e os torna passíveis de consulta no Athena.
- Inicie a pilha no link a seguir e selecione Próximo na página Criar pilha.
- No Especifique os detalhes da pilha página, adicione os valores acima, dê um nome de pilha (por exemplo,
L4MAthenaDetector
) e selecione Próximo. - No Configurar opções de pilha página, deixe tudo como está e selecione Próximo.
Configure um novo detector com o Athena como fonte de dados
Passo 1
Faça o login no Console AWS para começar a criar um Detector de Anomalias com Lookout for Metrics. O primeiro passo é selecionar o botão “Criar detector”.
Passo 2
Preencha os campos obrigatórios do detector, como nome. Selecione o intervalo de detecção para o detector, que é determinado pela frequência com que você deseja que o Lookout for Metrics consulte seus dados e os monitore quanto a anomalias. As informações de criptografia não são obrigatórias. As informações de criptografia permitem que o Lookout for Metrics criptografe seus dados usando seu Serviço de gerenciamento de chaves da AWS (KMS) chave. Neste exemplo, pularemos a adição de uma chave de criptografia, o Lookout for Metrics usaria a criptografia padrão para criptografar seus dados se nenhuma informação de criptografia for fornecida e continue selecionando o botão "Criar".
Passo 3
Após a criação do detector de anomalias, você verá a confirmação em um banner na parte superior. Você pode prosseguir selecionando “Adicionar um conjunto de dados” por meio do banner ou do botão em “Adicionar um conjunto de dados”.
Preencha as informações básicas para a fonte de dados. Fuso horário é um campo opcional. Selecione a lista suspensa para selecionar uma fonte de dados.
O Lookout for Metrics oferece suporte a várias fontes de dados para conveniência dos clientes. Para este exemplo, selecionaremos Athena.
Assim que o Athena for selecionado como fonte de dados, você terá a opção de selecionar o modo Backtest ou Contínuo para o detector. Para este exemplo, continuaremos usando o modo Contínuo. Continue adicionando detalhes para a tabela do Athena que você deseja monitorar quanto a anomalias.
Você pode permitir que o serviço crie uma função de serviço ou pode usar uma função existente AWS Identity and Access Management (IAM) função em sua conta para consultas federadas. Observe que o Lookout for Metrics não oferece suporte à criação automatizada de funções do IAM para consultas federadas. Portanto, você teria que criar uma nova função do IAM para permitir que o Athena realizasse as seguintes ações em seus dados:
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
A função do IAM criada pelo serviço tem a seguinte aparência:
Passo 4
Agora vamos definir métricas relevantes para o detector. Lookout for Metrics preencherá as listas suspensas com as colunas presentes na tabela Athena fornecida. Você pode selecionar até cinco métricas e cinco dimensões. O Lookout for Metrics exige que os dados em sua tabela sejam particionados como carimbos de data/hora para a coluna de carimbo de data/hora. Você também terá a opção de estimar o custo desse detector adicionando o número de valores em suas dimensões.
Depois de selecionar todas as métricas, prossiga selecionando o botão “Avançar”. Revise os detalhes e selecione o botão “Salvar conjunto de dados” para salvar o conjunto de dados.
Passo 5
Assim que o conjunto de dados for criado, ativaremos o detector selecionando o botão "Ativar" na parte superior ou o botão "Ativar detector" na seção "Como funciona".
Você será solicitado a confirmar se deseja ativar o detector para detecção contínua. Selecione “Ativar” para confirmar.
Você verá uma confirmação informando que o detector está sendo ativado.
Passo 6
Assim que o Detector de Anomalias estiver Ativo, você poderá usar a guia “Registro do Detector” na página de detalhes do Detector para revisar as execuções de detecção que foram realizadas pelo serviço.
Passo 7
Você pode selecionar o botão "Visualizar anomalias" na página de detalhes do detector para inspecionar manualmente as anomalias que podem ter sido detectadas pelo serviço.
Passo 8
Na página de revisão de anomalias, você pode ajustar o limite de pontuação de gravidade no dial de limite para filtrar anomalias acima de uma pontuação selecionada.
Revise e analise os resultados
Ao detectar uma anomalia, o Lookout for Metrics ajuda você a se concentrar no que é mais importante, atribuindo uma pontuação de gravidade para ajudar na priorização. Para ajudá-lo a encontrar a causa raiz, ele agrupa de forma inteligente as anomalias que podem estar relacionadas ao mesmo incidente e, em seguida, resume as diferentes fontes de impacto.
O Lookout for Metrics também permite que você forneça feedback em tempo real sobre a relevância das anomalias detectadas, habilitando assim um mecanismo poderoso de interação humana. Essas informações são enviadas de volta ao modelo de detecção de anomalias para melhorar sua precisão em tempo quase real.
limpar
Para evitar cobranças adicionais pelo recurso configurado para a demonstração, você pode excluir o detector criado em Lookout for Metrics e a pilha criada por meio do CloudFormation.
Conclusão
Você pode se conectar perfeitamente aos seus dados no Athena ao Lookout for Metrics para configurar um detector de anomalias altamente preciso em métricas e dimensões em suas tabelas do Athena. Para começar a usar esse recurso, consulte Usando o Amazon Athena com Lookout for Metrics. Você pode usar esse recurso em todas as regiões em que o Lookout for Metrics está disponível publicamente. Para obter mais informações sobre a disponibilidade da região, consulte Serviços regionais da AWS.
Sobre os autores
Devesh Ratho é engenheiro de desenvolvimento de software na equipe Lookout for Metrics. Seus interesses estão na construção de sistemas distribuídos escaláveis. Em seu tempo livre, ele gosta de corridas de simuladores.
Chris Rei é arquiteto de soluções sênior em IA aplicada com AWS. Ele tem um interesse especial no lançamento de serviços de IA e ajudou a desenvolver e desenvolver o Amazon Personalize e o Amazon Forecast antes de se concentrar no Amazon Lookout for Metrics. Em seu tempo livre, ele gosta de cozinhar, ler, boxear e construir modelos para prever o resultado dos esportes de combate.
- Coinsmart. A melhor troca de Bitcoin e criptografia da Europa.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. ACESSO LIVRE.
- CryptoHawk. Radar Altcoin. Teste grátis.
- Fonte: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Sobre
- Acesso
- Conta
- preciso
- em
- Açao Social
- ações
- ativo
- Adicional
- AI
- Serviços de IA
- Todos os Produtos
- Amazon
- análise
- qualquer um
- Automatizado
- Autônomo
- disponibilidade
- disponível
- AWS
- bandeira
- antes
- Benefícios
- Pós
- fronteira
- Boxe
- construir
- Prédio
- negócios
- capacidades
- Causar
- acusações
- Coluna
- combater
- integrações
- condição
- Contato
- Conectividade
- contém
- facilidade
- poderia
- crio
- criado
- Criar
- criação
- Clientes
- dados,
- bases de dados
- entregue
- Entrega
- demonstrar
- implantar
- detalhes
- detectou
- Detecção
- desenvolvedores
- Desenvolvimento
- diferente
- distribuído
- Não faz
- efeito
- permitindo
- criptografia
- engenheiro
- estimativa
- tudo
- exemplo
- existente
- expandido
- vasta experiência
- Alimentado
- retornos
- Campos
- Primeiro nome
- Foco
- focando
- seguinte
- gerar
- maior
- Do grupo
- Cresça:
- ajudar
- ajuda
- Alta
- altamente
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTTPS
- identificar
- Dados de identificação:
- Impacto
- importante
- melhorar
- INFORMAÇÕES
- entrada
- integrar
- interativo
- interesse
- interesses
- inventário
- IT
- Empregos
- juntar
- Chave
- Rei
- lançamento
- de lançamento
- aprendizagem
- Deixar
- Alavancagem
- LINK
- localização
- máquina
- aprendizado de máquina
- FAZ
- gerencia
- de grupos
- obrigatório
- manualmente
- Importância
- Matéria
- Métrica
- ML
- modelo
- modelos
- Monitore
- monitoração
- mais
- a maioria
- múltiplo
- número
- Opção
- ordem
- pagamento
- atuação
- Personalizar
- ponto
- possível
- poderoso
- predizer
- Preparar
- presente
- processo
- fornecer
- rapidamente
- corrida
- Preços
- Leitura
- em tempo real
- regional
- relevante
- requeridos
- exige
- recurso
- Recursos
- responsável
- Resultados
- receita
- rever
- escalável
- sem problemas
- segundo
- selecionado
- serviço
- Serviços
- conjunto
- minha
- SIM
- simples
- Habilidades
- Software
- desenvolvimento de software
- sólido
- solução
- Soluções
- especial
- velocidade
- Esportes
- pilha
- padrão
- começo
- começado
- estado-da-arte
- Declaração
- armazenamento
- ajuda
- Suportado
- suportes
- sistemas
- Profissionais
- A fonte
- assim sendo
- limiar
- Através da
- tempo
- hoje
- topo
- pista
- transação
- Transformação
- para
- atualização
- usar
- versão
- O Quê
- dentro
- seria