Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight

Um dos desafios encontrados pelas equipes que utilizam Amazon Lookout para métricas está conectando-o de forma rápida e eficiente à visualização de dados. As anomalias são apresentadas individualmente no console Lookout for Metrics, cada uma com seu próprio gráfico, dificultando a visualização do conjunto como um todo. Uma solução automatizada e integrada é necessária para uma análise mais profunda.

Neste post, usamos um detector ao vivo Lookout for Metrics construído seguindo o Iniciando seção do Amostras da AWS, Amazon Lookout for Metrics repositório do GitHub. Depois que o detector estiver ativo e as anomalias forem geradas a partir do conjunto de dados, conectamos o Lookout for Metrics ao AmazonQuickSight. Criamos dois conjuntos de dados: um unindo a tabela de dimensões com a tabela de anomalias e outro unindo a tabela de anomalias com os dados ativos. Podemos então adicionar esses dois conjuntos de dados a uma análise do QuickSight, onde podemos adicionar gráficos em um único painel.

Podemos fornecer dois tipos de dados ao detector Lookout for Metrics: contínuos e históricos. o AWS Samples Repo GitHub oferece ambos, embora nos concentremos nos dados ao vivo contínuos. O detector monitora esses dados ao vivo para identificar anomalias e grava as anomalias para Serviço de armazenamento simples da Amazon (Amazon S3) à medida que são gerados. No final de um intervalo especificado, o detector analisa os dados. Com o tempo, o detector aprende a identificar anomalias com mais precisão com base nos padrões que encontra.

O Lookout for Metrics usa aprendizado de máquina (ML) para detectar e diagnosticar automaticamente anomalias nos dados comerciais e operacionais, como uma queda repentina na receita de vendas ou nas taxas de aquisição de clientes. O serviço agora está disponível para todos a partir de 25 de março de 2021. Ele inspeciona e prepara automaticamente dados de várias fontes para detectar anomalias com maior velocidade e precisão do que os métodos tradicionais usados ​​para detecção de anomalias. Você também pode fornecer feedback sobre anomalias detectadas para ajustar os resultados e melhorar a precisão ao longo do tempo. O Lookout for Metrics facilita o diagnóstico de anomalias detectadas, agrupando as anomalias relacionadas ao mesmo evento e enviando um alerta que inclui um resumo da possível causa raiz. Ele também classifica as anomalias em ordem de gravidade para que você possa priorizar sua atenção para o que é mais importante para o seu negócio.

O QuickSight é um serviço de business intelligence (BI) nativo da nuvem totalmente gerenciado que facilita a conexão com seus dados para criar e publicar painéis interativos. Além disso, você pode usar AmazonQuickSight para obter respostas instantâneas por meio de consultas em linguagem natural.

Você pode acessar painéis do QuickSight sem servidor e altamente escaláveis ​​de qualquer dispositivo e incorporá-los perfeitamente em seus aplicativos, portais e sites. A captura de tela a seguir é um exemplo do que você pode alcançar até o final deste post.

Visão geral da solução

A solução é uma combinação de serviços da AWS, principalmente Lookout for Metrics, QuickSight, AWS Lambda, Amazona atena, Cola AWSe Amazon S3.

O diagrama a seguir ilustra a arquitetura da solução. O Lookout for Metrics detecta e envia as anomalias ao Lambda por meio de um alerta. A função do Lambda gera os resultados da anomalia como arquivos CSV e os salva no Amazon S3. Um rastreador do AWS Glue analisa os metadados e cria tabelas no Athena. O QuickSight usa o Athena para consultar os dados do Amazon S3, permitindo que painéis sejam criados para visualizar os resultados da anomalia e os dados ao vivo.

Arquitetura da Solução

Esta solução expande os recursos criados no Iniciando seção do repositório GitHub. Para cada etapa, incluímos opções para criar os recursos usando o Console de gerenciamento da AWS ou lançar o fornecido Formação da Nuvem AWS pilha. Se você tiver um detector Lookout for Metrics personalizado, poderá usá-lo e adaptá-lo da seguinte maneira caderno para alcançar os mesmos resultados.

As etapas de implementação são as seguintes:

  1. Criar o Amazon Sage Maker instância de notebook (ALFMTestNotebook) e notebooks usando a pilha fornecida no Configuração inicial seção do GitHub repo.
  2. Abra a instância do notebook no console do SageMaker e navegue até o amazon-lookout-for-metrics-samples/getting_started pasta.
  3. Crie o bucket do S3 e conclua a preparação de dados usando o primeiro caderno (1.PrereqSetupData.ipynb). Abra o notebook com o conda_python3 kernel, se solicitado.

Pulamos o segundo caderno porque está focado em dados de backtesting.

  1. Se você estiver percorrendo o exemplo usando o console, crie o detector ao vivo Lookout for Metrics e seu alerta usando o terceiro caderno (3.GettingStartedWithLiveData.ipynb).

Se você estiver usando as pilhas do CloudFormation fornecidas, o terceiro notebook não será necessário. O detector e seu alerta são criados como parte da pilha.

  1. Depois de criar o detector ao vivo Lookout for Metrics, você precisa ativá-lo no console.

Isso pode levar até 2 horas para inicializar o modelo e detectar anomalias.

  1. Implante uma função Lambda usando Python com uma camada de biblioteca Pandas e crie um alerta anexado ao detector ativo para iniciá-lo.
  2. Use a combinação do Athena e do AWS Glue para descobrir e preparar os dados para o QuickSight.
  3. Crie a fonte de dados e os conjuntos de dados do QuickSight.
  4. Por fim, crie uma análise QuickSight para visualização, usando os conjuntos de dados.

Os scripts do CloudFormation normalmente são executados como um conjunto de pilhas aninhadas em um ambiente de produção. Eles são fornecidos individualmente nesta postagem para facilitar uma explicação passo a passo.

Pré-requisitos

Para passar por este passo a passo, você precisa de uma conta da AWS onde a solução será implantada. Certifique-se de que todos os recursos implantados estejam na mesma região. Você precisa de um detector Lookout for Metrics em execução construído a partir dos notebooks 1 e 3 do GitHub repo. Se você não tiver um detector Lookout for Metrics em execução, terá duas opções:

  • Execute os notebooks 1 e 3 e continue a partir da etapa 1 desta postagem (criando a função e o alerta do Lambda)
  • Execute o notebook 1 e use o modelo do CloudFormation para gerar o detector Lookout for Metrics

Crie o detector ao vivo usando o AWS CloudFormation

A L4MLiveDetector.yaml O script do CloudFormation cria o detector de anomalias Lookout for Metrics com sua origem apontando para os dados ativos no bucket do S3 especificado. Para criar o detector, conclua as seguintes etapas:

  1. Inicie a pilha a partir do seguinte link:

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. No Criar pilha página, escolha Próximo.
  2. No Especifique os detalhes da pilha página, forneça as seguintes informações:
    1. Um nome de pilha. Por exemplo, L4MLiveDetector.
    2. O balde S3, <Account Number>-lookoutmetrics-lab.
    3. A função ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
    4. Uma frequência de detecção de anomalias. Escolher PT1H (por hora).
  3. Escolha Próximo.
  4. No Configurar opções de pilha página, deixe tudo como está e escolha Próximo.
  5. No Avaliações página, deixe tudo como está e escolha Criar pilha.

Crie o alerta SMS do detector ao vivo usando o AWS CloudFormation (opcional)

Esta etapa é opcional. O alerta é apresentado como exemplo, sem impacto na criação do conjunto de dados. o L4MLiveDetectorAlert.yaml O script do CloudFormation cria o alerta do detector de anomalias Lookout for Metrics com um destino de SMS.

  1. Inicie a pilha a partir do seguinte link:

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. No Criar pilha página, escolha Próximo.
  2. No Especifique os detalhes da pilha página, atualize o número de telefone SMS e insira um nome para a pilha (por exemplo, L4MLiveDetectorAlert).
  3. Escolha Próximo.
  4. No Configurar opções de pilha página, deixe tudo como está e escolha Próximo.
  5. No Avaliações página, marque a caixa de seleção de confirmação, deixe tudo como está e escolha Criar pilha.

Limpeza de recursos

Antes de prosseguir com a próxima etapa, interrompa a instância do notebook SageMaker para garantir que não haja custos desnecessários. Não é mais necessário.

Crie a função e o alerta do Lambda

Nesta seção, fornecemos instruções sobre como criar sua função e alerta do Lambda por meio do console ou do AWS CloudFormation.

Crie a função e alerte com o console

Você precisa de um Lambda Gerenciamento de acesso e identidade da AWS (IAM) papel seguindo o melhor prática de privilégio mínimo para acessar o bucket onde você deseja que os resultados sejam salvos.

    1. No console do Lambda, crie uma nova função.
    2. Selecionar Autor do zero.
    3. Escolha Nome da funçãoInsira o nome.
    4. Escolha Runtime, escolha Python 3.8.
    5. Escolha Função de execução, selecione Use uma função existente e especifique a função que você criou.
    6. Escolha Criar função.
  1. Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.
    1. Baixar o arquivo ZIP contendo o código necessário para a função Lambda.
    2. No console do Lambda, abra a função.
    3. No Code guia, escolha Carregar de, escolha arquivo .zipe carregue o arquivo que você baixou.
    4. Escolha Salvar.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

Sua árvore de arquivos deve permanecer a mesma após o upload do arquivo ZIP.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. No Camadas seção, escolha Adicionar camada.
  2. Selecionar Especifique um ARN.
  3. No que se segue GitHub repo, escolha o CSV correspondente à região em que você está trabalhando e copie o ARN da versão mais recente do Pandas.
  4. Escolha Especifique um ARN, insira o ARN que você copiou.
  5. Escolha Adicionar.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. Para adaptar a função ao seu ambiente, na parte inferior do código do arquivo lambda_function.py, certifique-se de atualizar o nome do bucket com o bucket em que deseja salvar os resultados da anomalia e o DataSet_ARN do seu detector de anomalias.
  2. Escolha Implantação para ativar as alterações.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

Agora você precisa conectar o detector Lookout for Metrics à sua função.

  1. No console Lookout for Metrics, navegue até seu detector e escolha Adicionar alerta.
  2. Insira o nome do alerta e seu limite de gravidade preferido.
  3. Na lista de canais, escolha Lambda.
  4. Escolha a função que você criou e certifique-se de ter a função certa para acioná-la.
  5. Escolha Adicionar alerta.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

Agora você espera que seu alerta seja acionado. O tempo varia dependendo de quando o detector encontra uma anomalia.

Quando uma anomalia é detectada, o Lookout for Metrics aciona a função Lambda. Ele recebe as informações necessárias do Lookout for Metrics e verifica se já existe um arquivo CSV salvo no Amazon S3 no timestamp correspondente da anomalia. Se não houver um arquivo, o Lambda gera o arquivo e adiciona os dados de anomalia. Se o arquivo já existir, o Lambda atualiza o arquivo com os dados extras recebidos. A função gera um arquivo CSV separado para cada carimbo de data/hora diferente.

Crie a função e o alerta usando o AWS CloudFormation

Semelhante às instruções do console, você baixe o arquivo ZIP contendo o código necessário para a função Lambda. No entanto, nesse caso, ele precisa ser carregado no bucket do S3 para que o código do AWS CloudFormation o carregue durante a criação da função.

No bucket do S3 especificado na criação do detector Lookout for Metrics, crie uma pasta chamada lambda-code e carregue o arquivo ZIP.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

A função Lambda carrega isso como seu código durante a criação.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

A L4MLambdaFunction.yaml O script do CloudFormation cria a função Lambda e recursos de alerta e usa o arquivo de código de função armazenado no mesmo bucket do S3.

  1. Inicie a pilha a partir do seguinte link:

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. No Criar pilha página, escolha Próximo.
  2. No Especifique os detalhes da pilha página, especifique um nome de pilha (por exemplo, L4MLambdaFunction).
  3. No que se segue GitHub repo, abra o CSV correspondente à região em que você está trabalhando e copie o ARN da versão mais recente do Pandas.
  4. Insira o ARN como o parâmetro ARN da camada do Pandas Lambda.
  5. Escolha Próximo.
  6. No Configurar opções de pilha página, deixe tudo como está e escolha Próximo.
  7. No Avaliações página, marque a caixa de seleção de confirmação, deixe tudo como está e escolha Criar pilha.

Ative o detector

Antes de prosseguir para a próxima etapa, você precisa ativar o detector no console.

  1. No console do Lookout for Metrics, escolha Detectores no painel de navegação.
  2. Escolha seu detector recém-criado.
  3. Escolha Ativação, Em seguida, escolha Ativação novamente para confirmar.

A ativação inicializa o detector; é finalizado quando o modelo completa seu ciclo de aprendizado. Isso pode levar até 2 horas.

Preparar os dados para o QuickSight

Antes de concluir esta etapa, dê tempo ao detector para encontrar anomalias. A função Lambda que você criou salva os resultados da anomalia no bucket Lookout for Metrics no anomalyResults diretório. Agora podemos processar esses dados para prepará-los para o QuickSight.

Crie o rastreador do AWS Glue no console

Após a geração de alguns arquivos CSV de anomalia, usamos um rastreador do AWS Glue para gerar as tabelas de metadados.

  1. No console AWS Glue, escolha Rastreadores no painel de navegação.
  2. Escolha Adicionar rastreador.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. Insira um nome para o rastreador (por exemplo, L4MCrawler).
  2. Escolha Próximo.
  3. Escolha Tipo de fonte do rastreador, selecione Armazenamento de dados.
  4. Escolha Repetir rastreamentos de armazenamentos de dados do S3, selecione Rastrear todas as pastas.
  5. Escolha Próximo.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. Na página de configuração do armazenamento de dados, por Dados de rastreamento em, selecione Caminho especificado em minha conta.
  2. Escolha Incluir caminho, insira o caminho do seu dimensionContributions Arquivo (s3://YourBucketName/anomalyResults/dimensionContributions).
  3. Escolha Próximo.
  4. Escolha Sim para adicionar outro armazenamento de dados e repita as instruções para metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
  5. Repita as instruções novamente para que os dados ativos sejam analisados ​​pelo detector de anomalia Lookout for Metrics (este é o local do conjunto de dados S3 do seu detector Lookout for Metrics).

Agora você deve ter três armazenamentos de dados para o rastreador processar.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

Agora você precisa selecionar a função para permitir que o rastreador passe pelos locais do S3 de seus dados.

  1. Para esta postagem, selecione Crie uma função do IAM e digite um nome para a função.
  2. Escolha Próximo.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. Escolha Frequência, deixe como Executar sob demanda e escolha Próximo.
  2. No Configure a saída do rastreador seção, escolha Adicionar banco de dados.

Isso cria o banco de dados Athena onde suas tabelas de metadados estão localizadas após a conclusão do rastreador.

  1. Digite um nome para seu banco de dados e escolha Crie.
  2. Escolha Próximo, Em seguida, escolha Acabamento.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. No Rastreadores página do console do AWS Glue, selecione o crawler que você criou e escolha Executar rastreador.

Pode ser necessário aguardar alguns minutos, dependendo do tamanho dos dados. Quando estiver concluído, o status do rastreador será exibido como Pronto. Para ver as tabelas de metadados, navegue até seu banco de dados no Bases de dados página e escolha Tabelas no painel de navegação.

Neste exemplo, a tabela de metadados chamada live representa o conjunto de dados S3 do detector ativo Lookout for Metrics. Como prática recomendada, é recomendável criptografar os metadados do catálogo de dados do AWS Glue.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

O Athena reconhece automaticamente as tabelas de metadados e o QuickSight usa o Athena para consultar os dados e visualizar os resultados.

Crie o crawler do AWS Glue usando o AWS CloudFormation

A L4MGlueCrawler.yaml O script do CloudFormation cria o rastreador do AWS Glue, sua função do IAM associada e o banco de dados Athena de saída.

  1. Inicie a pilha a partir do seguinte link:

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. No Criar pilha página, escolha Próximo.
  2. No Especifique os detalhes da pilha página, digite um nome para sua pilha (por exemplo, L4MGlueCrawler) e escolha Próximo.
  3. No Configurar opções de pilha página, deixe tudo como está e escolha Próximo.
  4. No Avaliações página, marque a caixa de seleção de confirmação, deixe tudo como está e escolha Criar pilha.

Execute o rastreador do AWS Glue

Depois de criar o rastreador, você precisa executá-lo antes de passar para a próxima etapa. Você pode executá-lo a partir do console ou do Interface de linha de comando da AWS (AWS CLI). Para usar o console, conclua as etapas a seguir:

  1. No console AWS Glue, escolha Rastreadores no painel de navegação.
  2. Selecione seu rastreador (L4MCrawler).
  3. Escolha Executar rastreador.

Quando o rastreador estiver concluído, ele mostrará o status Pronto.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

Criar uma conta QuickSight

Antes de iniciar esta próxima etapa, navegue até o console do QuickSight e crie uma conta, caso ainda não tenha uma. Para garantir que você tenha acesso aos serviços correspondentes (bucket Athena e S3), escolha o nome da sua conta no canto superior direito, escolha Gerenciar QuickSighte escolha Segurança e permissões, onde você pode adicionar os serviços necessários. Ao configurar seu acesso ao Amazon S3, certifique-se de selecionar Permissão de gravação para o Athena Workgroup.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

Agora você está pronto para visualizar seus dados no QuickSight.

Crie os conjuntos de dados do QuickSight no console

Se esta é a primeira vez que você usa o Athena, você precisa configurar o local de saída das consultas. Para obter instruções, consulte as Etapas 1–6 em Crie um banco de dados. Em seguida, conclua as seguintes etapas:

  1. No console QuickSight, escolha Conjuntos de dados.
  2. Escolha Novo conjunto de dados.
  3. Escolha Athena como sua fonte.
  4. Insira um nome para sua fonte de dados.
  5. Escolha Criar fonte de dados.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. Para seu banco de dados, especifique aquele que você criou anteriormente com o rastreador do AWS Glue.
  2. Especifique a tabela que contém seus dados ativos (não as anomalias).
  3. Escolha Editar/visualizar dados.

Você é redirecionado para uma interface semelhante à captura de tela a seguir.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

O próximo passo é adicionar e combinar o metricValue_AnomalyScore dados com os dados ao vivo.

  1. Escolha Adicionar dados.
  2. Escolha Adicionar fonte de dados.
  3. Especifique o banco de dados que você criou e o metricValue_AnomalyScore tabela.
  4. Escolha Selecionar.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

Agora você precisa configurar a junção das duas tabelas.

  1. Escolha o link entre as duas tabelas.
  2. Deixe o tipo de junção como Esquerdo, adicione o carimbo de data/hora e cada dimensão que você tem como uma cláusula de junção e escolha Aplicar.

No exemplo a seguir, usamos timestamp, platform e marketplace como cláusulas de junção.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

No painel direito, você pode remover os campos que não deseja manter.

  1. Remova o carimbo de data/hora do metricValue_AnomalyScore tabela para não ter uma coluna duplicada.
  2. Altere o tipo de dados de carimbo de data/hora (da tabela de dados ao vivo) de string para data e especifique o formato. No nosso caso, deve ser yyyy-MM-dd HH:mm:ss.

A captura de tela a seguir mostra sua visualização após remover alguns campos e ajustar o tipo de dados.

imagem

  1. Escolha Salve e visualize.
  2. Escolha o ícone de lápis ao lado do conjunto de dados.
  3. Escolha Adicionar conjunto de dados e escolha dimensioncontributions.

Crie os conjuntos de dados do QuickSight usando o AWS CloudFormation

Esta etapa contém três pilhas do CloudFormation.

O primeiro script do CloudFormation, L4MQuickSightDataSource.yaml, cria a fonte de dados QuickSight Athena.

  1. Inicie a pilha a partir do seguinte link:

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. No Criar pilha página, escolha Próximo.
  2. No Especifique os detalhes da pilha página, insira seu nome de usuário QuickSight, a região da conta QuickSight (especificada ao criar a conta QuickSight) e um nome de pilha (por exemplo, L4MQuickSightDataSource).
  3. Escolha Próximo.
  4. No Configurar opções de pilha página, deixe tudo como está e escolha Próximo.
  5. No Avaliações página, deixe tudo como está e escolha Criar pilha.

O segundo script do CloudFormation, L4MQuickSightDataSet1.yaml, cria um conjunto de dados do QuickSight que une a tabela de dimensões à tabela de anomalias.

  1. Inicie a pilha a partir do seguinte link:

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. No Criar pilha página, escolha Próximo.
  2. No Especifique os detalhes da pilha, insira um nome de pilha (por exemplo, L4MQuickSightDataSet1).
  3. Escolha Próximo.
  4. No Configurar opções de pilha página, deixe tudo como está e escolha Próximo.
  5. No Avaliações página, deixe tudo como está e escolha Criar pilha.

O terceiro script do CloudFormation, L4MQuickSightDataSet2.yaml, cria o conjunto de dados do QuickSight que une a tabela de anomalias à tabela de dados ativa.

  1. Inicie a pilha a partir do seguinte link:

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. No Criar página de pilha¸ escolher Próximo.
  2. No Especifique os detalhes da pilha página, insira um nome de pilha (por exemplo, L4MQuickSightDataSet2).
  3. Escolha Próximo.
  4. No Configurar opções de pilha página, deixe tudo como está e escolha Próximo.
  5. No Avaliações página, deixe tudo como está e escolha Criar pilha.

Crie a análise do QuickSight para a criação do painel

Esta etapa só pode ser concluída no console. Depois de criar seus conjuntos de dados do QuickSight, conclua as etapas a seguir:

  1. No console QuickSight, escolha Análise no painel de navegação.
  2. Escolha Nova análise.
  3. Escolha o primeiro conjunto de dados, L4MQuickSightDataSetWithLiveData.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

  1. Escolha Criar análise.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

A análise do QuickSight é criada inicialmente apenas com o primeiro conjunto de dados.

  1. Para adicionar o segundo conjunto de dados, escolha o ícone de lápis ao lado de Conjunto de dados e escolha Adicionar conjunto de dados.
  2. Escolha o segundo conjunto de dados e escolha Selecionar.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

Você pode usar qualquer conjunto de dados para criar gráficos selecionando-o na Conjunto de dados menu suspenso.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

Métricas do conjunto de dados

Você criou com sucesso uma análise do QuickSight a partir dos resultados de inferência do Lookout for Metrics e dos dados ao vivo. Dois conjuntos de dados estão no QuickSight para você usar: L4M_Visualization_dataset_with_liveData e L4M_Visualization_dataset_with_dimensionContribution.

A L4M_Visualization_dataset_with_liveData conjunto de dados inclui as seguintes métricas:

  • timestamp – A data e hora dos dados ao vivo passados ​​para Lookout for Metrics
  • visualizações – O valor da métrica de visualizações
  • receita – O valor da métrica de receita
  • plataforma, mercado, receitaAnomalyMetricValue, viewsAnomalyMetricValue, receitaGroupScore e viewsGroupScore – Essas métricas fazem parte de ambos os conjuntos de dados

A L4M_Visualization_dataset_with_dimensionContribution conjunto de dados inclui as seguintes métricas:

  • timestamp – A data e hora em que a anomalia foi detectada
  • métricaName – As métricas que você está monitorando
  • dimensãoNome – A dimensão dentro da métrica
  • dimensãoValor – O valor da dimensão
  • valorContribuição – A porcentagem de quanto dimensionValue está afetando a anomalia quando detectada

A captura de tela a seguir mostra essas cinco métricas no painel de anomalias do detector Lookout for Metrics.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

As seguintes métricas fazem parte de ambos os conjuntos de dados:

  • plataforma – A plataforma onde a anomalia aconteceu
  • marketplace – O mercado onde a anomalia aconteceu
  • RevenueAnomalyMetricValue e viewsAnomalyMetricValue – Os valores correspondentes da métrica quando a anomalia foi detectada (nessa situação, as métricas são receita ou visualizações)
  • receitaGroupScore e visualizaçõesGroupScore – As pontuações de gravidade para cada métrica para a anomalia detectada

Para entender melhor essas últimas métricas, você pode revisar os arquivos CSV criados pela função Lambda em seu bucket do S3 onde você salvou anomalyResults/metricValue_AnomalyScore.

Próximos passos

A próxima etapa é criar os painéis para os dados que você deseja ver. Esta postagem não inclui uma explicação sobre a criação de gráficos QuickSight. Se você é novo no QuickSight, consulte Conceitos básicos da análise de dados no Amazon QuickSight para uma introdução. As capturas de tela a seguir mostram exemplos de painéis básicos. Para mais informações, confira o Oficinas do QuickSight.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.

Conclusão

As anomalias são apresentadas individualmente no console Lookout for Metrics, cada uma com seu próprio gráfico, dificultando a visualização do conjunto como um todo. Uma solução automatizada e integrada é necessária para uma análise mais profunda. Neste post, usamos um detector Lookout for Metrics para gerar anomalias e conectamos os dados ao QuickSight para criar visualizações. Essa solução nos permite realizar análises mais profundas de anomalias e tê-las todas em um único local/painel.

Como próxima etapa, essa solução também pode ser expandida adicionando um conjunto de dados extra e combinando anomalias de vários detectores. Você também pode adaptar a função Lambda. A função Lambda contém o código que gera os conjuntos de dados e nomes de variáveis ​​que usamos para os painéis do QuickSight. Você pode adaptar esse código ao seu caso de uso específico alterando os próprios conjuntos de dados ou os nomes das variáveis ​​que fazem mais sentido para você.

Se você tiver algum comentário ou dúvida, por favor, deixe-os nos comentários.


Sobre os autores

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.Benoît de Patoul é arquiteto de soluções especialista em IA/ML na AWS. Ele ajuda os clientes fornecendo orientação e assistência técnica para criar soluções relacionadas a IA/ML ao usar a AWS.

Visualize os resultados de anomalias do Amazon Lookout for Metrics com o Amazon QuickSight PlatoBlockchain Data Intelligence. Pesquisa Vertical. Ai.Paulo Troiano é arquiteto de soluções sênior na AWS, com sede em Atlanta, GA. Ele ajuda os clientes fornecendo orientação sobre estratégias e soluções de tecnologia na AWS. Ele é apaixonado por todas as coisas de IA/ML e automação de soluções.

Carimbo de hora:

Mais de Aprendizado de máquina da AWS