Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight

En af de udfordringer, som teams støder på Amazon Lookout for Metrics forbinder det hurtigt og effektivt med datavisualisering. Anomalierne præsenteres individuelt på Lookout for Metrics-konsollen, hver med deres egen graf, hvilket gør det vanskeligt at se sættet som en helhed. En automatiseret, integreret løsning er nødvendig for en dybere analyse.

I dette indlæg bruger vi en Lookout for Metrics live-detektor bygget efter Kom godt i gang sektion fra AWS-eksempler, Amazon Lookout for Metrics GitHub repo. Efter at detektoren er aktiv, og der er genereret uregelmæssigheder fra datasættet, forbinder vi Lookout for Metrics til Amazon QuickSight. Vi opretter to datasæt: et ved at forbinde dimensionstabellen med anomalitabellen, og et andet ved at forbinde anomalitabellen med de levende data. Vi kan derefter tilføje disse to datasæt til en QuickSight-analyse, hvor vi kan tilføje diagrammer i et enkelt dashboard.

Vi kan levere to typer data til Lookout for Metrics-detektoren: kontinuerlig og historisk. Det AWS prøver GitHub repo tilbyder begge dele, selvom vi fokuserer på de kontinuerlige live data. Detektoren overvåger disse live-data for at identificere uregelmæssigheder og skriver uregelmæssighederne til Amazon Simple Storage Service (Amazon S3), som de er genereret. Ved slutningen af ​​et specificeret interval analyserer detektoren dataene. Over tid lærer detektoren mere præcist at identificere uregelmæssigheder baseret på mønstre, den finder.

Lookout for Metrics bruger maskinlæring (ML) til automatisk at opdage og diagnosticere uregelmæssigheder i forretnings- og driftsdata, såsom et pludseligt fald i salgsindtægter eller kundeanskaffelsesrater. Tjenesten er nu generelt tilgængelig fra den 25. marts 2021. Den inspicerer og forbereder automatisk data fra en række forskellige kilder for at detektere uregelmæssigheder med større hastighed og nøjagtighed end traditionelle metoder, der bruges til afsløring af uregelmæssigheder. Du kan også give feedback om opdagede uregelmæssigheder for at justere resultaterne og forbedre nøjagtigheden over tid. Lookout for Metrics gør det nemt at diagnosticere opdagede uregelmæssigheder ved at gruppere uregelmæssigheder relateret til den samme hændelse og sende en advarsel, der inkluderer en oversigt over den potentielle årsag. Den rangerer også uregelmæssigheder i rækkefølge efter sværhedsgrad, så du kan prioritere din opmærksomhed til det, der betyder mest for din virksomhed.

QuickSight er en fuldt administreret, cloud-native business intelligence (BI)-tjeneste, der gør det nemt at oprette forbindelse til dine data for at oprette og udgive interaktive dashboards. Derudover kan du bruge Amazon QuickSight for at få øjeblikkelige svar gennem naturlige sprogforespørgsler.

Du kan få adgang til serverløse, meget skalerbare QuickSight-dashboards fra enhver enhed og integrere dem problemfrit i dine applikationer, portaler og websteder. Følgende skærmbillede er et eksempel på, hvad du kan opnå ved slutningen af ​​dette indlæg.

Oversigt over løsning

Løsningen er en kombination af AWS-tjenester, primært Lookout for Metrics, QuickSight, AWS Lambda, Amazonas Athena, AWS Lim, og Amazon S3.

Følgende diagram illustrerer løsningsarkitekturen. Lookout for Metrics registrerer og sender uregelmæssighederne til Lambda via en alarm. Lambda-funktionen genererer anomaliresultaterne som CSV-filer og gemmer dem i Amazon S3. En AWS Glue-crawler analyserer metadataene og opretter tabeller i Athena. QuickSight bruger Athena til at forespørge Amazon S3-dataene, hvilket gør det muligt at bygge dashboards til at visualisere både anomaliresultaterne og livedataene.

Løsningsarkitektur

Denne løsning udvider de ressourcer, der er skabt i Kom godt i gang sektion af GitHub-repoen. For hvert trin inkluderer vi muligheder for at oprette ressourcerne enten ved hjælp af AWS Management Console eller lancering af den medfølgende AWS CloudFormation stak. Hvis du har en tilpasset Lookout for Metrics-detektor, kan du bruge den og tilpasse den på følgende måde notesbog at opnå de samme resultater.

Implementeringstrinene er som følger:

  1. Opret Amazon SageMaker notesbog forekomst (ALFMTestNotebook) og notebooks ved hjælp af stakken, der findes i Første opsætning sektion fra GitHub repo.
  2. Åbn notebook-forekomsten på SageMaker-konsollen og naviger til amazon-lookout-for-metrics-samples/getting_started mappe.
  3. Opret S3-bøtten og fuldfør dataforberedelsen ved hjælp af den første notesbog (1.PrereqSetupData.ipynb). Åbn notesbogen med conda_python3 kerne, hvis du bliver bedt om det.

Vi springer det andet over notesbog fordi det er fokuseret på backtesting af data.

  1. Hvis du går gennem eksemplet ved hjælp af konsollen, skal du oprette Lookout for Metrics live-detektor og dens advarsel ved hjælp af den tredje notesbog (3.GettingStartedWithLiveData.ipynb).

Hvis du bruger de medfølgende CloudFormation-stakke, er den tredje notesbog ikke påkrævet. Detektoren og dens alarm oprettes som en del af stakken.

  1. Når du har oprettet Lookout for Metrics live-detektor, skal du aktivere den fra konsollen.

Det kan tage op til 2 timer at initialisere modellen og opdage uregelmæssigheder.

  1. Implementer en Lambda-funktion ved hjælp af Python med et Pandas-bibliotekslag, og opret en advarsel knyttet til live-detektoren for at starte den.
  2. Brug kombinationen af ​​Athena og AWS Glue til at opdage og forberede dataene til QuickSight.
  3. Opret QuickSight-datakilden og datasæt.
  4. Til sidst skal du oprette en QuickSight-analyse til visualisering ved hjælp af datasættene.

CloudFormation-scripts køres typisk som et sæt indlejrede stakke i et produktionsmiljø. De er givet individuelt i dette indlæg for at lette en trin-for-trin gennemgang.

Forudsætninger

For at gennemgå denne gennemgang skal du have en AWS-konto, hvor løsningen vil blive implementeret. Sørg for, at alle de ressourcer, du implementerer, er i samme region. Du har brug for en kørende Lookout for Metrics-detektor bygget af notebooks 1 og 3 fra GitHub repo. Hvis du ikke har en kørende Lookout for Metrics-detektor, har du to muligheder:

  • Kør notesbøger 1 og 3, og fortsæt fra trin 1 i dette indlæg (opretter Lambda-funktionen og advarslen)
  • Kør notesbog 1, og brug derefter CloudFormation-skabelonen til at generere Lookout for Metrics-detektoren

Opret live-detektoren ved hjælp af AWS CloudFormation

L4MLiveDetector.yaml CloudFormation-scriptet opretter Lookout for Metrics-anomalidetektoren, hvor kilden peger på de live-data i den angivne S3-bøtte. Udfør følgende trin for at oprette detektoren:

  1. Start stakken fra følgende link:

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. Opret stak side, vælg Næste.
  2. Angiv stakdetaljer side, skal du angive følgende oplysninger:
    1. Et staknavn. For eksempel, L4MLiveDetector.
    2. S3 spanden, <Account Number>-lookoutmetrics-lab.
    3. Rollen ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
    4. En anomali detektionsfrekvens. Vælge PT1H (hver time).
  3. Vælg Næste.
  4. Konfigurer stakindstillinger side, lad alt være som det er og vælg Næste.
  5. anmeldelse side, lad alt være som det er og vælg Opret stak.

Opret livedetektorens SMS-alarm ved hjælp af AWS CloudFormation (valgfrit)

Dette trin er valgfrit. Advarslen præsenteres som et eksempel uden indvirkning på datasættets oprettelse. Det L4MLiveDetectorAlert.yaml CloudFormation-scriptet opretter Lookout for Metrics-anomalidetektoralarm med et SMS-mål.

  1. Start stakken fra følgende link:

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. Opret stak side, vælg Næste.
  2. Angiv stakdetaljer side, skal du opdatere SMS-telefonnummeret og indtaste et navn til stakken (f.eks. L4MLiveDetectorAlert).
  3. Vælg Næste.
  4. Konfigurer stakindstillinger side, lad alt være som det er og vælg Næste.
  5. anmeldelse side, marker afkrydsningsfeltet for bekræftelse, lad alt andet være som det er, og vælg Opret stak.

Ressourceoprydning

Før du fortsætter med næste trin, skal du stoppe din SageMaker notebook-instans for at sikre, at der ikke påløber unødvendige omkostninger. Det er ikke længere nødvendigt.

Opret Lambda-funktionen og advar

I dette afsnit giver vi instruktioner om oprettelse af din Lambda-funktion og alarm via konsollen eller AWS CloudFormation.

Opret funktionen og advars med konsollen

Du skal bruge en Lambda AWS identitets- og adgangsstyring (JEG ER) rolle efter mindst privilegeret bedste praksis for at få adgang til den bøtte, hvor du ønsker, at resultaterne skal gemmes.

    1. Opret en ny funktion på Lambda-konsollen.
    2. Type Forfatter fra bunden.
    3. Til Funktionsnavn¸ indtast et navn.
    4. Til Runtime, vælg Python 3.8.
    5. Til Udførelsesrolle, Vælg Brug en eksisterende rolle og angiv den rolle, du har oprettet.
    6. Vælg Opret funktion.
  1. Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.
    1. Hent ZIP-filen, der indeholder den nødvendige kode til Lambda-funktionen.
    2. Åbn funktionen på Lambda-konsollen.
    3. Kode fanebladet, vælg Upload fra, vælg .zip-fil, og upload den fil, du downloadede.
    4. Vælg Gem.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Dit filtræ skal forblive det samme efter upload af ZIP-filen.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. I Lag sektion, skal du vælge Tilføj lag.
  2. Type Angiv et ARN.
  3. I det følgende GitHub repo, vælg den CSV, der svarer til den region, du arbejder i, og kopier ARN fra den seneste Pandas-version.
  4. Til Angiv et ARN, indtast det ARN, du kopierede.
  5. Vælg Tilføj.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. For at tilpasse funktionen til dit miljø, skal du nederst i koden fra filen lambda_function.py sørge for at opdatere bucket-navnet med din bucket, hvor du vil gemme uregelmæssighedsresultaterne, og DataSet_ARN fra din anomalidetektor.
  2. Vælg Implementer for at gøre ændringerne aktive.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Du skal nu tilslutte Lookout for Metrics-detektoren til din funktion.

  1. På Lookout for Metrics-konsollen skal du navigere til din detektor og vælge Tilføj advarsel.
  2. Indtast advarselsnavnet og din foretrukne sværhedsgrad.
  3. Vælg fra kanallisten Lambda.
  4. Vælg den funktion, du har oprettet, og sørg for, at du har den rigtige rolle til at udløse den.
  5. Vælg Tilføj advarsel.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Nu venter du på, at din alarm udløses. Tiden varierer afhængigt af, hvornår detektoren finder en anomali.

Når der registreres en anomali, udløser Lookout for Metrics Lambda-funktionen. Den modtager de nødvendige oplysninger fra Lookout for Metrics og kontrollerer, om der allerede er en gemt CSV-fil i Amazon S3 på det tilsvarende tidsstempel for anomalien. Hvis der ikke er en fil, genererer Lambda filen og tilføjer anomalidataene. Hvis filen allerede eksisterer, opdaterer Lambda filen med de modtagne ekstra data. Funktionen genererer en adskilt CSV-fil for hvert forskelligt tidsstempel.

Opret funktionen og advars ved hjælp af AWS CloudFormation

I lighed med konsolinstruktionerne, du download ZIP-filen indeholdende den nødvendige kode til Lambda-funktionen. I dette tilfælde skal den dog uploades til S3-bøtten, for at AWS CloudFormation-koden kan indlæse den under funktionsoprettelse.

I den S3-bøtte, der er angivet i oprettelsen af ​​Lookout for Metrics-detektor, skal du oprette en mappe kaldet lambda-code, og uploade ZIP-filen.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Lambda-funktionen indlæser dette som sin kode under oprettelsen.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

L4MLambdaFunction.yaml CloudFormation-scriptet opretter Lambda-funktionen og advarselsressourcer og bruger funktionskodearkivet, der er gemt i den samme S3-bøtte.

  1. Start stakken fra følgende link:

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. Opret stak side, vælg Næste.
  2. Angiv stakdetaljer side, skal du angive et staknavn (f.eks. L4MLambdaFunction).
  3. I det følgende GitHub repo, skal du åbne den CSV, der svarer til den region, du arbejder i, og kopiere ARN'et fra den seneste Pandas-version.
  4. Indtast ARN som Pandas Lambda layer ARN parameter.
  5. Vælg Næste.
  6. Konfigurer stakindstillinger side, lad alt være som det er og vælg Næste.
  7. anmeldelse side, marker afkrydsningsfeltet for bekræftelse, lad alt andet være som det er, og vælg Opret stak.

Aktiver detektoren

Før du fortsætter til næste trin, skal du aktivere detektoren fra konsollen.

  1. På Lookout for Metrics-konsollen skal du vælge Detektorer i navigationsruden.
  2. Vælg din nyoprettede detektor.
  3. Vælg Aktivere, Og vælg derefter Aktivere igen for at bekræfte.

Aktivering initialiserer detektoren; den er færdig, når modellen har afsluttet sin indlæringscyklus. Dette kan tage op til 2 timer.

Forbered dataene til QuickSight

Før du fuldfører dette trin, skal du give detektoren tid til at finde uregelmæssigheder. Lambda-funktionen, du oprettede, gemmer uregelmæssighederne i Lookout for Metrics-bøtten i anomalyResults vejviser. Vi kan nu behandle disse data for at forberede dem til QuickSight.

Opret AWS Glue-crawleren på konsollen

Efter at nogle uregelmæssige CSV-filer er blevet genereret, bruger vi en AWS Glue-crawler til at generere metadatatabellerne.

  1. På AWS Glue-konsollen skal du vælge Crawlere i navigationsruden.
  2. Vælg Tilføj crawler.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. Indtast et navn til webcrawleren (f.eks. L4MCrawler).
  2. Vælg Næste.
  3. Til Crawler-kildetype, Vælg Datalagre.
  4. Til Gentag gennemgange af S3-datalagre, Vælg Gennemgå alle mapper.
  5. Vælg Næste.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. På datalagerets konfigurationsside, for Gennemgå data ind, Vælg Angivet sti på min konto.
  2. Til Inkluder sti, indtast stien til din dimensionContributions fil (s3://YourBucketName/anomalyResults/dimensionContributions).
  3. Vælg Næste.
  4. Vælg Ja for at tilføje et andet datalager og gentage instruktionerne for metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
  5. Gentag instruktionerne igen for de live-data, der skal analyseres af Lookout for Metrics-anomalidetektoren (dette er S3-datasættets placering fra din Lookout for Metrics-detektor).

Du skulle nu have tre datalagre, som webcrawleren kan behandle.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Nu skal du vælge rollen for at tillade crawleren at gå gennem S3-placeringerne af dine data.

  1. For dette indlæg skal du vælge Opret en IAM-rolle og indtast et navn til rollen.
  2. Vælg Næste.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. Til Frekvens, lad være som Kør efter behov Og vælg Næste.
  2. I Konfigurer webcrawlerens output sektion, skal du vælge Tilføj database.

Dette opretter Athena-databasen, hvor dine metadatatabeller er placeret, efter at crawleren er færdig.

  1. Indtast et navn til din database og vælg Opret.
  2. Vælg Næste, Og vælg derefter Finish.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. Crawlere siden på AWS Glue-konsollen, vælg den webcrawler, du har oprettet, og vælg Kør crawler.

Du skal muligvis vente et par minutter, afhængigt af størrelsen af ​​dataene. Når den er færdig, vises webcrawlerens status som Ready. For at se metadatatabellerne skal du navigere til din database på Databaser side og vælg tabeller i navigationsruden.

I dette eksempel repræsenterer metadatatabellen kaldet live S3-datasættet fra Lookout for Metrics live-detektor. Som en bedste praksis anbefales det at krypter dine AWS Glue Data Catalog-metadata.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Athena genkender automatisk metadatatabellerne, og QuickSight bruger Athena til at forespørge dataene og visualisere resultaterne.

Opret AWS Glue-crawleren ved hjælp af AWS CloudFormation

L4MGlueCrawler.yaml CloudFormation-scriptet opretter AWS Glue-crawleren, dens tilknyttede IAM-rolle og output-Athena-databasen.

  1. Start stakken fra følgende link:

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. Opret stak side, vælg Næste.
  2. Angiv stakdetaljer side, skal du indtaste et navn til din stak (f.eks. L4MGlueCrawler), og vælg Næste.
  3. Konfigurer stakindstillinger side, lad alt være som det er og vælg Næste.
  4. anmeldelse side, marker afkrydsningsfeltet for bekræftelse, lad alt andet være som det er, og vælg Opret stak.

Kør AWS Glue-crawleren

Når du har oprettet webcrawleren, skal du køre den, før du går videre til næste trin. Du kan køre det fra konsollen eller AWS kommandolinjegrænseflade (AWS CLI). For at bruge konsollen skal du udføre følgende trin:

  1. På AWS Glue-konsollen skal du vælge Crawlere i navigationsruden.
  2. Vælg din webcrawler (L4MCrawler).
  3. Vælg Kør crawler.

Når webcrawleren er færdig, viser den status Ready.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Opret en QuickSight-konto

Før du starter dette næste trin, skal du navigere til QuickSight-konsollen og oprette en konto, hvis du ikke allerede har en. For at sikre, at du har adgang til de tilsvarende tjenester (Athena og S3 bucket), skal du vælge dit kontonavn øverst til højre, vælge Administrer QuickSight, og vælg Sikkerhed og tilladelser, hvor du kan tilføje de nødvendige tjenester. Når du konfigurerer din Amazon S3-adgang, skal du sørge for at vælge Skrivetilladelse til Athena Workgroup.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Nu er du klar til at visualisere dine data i QuickSight.

Opret QuickSight-datasættene på konsollen

Hvis det er første gang, du bruger Athena, skal du konfigurere outputplaceringen for forespørgslerne. For instruktioner henvises til trin 1-6 i Opret en database. Udfør derefter følgende trin:

  1. Vælg på QuickSight-konsollen datasæt.
  2. Vælg Nyt datasæt.
  3. Vælg Athena som din kilde.
  4. Indtast et navn til din datakilde.
  5. Vælg Opret datakilde.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. For din database skal du angive den, du oprettede tidligere med AWS Glue-crawleren.
  2. Angiv den tabel, der indeholder dine livedata (ikke uregelmæssighederne).
  3. Vælg Rediger/se forhåndsvisning af data.

Du bliver omdirigeret til en grænseflade, der ligner det følgende skærmbillede.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Det næste trin er at tilføje og kombinere metricValue_AnomalyScore data med live data.

  1. Vælg Tilføj data.
  2. Vælg Tilføj datakilde.
  3. Angiv den database, du har oprettet, og metricValue_AnomalyScore tabel.
  4. Vælg Type.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Du skal nu konfigurere sammenføjningen af ​​de to tabeller.

  1. Vælg linket mellem de to tabeller.
  2. Lad jointypen være som Venstre, tilføj tidsstemplet og hver dimension, du har som en join-klausul, og vælg Indløs.

I det følgende eksempel bruger vi tidsstempel, platform og markedsplads som join-klausuler.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

I højre rude kan du fjerne de felter, du ikke er interesseret i at beholde.

  1. Fjern tidsstemplet fra metricValue_AnomalyScore tabel for ikke at have en duplikeret kolonne.
  2. Skift tidsstemplets datatype (af livedatatabellen) fra streng til dato, og angiv den korrekte format. I vores tilfælde burde det være det yyyy-MM-dd HH:mm:ss.

Følgende skærmbillede viser din visning, efter du har fjernet nogle felter og justeret datatypen.

billede

  1. Vælg Gem og visualiser.
  2. Vælg blyantikonet ved siden af ​​datasættet.
  3. Vælg Tilføj datasæt Og vælg dimensioncontributions.

Opret QuickSight-datasæt ved hjælp af AWS CloudFormation

Dette trin indeholder tre CloudFormation stakke.

Det første CloudFormation-script, L4MQuickSightDataSource.yaml, opretter QuickSight Athena-datakilden.

  1. Start stakken fra følgende link:

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. Opret stak side, vælg Næste.
  2. Angiv stakdetaljer side, skal du indtaste dit QuickSight-brugernavn, QuickSight-kontoregionen (angivet ved oprettelse af QuickSight-kontoen) og et staknavn (f.eks. L4MQuickSightDataSource).
  3. Vælg Næste.
  4. Konfigurer stakindstillinger side, lad alt være som det er og vælg Næste.
  5. anmeldelse side, lad alt være som det er og vælg Opret stak.

Det andet CloudFormation-script, L4MQuickSightDataSet1.yaml, opretter et QuickSight-datasæt, der forbinder dimensionstabellen med anomalitabellen.

  1. Start stakken fra følgende link:

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. Opret stak side, vælg Næste.
  2. Angiv stakdetaljer, indtast et staknavn (f.eks. L4MQuickSightDataSet1).
  3. Vælg Næste.
  4. Konfigurer stakindstillinger side, lad alt være som det er og vælg Næste.
  5. anmeldelse side, lad alt være som det er og vælg Opret stak.

Det tredje CloudFormation-script, L4MQuickSightDataSet2.yaml, opretter QuickSight-datasættet, der forbinder anomalitabellen med livedatatabellen.

  1. Start stakken fra følgende link:

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. Opret stakside¸ vælg Næste.
  2. Angiv stakdetaljer side, skal du indtaste et staknavn (f.eks. L4MQuickSightDataSet2).
  3. Vælg Næste.
  4. Konfigurer stakindstillinger side, lad alt være som det er og vælg Næste.
  5. anmeldelse side, lad alt være som det er og vælg Opret stak.

Opret QuickSight-analysen til oprettelse af dashboard

Dette trin kan kun udføres på konsollen. Når du har oprettet dine QuickSight-datasæt, skal du udføre følgende trin:

  1. Vælg på QuickSight-konsollen Analyse i navigationsruden.
  2. Vælg Ny analyse.
  3. Vælg det første datasæt, L4MQuickSightDataSetWithLiveData.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

  1. Vælg Lav analyse.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

QuickSight-analysen oprettes i første omgang kun med det første datasæt.

  1. For at tilføje det andet datasæt skal du vælge blyantikonet ved siden af datasæt Og vælg Tilføj datasæt.
  2. Vælg det andet datasæt og vælg Type.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Du kan derefter bruge begge datasæt til at oprette diagrammer ved at vælge det på datasæt Drop down menu.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Datasæt-metrics

Du har med succes oprettet en QuickSight-analyse fra Lookout for Metrics-slutningsresultater og livedataene. Der er to datasæt i QuickSight, som du kan bruge: L4M_Visualization_dataset_with_liveData , L4M_Visualization_dataset_with_dimensionContribution.

L4M_Visualization_dataset_with_liveData datasættet indeholder følgende metrics:

  • tidsstempel – Datoen og klokkeslættet for de live-data, der blev sendt til Lookout for Metrics
  • visninger – Værdien af ​​visningsmetrikken
  • indtægter – Værdien af ​​indtægtsmetrikken
  • platform, markedsplads, revenueAnomalyMetricValue, viewsAnomalyMetricValue, revenueGroupScore og viewsGroupScore – Disse målinger er en del af begge datasæt

L4M_Visualization_dataset_with_dimensionContribution datasættet indeholder følgende metrics:

  • tidsstempel – Datoen og klokkeslættet for, hvornår anomalien blev opdaget
  • metricName – De målinger, du overvåger
  • dimensionsnavn – Dimensionen inden for metrikken
  • dimensionVærdi – Værdien af ​​dimensionen
  • værdi Bidrag – Procentdelen af, hvor meget dimensionValue, der påvirker anomalien, når den opdages

Følgende skærmbillede viser disse fem metrics på anomali-dashboardet i Lookout for Metrics-detektoren.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Følgende metrics er en del af begge datasæt:

  • perron – Platformen, hvor uregelmæssigheden skete
  • markedsplads – Markedspladsen, hvor uregelmæssigheden skete
  • revenueAnomalyMetricValue og viewsAnomalyMetricValue – De tilsvarende værdier af metrikken, da uregelmæssigheden blev opdaget (i denne situation er metrikken omsætning eller visninger)
  • revenueGroupScore og viewsGroupScore – Alvorlighedsscorerne for hver metrik for den detekterede anomali

For bedre at forstå disse sidste metrics kan du gennemgå de CSV-filer, der er oprettet af Lambda-funktionen i din S3-bøtte, hvor du gemte anomalyResults/metricValue_AnomalyScore.

Næste skridt

Det næste trin er at bygge dashboards til de data, du ønsker at se. Dette indlæg indeholder ikke en forklaring på oprettelse af QuickSight-diagrammer. Hvis du er ny til QuickSight, se Kom godt i gang med dataanalyse i Amazon QuickSight til en introduktion. Følgende skærmbilleder viser eksempler på grundlæggende dashboards. For mere information, tjek QuickSight workshops.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Konklusion

Anomalierne præsenteres individuelt på Lookout for Metrics-konsollen, hver med deres egen graf, hvilket gør det vanskeligt at se sættet som en helhed. En automatiseret, integreret løsning er nødvendig for en dybere analyse. I dette indlæg brugte vi en Lookout for Metrics-detektor til at generere uregelmæssigheder og koblede dataene til QuickSight for at skabe visualiseringer. Denne løsning gør det muligt for os at foretage en dybere analyse af uregelmæssigheder og have dem alle på ét sted/dashboard.

Som et næste skridt kunne denne løsning lige så godt udvides ved at tilføje et ekstra datasæt og kombinere uregelmæssigheder fra flere detektorer. Du kan også tilpasse Lambda-funktionen. Lambda-funktionen indeholder koden, der genererer de datasæt og variabelnavne, som vi bruger til QuickSight-dashboards. Du kan tilpasse denne kode til din særlige brugssituation ved at ændre selve datasættene eller variabelnavnene, der giver mere mening for dig.

Hvis du har feedback eller spørgsmål, bedes du efterlade dem i kommentarerne.


Om forfatterne

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.Benoît de Patoul er AI/ML Specialist Solutions Architect hos AWS. Han hjælper kunder ved at give vejledning og teknisk assistance til at bygge løsninger relateret til AI/ML, når man bruger AWS.

Visualiser dine Amazon Lookout for Metrics-anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Lodret søgning. Ai.Paul Troiano er Senior Solutions Architect hos AWS, baseret i Atlanta, GA. Han hjælper kunder ved at give vejledning om teknologistrategier og løsninger på AWS. Han brænder for alt inden for AI/ML og løsningsautomatisering.

Tidsstempel:

Mere fra AWS maskinindlæring