Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight

En av utfordringene team møter ved bruk av Amazon Lookout for metrics kobler den raskt og effektivt til datavisualisering. Uregelmessighetene presenteres individuelt på Lookout for Metrics-konsollen, hver med sin egen graf, noe som gjør det vanskelig å se settet som en helhet. En automatisert, integrert løsning er nødvendig for dypere analyse.

I dette innlegget bruker vi en Lookout for Metrics live-detektor bygget etter Komme i gang seksjon fra AWS Samples, Amazon Lookout for Metrics GitHub repo. Etter at detektoren er aktiv og uregelmessigheter er generert fra datasettet, kobler vi Lookout for Metrics til Amazon QuickSight. Vi lager to datasett: ett ved å slå sammen dimensjonstabellen med anomalitabellen, og et annet ved å slå sammen anomalitabellen med live data. Vi kan deretter legge til disse to datasettene i en QuickSight-analyse, hvor vi kan legge til diagrammer i et enkelt dashbord.

Vi kan gi to typer data til Lookout for Metrics-detektoren: kontinuerlig og historisk. De AWS prøver GitHub repo tilbyr begge deler, selv om vi fokuserer på kontinuerlig live-data. Detektoren overvåker disse live-dataene for å identifisere uregelmessigheter og skriver uregelmessighetene til Amazon enkel lagringstjeneste (Amazon S3) etter hvert som de genereres. Ved slutten av et spesifisert intervall analyserer detektoren dataene. Over tid lærer detektoren å identifisere anomalier mer nøyaktig basert på mønstre den finner.

Lookout for Metrics bruker maskinlæring (ML) for automatisk å oppdage og diagnostisere uregelmessigheter i forretnings- og driftsdata, for eksempel et plutselig fall i salgsinntekter eller kundeanskaffelsesrater. Tjenesten er nå generelt tilgjengelig fra og med 25. mars 2021. Den inspiserer og klargjør automatisk data fra en rekke kilder for å oppdage uregelmessigheter med større hastighet og nøyaktighet enn tradisjonelle metoder som brukes for avviksdeteksjon. Du kan også gi tilbakemelding på oppdagede anomalier for å justere resultatene og forbedre nøyaktigheten over tid. Lookout for Metrics gjør det enkelt å diagnostisere oppdagede anomalier ved å gruppere sammen anomalier relatert til samme hendelse og sende et varsel som inkluderer et sammendrag av den potensielle grunnårsaken. Den rangerer også uregelmessigheter i alvorlighetsrekkefølge, slik at du kan prioritere oppmerksomheten din til det som betyr mest for virksomheten din.

QuickSight er en fullstendig administrert, cloud-native business intelligence (BI)-tjeneste som gjør det enkelt å koble til dataene dine for å lage og publisere interaktive dashboards. I tillegg kan du bruke Amazon QuickSight for å få umiddelbare svar gjennom spørsmål med naturlig språk.

Du kan få tilgang til serverløse, svært skalerbare QuickSight-dashboards fra alle enheter, og sømløst bygge dem inn i applikasjonene, portalene og nettstedene dine. Følgende skjermbilde er et eksempel på hva du kan oppnå ved slutten av dette innlegget.

Oversikt over løsning

Løsningen er en kombinasjon av AWS-tjenester, primært Lookout for Metrics, QuickSight, AWS Lambda, Amazonas Athena, AWS Lim, og Amazon S3.

Følgende diagram illustrerer løsningsarkitekturen. Lookout for Metrics oppdager og sender uregelmessighetene til Lambda via et varsel. Lambda-funksjonen genererer anomaliresultatene som CSV-filer og lagrer dem i Amazon S3. En AWS Glue-crawler analyserer metadataene og lager tabeller i Athena. QuickSight bruker Athena til å spørre Amazon S3-dataene, slik at dashbord kan bygges for å visualisere både uregelmessige resultater og live-data.

Løsningsarkitektur

Denne løsningen utvider ressursene som er opprettet i Komme i gang delen av GitHub-repoen. For hvert trinn inkluderer vi alternativer for å opprette ressursene enten ved å bruke AWS-administrasjonskonsoll eller lansering av den medfølgende AWS skyformasjon stable. Hvis du har en tilpasset Lookout for Metrics-detektor, kan du bruke den og tilpasse den på følgende måte bærbare for å oppnå de samme resultatene.

Implementeringstrinnene er som følger:

  1. Opprett Amazon SageMaker notatbokforekomst (ALFMTestNotebook) og notatbøker ved hjelp av stabelen som er gitt i Førstegangs oppsett seksjon fra GitHub repo.
  2. Åpne den bærbare forekomsten på SageMaker-konsollen og naviger til amazon-lookout-for-metrics-samples/getting_started mappe.
  3. Lag S3-bøtten og fullfør dataforberedelsen med den første bærbare (1.PrereqSetupData.ipynb). Åpne notatboken med conda_python3 kjerne, hvis du blir bedt om det.

Vi hopper over det andre bærbare fordi det er fokusert på backtesting av data.

  1. Hvis du går gjennom eksemplet ved hjelp av konsollen, oppretter du Lookout for Metrics live-detektor og dens varsling ved å bruke den tredje bærbare (3.GettingStartedWithLiveData.ipynb).

Hvis du bruker de medfølgende CloudFormation-stablene, er den tredje bærbare datamaskinen ikke nødvendig. Detektoren og dens varsling opprettes som en del av stabelen.

  1. Etter at du har opprettet Lookout for Metrics live-detektor, må du aktivere den fra konsollen.

Dette kan ta opptil 2 timer å initialisere modellen og oppdage uregelmessigheter.

  1. Distribuer en Lambda-funksjon ved å bruke Python med et Pandas-biblioteklag, og lag et varsel knyttet til live-detektoren for å starte den.
  2. Bruk kombinasjonen av Athena og AWS Glue for å oppdage og klargjøre dataene for QuickSight.
  3. Opprett QuickSight-datakilden og datasettene.
  4. Til slutt lager du en QuickSight-analyse for visualisering ved å bruke datasettene.

CloudFormation-skriptene kjøres vanligvis som et sett med nestede stabler i et produksjonsmiljø. De er gitt individuelt i dette innlegget for å lette en trinn-for-trinn-gjennomgang.

Forutsetninger

For å gå gjennom denne gjennomgangen trenger du en AWS-konto hvor løsningen skal distribueres. Sørg for at alle ressursene du distribuerer er i samme region. Du trenger en løpende Lookout for Metrics-detektor bygget fra bærbare datamaskiner 1 og 3 fra GitHub repo. Hvis du ikke har en Lookout for Metrics-detektor som kjører, har du to alternativer:

  • Kjør notatbøker 1 og 3, og fortsett fra trinn 1 i dette innlegget (oppretter Lambda-funksjonen og varslingen)
  • Kjør notatbok 1 og bruk deretter CloudFormation-malen til å generere Lookout for Metrics-detektoren

Lag live-detektoren ved å bruke AWS CloudFormation

De L4MLiveDetector.yaml CloudFormation-skriptet oppretter Lookout for Metrics-avviksdetektoren med kilden som peker til live-dataene i den angitte S3-bøtten. For å lage detektoren, fullfør følgende trinn:

  1. Start stabelen fra følgende lenke:

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. Lag stabel side, velg neste.
  2. Spesifiser stakkdetaljer side, oppgi følgende informasjon:
    1. Et stabelnavn. For eksempel, L4MLiveDetector.
    2. S3-bøtten, <Account Number>-lookoutmetrics-lab.
    3. Rollen ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
    4. En anomalideteksjonsfrekvens. Velge PT1H (hver time).
  3. Velg neste.
  4. Konfigurer stakkalternativer side, la alt være som det er og velg neste.
  5. Anmeldelse side, la alt være som det er og velg Lag stabel.

Lag live-detektor-SMS-varselet ved hjelp av AWS CloudFormation (valgfritt)

Dette trinnet er valgfritt. Varslet presenteres som et eksempel, uten innvirkning på datasettopprettelsen. De L4MLiveDetectorAlert.yaml CloudFormation-skriptet oppretter Lookout for Metrics anomalidetektorvarsel med et SMS-mål.

  1. Start stabelen fra følgende lenke:

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. Lag stabel side, velg neste.
  2. Spesifiser stakkdetaljer side, oppdater SMS-telefonnummeret og skriv inn et navn for stabelen (f.eks. L4MLiveDetectorAlert).
  3. Velg neste.
  4. Konfigurer stakkalternativer side, la alt være som det er og velg neste.
  5. Anmeldelse siden, merk av for bekreftelse, la alt annet være som det er, og velg Lag stabel.

Ressursopprydding

Før du fortsetter med neste trinn, stopp SageMaker-notebook-forekomsten for å sikre at det ikke påløper unødvendige kostnader. Det er ikke lenger nødvendig.

Opprett Lambda-funksjonen og varsle

I denne delen gir vi instruksjoner om hvordan du oppretter din Lambda-funksjon og varsling via konsollen eller AWS CloudFormation.

Opprett funksjonen og varsling med konsollen

Du trenger en Lambda AWS identitets- og tilgangsadministrasjon (JEG ER) rolle følge minste privilegium beste praksis for å få tilgang til bøtten der du vil at resultatene skal lagres.

    1. På Lambda-konsollen oppretter du en ny funksjon.
    2. Plukke ut Forfatter fra bunnen av.
    3. Til Funksjonsnavn¸ skriv inn et navn.
    4. Til Runtime, velg Python 3.8.
    5. Til Utførelsesrolle, plukke ut Bruk en eksisterende rolle og spesifiser rollen du opprettet.
    6. Velg Opprett funksjon.
  1. Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.
    1. Last ned ZIP-filen som inneholder den nødvendige koden for Lambda-funksjonen.
    2. Åpne funksjonen på Lambda-konsollen.
    3. Kode kategorien, velg Last opp fra, velg .zip-fil, og last opp filen du lastet ned.
    4. Velg Spar.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Filtreet ditt skal forbli det samme etter opplasting av ZIP-filen.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. Lag delen velger Legg til lag.
  2. Plukke ut Spesifiser et ARN.
  3. I de neste GitHub repo, velg CSV-en som tilsvarer regionen du jobber i og kopier ARN fra den nyeste Pandas-versjonen.
  4. Til Spesifiser et ARN, skriv inn ARN du kopierte.
  5. Velg Legg til.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. For å tilpasse funksjonen til miljøet ditt, sørg for å oppdatere bøttenavnet med bøtte der du vil lagre uregelmessige resultater, nederst i koden fra filen lambda_function.py, og DataSet_ARN fra anomalidetektoren din.
  2. Velg Distribuer for å gjøre endringene aktive.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Du må nå koble Lookout for Metrics-detektor til funksjonen din.

  1. På Lookout for Metrics-konsollen, naviger til detektoren din og velg Legg til varsel.
  2. Skriv inn varselnavnet og din foretrukne alvorlighetsgrad.
  3. Velg fra kanallisten Lambda.
  4. Velg funksjonen du opprettet og sørg for at du har den riktige rollen for å utløse den.
  5. Velg Legg til varsel.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Nå venter du på at varselet skal utløses. Tiden varierer avhengig av når detektoren finner en anomali.

Når en anomali oppdages, utløser Lookout for Metrics Lambda-funksjonen. Den mottar den nødvendige informasjonen fra Lookout for Metrics og sjekker om det allerede er en lagret CSV-fil i Amazon S3 til det tilsvarende tidsstempelet for anomalien. Hvis det ikke er en fil, genererer Lambda filen og legger til anomalidataene. Hvis filen allerede eksisterer, oppdaterer Lambda filen med de ekstra dataene som er mottatt. Funksjonen genererer en atskilt CSV-fil for hvert forskjellige tidsstempel.

Opprett funksjonen og varslet ved hjelp av AWS CloudFormation

I likhet med konsollveiledningen, du last ned ZIP-filen som inneholder den nødvendige koden for Lambda-funksjonen. I dette tilfellet må den imidlertid lastes opp til S3-bøtten for at AWS CloudFormation-koden skal laste den under funksjonsoppretting.

I S3-bøtten som er spesifisert i opprettelsen av Lookout for Metrics-detektor, oppretter du en mappe kalt lambda-code, og laster opp ZIP-filen.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Lambda-funksjonen laster denne som sin kode under opprettelsen.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

De L4MLambdaFunction.yaml CloudFormation-skriptet oppretter Lambda-funksjonen og varslingsressurser og bruker funksjonskodearkivet som er lagret i samme S3-bøtte.

  1. Start stabelen fra følgende lenke:

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. Lag stabel side, velg neste.
  2. Spesifiser stakkdetaljer side, spesifiser et stabelnavn (f.eks. L4MLambdaFunction).
  3. I de neste GitHub repo, åpne CSV-en som tilsvarer regionen du jobber i og kopier ARN fra den nyeste Pandas-versjonen.
  4. Skriv inn ARN som Pandas Lambda layer ARN-parameter.
  5. Velg neste.
  6. Konfigurer stakkalternativer side, la alt være som det er og velg neste.
  7. Anmeldelse siden, merk av for bekreftelse, la alt annet være som det er, og velg Lag stabel.

Aktiver detektoren

Før du går videre til neste trinn, må du aktivere detektoren fra konsollen.

  1. Velg på Lookout for Metrics-konsollen detektorer i navigasjonsruten.
  2. Velg din nyopprettede detektor.
  3. Velg Aktiver, velg deretter Aktiver igjen for å bekrefte.

Aktivering initialiserer detektoren; den er ferdig når modellen har fullført læringssyklusen. Dette kan ta opptil 2 timer.

Forbered dataene for QuickSight

Før du fullfører dette trinnet, gi detektoren tid til å finne anomalier. Lambda-funksjonen du opprettet lagrer anomaliresultatene i Lookout for Metrics-bøtten i anomalyResults katalog. Vi kan nå behandle disse dataene for å forberede dem for QuickSight.

Lag AWS Glue-crawler på konsollen

Etter at noen uregelmessige CSV-filer har blitt generert, bruker vi en AWS Glue-crawler for å generere metadatatabellene.

  1. Velg på AWS Lim-konsollen crawlers i navigasjonsruten.
  2. Velg Legg til crawler.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. Skriv inn et navn for søkeroboten (f.eks. L4MCrawler).
  2. Velg neste.
  3. Til Crawler kildetype, plukke ut Datalagre.
  4. Til Gjenta gjennomganger av S3-datalagre, plukke ut Gjennomgå alle mapper.
  5. Velg neste.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. På konfigurasjonssiden for datalageret, for Gjennomsøk data i, plukke ut Spesifisert bane i kontoen min.
  2. Til Inkluder bane, skriv inn banen til din dimensionContributions fil (s3://YourBucketName/anomalyResults/dimensionContributions).
  3. Velg neste.
  4. Velg Ja for å legge til et annet datalager og gjenta instruksjonene for metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
  5. Gjenta instruksjonene på nytt for live-dataene som skal analyseres av Lookout for Metrics-anomalidetektoren (dette er S3-datasettet fra Lookout for Metrics-detektoren).

Du bør nå ha tre datalagre for robotsøkeprogrammet å behandle.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Nå må du velge rollen som lar søkeroboten gå gjennom S3-plasseringene til dataene dine.

  1. Velg dette innlegget Lag en IAM-rolle og skriv inn et navn for rollen.
  2. Velg neste.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. Til Frekvens, la være som Kjør på forespørsel Og velg neste.
  2. Konfigurer crawlerens utdata delen velger Legg til database.

Dette oppretter Athena-databasen der metadatatabellene dine er plassert etter at robotsøkeprogrammet er fullført.

  1. Skriv inn et navn for databasen og velg Opprett.
  2. Velg neste, velg deretter Finish.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. crawlers siden på AWS Glue-konsollen, velg søkeroboten du opprettet og velg Kjør bånd.

Du må kanskje vente noen minutter, avhengig av størrelsen på dataene. Når den er fullført, vises søkerobotens status som Klar. For å se metadatatabellene, naviger til databasen din på databaser siden og velg tabeller i navigasjonsruten.

I dette eksemplet representerer metadatatabellen kalt live S3-datasettet fra Lookout for Metrics live-detektor. Som en beste praksis anbefales det å krypter AWS Glue Data Catalog-metadataene dine.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Athena gjenkjenner automatisk metadatatabellene, og QuickSight bruker Athena til å spørre etter dataene og visualisere resultatene.

Lag AWS Glue-crawler ved å bruke AWS CloudFormation

De L4MGlueCrawler.yaml CloudFormation-skriptet oppretter AWS Glue-crawler, dens tilknyttede IAM-rolle og utdatadatabasen Athena.

  1. Start stabelen fra følgende lenke:

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. Lag stabel side, velg neste.
  2. Spesifiser stakkdetaljer side, skriv inn et navn for stabelen din (f.eks. L4MGlueCrawler), og velg neste.
  3. Konfigurer stakkalternativer side, la alt være som det er og velg neste.
  4. Anmeldelse siden, merk av for bekreftelse, la alt annet være som det er, og velg Lag stabel.

Kjør AWS Glue crawler

Etter at du har opprettet søkeroboten, må du kjøre den før du går til neste trinn. Du kan kjøre den fra konsollen eller AWS kommandolinjegrensesnitt (AWS CLI). For å bruke konsollen, fullfør følgende trinn:

  1. Velg på AWS Lim-konsollen crawlers i navigasjonsruten.
  2. Velg søkeroboten din (L4MCrawler).
  3. Velg Kjør bånd.

Når søkeroboten er fullført, viser den statusen Klar.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Opprett en QuickSight-konto

Før du starter dette neste trinnet, naviger til QuickSight-konsollen og opprett en konto hvis du ikke allerede har en. For å være sikker på at du har tilgang til de tilsvarende tjenestene (Athena og S3-bøtte), velg kontonavnet ditt øverst til høyre, velg Administrer QuickSight, og velg Sikkerhet og tillatelser, hvor du kan legge til de nødvendige tjenestene. Når du konfigurerer din Amazon S3-tilgang, sørg for å velge Skrivetillatelse for Athena Workgroup.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Nå er du klar til å visualisere dataene dine i QuickSight.

Lag QuickSight-datasettene på konsollen

Hvis dette er første gang du bruker Athena, må du konfigurere utdataplasseringen for spørringene. For instruksjoner, se trinn 1–6 in Lag en database. Fullfør deretter følgende trinn:

  1. Velg på QuickSight-konsollen datasett.
  2. Velg Nytt datasett.
  3. Velg Athena som kilde.
  4. Skriv inn et navn for datakilden.
  5. Velg Lag datakilde.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. For databasen din, spesifiser den du opprettet tidligere med AWS Glue-crawler.
  2. Spesifiser tabellen som inneholder live-dataene dine (ikke uregelmessighetene).
  3. Velg Rediger/forhåndsvis data.

Du blir omdirigert til et grensesnitt som ligner på følgende skjermbilde.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Det neste trinnet er å legge til og kombinere metricValue_AnomalyScore data med live data.

  1. Velg Legg til data.
  2. Velg Legg til datakilde.
  3. Spesifiser databasen du opprettet og metricValue_AnomalyScore tabellen.
  4. Velg Plukke ut.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Du må nå konfigurere sammenføyningen av de to tabellene.

  1. Velg koblingen mellom de to tabellene.
  2. La sammenføyningstypen være som Venstre, legg til tidsstemplet og hver dimensjon du har som en join-klausul, og velg Påfør.

I følgende eksempel bruker vi tidsstempel, plattform og markedsplass som join-klausuler.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

I den høyre ruten kan du fjerne feltene du ikke er interessert i å beholde.

  1. Fjern tidsstemplet fra metricValue_AnomalyScore tabellen for ikke å ha en duplisert kolonne.
  2. Endre tidsstempeldatatypen (for livedatatabellen) fra streng til dato, og spesifiser riktig format. I vårt tilfelle burde det være det yyyy-MM-dd HH:mm:ss.

Følgende skjermbilde viser visningen din etter at du har fjernet noen felt og justert datatypen.

bilde

  1. Velg Lagre og visualiser.
  2. Velg blyantikonet ved siden av datasettet.
  3. Velg Legg til datasett Og velg dimensioncontributions.

Lag QuickSight-datasettene ved hjelp av AWS CloudFormation

Dette trinnet inneholder tre CloudFormation-stabler.

Det første CloudFormation-skriptet, L4MQuickSightDataSource.yaml, oppretter QuickSight Athena-datakilden.

  1. Start stabelen fra følgende lenke:

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. Lag stabel side, velg neste.
  2. Spesifiser stakkdetaljer skriv inn QuickSight-brukernavnet ditt, QuickSight-kontoregionen (angitt når du oppretter QuickSight-kontoen), og et stabelnavn (f.eks. L4MQuickSightDataSource).
  3. Velg neste.
  4. Konfigurer stakkalternativer side, la alt være som det er og velg neste.
  5. Anmeldelse side, la alt være som det er og velg Lag stabel.

Det andre CloudFormation-skriptet, L4MQuickSightDataSet1.yaml, oppretter et QuickSight-datasett som kobler sammen dimensjonstabellen med anomalitabellen.

  1. Start stabelen fra følgende lenke:

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. Lag stabel side, velg neste.
  2. Spesifiser stakkdetaljer, skriv inn et stabelnavn (f.eks. L4MQuickSightDataSet1).
  3. Velg neste.
  4. Konfigurer stakkalternativer side, la alt være som det er og velg neste.
  5. Anmeldelse side, la alt være som det er og velg Lag stabel.

Det tredje CloudFormation-skriptet, L4MQuickSightDataSet2.yaml, oppretter QuickSight-datasettet som kobler anomalitabellen med livedatatabellen.

  1. Start stabelen fra følgende lenke:

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. Opprett stabelside¸ velg neste.
  2. Spesifiser stakkdetaljer side, skriv inn et stabelnavn (f.eks. L4MQuickSightDataSet2).
  3. Velg neste.
  4. Konfigurer stakkalternativer side, la alt være som det er og velg neste.
  5. Anmeldelse side, la alt være som det er og velg Lag stabel.

Lag QuickSight-analysen for å lage dashbord

Dette trinnet kan bare fullføres på konsollen. Etter at du har opprettet QuickSight-datasettene, fullfører du følgende trinn:

  1. Velg på QuickSight-konsollen Analyse i navigasjonsruten.
  2. Velg Ny analyse.
  3. Velg det første datasettet, L4MQuickSightDataSetWithLiveData.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

  1. Velg Lag analyse.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

QuickSight-analysen opprettes først med bare det første datasettet.

  1. For å legge til det andre datasettet, velg blyantikonet ved siden av datasett Og velg Legg til datasett.
  2. Velg det andre datasettet og velg Plukke ut.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Du kan deretter bruke et av datasettene for å lage diagrammer ved å velge det på datasett nedtrekksmenyen.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Datasettberegninger

Du har opprettet en QuickSight-analyse fra Lookout for Metrics-slutningsresultater og live-dataene. To datasett er i QuickSight som du kan bruke: L4M_Visualization_dataset_with_liveData og L4M_Visualization_dataset_with_dimensionContribution.

De L4M_Visualization_dataset_with_liveData datasettet inkluderer følgende beregninger:

  • tidsstempel – Datoen og klokkeslettet for live-dataene som ble sendt til Lookout for Metrics
  • visninger – Verdien av visningsberegningen
  • inntekter – Verdien av inntektsberegningen
  • platform, marketplace, revenueAnomalyMetricValue, viewsAnomalyMetricValue, revenueGroupScore og viewsGroupScore – Disse beregningene er en del av begge datasettene

De L4M_Visualization_dataset_with_dimensionContribution datasettet inkluderer følgende beregninger:

  • tidsstempel – Datoen og klokkeslettet da uregelmessigheten ble oppdaget
  • metricName – Beregningene du overvåker
  • dimensjonsnavn – Dimensjonen i beregningen
  • dimensjonVerdi – Verdien av dimensjonen
  • verdiBidrag – Prosentandelen av hvor mye dimensionValue som påvirker anomalien når den oppdages

Følgende skjermbilde viser disse fem beregningene på anomali-dashbordet til Lookout for Metrics-detektoren.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Følgende beregninger er en del av begge datasettene:

  • plattform – Plattformen der uregelmessigheten skjedde
  • markedsplass – Markedsplassen der uregelmessigheten skjedde
  • inntektAnomalyMetricValue og visningerAnomalyMetricValue – De tilsvarende verdiene for beregningen da uregelmessigheten ble oppdaget (i denne situasjonen er beregningene inntekter eller visninger)
  • inntekterGruppeScore og visningerGroupScore – Alvorlighetspoengene for hver beregning for den oppdagede anomalien

For bedre å forstå disse siste beregningene kan du se gjennom CSV-filene som er opprettet av Lambda-funksjonen i S3-bøtten din der du lagret anomalyResults/metricValue_AnomalyScore.

Neste trinn

Det neste trinnet er å bygge dashbordene for dataene du vil se. Dette innlegget inneholder ikke en forklaring på hvordan du lager QuickSight-diagrammer. Hvis du er ny til QuickSight, se Komme i gang med dataanalyse i Amazon QuickSight for en introduksjon. Følgende skjermbilder viser eksempler på grunnleggende dashbord. For mer informasjon, sjekk ut QuickSight-verksteder.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

konklusjonen

Uregelmessighetene presenteres individuelt på Lookout for Metrics-konsollen, hver med sin egen graf, noe som gjør det vanskelig å se settet som en helhet. En automatisert, integrert løsning er nødvendig for dypere analyse. I dette innlegget brukte vi en Lookout for Metrics-detektor for å generere anomalier, og koblet dataene til QuickSight for å lage visualiseringer. Denne løsningen gjør oss i stand til å utføre dypere analyser av uregelmessigheter og ha dem alle på ett sted/dashbord.

Som et neste trinn kan denne løsningen like godt utvides ved å legge til et ekstra datasett og kombinere anomalier fra flere detektorer. Du kan også tilpasse Lambda-funksjonen. Lambda-funksjonen inneholder koden som genererer datasettene og variabelnavnene som vi bruker for QuickSight-dashbordene. Du kan tilpasse denne koden til ditt spesielle bruksområde ved å endre selve datasettene eller variabelnavnene som gir mer mening for deg.

Hvis du har tilbakemeldinger eller spørsmål, vennligst legg igjen dem i kommentarfeltet.


Om forfatterne

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.Benoît de Patoul er AI/ML Specialist Solutions Architect hos AWS. Han hjelper kunder ved å gi veiledning og teknisk assistanse for å bygge løsninger relatert til AI/ML ved bruk av AWS.

Visualiser Amazon Lookout for Metrics anomaliresultater med Amazon QuickSight PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.Paul Troiano er senior løsningsarkitekt ved AWS, basert i Atlanta, GA. Han hjelper kunder ved å gi veiledning om teknologistrategier og løsninger på AWS. Han brenner for alt innen AI/ML og løsningsautomatisering.

Tidstempel:

Mer fra AWS maskinlæring