Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSightin avulla

Yksi käyttävien tiimien kohtaamista haasteista Amazon Lookout for Metrics yhdistää sen nopeasti ja tehokkaasti datan visualisointiin. Poikkeamat esitetään yksitellen Lookout for Metrics -konsolissa, jokaisella on oma kaavionsa, mikä vaikeuttaa joukon tarkastelemista kokonaisuutena. Syvempään analyysiin tarvitaan automatisoitu, integroitu ratkaisu.

Tässä viestissä käytämme Lookout for Metrics live -ilmaisinta, joka on rakennettu seuraamalla Päästä alkuun osio alkaen AWS Samples, Amazon Lookout for Metrics GitHub repo. Kun ilmaisin on aktiivinen ja tietojoukosta on luotu poikkeavuuksia, yhdistämme Lookout for Metrics -sovellukseen Amazon QuickSight. Luomme kaksi tietojoukkoa: yhden yhdistämällä mittataulukon poikkeamataulukkoon ja toisen yhdistämällä poikkeamataulukon reaaliaikaisten tietojen kanssa. Voimme sitten lisätä nämä kaksi tietojoukkoa QuickSight-analyysiin, jossa voimme lisätä kaavioita yhteen kojelautaan.

Voimme toimittaa Lookout for Metrics -tunnistimeen kahdentyyppisiä tietoja: jatkuvaa ja historiallista. The AWS näytteet GitHub-repo tarjoaa molemmat, vaikka keskitymme jatkuvaan live-dataan. Ilmaisin tarkkailee näitä reaaliaikaisia ​​tietoja tunnistaakseen poikkeamat ja kirjoittaa poikkeamat Amazonin yksinkertainen tallennuspalvelu (Amazon S3), kun ne luodaan. Tietyn aikavälin lopussa ilmaisin analysoi tiedot. Ajan myötä ilmaisin oppii tunnistamaan poikkeamat tarkemmin löytämiensä kuvioiden perusteella.

Lookout for Metrics käyttää koneoppimista (ML) tunnistamaan ja diagnosoimaan automaattisesti liiketoiminta- ja operatiivisten tietojen poikkeavuuksia, kuten myyntitulojen äkillisen laskun tai asiakashankintaprosentin. Palvelu on nyt yleisesti saatavilla 25. maaliskuuta 2021 alkaen. Se tarkastaa ja valmistelee automaattisesti tietoja useista eri lähteistä havaitakseen poikkeamat nopeammin ja tarkemmin kuin perinteiset poikkeamien havaitsemiseen käytetyt menetelmät. Voit myös antaa palautetta havaituista poikkeavuuksista parantaaksesi tuloksia ja parantaaksesi tarkkuutta ajan myötä. Lookout for Metrics helpottaa havaittujen poikkeamien diagnosointia ryhmittelemällä samaan tapahtumaan liittyvät poikkeamat ja lähettämällä hälytyksen, joka sisältää yhteenvedon mahdollisesta perimmäisestä syystä. Se myös luokittelee poikkeamat vakavuuden mukaan, jotta voit priorisoida huomiosi yrityksesi kannalta tärkeimpiin asioihin.

QuickSight on täysin hallittu, pilvipohjainen business intelligence (BI) -palvelu, jonka avulla on helppo muodostaa yhteys tietoihisi interaktiivisten kojetaulujen luomista ja julkaisemista varten. Lisäksi voit käyttää Amazon QuickSight saada välittömiä vastauksia luonnollisen kielen kyselyillä.

Voit käyttää palvelimettomia, erittäin skaalautuvia QuickSight-hallintapaneeleja miltä tahansa laitteelta ja upottaa ne saumattomasti sovelluksiisi, portaaleihisi ja verkkosivustoihisi. Seuraava kuvakaappaus on esimerkki siitä, mitä voit saavuttaa tämän viestin loppuun mennessä.

Katsaus ratkaisuun

Ratkaisu on yhdistelmä AWS-palveluita, ensisijaisesti Lookout for Metrics, QuickSight, AWS Lambda, Amazon Athena, AWS-liimaja Amazon S3.

Seuraava kaavio havainnollistaa ratkaisun arkkitehtuuria. Lookout for Metrics havaitsee ja lähettää poikkeamat Lambdalle hälytyksen kautta. Lambda-toiminto luo poikkeamatulokset CSV-tiedostoina ja tallentaa ne Amazon S3:een. AWS Glue -indeksointirobotti analysoi metatiedot ja luo taulukoita Athenassa. QuickSight käyttää Athenaa Amazon S3 -tietojen kyselyyn, mikä mahdollistaa kojetaulujen rakentamisen visualisoimaan sekä poikkeamien tulokset että reaaliaikaiset tiedot.

Ratkaisuarkkitehtuuri

Tämä ratkaisu laajentaa sovelluksessa luotuja resursseja Päästä alkuun GitHub-repon osa. Jokaista vaihetta varten lisäämme vaihtoehtoja resurssien luomiseen joko käyttämällä AWS-hallintakonsoli tai käynnistämällä tarjottu AWS-pilven muodostuminen pino. Jos sinulla on mukautettu Lookout for Metrics -ilmaisin, voit käyttää sitä ja mukauttaa sitä seuraavasti muistikirja saavuttaaksesi samat tulokset.

Toteutusvaiheet ovat seuraavat:

  1. Luo Amazon Sage Maker muistikirjan esimerkki (ALFMTestNotebook) ja muistikirjat käyttämällä julkaisussa toimitettua pinoa Alkuasennus osio alkaen GitHub repo.
  2. Avaa muistikirjan esiintymä SageMaker-konsolissa ja siirry kohtaan amazon-lookout-for-metrics-samples/getting_started kansio.
  3. Luo S3-säilö ja viimeistele tietojen valmistelu käyttämällä ensimmäistä muistikirja (1.PrereqSetupData.ipynb). Avaa muistikirja painikkeella conda_python3 kernel, jos sitä pyydetään.

Jätämme toisen väliin muistikirja koska se keskittyy tietojen jälkitestaukseen.

  1. Jos käyt esimerkin läpi konsolin avulla, luo Lookout for Metrics live -ilmaisin ja sen hälytys käyttämällä kolmatta muistikirja (3.GettingStartedWithLiveData.ipynb).

Jos käytät toimitettuja CloudFormation-pinoja, kolmatta muistikirjaa ei tarvita. Ilmaisin ja sen hälytys luodaan osaksi pinoa.

  1. Kun olet luonut Lookout for Metrics live -ilmaisimen, sinun on aktivoitava se konsolista.

Mallin alustaminen ja poikkeamien havaitseminen voi kestää jopa 2 tuntia.

  1. Ota käyttöön Lambda-toiminto käyttämällä Pythonia Pandas-kirjastokerroksen kanssa ja luo live-ilmaisimeen liitetty hälytys sen käynnistämiseksi.
  2. Käytä Athenen ja AWS Gluen yhdistelmää löytääksesi ja valmistellaksesi tiedot QuickSightia varten.
  3. Luo QuickSight-tietolähde ja tietojoukot.
  4. Luo lopuksi QuickSight-analyysi visualisointia varten tietojoukkojen avulla.

CloudFormation-skriptit ajetaan tyypillisesti sisäkkäisten pinojen joukkona tuotantoympäristössä. Ne tarjotaan tässä viestissä yksittäin vaiheittaisen läpikäynnin helpottamiseksi.

Edellytykset

Jotta voit käydä läpi tämän ohjeen, tarvitset AWS-tilin, jolla ratkaisu otetaan käyttöön. Varmista, että kaikki käyttämäsi resurssit ovat samalla alueella. Tarvitset käynnissä olevan Lookout for Metrics -tunnistimen, joka on rakennettu muistikirjoista 1 ja 3 GitHub repo. Jos sinulla ei ole käynnissä Lookout for Metrics -ilmaisinta, sinulla on kaksi vaihtoehtoa:

  • Suorita muistikirjat 1 ja 3 ja jatka tämän viestin vaiheesta 1 (Lambda-toiminnon ja hälytyksen luominen)
  • Suorita muistikirja 1 ja käytä sitten CloudFormation-mallia Lookout for Metrics -tunnistimen luomiseen

Luo live-ilmaisin AWS CloudFormationin avulla

- L4MLiveDetector.yaml CloudFormation-skripti luo Lookout for Metrics -poikkeamatunnistimen, jonka lähde osoittaa määritetyn S3-ryhmän live-dataan. Luo ilmaisin suorittamalla seuraavat vaiheet:

  1. Käynnistä pino seuraavasta linkistä:

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. On Luo pino sivu, valitse seuraava.
  2. On Määritä pinon yksityiskohdat sivulla, anna seuraavat tiedot:
    1. Pinon nimi. Esimerkiksi, L4MLiveDetector.
    2. S3-ämpäri, <Account Number>-lookoutmetrics-lab.
    3. Rooli ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
    4. Poikkeamien havaitsemistaajuus. Valita PT1H (tunneittain).
  3. Valita seuraava.
  4. On Määritä pinoasetukset sivu, jätä kaikki ennalleen ja valitse seuraava.
  5. On Arvostelu sivu, jätä kaikki ennalleen ja valitse Luo pino.

Luo live-ilmaisimen SMS-hälytys AWS CloudFormationin avulla (valinnainen)

Tämä vaihe on valinnainen. Hälytys esitetään esimerkkinä, sillä se ei vaikuta tietojoukon luomiseen. The L4MLiveDetectorAlert.yaml CloudFormation-skripti luo Lookout for Metrics -poikkeamatunnistimen hälytyksen tekstiviestikohteen kanssa.

  1. Käynnistä pino seuraavasta linkistä:

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. On Luo pino sivu, valitse seuraava.
  2. On Määritä pinon yksityiskohdat sivulle, päivitä SMS-puhelinnumero ja anna pinolle nimi (esim. L4MLiveDetectorAlert).
  3. Valita seuraava.
  4. On Määritä pinoasetukset sivu, jätä kaikki ennalleen ja valitse seuraava.
  5. On Arvostelu sivulle, valitse kuittausvalintaruutu, jätä kaikki muu ennalleen ja valitse Luo pino.

Resurssien puhdistus

Ennen kuin jatkat seuraavaan vaiheeseen, pysäytä SageMaker-muistikirjan ilmentymä varmistaaksesi, ettei siitä aiheudu tarpeettomia kustannuksia. Sitä ei enää tarvita.

Luo Lambda-toiminto ja hälytys

Tässä osiossa annamme ohjeet Lambda-toiminnon ja hälytyksen luomiseen konsolin tai AWS CloudFormationin kautta.

Luo toiminto ja hälytys konsolilla

Tarvitset lambdan AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (MINÄ OLEN) rooli Seuraavat vähiten etuoikeus paras käytäntö päästäksesi ryhmään, johon haluat tallentaa tulokset.

    1. Luo uusi toiminto Lambda-konsolissa.
    2. valita Kirjailija tyhjästä.
    3. varten Toiminnon nimi¸ kirjoita nimi.
    4. varten Runtime, valitse Python 3.8.
    5. varten Suoritusroolivalitse Käytä olemassa olevaa roolia ja määritä luomasi rooli.
    6. Valita Luo toiminto.
  1. Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.
    1. Lataa ZIP-tiedosto, joka sisältää tarvittavan koodin Lambda-toimintoa varten.
    2. Avaa toiminto Lambda-konsolissa.
    3. On Koodi välilehti, valitse Lataa osoitteesta, valitse .ZIP-tiedostoja lataa lataamasi tiedosto.
    4. Valita Säästä.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Tiedostopuun pitäisi pysyä samana ZIP-tiedoston lataamisen jälkeen.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. In Tasot osiossa, valitse Lisää kerros.
  2. valita Määritä ARN.
  3. Seuraavassa GitHub repo, valitse työskentelyaluettasi vastaava CSV ja kopioi ARN uusimmasta Pandas-versiosta.
  4. varten Määritä ARN, anna kopioimasi ARN.
  5. Valita Lisää.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. Mukauttaaksesi funktion ympäristöösi, päivitä lambda_function.py-tiedoston koodin alareunassa sängyn nimi sen kanssa, johon haluat tallentaa poikkeamatulokset, ja DataSet_ARN poikkeavuusilmaisimesta.
  2. Valita Sijoittaa aktivoida muutokset.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Sinun on nyt yhdistettävä Lookout for Metrics -ilmaisin toimintoosi.

  1. Siirry Lookout for Metrics -konsolissa ilmaisimeen ja valitse Lisää hälytys.
  2. Anna hälytyksen nimi ja haluamasi vakavuuskynnys.
  3. Valitse kanavaluettelosta Lambda.
  4. Valitse luomasi funktio ja varmista, että sinulla on oikea rooli sen käynnistämiseen.
  5. Valita Lisää hälytys.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Nyt odotat, että hälytys laukeaa. Aika vaihtelee sen mukaan, milloin ilmaisin löytää poikkeaman.

Kun poikkeama havaitaan, Lookout for Metrics käynnistää lambda-toiminnon. Se vastaanottaa tarvittavat tiedot Lookout for Metrics -palvelusta ja tarkistaa, onko Amazon S3:ssa jo tallennettu CSV-tiedosto poikkeaman vastaavalla aikaleimalla. Jos tiedostoa ei ole, Lambda luo tiedoston ja lisää poikkeamatiedot. Jos tiedosto on jo olemassa, Lambda päivittää tiedoston vastaanotetuilla lisätiedoilla. Funktio luo erillisen CSV-tiedoston kullekin eri aikaleimalle.

Luo toiminto ja hälytys AWS CloudFormationin avulla

Samoin kuin konsolin ohjeissa, sinä lataa ZIP-tiedosto sisältää tarvittavan koodin lambda-toimintoa varten. Tässä tapauksessa se on kuitenkin ladattava S3-säilöyn, jotta AWS CloudFormation -koodi lataa sen funktion luomisen aikana.

Luo Lookout for Metrics -tunnistimen luomisessa määritettyyn S3-alueeseen kansio nimeltä lambda-code ja lähetä ZIP-tiedosto.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Lambda-funktio lataa tämän koodikseen luonnin aikana.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

- L4MLambdaFunction.yaml CloudFormation-skripti luo Lambda-funktion ja hälytysresurssit ja käyttää samaan S3-ämpäriin tallennettua toimintokoodiarkistoa.

  1. Käynnistä pino seuraavasta linkistä:

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. On Luo pino sivu, valitse seuraava.
  2. On Määritä pinon yksityiskohdat sivulla, määritä pinon nimi (esim. L4MLambdaFunction).
  3. Seuraavassa GitHub repo, avaa työskentelyaluettasi vastaava CSV ja kopioi ARN uusimmasta Pandas-versiosta.
  4. Anna ARN Pandas Lambda -kerroksen ARN-parametriksi.
  5. Valita seuraava.
  6. On Määritä pinoasetukset sivu, jätä kaikki ennalleen ja valitse seuraava.
  7. On Arvostelu sivulle, valitse kuittausvalintaruutu, jätä kaikki muu ennalleen ja valitse Luo pino.

Aktivoi ilmaisin

Ennen kuin siirryt seuraavaan vaiheeseen, sinun on aktivoitava ilmaisin konsolista.

  1. Valitse Lookout for Metrics -konsolista ilmaisimet navigointipaneelissa.
  2. Valitse juuri luomasi ilmaisin.
  3. Valita Aktivoida, valitse sitten Aktivoida vahvista uudelleen.

Aktivointi alustaa ilmaisimen; se on valmis, kun malli on suorittanut oppimissyklinsä. Tämä voi kestää jopa 2 tuntia.

Valmistele tiedot QuickSightia varten

Ennen kuin suoritat tämän vaiheen, anna ilmaisimelle aikaa löytää poikkeavuuksia. Luomasi lambda-funktio tallentaa poikkeamatulokset Lookout for Metrics -alueeseen anomalyResults hakemistosta. Voimme nyt käsitellä näitä tietoja valmistellaksemme niitä QuickSightia varten.

Luo AWS Glue -indeksointirobotti konsoliin

Kun joitakin poikkeavia CSV-tiedostoja on luotu, käytämme AWS Glue -indeksointirobottia metatietotaulukoiden luomiseen.

  1. Valitse AWS-liimakonsolista Indeksoijat navigointipaneelissa.
  2. Valita Lisää indeksoija.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. Anna indeksointirobotille nimi (esim. L4MCrawler).
  2. Valita seuraava.
  3. varten Indeksoijan lähdetyyppivalitse Tietovarastot.
  4. varten Toista S3-tietovarastojen indeksoinnitvalitse Indeksoi kaikki kansiot.
  5. Valita seuraava.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. Tietosäilön määrityssivulla, varten Indeksoi tiedotvalitse Määritelty polku tililläni.
  2. varten Sisällytä polku, kirjoita polkusi dimensionContributions tiedosto (s3://YourBucketName/anomalyResults/dimensionContributions).
  3. Valita seuraava.
  4. Valita Kyllä lisätäksesi toisen tietovaraston ja toistaaksesi ohjeet kohdalle metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
  5. Toista ohjeet uudelleen, jotta reaaliaikaiset tiedot analysoidaan Lookout for Metrics -poikkeamatunnistimella (tämä on Lookout for Metrics -ilmaisimen S3-tietojoukon sijainti).

Sinulla pitäisi nyt olla kolme tietovarastoa, joita indeksointirobotti voi käsitellä.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Nyt sinun on valittava rooli, jotta indeksointirobotti voi käydä läpi tietojesi S3-sijainnit.

  1. Valitse tähän viestiin Luo IAM-rooli ja anna roolille nimi.
  2. Valita seuraava.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. varten Taajuus, jätä nimellä Suorita kysyntään Ja valitse seuraava.
  2. In Määritä indeksoijan lähtö osiossa, valitse Lisää tietokanta.

Tämä luo Athena-tietokannan, jossa metatietotaulukot sijaitsevat indeksointirobotin valmistuttua.

  1. Anna tietokantallesi nimi ja valitse luoda.
  2. Valita seuraava, valitse sitten Suorittaa loppuun.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. On Indeksoijat AWS Glue -konsolin sivulla, valitse luomasi indeksointirobotti ja valitse Suorita indeksoija.

Saatat joutua odottamaan muutaman minuutin tietojen koosta riippuen. Kun se on valmis, indeksointirobotin tila näkyy muodossa Valmis. Nähdäksesi metatietotaulukot, siirry tietokantaasi osoitteessa Tietokannat ja valitse taulukot navigointipaneelissa.

Tässä esimerkissä livenä kutsuttu metatietotaulukko edustaa Lookout for Metrics live -ilmaisimen S3-tietojoukkoa. Parhaana käytäntönä on suositeltavaa salaa AWS Glue Data Catalog -metatietosi.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Athena tunnistaa metatietotaulukot automaattisesti, ja QuickSight käyttää Athenaa tietojen kyselyyn ja tulosten visualisointiin.

Luo AWS Glue -indeksointirobotti AWS CloudFormationin avulla

- L4MGlueCrawler.yaml CloudFormation-skripti luo AWS Glue -indeksointirobotin, siihen liittyvän IAM-roolin ja tulosteen Athena-tietokannan.

  1. Käynnistä pino seuraavasta linkistä:

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. On Luo pino sivu, valitse seuraava.
  2. On Määritä pinon yksityiskohdat sivulla, anna pinollesi nimi (esim. L4MGlueCrawler) ja valitse seuraava.
  3. On Määritä pinoasetukset sivu, jätä kaikki ennalleen ja valitse seuraava.
  4. On Arvostelu sivulle, valitse kuittausvalintaruutu, jätä kaikki muu ennalleen ja valitse Luo pino.

Suorita AWS Glue -indeksointirobotti

Kun olet luonut indeksointirobotin, sinun on suoritettava se ennen kuin siirryt seuraavaan vaiheeseen. Voit käyttää sitä konsolista tai AWS-komentoriviliitäntä (AWS CLI). Voit käyttää konsolia suorittamalla seuraavat vaiheet:

  1. Valitse AWS-liimakonsolista Indeksoijat navigointipaneelissa.
  2. Valitse indeksointirobottisi (L4MCrawler).
  3. Valita Suorita indeksoija.

Kun indeksointirobotti on valmis, se näyttää tilan Valmis.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Luo QuickSight-tili

Ennen kuin aloitat tämän seuraavan vaiheen, siirry QuickSight-konsoliin ja luo tili, jos sinulla ei vielä ole sellaista. Varmistaaksesi, että sinulla on pääsy vastaaviin palveluihin (Athena ja S3 bucket), valitse tilisi nimi oikeasta yläkulmasta, valitse Hallitse QuickSightia, ja valitse Turvallisuus ja käyttöoikeudet, johon voit lisätä tarvittavat palvelut. Kun määrität Amazon S3 -käyttöäsi, muista valita Kirjoituslupa Athena Workgroupille.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Nyt olet valmis visualisoimaan tietosi QuickSightissa.

Luo QuickSight-tietojoukot konsolissa

Jos tämä on ensimmäinen kerta, kun käytät Athenaa, sinun on määritettävä kyselyiden lähtösijainti. Katso ohjeet vaiheista 1–6 tuumaa Luo tietokanta. Suorita sitten seuraavat vaiheet:

  1. Valitse QuickSight-konsolista aineistot.
  2. Valita Uusi tietojoukko.
  3. Valitse lähteeksi Athena.
  4. Anna tietolähteellesi nimi.
  5. Valita Luo tietolähde.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. Määritä tietokannallesi se, jonka loit aiemmin AWS Glue -indeksointirobotilla.
  2. Määritä taulukko, joka sisältää live-tietosi (ei poikkeavuuksia).
  3. Valita Muokkaa/esikatsele tietoja.

Sinut ohjataan seuraavan kuvakaappauksen kaltaiseen käyttöliittymään.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Seuraava vaihe on lisätä ja yhdistää metricValue_AnomalyScore tiedot live-datan kanssa.

  1. Valita Lisää tietoja.
  2. Valita Lisää tietolähde.
  3. Määritä luomasi tietokanta ja metricValue_AnomalyScore pöytä.
  4. Valita valita.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Sinun on nyt määritettävä kahden taulukon liitos.

  1. Valitse linkki kahden taulukon välillä.
  2. Jätä liitostyypiksi Vasen, lisää aikaleima ja jokainen ulottuvuus, joka sinulla on liittymislausekkeena, ja valitse käyttää.

Seuraavassa esimerkissä käytämme aikaleimaa, alustaa ja kauppapaikkaa liittymislausekkeina.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Oikeasta ruudusta voit poistaa kentät, joita et halua säilyttää.

  1. Poista aikaleima kohteesta metricValue_AnomalyScore taulukossa, jotta sarakkeessa ei ole päällekkäistä saraketta.
  2. Muuta (reaaliaikaisen datataulukon) aikaleiman tietotyyppi merkkijonosta päivämääräksi ja määritä oikea muoto. Meidän tapauksessamme sen pitäisi olla yyyy-MM-dd HH:mm:ss.

Seuraava kuvakaappaus näyttää näkymäsi, kun olet poistanut joitakin kenttiä ja säätänyt tietotyyppiä.

kuva

  1. Valita Tallenna ja visualisoi.
  2. Valitse tietojoukon vierestä kynäkuvake.
  3. Valita Lisää tietojoukko Ja valitse dimensioncontributions.

Luo QuickSight-tietojoukot AWS CloudFormationin avulla

Tämä vaihe sisältää kolme CloudFormation-pinoa.

Ensimmäinen CloudFormation-skripti, L4MQuickSightDataSource.yaml, luo QuickSight Athena -tietolähteen.

  1. Käynnistä pino seuraavasta linkistä:

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. On Luo pino sivu, valitse seuraava.
  2. On Määritä pinon yksityiskohdat -sivulle, kirjoita QuickSight-käyttäjänimesi, QuickSight-tilin alue (määritetty QuickSight-tiliä luotaessa) ja pinon nimi (esim. L4MQuickSightDataSource).
  3. Valita seuraava.
  4. On Määritä pinoasetukset sivu, jätä kaikki ennalleen ja valitse seuraava.
  5. On Arvostelu sivu, jätä kaikki ennalleen ja valitse Luo pino.

Toinen CloudFormation-skripti, L4MQuickSightDataSet1.yaml, luo QuickSight-tietojoukon, joka yhdistää mittataulukon poikkeamataulukkoon.

  1. Käynnistä pino seuraavasta linkistä:

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. On Luo pino sivu, valitse seuraava.
  2. On Määritä pinon yksityiskohdat, anna pinon nimi (esim. L4MQuickSightDataSet1).
  3. Valita seuraava.
  4. On Määritä pinoasetukset sivu, jätä kaikki ennalleen ja valitse seuraava.
  5. On Arvostelu sivu, jätä kaikki ennalleen ja valitse Luo pino.

Kolmas CloudFormation-skripti, L4MQuickSightDataSet2.yaml, luo QuickSight-tietojoukon, joka yhdistää poikkeamataulukon reaaliaikaiseen tietotaulukkoon.

  1. Käynnistä pino seuraavasta linkistä:

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. On Luo pinosivu¸ valitse seuraava.
  2. On Määritä pinon yksityiskohdat sivulla, anna pinon nimi (esim. L4MQuickSightDataSet2).
  3. Valita seuraava.
  4. On Määritä pinoasetukset sivu, jätä kaikki ennalleen ja valitse seuraava.
  5. On Arvostelu sivu, jätä kaikki ennalleen ja valitse Luo pino.

Luo QuickSight-analyysi kojelaudan luomista varten

Tämä vaihe voidaan suorittaa vain konsolissa. Kun olet luonut QuickSight-tietojoukot, suorita seuraavat vaiheet:

  1. Valitse QuickSight-konsolista analyysi navigointipaneelissa.
  2. Valita Uusi analyysi.
  3. Valitse ensimmäinen tietojoukko, L4MQuickSightDataSetWithLiveData.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

  1. Valita Luo analyysi.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

QuickSight-analyysi luodaan aluksi vain ensimmäisestä tietojoukosta.

  1. Lisää toinen tietojoukko valitsemalla vieressä oleva kynäkuvake aineisto Ja valitse Lisää tietojoukko.
  2. Valitse toinen tietojoukko ja valitse valita.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Voit sitten käyttää kumpaa tahansa tietojoukkoa kaavioiden luomiseen valitsemalla sen aineisto pudotusvalikosta.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Tietojoukon mittarit

Olet onnistuneesti luonut QuickSight-analyysin Lookout for Metrics -johtopäätöstuloksista ja reaaliaikaisista tiedoista. QuickSightissa on kaksi tietojoukkoa käytettäväksi: L4M_Visualization_dataset_with_liveData ja L4M_Visualization_dataset_with_dimensionContribution.

- L4M_Visualization_dataset_with_liveData tietojoukko sisältää seuraavat tiedot:

  • aikaleima – Lookout for Metricsiin välitettyjen reaaliaikaisten tietojen päivämäärä ja kellonaika
  • näkymät – Katselukertojen arvo
  • tulot – Tulomittarin arvo
  • alusta, markkinapaikka, tuloAnomalyMetricValue, viewsAnomalyMetricValue, bevételGroupScore ja viewsGroupScore – Nämä mittarit ovat osa molempia tietojoukkoja

- L4M_Visualization_dataset_with_dimensionContribution tietojoukko sisältää seuraavat tiedot:

  • aikaleima – Päivämäärä ja kellonaika, jolloin poikkeama havaittiin
  • metriikkaName – Mittarit, joita seuraat
  • dimensionName – Mittarin sisällä oleva ulottuvuus
  • dimensionValue – Mitan arvo
  • valueContribution – Prosenttiosuus siitä, kuinka paljon dimensionValue vaikuttaa poikkeamaan, kun se havaitaan

Seuraava kuvakaappaus näyttää nämä viisi mittaria Lookout for Metrics -ilmaisimen poikkeamien hallintapaneelissa.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Seuraavat tiedot ovat osa molempia tietojoukkoja:

  • foorumi – Alusta, jossa poikkeama tapahtui
  • markkinat – Markkinapaikka, jossa poikkeama tapahtui
  • bevétel AnomalyMetricValue ja näkymätAnomalyMetricValue – Mittarin vastaavat arvot, kun poikkeama havaittiin (tässä tilanteessa mittarit ovat tuloja tai näyttökertoja)
  • bevételGroupScore ja katseluryhmäpisteet – Havaitun poikkeaman kunkin mittarin vakavuuspisteet

Ymmärtääksesi paremmin näitä viimeisiä mittareita, voit tarkastella Lambda-toiminnon luomia CSV-tiedostoja S3-alueeltasi, johon tallensit. anomalyResults/metricValue_AnomalyScore.

Seuraavat vaiheet

Seuraava vaihe on koontinäyttöjen rakentaminen haluamillesi tiedoille. Tämä viesti ei sisällä selitystä QuickSight-kaavioiden luomisesta. Jos olet uusi QuickSight-käyttäjä, katso Data-analyysin aloittaminen Amazon QuickSightissa esittelyä varten. Seuraavissa kuvakaappauksissa on esimerkkejä peruskojelaudoista. Lisätietoja on osoitteessa QuickSight-työpajat.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.

Yhteenveto

Poikkeamat esitetään yksitellen Lookout for Metrics -konsolissa, jokaisella on oma kaavionsa, mikä vaikeuttaa joukon tarkastelemista kokonaisuutena. Syvempään analyysiin tarvitaan automatisoitu, integroitu ratkaisu. Tässä viestissä käytimme Lookout for Metrics -ilmaisinta poikkeamien luomiseen ja liitimme tiedot QuickSightiin visualisointien luomiseksi. Tämän ratkaisun avulla voimme analysoida poikkeavuuksia syvällisemmin ja saada ne kaikki yhteen paikkaan / kojelautaan.

Seuraavana vaiheena tätä ratkaisua voitaisiin myös laajentaa lisäämällä ylimääräinen tietojoukko ja yhdistämällä useiden ilmaisimien poikkeavuuksia. Voit myös mukauttaa Lambda-toimintoa. Lambda-toiminto sisältää koodin, joka luo datajoukot ja muuttujien nimet, joita käytämme QuickSight-mittaristossa. Voit mukauttaa tämän koodin käyttötapauksiisi muuttamalla itse tietojoukkoja tai muuttujien nimiä, jotka ovat sinulle järkevämpiä.

Jos sinulla on palautetta tai kysymyksiä, jätä ne kommentteihin.


Tietoja Tekijät

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.Benoît de Patoul on AI/ML Specialist Solutions -arkkitehti AWS:ssä. Hän auttaa asiakkaita antamalla opastusta ja teknistä apua AI/ML-ratkaisujen rakentamisessa AWS:n käytössä.

Visualisoi Amazon Lookout for Metrics -poikkeamatulokset Amazon QuickSight PlatoBlockchain Data Intelligencen avulla. Pystysuuntainen haku. Ai.Paul Troiano on AWS:n vanhempi ratkaisuarkkitehti, jonka kotipaikka on Atlanta, GA. Hän auttaa asiakkaita antamalla ohjeita AWS:n teknologiastrategioista ja -ratkaisuista. Hän on intohimoinen kaikessa tekoälyssä/ML:ssä ja ratkaisuautomaatiossa.

Aikaleima:

Lisää aiheesta AWS-koneoppiminen