Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSightiga

Üks väljakutsetest, millega meeskonnad kasutavad Amazon Lookout mõõdikute jaoks ühendab selle kiiresti ja tõhusalt andmete visualiseerimisega. Anomaaliad esitatakse konsoolil Lookout for Metrics eraldi, igaühel neist on oma graafik, mis muudab komplekti kui terviku vaatamise keeruliseks. Sügavamaks analüüsiks on vaja automatiseeritud integreeritud lahendust.

Selles postituses kasutame Lookout for Metricsi reaalajas detektorit, mis on ehitatud järgides Alustamine jaotisest AWS-i proovid, Amazon Lookout for Metrics GitHubi repo. Kui detektor on aktiivne ja andmestikust on tekitatud kõrvalekaldeid, ühendame rakendusega Lookout for Metrics Amazon QuickSight. Loome kaks andmekogumit: ühe ühendades mõõtmete tabeli anomaaliatabeliga ja teise, ühendades anomaaliatabeli reaalajas andmetega. Seejärel saame need kaks andmekogumit lisada QuickSighti analüüsi, kus saame lisada diagramme ühel armatuurlaual.

Saame anda Lookout for Metricsi detektorile kahte tüüpi andmeid: pidevaid ja ajaloolisi andmeid. The AWS proovib GitHubi repo pakub mõlemat, kuigi keskendume pidevatele reaalajas andmetele. Detektor jälgib neid reaalajas andmeid, et tuvastada kõrvalekaldeid ja kirjutab kõrvalekalded Amazoni lihtne salvestusteenus (Amazon S3) nende loomisel. Määratud intervalli lõpus analüüsib detektor andmeid. Aja jooksul õpib detektor leitud mustrite põhjal anomaaliaid täpsemalt tuvastama.

Lookout for Metrics kasutab masinõpet (ML), et automaatselt tuvastada ja diagnoosida kõrvalekaldeid äri- ja tegevusandmetes, nagu müügitulu järsk langus või klientide hankimise määrad. Teenus on nüüd üldiselt saadaval alates 25. märtsist 2021. See kontrollib ja valmistab automaatselt erinevatest allikatest pärinevaid andmeid, et tuvastada kõrvalekaldeid kiiremini ja täpsemalt kui traditsioonilised anomaaliate tuvastamise meetodid. Samuti saate anda tagasisidet tuvastatud kõrvalekallete kohta, et tulemusi häälestada ja aja jooksul täpsust parandada. Lookout for Metrics muudab tuvastatud kõrvalekallete diagnoosimise lihtsaks, rühmitades sama sündmusega seotud kõrvalekalded ja saates hoiatuse, mis sisaldab võimaliku algpõhjuse kokkuvõtet. Samuti järjestatakse kõrvalekalded tõsiduse järgi, et saaksite oma tähelepanu prioriteediks seada sellele, mis on teie ettevõtte jaoks kõige olulisem.

QuickSight on täielikult hallatav pilvepõhine äriteabe (BI) teenus, mis muudab teie andmetega ühenduse loomise lihtsaks, et luua ja avaldada interaktiivseid armatuurlaudu. Lisaks saate kasutada Amazon QuickSight et saada loomuliku keele päringute kaudu kohe vastuseid.

Saate pääseda juurde serverita, väga skaleeritavatele QuickSighti armatuurlaudadele mis tahes seadmest ja manustada need sujuvalt oma rakendustesse, portaalidesse ja veebisaitidele. Järgmine ekraanipilt on näide sellest, mida saate selle postituse lõpuks saavutada.

Ülevaade lahendusest

Lahendus on kombinatsioon AWS-i teenustest, peamiselt Lookout for Metrics, QuickSight, AWS Lambda, Amazonase Athena, AWS liimja Amazon S3.

Järgnev diagramm illustreerib lahenduse arhitektuuri. Lookout for Metrics tuvastab ja saadab anomaaliad Lambdale hoiatuse kaudu. Lambda funktsioon genereerib anomaalia tulemused CSV-failidena ja salvestab need Amazon S3-sse. AWS Glue roomaja analüüsib metaandmeid ja loob Athenas tabeleid. QuickSight kasutab Amazon S3 andmete päringute tegemiseks Athenat, võimaldades luua armatuurlaudu nii anomaalia tulemuste kui ka reaalajas andmete visualiseerimiseks.

Lahenduse arhitektuur

See lahendus laiendab programmis loodud ressursse Alustamine GitHubi repo osa. Iga sammu jaoks lisame valikud ressursside loomiseks kas kasutades AWS-i juhtimiskonsool või pakutava käivitamine AWS CloudFormation virna. Kui teil on kohandatud Lookout for Metrics detektor, saate seda kasutada ja kohandada järgmiselt märkmik samade tulemuste saavutamiseks.

Rakendamise etapid on järgmised:

  1. Loo Amazon SageMaker märkmiku eksemplar (ALFMTestNotebook) ja märkmikud, kasutades dokumendis pakutavat virna Esmane seadistamine jaotisest GitHub repo.
  2. Avage SageMakeri konsoolis märkmiku eksemplar ja navigeerige amazon-lookout-for-metrics-samples/getting_started kausta.
  3. Looge S3 ämber ja viige andmete ettevalmistamine esimesega lõpule märkmik (1.PrereqSetupData.ipynb). Avage märkmik nupuga conda_python3 kernel, kui seda küsitakse.

Jätame teise vahele märkmik sest see keskendub andmete järeltestimisele.

  1. Kui vaatate näidet konsooli abil, looge Lookout for Metricsi reaalajas detektor ja selle hoiatus, kasutades kolmandat märkmik (3.GettingStartedWithLiveData.ipynb).

Kui kasutate kaasasolevaid CloudFormationi virnasid, pole kolmandat märkmikku vaja. Detektor ja selle hoiatus luuakse virna osana.

  1. Pärast Lookout for Metricsi reaalajas detektori loomist peate selle konsoolis aktiveerima.

Mudeli lähtestamiseks ja kõrvalekallete tuvastamiseks võib kuluda kuni 2 tundi.

  1. Juurutage Lambda funktsioon, kasutades Pythonit koos Panda teegikihiga, ja looge selle käivitamiseks reaalajas detektorile lisatud hoiatus.
  2. Kasutage QuickSighti jaoks andmete avastamiseks ja ettevalmistamiseks Athena ja AWS Glue'i kombinatsiooni.
  3. Looge QuickSighti andmeallikas ja andmekogumid.
  4. Lõpuks looge andmekogude abil visualiseerimiseks QuickSighti analüüs.

CloudFormationi skripte käitatakse tavaliselt tootmiskeskkonnas pesastatud virnade komplektina. Need on selles postituses ükshaaval esitatud, et hõlbustada samm-sammulist ülevaadet.

Eeldused

Selle juhise läbimiseks vajate AWS-i kontot, kus lahendus juurutatakse. Veenduge, et kõik kasutatavad ressursid asuvad samas piirkonnas. Vajate töötavat Lookout for Metrics detektorit, mis on ehitatud sülearvutite 1 ja 3 põhjal GitHub repo. Kui teil ei ole töötavat Lookout for Metrics detektorit, on teil kaks võimalust.

  • Käivitage märkmikud 1 ja 3 ning jätkake selle postituse 1. sammust (Lambda funktsiooni ja hoiatuse loomine)
  • Käivitage märkmik 1 ja kasutage seejärel CloudFormationi malli, et genereerida detektor Lookout for Metrics

Looge reaalajas detektor, kasutades AWS CloudFormationit

. L4MLiveDetector.yaml CloudFormationi skript loob Lookout for Metrics anomaaliadetektori, mille allikas osutab määratud S3 ämbris olevatele reaalajas andmetele. Anduri loomiseks toimige järgmiselt.

  1. Käivitage virn järgmiselt lingilt:

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. Kohta Loo virn lehel, valige järgmine.
  2. Kohta Määrake virna üksikasjad lehel esitage järgmine teave:
    1. Virna nimi. Näiteks, L4MLiveDetector.
    2. S3 kopp, <Account Number>-lookoutmetrics-lab.
    3. Roll ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
    4. Anomaaliate tuvastamise sagedus. Vali PT1H (tunnis).
  3. Vali järgmine.
  4. Kohta Konfigureerige virna valikud leht, jäta kõik nii nagu on ja vali järgmine.
  5. Kohta Ülevaade leht, jäta kõik nii nagu on ja vali Loo virn.

Looge reaalajas detektori SMS-hoiatus, kasutades AWS CloudFormationi (valikuline)

See samm on valikuline. Hoiatus on esitatud näitena, see ei mõjuta andmestiku loomist. The L4MLiveDetectorAlert.yaml CloudFormationi skript loob Lookout for Metrics anomaaliadetektori hoiatuse SMS-sihtmärgiga.

  1. Käivitage virn järgmiselt lingilt:

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. Kohta Loo virn lehel, valige järgmine.
  2. Kohta Määrake virna üksikasjad lehele, värskendage SMS-i telefoninumbrit ja sisestage virna nimi (nt L4MLiveDetectorAlert).
  3. Vali järgmine.
  4. Kohta Konfigureerige virna valikud leht, jäta kõik nii nagu on ja vali järgmine.
  5. Kohta Ülevaade lehele, märkige märkeruut kinnitus, jätke kõik muu nii nagu on ja valige Loo virn.

Ressursi puhastamine

Enne järgmise sammuga jätkamist peatage SageMakeri sülearvuti eksemplar, et vältida tarbetuid kulusid. Seda pole enam vaja.

Looge lambda funktsioon ja hoiatus

Selles jaotises anname juhiseid Lambda funktsiooni ja hoiatuse loomiseks konsooli või AWS CloudFormationi kaudu.

Looge konsooliga funktsioon ja hoiatus

Teil on vaja lambdat AWS-i identiteedi- ja juurdepääsuhaldus (AMI) roll pärast kõige vähem privileeg parim tava et pääseda juurde ämbrisse, kuhu soovite tulemused salvestada.

    1. Looge Lambda konsoolil uus funktsioon.
    2. valima Autor nullist.
    3. eest Funktsiooni nimi¸ sisestage nimi.
    4. eest Runtime, vali Python 3.8.
    5. eest Täitmise rollvalige Kasutage olemasolevat rolli ja määrake loodud roll.
    6. Vali Loo funktsioon.
  1. Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.
    1. Lae ZIP-fail, mis sisaldab lambda funktsiooni jaoks vajalikku koodi.
    2. Avage Lambda-konsoolil funktsioon.
    3. Kohta kood valige vahekaart Laadi üles kohast, vali ZIP-failja laadige alla laaditud fail üles.
    4. Vali Säästa.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Teie failipuu peaks pärast ZIP-faili üleslaadimist jääma samaks.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. aasta Kihid Valige jaotises Lisa kiht.
  2. valima Määrake ARN.
  3. Järgnevalt GitHub repo, valige CSV, mis vastab piirkonnale, kus töötate, ja kopeerige ARN Pandase uusimast versioonist.
  4. eest Määrake ARN, sisestage kopeeritud ARN.
  5. Vali lisama.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. Funktsiooni oma keskkonnaga kohandamiseks värskendage faili lambda_function.py koodi allosas ämbri nime ämbriga, kuhu soovite anomaalia tulemused salvestada, ja DataSet_ARN teie anomaaliadetektorist.
  2. Vali juurutada muudatuste aktiveerimiseks.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Nüüd peate ühendama Lookout for Metrics detektori oma funktsiooniga.

  1. Navigeerige konsoolis Lookout for Metrics oma detektorini ja valige Lisa märguanne.
  2. Sisestage hoiatuse nimi ja eelistatud raskusaste.
  3. Valige kanalite loendist Lambda.
  4. Valige loodud funktsioon ja veenduge, et teil oleks selle käivitamiseks õige roll.
  5. Vali Lisa märguanne.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Nüüd ootate, kuni teie hoiatus käivitub. Aeg varieerub sõltuvalt sellest, millal detektor kõrvalekalde leiab.

Kui avastatakse anomaalia, käivitab Lookout for Metrics lambda funktsiooni. See saab Lookout for Metricsist vajaliku teabe ja kontrollib, kas anomaalia vastava ajatempli juures on Amazon S3-s juba salvestatud CSV-fail. Kui faili pole, genereerib Lambda faili ja lisab anomaalia andmed. Kui fail on juba olemas, värskendab Lambda faili saadud lisaandmetega. Funktsioon loob iga erineva ajatempli jaoks eraldi CSV-faili.

Looge funktsioon ja hoiatus AWS CloudFormationi abil

Sarnaselt konsooli juhistele, teie laadige alla ZIP-fail mis sisaldab lambda funktsiooni jaoks vajalikku koodi. Kuid sel juhul tuleb see üles laadida S3 ämbrisse, et AWS CloudFormationi kood saaks selle funktsiooni loomise ajal laadida.

Looge Lookout for Metrics detektori loomisel määratud S3 ämbris kaust nimega lambda-kood ja laadige üles ZIP-fail.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Lambda funktsioon laadib selle loomise ajal oma koodina.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

. L4MLambdaFunction.yaml CloudFormationi skript loob Lambda funktsiooni ja hoiatusressursid ning kasutab samasse S3 ämbrisse salvestatud funktsioonikoodide arhiivi.

  1. Käivitage virn järgmiselt lingilt:

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. Kohta Loo virn lehel, valige järgmine.
  2. Kohta Määrake virna üksikasjad lehele, määrake virna nimi (näiteks L4MLambdaFunction).
  3. Järgnevalt GitHub repo, avage sellele piirkonnale vastav CSV-fail, kus töötate, ja kopeerige ARN Pandase uusimast versioonist.
  4. Sisestage Pandas Lambda kihi ARN parameetriks ARN.
  5. Vali järgmine.
  6. Kohta Konfigureerige virna valikud leht, jäta kõik nii nagu on ja vali järgmine.
  7. Kohta Ülevaade lehele, märkige märkeruut kinnitus, jätke kõik muu nii nagu on ja valige Loo virn.

Aktiveerige detektor

Enne järgmise sammuga jätkamist peate detektori konsoolilt aktiveerima.

  1. Valige konsoolil Lookout for Metrics Detektorid navigeerimispaanil.
  2. Valige oma äsja loodud detektor.
  3. Vali Activate, siis vali Activate uuesti kinnitada.

Aktiveerimine initsialiseerib detektori; see on lõppenud, kui mudel on oma õppetsükli lõpetanud. Selleks võib kuluda kuni 2 tundi.

Valmistage andmed QuickSighti jaoks ette

Enne selle sammu lõpetamist andke detektorile aega kõrvalekallete leidmiseks. Teie loodud Lambda-funktsioon salvestab anomaalia tulemused jaotises Lookout for Metrics ämbrisse anomalyResults kataloog. Nüüd saame neid andmeid töödelda, et need QuickSighti jaoks ette valmistada.

Looge konsoolil AWS Glue roomik

Pärast mõne anomaalia CSV-faili loomist kasutame metaandmete tabelite loomiseks AWS Glue roomajat.

  1. Valige AWS Glue konsoolil Indekserid navigeerimispaanil.
  2. Vali Lisa roomaja.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. Sisestage roomaja nimi (näiteks L4MCrawler).
  2. Vali järgmine.
  3. eest Roomaja allika tüüpvalige Andmesalvestised.
  4. eest Korrake S3 andmesalvede roomamistvalige Rooma kõik kaustad üles.
  5. Vali järgmine.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. Andmesalve konfiguratsioonilehel, jaoks Andmete indekseeriminevalige Määratud tee minu kontol.
  2. eest Kaasa tee, sisestage oma tee dimensionContributions fail (s3://YourBucketName/anomalyResults/dimensionContributions).
  3. Vali järgmine.
  4. Vali Jah teise andmesalve lisamiseks ja korrake juhiseid metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
  5. Korrake juhiseid reaalajas andmete analüüsimiseks Lookout for Metricsi anomaaliadetektoriga (see on teie Lookout for Metricsi detektori S3 andmestiku asukoht).

Nüüd peaks teil olema kolm andmesalvet, mida roomaja saaks töödelda.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Nüüd peate valima rolli, mis võimaldab roomajal teie andmete S3 asukohti läbida.

  1. Selle postituse jaoks valige Looge IAM-i roll ja sisestage rolli nimi.
  2. Vali järgmine.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. eest Sagedus, jäta nagu Jookse nõudmisel Ja vali järgmine.
  2. aasta Konfigureerige roomaja väljund Valige jaotises Lisa andmebaas.

See loob Athena andmebaasi, kus teie metaandmete tabelid asuvad pärast roomaja lõpetamist.

  1. Sisestage oma andmebaasi nimi ja valige Looma.
  2. Vali järgmine, siis vali lõpp.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. Kohta Indekserid AWS Glue konsooli lehel valige loodud roomaja ja valige Käivitage roomaja.

Sõltuvalt andmete suurusest võib tekkida vajadus oodata mõni minut. Kui see on lõpetatud, kuvatakse roomaja olek kujul Valmis. Metaandmete tabelite vaatamiseks navigeerige lehel oma andmebaasi Andmebaasid leht ja vali Tabelid navigeerimispaanil.

Selles näites esindab reaalajas metaandmete tabel reaalajas detektori Lookout for Metrics S3 andmestikku. Parima tavana on soovitatav krüptida oma AWS-i liimiandmete kataloogi metaandmed.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Athena tuvastab metaandmete tabelid automaatselt ja QuickSight kasutab andmete päringute tegemiseks ja tulemuste visualiseerimiseks Athenat.

Looge AWS Glue roomik, kasutades AWS CloudFormationit

. L4MGlueCrawler.yaml CloudFormationi skript loob AWS Glue roomaja, sellega seotud IAM-rolli ja Athena väljundandmebaasi.

  1. Käivitage virn järgmiselt lingilt:

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. Kohta Loo virn lehel, valige järgmine.
  2. Kohta Määrake virna üksikasjad lehele, sisestage oma virna nimi (näiteks L4MGlueCrawler) ja valige järgmine.
  3. Kohta Konfigureerige virna valikud leht, jäta kõik nii nagu on ja vali järgmine.
  4. Kohta Ülevaade lehele, märkige märkeruut kinnitus, jätke kõik muu nii nagu on ja valige Loo virn.

Käivitage AWS Glue roomik

Pärast roomaja loomist peate selle enne järgmise sammu juurde liikumist käivitama. Saate seda käivitada konsoolilt või AWS-i käsurea liides (AWS CLI). Konsooli kasutamiseks toimige järgmiselt.

  1. Valige AWS Glue konsoolil Indekserid navigeerimispaanil.
  2. Valige oma roomaja (L4MCrawler).
  3. Vali Käivitage roomaja.

Kui roomaja on lõpetatud, näitab see olekut Valmis.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Looge QuickSighti konto

Enne järgmise sammu alustamist navigeerige QuickSighti konsooli ja looge konto, kui teil seda veel pole. Veendumaks, et teil on juurdepääs vastavatele teenustele (Athena ja S3 ämber), valige paremas ülanurgas oma konto nimi, QuickSighti haldamineja vali Turvalisus ja load, kuhu saab lisada vajalikud teenused. Oma Amazon S3 juurdepääsu seadistamisel valige kindlasti Athena töörühma kirjutamisluba.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Nüüd olete valmis oma andmeid QuickSightis visualiseerima.

Looge konsoolis QuickSighti andmestikud

Kui kasutate Athenat esimest korda, peate konfigureerima päringute väljundi asukoha. Juhiste saamiseks vaadake samme 1–6 tolli Looge andmebaas. Seejärel tehke järgmised sammud.

  1. Valige QuickSighti konsoolil Andmekogumid.
  2. Vali Uus andmestik.
  3. Valige allikaks Athena.
  4. Sisestage oma andmeallika nimi.
  5. Vali Loo andmeallikas.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. Määrake oma andmebaasi jaoks see, mille lõite varem AWS Glue indeksoijaga.
  2. Määrake tabel, mis sisaldab teie reaalajas andmeid (mitte kõrvalekaldeid).
  3. Vali Redigeeri/vaata andmeid.

Teid suunatakse järgmisele ekraanipildile sarnasele liidesele.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Järgmine samm on lisada ja kombineerida metricValue_AnomalyScore andmed reaalajas andmetega.

  1. Vali Andmete lisamine.
  2. Vali Andmeallika lisamine.
  3. Määrake loodud andmebaas ja metricValue_AnomalyScore tabelis.
  4. Vali valima.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Nüüd peate konfigureerima kahe tabeli ühendamise.

  1. Valige link kahe tabeli vahel.
  2. Jäta liitumistüüp kui Vasak, lisage ajatempel ja iga dimensioon, mis teil on liitumisklauslina, ning valige kehtima.

Järgmises näites kasutame liitumisklauslitena ajatemplit, platvormi ja turgu.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Paremal paanil saate eemaldada väljad, mille säilitamisest te pole huvitatud.

  1. Eemaldage ajatempel metricValue_AnomalyScore tabelis, et veergu ei oleks dubleeritud.
  2. Muutke ajatempli andmetüüp (reaalajas andmetabeli) stringist kuupäevani ja määrake õige formaat. Meie puhul peaks nii olema yyyy-MM-dd HH:mm:ss.

Järgmine ekraanipilt näitab teie vaadet pärast mõne välja eemaldamist ja andmetüübi kohandamist.

pilt

  1. Vali Salvestage ja visualiseerige.
  2. Valige andmestiku kõrval olev pliiatsiikoon.
  3. Vali Andmestiku lisamine Ja vali dimensioncontributions.

Looge QuickSighti andmestikud, kasutades AWS CloudFormationit

See samm sisaldab kolme CloudFormationi virna.

Esimene CloudFormationi skript, L4MQuickSightDataSource.yaml, loob QuickSight Athena andmeallika.

  1. Käivitage virn järgmiselt lingilt:

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. Kohta Loo virn lehel, valige järgmine.
  2. Kohta Määrake virna üksikasjad lehele sisestage oma QuickSighti kasutajanimi, QuickSighti konto piirkond (määratud QuickSighti konto loomisel) ja virna nimi (näiteks L4MQuickSightDataSource).
  3. Vali järgmine.
  4. Kohta Konfigureerige virna valikud leht, jäta kõik nii nagu on ja vali järgmine.
  5. Kohta Ülevaade leht, jäta kõik nii nagu on ja vali Loo virn.

Teine CloudFormationi skript, L4MQuickSightDataSet1.yaml, loob QuickSighti andmestiku, mis ühendab mõõtmete tabeli anomaaliatabeliga.

  1. Käivitage virn järgmiselt lingilt:

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. Kohta Loo virn lehel, valige järgmine.
  2. Kohta Määrake virna üksikasjad, sisestage virna nimi (näiteks L4MQuickSightDataSet1).
  3. Vali järgmine.
  4. Kohta Konfigureerige virna valikud leht, jäta kõik nii nagu on ja vali järgmine.
  5. Kohta Ülevaade leht, jäta kõik nii nagu on ja vali Loo virn.

Kolmas CloudFormationi skript, L4MQuickSightDataSet2.yaml, loob QuickSighti andmestiku, mis ühendab anomaaliate tabeli reaalajas andmetabeliga.

  1. Käivitage virn järgmiselt lingilt:

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. Kohta Loo virna leht¸ vali järgmine.
  2. Kohta Määrake virna üksikasjad lehele, sisestage virna nimi (näiteks L4MQuickSightDataSet2).
  3. Vali järgmine.
  4. Kohta Konfigureerige virna valikud leht, jäta kõik nii nagu on ja vali järgmine.
  5. Kohta Ülevaade leht, jäta kõik nii nagu on ja vali Loo virn.

Looge armatuurlaua loomiseks QuickSighti analüüs

Seda sammu saab teha ainult konsoolis. Pärast QuickSighti andmekogumite loomist toimige järgmiselt.

  1. Valige QuickSighti konsoolil analüüs navigeerimispaanil.
  2. Vali Uus analüüs.
  3. Valige esimene andmestik, L4MQuickSightDataSetWithLiveData.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

  1. Vali Loo analüüs.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

QuickSighti analüüs luuakse algselt ainult esimese andmekogumiga.

  1. Teise andmestiku lisamiseks valige kõrval olev pliiatsiikoon Andmebaas Ja vali Andmestiku lisamine.
  2. Valige teine ​​andmestik ja valige valima.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Seejärel saate diagrammide loomiseks kasutada kumbagi andmestikku, valides selle lehel Andmebaas rippmenüüst.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Andmekogumi mõõdikud

Olete edukalt loonud QuickSighti analüüsi Lookout for Metricsi järeldustulemuste ja reaalajas andmete põhjal. QuickSightis on kasutamiseks kaks andmekogumit: L4M_Visualization_dataset_with_liveData ja L4M_Visualization_dataset_with_dimensionContribution.

. L4M_Visualization_dataset_with_liveData andmekogum sisaldab järgmisi mõõdikuid:

  • ajatempel – Lookout for Metricsile edastatud reaalajas andmete kuupäev ja kellaaeg
  • vaated – Vaatamiste mõõdiku väärtus
  • tulu – tulumõõdiku väärtus
  • platvorm, turg, tuluAnomalyMetricValue, viewsAnomalyMetricValue, tuluGroupScore ja viewsGroupScore – Need mõõdikud on osa mõlemast andmekogumist

. L4M_Visualization_dataset_with_dimensionContribution andmekogum sisaldab järgmisi mõõdikuid:

  • ajatempel – anomaalia tuvastamise kuupäev ja kellaaeg
  • meetrikaNimi – mõõdikud, mida jälgite
  • dimensionName – mõõdiku mõõde
  • dimensionValue – mõõtme väärtus
  • väärtus Panus – protsent selle kohta, kui palju dimensionValue tuvastamisel anomaaliat mõjutab

Järgmine ekraanipilt näitab neid viit mõõdikut Lookout for Metrics detektori anomaaliate armatuurlaual.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Järgmised mõõdikud on osa mõlemast andmekogumist.

  • inimesele – platvorm, kus anomaalia juhtus
  • turul – Turg, kus anomaalia juhtus
  • tuluAnomalyMetricValue ja vaatedAnomalyMetricValue – Mõõdiku vastavad väärtused, kui anomaalia tuvastati (sel juhul on mõõdikuteks tulu või vaatamised)
  • tuluGroupScore ja viewsGroupScore – tuvastatud kõrvalekalde iga mõõdiku raskusastme hinded

Nende viimaste mõõdikute paremaks mõistmiseks saate vaadata üle Lambda funktsiooniga loodud CSV-failid oma S3 ämbris, kuhu salvestasite anomalyResults/metricValue_AnomalyScore.

Järgmised sammud

Järgmine samm on luua armatuurlauad nende andmete jaoks, mida soovite näha. See postitus ei sisalda selgitust QuickSighti diagrammide loomise kohta. Kui olete QuickSighti uus kasutaja, vaadake Amazon QuickSighti andmete analüüsiga alustamine sissejuhatuseks. Järgmistel ekraanipiltidel on näidised põhiliste armatuurlaudade kohta. Lisateabe saamiseks vaadake QuickSighti töötoad.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.

Järeldus

Anomaaliad esitatakse konsoolil Lookout for Metrics eraldi, igaühel neist on oma graafik, mis muudab komplekti kui terviku vaatamise keeruliseks. Sügavamaks analüüsiks on vaja automatiseeritud integreeritud lahendust. Selles postituses kasutasime anomaaliate genereerimiseks detektorit Lookout for Metrics ja ühendasime andmed QuickSightiga, et luua visualiseeringuid. See lahendus võimaldab meil analüüsida kõrvalekaldeid sügavamalt ja hoida need kõik ühes kohas/armatuurlaual.

Järgmise sammuna saab seda lahendust ka laiendada, lisades täiendava andmestiku ja kombineerides mitme detektori kõrvalekaldeid. Samuti saate kohandada lambda funktsiooni. Lambda funktsioon sisaldab koodi, mis genereerib andmekogumeid ja muutujate nimesid, mida me QuickSighti armatuurlaudade jaoks kasutame. Saate kohandada seda koodi oma konkreetse kasutusjuhtumiga, muutes andmekogumeid ennast või muutujate nimesid, mis on teie jaoks mõistlikumad.

Kui teil on tagasisidet või küsimusi, jätke need kommentaaridesse.


Autoritest

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.Benoît de Patoul on AWS-i AI/ML-i spetsialistilahenduste arhitekt. Ta aitab kliente, pakkudes juhiseid ja tehnilist abi AI/ML-iga seotud lahenduste loomiseks AWS-i kasutamisel.

Visualiseerige oma Amazon Lookout for Metrics anomaalia tulemusi Amazon QuickSight PlatoBlockchain Data Intelligence'iga. Vertikaalne otsing. Ai.Paul Troiano on AWS-i vanemlahenduste arhitekt, mis asub Atlantas, GA. Ta aitab kliente, pakkudes juhiseid AWS-i tehnoloogiliste strateegiate ja lahenduste kohta. Ta on kirglik kõigest AI/ML-ist ja lahenduste automatiseerimisest.

Ajatempel:

Veel alates AWS-i masinõpe