Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Vizualizați rezultatele anomaliilor dvs. Amazon Lookout for Metrics cu Amazon QuickSight

Una dintre provocările întâlnite de echipele care folosesc Amazon Lookout pentru metrici îl conectează rapid și eficient la vizualizarea datelor. Anomaliile sunt prezentate individual pe consola Lookout for Metrics, fiecare cu propriul grafic, ceea ce face dificilă vizualizarea setului ca întreg. Este necesară o soluție automată, integrată pentru o analiză mai profundă.

În această postare, folosim un detector live Lookout for Metrics construit după Noțiuni de bază secțiunea din Mostre AWS, Amazon Lookout pentru metrici Repoziție GitHub. După ce detectorul este activ și anomaliile sunt generate din setul de date, conectăm Lookout for Metrics la Amazon QuickSight. Creăm două seturi de date: unul prin alăturarea tabelului de dimensiuni cu tabelul de anomalii și altul prin unirea tabelului de anomalii cu datele live. Putem apoi adăuga aceste două seturi de date la o analiză QuickSight, unde putem adăuga diagrame într-un singur tablou de bord.

Putem furniza două tipuri de date detectorului Lookout for Metrics: continue și istorice. The AWS Samples GitHub repo oferă ambele, deși ne concentrăm pe datele live continue. Detectorul monitorizează aceste date în direct pentru a identifica anomaliile și le scrie Serviciul Amazon de stocare simplă (Amazon S3) pe măsură ce sunt generate. La sfârșitul unui interval specificat, detectorul analizează datele. De-a lungul timpului, detectorul învață să identifice mai precis anomaliile pe baza modelelor pe care le găsește.

Lookout for Metrics folosește învățarea automată (ML) pentru a detecta și diagnostica automat anomaliile în datele de afaceri și operaționale, cum ar fi o scădere bruscă a veniturilor din vânzări sau ratele de achiziție de clienți. Serviciul este acum disponibil în general începând cu 25 martie 2021. Acesta inspectează și pregătește automat date dintr-o varietate de surse pentru a detecta anomalii cu o viteză și o precizie mai mare decât metodele tradiționale utilizate pentru detectarea anomaliilor. De asemenea, puteți oferi feedback cu privire la anomaliile detectate pentru a regla rezultatele și pentru a îmbunătăți acuratețea în timp. Lookout for Metrics facilitează diagnosticarea anomaliilor detectate prin gruparea anomaliilor legate de același eveniment și prin trimiterea unei alerte care include un rezumat al cauzei principale potențiale. De asemenea, ierarhizează anomaliile în ordinea severității, astfel încât să vă puteți acorda prioritate atenției asupra a ceea ce contează cel mai mult pentru afacerea dvs.

QuickSight este un serviciu de business intelligence (BI) nativ în cloud complet gestionat, care facilitează conectarea la datele dvs. pentru a crea și a publica tablouri de bord interactive. În plus, puteți utiliza Amazon QuickSight pentru a obține răspunsuri instantanee prin interogări în limbaj natural.

Puteți accesa tablouri de bord QuickSight fără server, extrem de scalabile de pe orice dispozitiv și le puteți încorpora fără probleme în aplicațiile, portalurile și site-urile dvs. web. Următoarea captură de ecran este un exemplu de ceea ce puteți realiza până la sfârșitul acestei postări.

Prezentare generală a soluției

Soluția este o combinație de servicii AWS, în primul rând Lookout for Metrics, QuickSight, AWS Lambdas, Amazon Atena, AWS Adezivși Amazon S3.

Următoarea diagramă ilustrează arhitectura soluției. Lookout for Metrics detectează și trimite anomaliile către Lambda printr-o alertă. Funcția Lambda generează rezultatele anomaliei ca fișiere CSV și le salvează în Amazon S3. Un crawler AWS Glue analizează metadatele și creează tabele în Athena. QuickSight folosește Athena pentru a interoga datele Amazon S3, permițând crearea de tablouri de bord pentru a vizualiza atât rezultatele anomaliilor, cât și datele live.

Arhitectura soluției

Această soluție extinde resursele create în Noțiuni de bază secțiunea depozitului GitHub. Pentru fiecare pas, includem opțiuni de creare a resurselor fie folosind Consola de administrare AWS sau lansarea oferită Formarea AWS Cloud grămadă. Dacă aveți un detector personalizat Lookout for Metrics, îl puteți utiliza și îl puteți adapta după cum urmează caiet pentru a obține aceleași rezultate.

Pașii de implementare sunt după cum urmează:

  1. Creați Amazon SageMaker instanță de notebook (ALFMTestNotebook) și caiete folosind teancul furnizat în Configurare inițială secțiunea din GitHub repo.
  2. Deschideți instanța de notebook pe consola SageMaker și navigați la amazon-lookout-for-metrics-samples/getting_started dosar.
  3. Creați găleata S3 și finalizați pregătirea datelor folosind prima caiet (1.PrereqSetupData.ipynb). Deschide caietul cu conda_python3 kernel, dacă vi se solicită.

Sarim peste al doilea caiet pentru că se concentrează pe backtesting-ul de date.

  1. Dacă parcurgeți exemplul folosind consola, creați detectorul live Lookout for Metrics și alerta acestuia folosind a treia caiet (3.GettingStartedWithLiveData.ipynb).

Dacă utilizați stivele CloudFormation furnizate, cel de-al treilea blocnotes nu este necesar. Detectorul și alerta sa sunt create ca parte a stivei.

  1. După ce creați detectorul live Lookout for Metrics, trebuie să îl activați din consolă.

Acest lucru poate dura până la 2 ore pentru a inițializa modelul și a detecta anomalii.

  1. Implementați o funcție Lambda, folosind Python cu un strat de bibliotecă Pandas și creați o alertă atașată detectorului live pentru a-l lansa.
  2. Utilizați combinația dintre Athena și AWS Glue pentru a descoperi și pregăti datele pentru QuickSight.
  3. Creați sursa de date QuickSight și seturile de date.
  4. În cele din urmă, creați o analiză QuickSight pentru vizualizare, folosind seturile de date.

Scripturile CloudFormation sunt de obicei rulate ca un set de stive imbricate într-un mediu de producție. Acestea sunt furnizate individual în această postare pentru a facilita o prezentare pas cu pas.

Cerințe preliminare

Pentru a parcurge această explicație, aveți nevoie de un cont AWS în care va fi implementată soluția. Asigurați-vă că toate resursele pe care le implementați sunt în aceeași regiune. Aveți nevoie de un detector Lookout for Metrics care rulează, construit din blocnotesurile 1 și 3 de la GitHub repo. Dacă nu aveți un detector Lookout for Metrics care rulează, aveți două opțiuni:

  • Rulați notebook-urile 1 și 3 și continuați de la pasul 1 al acestei postări (crearea funcției Lambda și alertă)
  • Rulați blocnotesul 1 și apoi utilizați șablonul CloudFormation pentru a genera detectorul Lookout for Metrics

Creați detectorul live folosind AWS CloudFormation

L4MLiveDetector.yaml Scriptul CloudFormation creează detectorul de anomalii Lookout for Metrics, cu sursa sa indicând datele live din compartimentul S3 specificat. Pentru a crea detectorul, parcurgeți următorii pași:

  1. Lansați stiva de la următorul link:

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Pe Creați stivă pagina, alege Pagina Următoare →.
  2. Pe Specificați detaliile stivei pagina, furnizați următoarele informații:
    1. Un nume de stivă. De exemplu, L4MLiveDetector.
    2. Găleata S3, <Account Number>-lookoutmetrics-lab.
    3. Rolul ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
    4. O frecvență de detectare a anomaliilor. Alege PT1H (orar).
  3. Alege Pagina Următoare →.
  4. Pe Configurați opțiunile stivei pagina, lăsați totul așa cum este și alegeți Pagina Următoare →.
  5. Pe Recenzie pagina, lăsați totul așa cum este și alegeți Creați stivă.

Creați alerta SMS de detector live folosind AWS CloudFormation (Opțional)

Acest pas este opțional. Alerta este prezentată ca exemplu, fără impact asupra creării setului de date. The L4MLiveDetectorAlert.yaml Scriptul CloudFormation creează alerta de detector de anomalii Lookout for Metrics cu o țintă SMS.

  1. Lansați stiva de la următorul link:

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Pe Creați stivă pagina, alege Pagina Următoare →.
  2. Pe Specificați detaliile stivei pagina, actualizați numărul de telefon SMS și introduceți un nume pentru stivă (de exemplu, L4MLiveDetectorAlert).
  3. Alege Pagina Următoare →.
  4. Pe Configurați opțiunile stivei pagina, lăsați totul așa cum este și alegeți Pagina Următoare →.
  5. Pe Recenzie pagina, bifați caseta de validare de confirmare, lăsați totul așa cum este și alegeți Creați stivă.

Curățarea resurselor

Înainte de a continua cu pasul următor, opriți instanța de notebook SageMaker pentru a vă asigura că nu sunt suportate costuri inutile. Nu mai este nevoie.

Creați funcția Lambda și alertați

În această secțiune, oferim instrucțiuni despre crearea funcției dvs. Lambda și alerte prin consolă sau AWS CloudFormation.

Creați funcția și alertați cu consola

Ai nevoie de un Lambda Gestionarea identității și accesului AWS (EU SUNT) rol în urma cele mai bune practici pentru cel mai mic privilegiu pentru a accesa compartimentul în care doriți să fie salvate rezultatele.

    1. Pe consola Lambda, creați o nouă funcție.
    2. Selectați Autor de la zero.
    3. Pentru Numele funcției¸ introduceți un nume.
    4. Pentru Runtime, alege Python 3.8.
    5. Pentru Rolul de execuție, Selectați Utilizați un rol existent și specificați rolul pe care l-ați creat.
    6. Alege Funcție Creare.
  1. Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.
    1. Descarcă fișierul ZIP care conține codul necesar pentru funcția Lambda.
    2. Pe consola Lambda, deschideți funcția.
    3. Pe Cod fila, alegeți Încărcați de la, alege .fișier Zipși încărcați fișierul pe care l-ați descărcat.
    4. Alege Economisiți.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Arborele dvs. de fișiere ar trebui să rămână același după încărcarea fișierului ZIP.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. În Straturi secțiune, pentru a alege Adăugați un strat.
  2. Selectați Specificați un ARN.
  3. În cele ce urmează GitHub repo, alegeți CSV-ul corespunzător Regiunii în care lucrați și copiați ARN-ul din cea mai recentă versiune Pandas.
  4. Pentru Specificați un ARN, introduceți ARN-ul pe care l-ați copiat.
  5. Alege Adăuga.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Pentru a adapta funcția la mediul dvs., în partea de jos a codului din fișierul lambda_function.py, asigurați-vă că actualizați numele compartimentului cu compartimentul în care doriți să salvați rezultatele anomaliei și DataSet_ARN de la detectorul dumneavoastră de anomalii.
  2. Alege Lansa pentru a face modificările active.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Acum trebuie să conectați detectorul Lookout for Metrics la funcția dvs.

  1. În consola Lookout for Metrics, navigați la detectorul dvs. și alegeți Adăugați o alertă.
  2. Introduceți numele alertei și pragul de severitate preferat.
  3. Din lista de canale, alegeți Lambda.
  4. Alegeți funcția pe care ați creat-o și asigurați-vă că aveți rolul potrivit pentru a o declanșa.
  5. Alege Adăugați o alertă.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Acum așteptați ca alerta să se declanșeze. Timpul variază în funcție de momentul în care detectorul găsește o anomalie.

Când este detectată o anomalie, Lookout for Metrics declanșează funcția Lambda. Acesta primește informațiile necesare de la Lookout for Metrics și verifică dacă există deja un fișier CSV salvat în Amazon S3 la marcajul de timp corespunzător al anomaliei. Dacă nu există un fișier, Lambda generează fișierul și adaugă datele despre anomalii. Dacă fișierul există deja, Lambda actualizează fișierul cu datele suplimentare primite. Funcția generează un fișier CSV separat pentru fiecare marcaj de timp diferit.

Creați funcția și alerta folosind AWS CloudFormation

Similar cu instrucțiunile consolei, tu descărcați fișierul ZIP conţinând codul necesar pentru funcţia Lambda. Cu toate acestea, în acest caz, trebuie să fie încărcat în compartimentul S3 pentru ca codul AWS CloudFormation să îl încarce în timpul creării funcției.

În compartimentul S3 specificat în crearea detectorului Lookout for Metrics, creați un folder numit lambda-code și încărcați fișierul ZIP.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Funcția Lambda îl încarcă ca cod în timpul creării.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

L4MLambdaFunction.yaml Scriptul CloudFormation creează funcția Lambda și resursele de alertă și utilizează arhiva de coduri de funcție stocată în același bucket S3.

  1. Lansați stiva de la următorul link:

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Pe Creați stivă pagina, alege Pagina Următoare →.
  2. Pe Specificați detaliile stivei pagina, specificați un nume de stivă (de exemplu, L4MLambdaFunction).
  3. În cele ce urmează GitHub repo, deschideți CSV-ul corespunzător Regiunii în care lucrați și copiați ARN-ul din cea mai recentă versiune Pandas.
  4. Introduceți ARN-ul ca parametru ARN al stratului Pandas Lambda.
  5. Alege Pagina Următoare →.
  6. Pe Configurați opțiunile stivei pagina, lăsați totul așa cum este și alegeți Pagina Următoare →.
  7. Pe Recenzie pagina, bifați caseta de validare de confirmare, lăsați totul așa cum este și alegeți Creați stivă.

Activați detectorul

Înainte de a trece la pasul următor, trebuie să activați detectorul de pe consolă.

  1. În consola Lookout for Metrics, alegeți Detectoare în panoul de navigare.
  2. Alegeți-vă detectorul nou creat.
  3. Alege Activati, Apoi alegeți Activati din nou pentru a confirma.

Activarea inițializează detectorul; este terminat când modelul și-a încheiat ciclul de învățare. Acest lucru poate dura până la 2 ore.

Pregătiți datele pentru QuickSight

Înainte de a finaliza acest pas, acordați timp detectorului să găsească anomalii. Funcția Lambda pe care ați creat-o salvează rezultatele anomaliei în compartimentul Lookout for Metrics din anomalyResults director. Acum putem procesa aceste date pentru a le pregăti pentru QuickSight.

Creați crawler-ul AWS Glue pe consolă

După ce au fost generate unele fișiere CSV anomalii, folosim un crawler AWS Glue pentru a genera tabelele de metadate.

  1. Pe consola AWS Glue, alegeți crawlere în panoul de navigare.
  2. Alege Adăugați crawler.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Introduceți un nume pentru crawler (de exemplu, L4MCrawler).
  2. Alege Pagina Următoare →.
  3. Pentru Tipul sursei de crawler, Selectați Magazin de date.
  4. Pentru Repetă accesările cu crawlere ale depozitelor de date S3, Selectați Accesați cu crawlere toate dosarele.
  5. Alege Pagina Următoare →.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Pe pagina de configurare a depozitului de date, pt Accesați cu crawlere datele în, Selectați Calea specificată în contul meu.
  2. Pentru Includeți calea, intra pe calea ta dimensionContributions fișier (s3://YourBucketName/anomalyResults/dimensionContributions).
  3. Alege Pagina Următoare →.
  4. Alege Da pentru a adăuga un alt depozit de date și repetați instrucțiunile pentru metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
  5. Repetați din nou instrucțiunile pentru ca datele în timp real să fie analizate de detectorul de anomalii Lookout for Metrics (aceasta este locația setului de date S3 de la detectorul Lookout for Metrics).

Acum ar trebui să aveți trei depozite de date pe care crawler-ul să le proceseze.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Acum trebuie să selectați rolul pentru a permite crawler-ului să treacă prin locațiile S3 ale datelor dvs.

  1. Pentru această postare, selectați Creați un rol IAM și introduceți un nume pentru rol.
  2. Alege Pagina Următoare →.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Pentru Frecvență, lasa ca Fugi la cerere Și alegeți Pagina Următoare →.
  2. În Configurați ieșirea crawler-ului secțiune, pentru a alege Adăugați o bază de date.

Aceasta creează baza de date Athena în care se află tabelele cu metadate după ce crawler-ul este finalizat.

  1. Introduceți un nume pentru baza de date și alegeți Crea.
  2. Alege Pagina Următoare →, Apoi alegeți finalizarea.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Pe crawlere pagina consolei AWS Glue, selectați crawler-ul pe care l-ați creat și alegeți Rulați crawlerul.

Poate fi necesar să așteptați câteva minute, în funcție de dimensiunea datelor. Când este complet, starea crawler-ului arată ca Gata. Pentru a vedea tabelele cu metadate, navigați la baza de date pe Baze de date pagina și alegeți Mese în panoul de navigare.

În acest exemplu, tabelul de metadate numit live reprezintă setul de date S3 de la detectorul Live Lookout for Metrics. Ca cea mai bună practică, se recomandă să criptați metadatele AWS Glue Data Catalog.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Athena recunoaște automat tabelele de metadate, iar QuickSight folosește Athena pentru a interoga datele și a vizualiza rezultatele.

Creați crawler-ul AWS Glue folosind AWS CloudFormation

L4MGlueCrawler.yaml Scriptul CloudFormation creează crawler-ul AWS Glue, rolul său IAM asociat și baza de date Athena de ieșire.

  1. Lansați stiva de la următorul link:

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Pe Creați stivă pagina, alege Pagina Următoare →.
  2. Pe Specificați detaliile stivei pagina, introduceți un nume pentru stiva dvs. (de exemplu, L4MGlueCrawler), și alegeți Pagina Următoare →.
  3. Pe Configurați opțiunile stivei pagina, lăsați totul așa cum este și alegeți Pagina Următoare →.
  4. Pe Recenzie pagina, bifați caseta de validare de confirmare, lăsați totul așa cum este și alegeți Creați stivă.

Rulați crawler-ul AWS Glue

După ce creați crawler-ul, trebuie să îl rulați înainte de a trece la pasul următor. Îl puteți rula de pe consolă sau din Interfața liniei de comandă AWS (AWS CLI). Pentru a utiliza consola, parcurgeți următorii pași:

  1. Pe consola AWS Glue, alegeți crawlere în panoul de navigare.
  2. Selectați crawler-ul dvs. (L4MCrawler).
  3. Alege Rulați crawlerul.

Când crawler-ul este complet, acesta arată starea Gata.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Creați un cont QuickSight

Înainte de a începe acest pas următor, navigați la consola QuickSight și creați un cont dacă nu aveți deja unul. Pentru a vă asigura că aveți acces la serviciile corespunzătoare (Athena și S3 bucket), alegeți numele contului în dreapta sus, alegeți Gestionați QuickSightși alegeți Securitate și permisiuni, unde puteți adăuga serviciile necesare. Când vă configurați accesul Amazon S3, asigurați-vă că selectați Permisiune de scriere pentru Athena Workgroup.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Acum sunteți gata să vă vizualizați datele în QuickSight.

Creați seturile de date QuickSight pe consolă

Dacă este prima dată când utilizați Athena, trebuie să configurați locația de ieșire a interogărilor. Pentru instrucțiuni, consultați pașii 1–6 in Creați o bază de date. Apoi parcurgeți următorii pași:

  1. Pe consola QuickSight, alegeți Datasets.
  2. Alege Set de date nou.
  3. Alegeți Athena ca sursă.
  4. Introduceți un nume pentru sursa dvs. de date.
  5. Alege Creați sursa de date.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Pentru baza de date, specificați cea pe care ați creat-o mai devreme cu crawler-ul AWS Glue.
  2. Specificați tabelul care conține datele dvs. live (nu anomaliile).
  3. Alege Editați/previzualizați datele.

Sunteți redirecționat către o interfață similară cu următoarea captură de ecran.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Următorul pas este să adăugați și să combinați metricValue_AnomalyScore date cu datele live.

  1. Alege Adăugați date.
  2. Alege Adăugați o sursă de date.
  3. Specificați baza de date pe care ați creat-o și metricValue_AnomalyScore tabel.
  4. Alege Selectați.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Acum trebuie să configurați îmbinarea celor două tabele.

  1. Alegeți legătura dintre cele două tabele.
  2. Lăsați tipul de unire ca Stânga, adăugați marca temporală și fiecare dimensiune pe care o aveți ca clauză de alăturare și alegeți Aplică.

În exemplul următor, folosim marca temporală, platforma și piața ca clauze de alăturare.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

În panoul din dreapta, puteți elimina câmpurile pe care nu sunteți interesat să le păstrați.

  1. Scoateți marcajul de timp din metricValue_AnomalyScore tabel pentru a nu avea o coloană duplicată.
  2. Schimbați tipul de date marca temporală (din tabelul de date live) din șir în dată și specificați cel corect format. În cazul nostru, ar trebui să fie yyyy-MM-dd HH:mm:ss.

Următoarea captură de ecran vă arată vizualizarea după ce eliminați unele câmpuri și ajustați tipul de date.

imagine

  1. Alege Salvați și vizualizați.
  2. Alegeți pictograma creion de lângă setul de date.
  3. Alege Adăugați un set de date Și alegeți dimensioncontributions.

Creați seturile de date QuickSight folosind AWS CloudFormation

Acest pas conține trei stive CloudFormation.

Primul script CloudFormation, L4MQuickSightDataSource.yaml, creează sursa de date QuickSight Athena.

  1. Lansați stiva de la următorul link:

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Pe Creați stivă pagina, alege Pagina Următoare →.
  2. Pe Specificați detaliile stivei pagina, introduceți numele dvs. de utilizator QuickSight, Regiunea contului QuickSight (specificată la crearea contului QuickSight) și un nume de stivă (de exemplu, L4MQuickSightDataSource).
  3. Alege Pagina Următoare →.
  4. Pe Configurați opțiunile stivei pagina, lăsați totul așa cum este și alegeți Pagina Următoare →.
  5. Pe Recenzie pagina, lăsați totul așa cum este și alegeți Creați stivă.

Al doilea script CloudFormation, L4MQuickSightDataSet1.yaml, creează un set de date QuickSight care unește tabelul de dimensiuni cu tabelul de anomalii.

  1. Lansați stiva de la următorul link:

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Pe Creați stivă pagina, alege Pagina Următoare →.
  2. Pe Specificați detaliile stivei, introduceți un nume de stivă (de exemplu, L4MQuickSightDataSet1).
  3. Alege Pagina Următoare →.
  4. Pe Configurați opțiunile stivei pagina, lăsați totul așa cum este și alegeți Pagina Următoare →.
  5. Pe Recenzie pagina, lăsați totul așa cum este și alegeți Creați stivă.

Al treilea script CloudFormation, L4MQuickSightDataSet2.yaml, creează setul de date QuickSight care unește tabelul de anomalii cu tabelul de date live.

  1. Lansați stiva de la următorul link:

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Pe Creați o pagină de stiv㸠alege Pagina Următoare →.
  2. Pe Specificați detaliile stivei pagina, introduceți un nume de stivă (de exemplu, L4MQuickSightDataSet2).
  3. Alege Pagina Următoare →.
  4. Pe Configurați opțiunile stivei pagina, lăsați totul așa cum este și alegeți Pagina Următoare →.
  5. Pe Recenzie pagina, lăsați totul așa cum este și alegeți Creați stivă.

Creați analiza QuickSight pentru crearea tabloului de bord

Acest pas poate fi finalizat doar pe consolă. După ce ați creat seturile de date QuickSight, parcurgeți următorii pași:

  1. Pe consola QuickSight, alegeți Analiză în panoul de navigare.
  2. Alege Noua analiză.
  3. Alegeți primul set de date, L4MQuickSightDataSetWithLiveData.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

  1. Alege Creați o analiză.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Analiza QuickSight este creată inițial doar cu primul set de date.

  1. Pentru a adăuga al doilea set de date, alegeți pictograma creion de lângă Setul de date Și alegeți Adăugați un set de date.
  2. Alegeți al doilea set de date și alegeți Selectați.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Puteți utiliza apoi oricare dintre seturile de date pentru a crea diagrame, alegându-l pe Setul de date meniul derulant.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Valorile setului de date

Ați creat cu succes o analiză QuickSight din rezultatele inferenței Lookout for Metrics și datele în direct. Două seturi de date sunt în QuickSight pe care le puteți utiliza: L4M_Visualization_dataset_with_liveData și L4M_Visualization_dataset_with_dimensionContribution.

L4M_Visualization_dataset_with_liveData setul de date include următoarele valori:

  • timestamp-ul – Data și ora datelor în direct transmise către Lookout for Metrics
  • vizualizari – Valoarea valorii vizualizărilor
  • venituri – Valoarea valorii venitului
  • platformă, piață, revenueAnomalyMetricValue, viewsAnomalyMetricValue, revenueGroupScore și viewsGroupScore – Aceste valori fac parte din ambele seturi de date

L4M_Visualization_dataset_with_dimensionContribution setul de date include următoarele valori:

  • timestamp-ul – Data și ora la care a fost detectată anomalia
  • metricName – Valorile pe care le monitorizați
  • dimensionName – Dimensiunea din cadrul valorii
  • dimensionValue – Valoarea dimensiunii
  • ValueContribution – Procentul asupra cât de mult dimensionValue afectează anomalia atunci când este detectată

Următoarea captură de ecran arată aceste cinci valori pe tabloul de bord de anomalii al detectorului Lookout for Metrics.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Următoarele valori fac parte din ambele seturi de date:

  • platformă – Platforma unde s-a produs anomalia
  • piaţă – Piața unde s-a produs anomalia
  • revenueAnomalyMetricValue și vizualizăriAnomalyMetricValue – Valorile corespunzătoare ale valorii când a fost detectată anomalia (în această situație, valorile sunt venituri sau vizualizări)
  • venituriGroupScore și vizionăriGroupScore – Scorurile de severitate pentru fiecare măsură pentru anomalia detectată

Pentru a înțelege mai bine aceste ultime valori, puteți examina fișierele CSV create de funcția Lambda din compartimentul S3 în care ați salvat anomalyResults/metricValue_AnomalyScore.

Pasii urmatori

Următorul pas este să construiți tablourile de bord pentru datele pe care doriți să le vedeți. Această postare nu include o explicație despre crearea diagramelor QuickSight. Dacă sunteți nou la QuickSight, consultați Noțiuni introductive cu analiza datelor în Amazon QuickSight pentru o introducere. Următoarele capturi de ecran arată exemple de tablouri de bord de bază. Pentru mai multe informații, consultați Ateliere QuickSight.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Concluzie

Anomaliile sunt prezentate individual pe consola Lookout for Metrics, fiecare cu propriul grafic, ceea ce face dificilă vizualizarea setului ca întreg. Este necesară o soluție automată, integrată pentru o analiză mai profundă. În această postare, am folosit un detector Lookout for Metrics pentru a genera anomalii și am conectat datele la QuickSight pentru a crea vizualizări. Această soluție ne permite să efectuăm o analiză mai profundă a anomaliilor și să le avem pe toate într-un singur loc/tablou de bord.

Ca pas următor, această soluție ar putea fi extinsă prin adăugarea unui set de date suplimentar și prin combinarea anomaliilor de la mai mulți detectoare. De asemenea, puteți adapta funcția Lambda. Funcția Lambda conține codul care generează seturile de date și numele variabilelor pe care le folosim pentru tablourile de bord QuickSight. Puteți adapta acest cod la cazul dvs. particular de utilizare schimbând seturile de date în sine sau numele variabilelor care au mai mult sens pentru dvs.

Dacă aveți feedback sau întrebări, vă rugăm să le lăsați în comentarii.


Despre Autori

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.Benoît de Patoul este arhitect specializat în soluții AI/ML la AWS. El ajută clienții oferind îndrumări și asistență tehnică pentru a construi soluții legate de AI/ML atunci când utilizează AWS.

Visualize your Amazon Lookout for Metrics anomaly results with Amazon QuickSight PlatoBlockchain Data Intelligence. Vertical Search. Ai.Paul Troiano este arhitect senior de soluții la AWS, cu sediul în Atlanta, GA. El ajută clienții oferind îndrumări cu privire la strategiile și soluțiile tehnologice pe AWS. Este pasionat de toate lucrurile AI/ML și de automatizarea soluțiilor.

Timestamp-ul:

Mai mult de la Învățare automată AWS