Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Visualizza i risultati dell'anomalia di Amazon Lookout for Metrics con Amazon QuickSight

Una delle sfide incontrate dai team che utilizzano Amazon Lookout per le metriche lo sta collegando in modo rapido ed efficiente alla visualizzazione dei dati. Le anomalie vengono presentate individualmente sulla console Lookout for Metrics, ognuna con il proprio grafico, rendendo difficile la visualizzazione dell'insieme nel suo insieme. Per un'analisi più approfondita è necessaria una soluzione automatizzata e integrata.

In questo post, utilizziamo un rilevatore live Lookout for Metrics costruito seguendo il Iniziamo sezione dalla Esempi AWS, Amazon Lookout for Metrics repository GitHub. Dopo che il rilevatore è attivo e le anomalie sono state generate dal set di dati, colleghiamo Lookout for Metrics a Amazon QuickSight. Creiamo due set di dati: uno unendo la tabella delle dimensioni con la tabella delle anomalie e un altro unendo la tabella delle anomalie con i dati in tempo reale. Possiamo quindi aggiungere questi due set di dati a un'analisi QuickSight, in cui possiamo aggiungere grafici in un'unica dashboard.

Possiamo fornire due tipi di dati al rilevatore Lookout for Metrics: continui e storici. Il Repo GitHub di esempi AWS offre entrambi, anche se ci concentriamo sui dati in tempo reale continui. Il rilevatore monitora questi dati in tempo reale per identificare le anomalie e scrivervi le anomalie Servizio di archiviazione semplice Amazon (Amazon S3) man mano che vengono generati. Al termine di un intervallo specificato, il rilevatore analizza i dati. Nel tempo, il rilevatore impara a identificare con maggiore precisione le anomalie in base ai modelli che trova.

Lookout for Metrics utilizza il machine learning (ML) per rilevare e diagnosticare automaticamente le anomalie nei dati aziendali e operativi, come un calo improvviso dei ricavi delle vendite o dei tassi di acquisizione dei clienti. Il servizio è ora generalmente disponibile a partire dal 25 marzo 2021. Ispeziona e prepara automaticamente i dati da una varietà di fonti per rilevare le anomalie con maggiore velocità e precisione rispetto ai metodi tradizionali utilizzati per il rilevamento delle anomalie. Puoi anche fornire feedback sulle anomalie rilevate per ottimizzare i risultati e migliorare la precisione nel tempo. Lookout for Metrics semplifica la diagnosi delle anomalie rilevate raggruppando le anomalie relative allo stesso evento e inviando un avviso che include un riepilogo della potenziale causa principale. Inoltre, classifica le anomalie in ordine di gravità in modo da poter dare la priorità alla tua attenzione su ciò che conta di più per la tua attività.

QuickSight è un servizio di business intelligence (BI) cloud-native completamente gestito che semplifica la connessione ai dati per creare e pubblicare dashboard interattivi. Inoltre, puoi usare Amazon QuickSight per ottenere risposte immediate tramite query in linguaggio naturale.

Puoi accedere a dashboard QuickSight serverless e altamente scalabili da qualsiasi dispositivo e incorporarli senza problemi nelle tue applicazioni, portali e siti Web. Lo screenshot seguente è un esempio di ciò che puoi ottenere entro la fine di questo post.

Panoramica della soluzione

La soluzione è una combinazione di servizi AWS, principalmente Lookout for Metrics, QuickSight, AWS Lambda, Amazzone Atena, Colla AWSe Amazon S3.

Il diagramma seguente illustra l'architettura della soluzione. Lookout for Metrics rileva e invia le anomalie a Lambda tramite un avviso. La funzione Lambda genera i risultati dell'anomalia come file CSV e li salva in Amazon S3. Un crawler di AWS Glue analizza i metadati e crea tabelle in Athena. QuickSight utilizza Athena per interrogare i dati di Amazon S3, consentendo la creazione di dashboard per visualizzare sia i risultati dell'anomalia che i dati in tempo reale.

Architettura della soluzione

Questa soluzione espande le risorse create in Iniziamo sezione del repository GitHub. Per ogni passaggio, includiamo le opzioni per creare le risorse utilizzando il Console di gestione AWS o avviando il fornito AWS CloudFormazione pila. Se si dispone di un rilevatore Lookout for Metrics personalizzato, è possibile utilizzarlo e adattarlo come segue taccuino per ottenere gli stessi risultati.

Le fasi di attuazione sono le seguenti:

  1. creare il Amazon Sage Maker istanza del notebook (ALFMTestNotebook) e taccuini utilizzando la pila fornita in Configurazione iniziale sezione dalla Repository GitHub.
  2. Apri l'istanza notebook sulla console SageMaker e vai a amazon-lookout-for-metrics-samples/getting_started cartella.
  3. Crea il bucket S3 e completa la preparazione dei dati utilizzando il primo taccuino (1.PrereqSetupData.ipynb). Apri il taccuino con il conda_python3 kernel, se richiesto.

Saltiamo il secondo taccuino perché si concentra sul backtesting dei dati.

  1. Se stai esaminando l'esempio utilizzando la console, crea il rilevatore live Lookout for Metrics e il relativo avviso utilizzando il terzo taccuino (3.GettingStartedWithLiveData.ipynb).

Se stai utilizzando gli stack CloudFormation forniti, il terzo notebook non è necessario. Il rilevatore e il relativo avviso vengono creati come parte dello stack.

  1. Dopo aver creato il rilevatore live Lookout for Metrics, è necessario attivarlo dalla console.

L'inizializzazione del modello e il rilevamento delle anomalie possono richiedere fino a 2 ore.

  1. Distribuisci una funzione Lambda, utilizzando Python con un livello di libreria Pandas e crea un avviso collegato al rilevatore live per avviarlo.
  2. Usa la combinazione di Athena e AWS Glue per scoprire e preparare i dati per QuickSight.
  3. Crea l'origine dati QuickSight e i set di dati.
  4. Infine, crea un'analisi QuickSight per la visualizzazione, utilizzando i set di dati.

Gli script CloudFormation vengono in genere eseguiti come un insieme di stack nidificati in un ambiente di produzione. Sono forniti individualmente in questo post per facilitare una procedura dettagliata.

Prerequisiti

Per eseguire questa procedura dettagliata, è necessario un account AWS in cui verrà distribuita la soluzione. Assicurati che tutte le risorse distribuite si trovino nella stessa regione. È necessario un rilevatore Lookout for Metrics in esecuzione creato dai notebook 1 e 3 del Repository GitHub. Se non disponi di un rilevatore Lookout for Metrics in esecuzione, hai due opzioni:

  • Esegui i notebook 1 e 3 e continua dal passaggio 1 di questo post (creazione della funzione Lambda e dell'avviso)
  • Esegui il notebook 1 e quindi utilizza il modello CloudFormation per generare il rilevatore Lookout for Metrics

Crea il rilevatore live utilizzando AWS CloudFormation

I L4MLiveDetector.yaml Lo script CloudFormation crea il rilevatore di anomalie Lookout for Metrics con la sua origine che punta ai dati in tempo reale nel bucket S3 specificato. Per creare il rilevatore, completare i seguenti passaggi:

  1. Avvia lo stack dal seguente link:

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Sulla Crea stack pagina, scegli Avanti.
  2. Sulla Specifica i dettagli dello stack pagina, fornire le seguenti informazioni:
    1. Un nome di pila. Per esempio, L4MLiveDetector.
    2. Il secchio S3, <Account Number>-lookoutmetrics-lab.
    3. Il ruolo ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
    4. Una frequenza di rilevamento delle anomalie. Scegliere PT1H (ogni ora).
  3. Scegli Avanti.
  4. Sulla Configura le opzioni di stack pagina, lascia tutto com'è e scegli Avanti.
  5. Sulla Review pagina, lascia tutto com'è e scegli Crea stack.

Crea l'avviso SMS del rilevatore in tempo reale utilizzando AWS CloudFormation (opzionale)

Questo passaggio è facoltativo. L'avviso viene presentato come un esempio, senza alcun impatto sulla creazione del set di dati. Il L4MLiveDetectorAlert.yaml Lo script CloudFormation crea l'avviso del rilevatore di anomalie Lookout for Metrics con una destinazione SMS.

  1. Avvia lo stack dal seguente link:

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Sulla Crea stack pagina, scegli Avanti.
  2. Sulla Specifica i dettagli dello stack pagina, aggiorna il numero di telefono SMS e inserisci un nome per lo stack (ad esempio, L4MLiveDetectorAlert).
  3. Scegli Avanti.
  4. Sulla Configura le opzioni di stack pagina, lascia tutto com'è e scegli Avanti.
  5. Sulla Review pagina, seleziona la casella di controllo del riconoscimento, lascia tutto il resto così com'è e scegli Crea stack.

Pulizia delle risorse

Prima di procedere con il passaggio successivo, arrestare l'istanza notebook SageMaker per assicurarsi che non vengano sostenuti costi inutili. Non è più necessario.

Crea la funzione Lambda e l'avviso

In questa sezione, forniamo istruzioni sulla creazione della funzione Lambda e dell'avviso tramite la console o AWS CloudFormation.

Crea la funzione e avvisa con la console

Hai bisogno di una Lambda Gestione dell'identità e dell'accesso di AWS (SONO) ruolo seguendo la best practice per il privilegio minimo per accedere al bucket in cui desideri salvare i risultati.

    1. Sulla console Lambda, crea una nuova funzione.
    2. Seleziona Autore da zero.
    3. Nel Nome della funzione¸ inserisci un nome.
    4. Nel Runtimescegli Python 3.8.
    5. Nel Ruolo di esecuzione, selezionare Usa un ruolo esistente e specifica il ruolo che hai creato.
    6. Scegli Crea funzione.
  1. Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.
    1. Scaricare il file ZIP contenente il codice necessario per la funzione Lambda.
    2. Sulla console Lambda, apri la funzione.
    3. Sulla Code scheda, scegliere Carica dascegli .file zipe carica il file che hai scaricato.
    4. Scegli Risparmi.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

L'albero dei file dovrebbe rimanere lo stesso dopo aver caricato il file ZIP.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Nel Livelli sezione, scegliere Aggiungi strato.
  2. Seleziona Specificare un ARN.
  3. Nella seguente Repository GitHub, scegli il CSV corrispondente alla Regione in cui lavori e copia l'ARN dall'ultima versione di Pandas.
  4. Nel Specificare un ARN, inserisci l'ARN che hai copiato.
  5. Scegli Aggiungi.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Per adattare la funzione al tuo ambiente, nella parte inferiore del codice del file lambda_function.py, assicurati di aggiornare il nome del bucket con il tuo bucket in cui desideri salvare i risultati dell'anomalia e il DataSet_ARN dal tuo rilevatore di anomalie.
  2. Scegli Schierare per rendere attive le modifiche.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Ora devi collegare il rilevatore Lookout for Metrics alla tua funzione.

  1. Nella console Lookout for Metrics, vai al tuo rilevatore e scegli Aggiungi avviso.
  2. Immettere il nome dell'avviso e la soglia di gravità preferita.
  3. Dall'elenco dei canali, scegli Lambda.
  4. Scegli la funzione che hai creato e assicurati di avere il ruolo giusto per attivarla.
  5. Scegli Aggiungi avviso.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Ora attendi che venga attivato l'avviso. Il tempo varia a seconda di quando il rilevatore rileva un'anomalia.

Quando viene rilevata un'anomalia, Lookout for Metrics attiva la funzione Lambda. Riceve le informazioni necessarie da Lookout for Metrics e controlla se è già presente un file CSV salvato in Amazon S3 al timestamp corrispondente dell'anomalia. Se non è presente un file, Lambda genera il file e aggiunge i dati dell'anomalia. Se il file esiste già, Lambda aggiorna il file con i dati aggiuntivi ricevuti. La funzione genera un file CSV separato per ogni diverso timestamp.

Crea la funzione e l'avviso utilizzando AWS CloudFormation

Simile alle istruzioni della console, tu scarica il file ZIP contenente il codice necessario per la funzione Lambda. Tuttavia, in questo caso è necessario caricarlo nel bucket S3 affinché il codice AWS CloudFormation lo carichi durante la creazione della funzione.

Nel bucket S3 specificato nella creazione del rilevatore Lookout for Metrics, crea una cartella denominata lambda-code e carica il file ZIP.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

La funzione Lambda lo carica come codice durante la creazione.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

I L4MLambdaFunction.yaml Lo script CloudFormation crea la funzione Lambda e le risorse di avviso e utilizza l'archivio del codice funzione archiviato nello stesso bucket S3.

  1. Avvia lo stack dal seguente link:

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Sulla Crea stack pagina, scegli Avanti.
  2. Sulla Specifica i dettagli dello stack pagina, specificare un nome stack (ad esempio, L4MLambdaFunction).
  3. Nella seguente Repository GitHub, apri il CSV corrispondente alla regione in cui stai lavorando e copia l'ARN dall'ultima versione di Pandas.
  4. Immettere l'ARN come parametro ARN del livello Pandas Lambda.
  5. Scegli Avanti.
  6. Sulla Configura le opzioni di stack pagina, lascia tutto com'è e scegli Avanti.
  7. Sulla Review pagina, seleziona la casella di controllo del riconoscimento, lascia tutto il resto così com'è e scegli Crea stack.

Attivare il rivelatore

Prima di procedere al passaggio successivo, è necessario attivare il rilevatore dalla console.

  1. Nella console Lookout for Metrics, scegli Rilevatori nel pannello di navigazione.
  2. Scegli il tuo rilevatore appena creato.
  3. Scegli Attivare, Quindi scegliere Attivare di nuovo per confermare.

L'attivazione inizializza il rivelatore; è terminato quando il modello ha completato il suo ciclo di apprendimento. Questo può richiedere fino a 2 ore.

Prepara i dati per QuickSight

Prima di completare questo passaggio, concedere al rilevatore il tempo di trovare le anomalie. La funzione Lambda che hai creato salva i risultati dell'anomalia nel bucket Lookout for Metrics nel file anomalyResults directory. Ora possiamo elaborare questi dati per prepararli per QuickSight.

Crea il crawler di AWS Glue sulla console

Dopo che alcuni file CSV di anomalia sono stati generati, utilizziamo un crawler di AWS Glue per generare le tabelle di metadati.

  1. Nella console AWS Glue, scegli Crawlers nel pannello di navigazione.
  2. Scegli Aggiungi crawler.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Immettere un nome per il crawler (ad esempio, L4MCrawler).
  2. Scegli Avanti.
  3. Nel Tipo di origine crawler, selezionare Archivi di dati.
  4. Nel Ripetere le ricerche per indicizzazione degli archivi dati S3, selezionare Scansiona tutte le cartelle.
  5. Scegli Avanti.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Nella pagina di configurazione del datastore, per Scansione dei dati in, selezionare Percorso specificato nel mio account.
  2. Nel Includi percorso, entra nel percorso del tuo dimensionContributions il file (s3://YourBucketName/anomalyResults/dimensionContributions).
  3. Scegli Avanti.
  4. Scegli per aggiungere un altro archivio dati e ripetere le istruzioni per metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
  5. Ripetere le istruzioni per i dati in tempo reale che devono essere analizzati dal rilevatore di anomalie Lookout for Metrics (questa è la posizione del set di dati S3 dal rilevatore Lookout for Metrics).

Ora dovresti avere tre archivi dati che il crawler può elaborare.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Ora devi selezionare il ruolo per consentire al crawler di passare attraverso le posizioni S3 dei tuoi dati.

  1. Per questo post, seleziona Crea un ruolo IAM e inserisci un nome per il ruolo.
  2. Scegli Avanti.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Nel Frequenza, lascia come Esegui su richiesta e scegli Avanti.
  2. Nel Configura l'output del crawler sezione, scegliere Aggiungi database.

Questo crea il database Athena in cui si trovano le tabelle di metadati al termine del crawler.

  1. Inserisci un nome per il tuo database e scegli Creare.
  2. Scegli Avanti, Quindi scegliere Fine.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Sulla Crawlers pagina della console AWS Glue, seleziona il crawler che hai creato e scegli Esegui crawler.

Potrebbe essere necessario attendere alcuni minuti, a seconda della dimensione dei dati. Al termine, lo stato del crawler viene visualizzato come Pronto. Per vedere le tabelle di metadati, vai al tuo database su Database pagina e scegli tavoli nel pannello di navigazione.

In questo esempio, la tabella di metadati denominata live rappresenta il set di dati S3 dal rilevatore live di Lookout for Metrics. Come best practice, si consiglia di farlo crittografa i metadati di AWS Glue Data Catalog.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Athena riconosce automaticamente le tabelle di metadati e QuickSight utilizza Athena per interrogare i dati e visualizzare i risultati.

Crea il crawler di AWS Glue utilizzando AWS CloudFormation

I L4MGlueCrawler.yaml Lo script CloudFormation crea il crawler di AWS Glue, il ruolo IAM associato e il database Athena di output.

  1. Avvia lo stack dal seguente link:

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Sulla Crea stack pagina, scegli Avanti.
  2. Sulla Specifica i dettagli dello stack pagina, inserisci un nome per il tuo stack (ad esempio, L4MGlueCrawler) e scegli Avanti.
  3. Sulla Configura le opzioni di stack pagina, lascia tutto com'è e scegli Avanti.
  4. Sulla Review pagina, seleziona la casella di controllo del riconoscimento, lascia tutto il resto così com'è e scegli Crea stack.

Esegui il crawler di AWS Glue

Dopo aver creato il crawler, è necessario eseguirlo prima di passare al passaggio successivo. Puoi eseguirlo dalla console o dal Interfaccia della riga di comando di AWS (AWS CLI). Per utilizzare la console, completare i seguenti passaggi:

  1. Nella console AWS Glue, scegli Crawlers nel pannello di navigazione.
  2. Seleziona il tuo crawler (L4MCrawler).
  3. Scegli Esegui crawler.

Quando il crawler è completo, mostra lo stato Pronto.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Crea un account QuickSight

Prima di iniziare questo passaggio successivo, vai alla console QuickSight e crea un account se non ne hai già uno. Per essere sicuro di avere accesso ai servizi corrispondenti (Athena e S3 bucket), scegli il nome del tuo account in alto a destra, scegli Gestisci QuickSighte scegli Sicurezza e permessi, dove puoi aggiungere i servizi necessari. Quando configuri l'accesso ad Amazon S3, assicurati di selezionare Permesso di scrittura per Athena Workgroup.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Ora sei pronto per visualizzare i tuoi dati in QuickSight.

Crea i set di dati QuickSight sulla console

Se è la prima volta che usi Athena, devi configurare la posizione di output delle query. Per istruzioni, fare riferimento ai passaggi 1–6 in Crea un database. Quindi completare i seguenti passaggi:

  1. Sulla console QuickSight, selezionare Dataset.
  2. Scegli Nuovo set di dati.
  3. Scegli Atena come fonte.
  4. Immettere un nome per l'origine dati.
  5. Scegli Crea origine dati.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Per il tuo database, specifica quello che hai creato in precedenza con il crawler di AWS Glue.
  2. Specifica la tabella che contiene i tuoi dati in tempo reale (non le anomalie).
  3. Scegli Modifica/anteprima dei dati.

Verrai reindirizzato a un'interfaccia simile allo screenshot seguente.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Il prossimo passo è aggiungere e combinare il metricValue_AnomalyScore dati con i dati in tempo reale.

  1. Scegli Aggiungi dati.
  2. Scegli Aggiungi origine dati.
  3. Specifica il database che hai creato e il metricValue_AnomalyScore tabella.
  4. Scegli Seleziona.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

È necessario ora configurare l'unione delle due tabelle.

  1. Scegli il collegamento tra le due tabelle.
  2. Lascia il tipo di unione come sinistra, aggiungi il timestamp e ogni dimensione che hai come clausola di unione e scegli APPLICA.

Nell'esempio seguente, utilizziamo timestamp, piattaforma e mercato come clausole di unione.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Nel riquadro di destra, puoi rimuovere i campi che non ti interessa mantenere.

  1. Rimuovere il timestamp dal metricValue_AnomalyScore tabella per non avere una colonna duplicata.
  2. Modificare il tipo di dati timestamp (della tabella di dati in tempo reale) da stringa a data e specificare il corretto formato. Nel nostro caso dovrebbe esserlo yyyy-MM-dd HH:mm:ss.

Lo screenshot seguente mostra la tua visualizzazione dopo aver rimosso alcuni campi e modificato il tipo di dati.

Immagine

  1. Scegli Salva e visualizza.
  2. Scegli l'icona a forma di matita accanto al set di dati.
  3. Scegli Aggiungi set di dati e scegli dimensioncontributions.

Crea i set di dati QuickSight utilizzando AWS CloudFormation

Questo passaggio contiene tre stack CloudFormation.

Il primo script CloudFormation, L4MQuickSightDataSource.yaml, crea l'origine dati QuickSight Athena.

  1. Avvia lo stack dal seguente link:

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Sulla Crea stack pagina, scegli Avanti.
  2. Sulla Specifica i dettagli dello stack pagina, inserisci il tuo nome utente QuickSight, la regione dell'account QuickSight (specificata durante la creazione dell'account QuickSight) e un nome stack (ad esempio, L4MQuickSightDataSource).
  3. Scegli Avanti.
  4. Sulla Configura le opzioni di stack pagina, lascia tutto com'è e scegli Avanti.
  5. Sulla Review pagina, lascia tutto com'è e scegli Crea stack.

Il secondo script CloudFormation, L4MQuickSightDataSet1.yaml, crea un set di dati QuickSight che unisce la tabella delle dimensioni con la tabella delle anomalie.

  1. Avvia lo stack dal seguente link:

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Sulla Crea stack pagina, scegli Avanti.
  2. Sulla Specifica i dettagli dello stack, inserisci un nome di stack (ad esempio, L4MQuickSightDataSet1).
  3. Scegli Avanti.
  4. Sulla Configura le opzioni di stack pagina, lascia tutto com'è e scegli Avanti.
  5. Sulla Review pagina, lascia tutto com'è e scegli Crea stack.

Il terzo script di CloudFormation, L4MQuickSightDataSet2.yaml, crea il set di dati QuickSight che unisce la tabella delle anomalie con la tabella dei dati in tempo reale.

  1. Avvia lo stack dal seguente link:

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Sulla Crea una pagina impilata¸ scegli Avanti.
  2. Sulla Specifica i dettagli dello stack pagina, immettere un nome di stack (ad esempio, L4MQuickSightDataSet2).
  3. Scegli Avanti.
  4. Sulla Configura le opzioni di stack pagina, lascia tutto com'è e scegli Avanti.
  5. Sulla Review pagina, lascia tutto com'è e scegli Crea stack.

Crea l'analisi QuickSight per la creazione di dashboard

Questo passaggio può essere completato solo sulla console. Dopo aver creato i set di dati QuickSight, completare i seguenti passaggi:

  1. Sulla console QuickSight, selezionare Analisi nel pannello di navigazione.
  2. Scegli Nuova analisi.
  3. Scegli il primo set di dati, L4MQuickSightDataSetWithLiveData.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

  1. Scegli Crea analisi.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

L'analisi QuickSight viene inizialmente creata solo con il primo set di dati.

  1. Per aggiungere il secondo set di dati, scegli l'icona a forma di matita accanto a dataset e scegli Aggiungi set di dati.
  2. Scegli il secondo set di dati e scegli Seleziona.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

È quindi possibile utilizzare entrambi i set di dati per la creazione di grafici selezionandoli sul file dataset menu a discesa.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Metriche del set di dati

Hai creato correttamente un'analisi QuickSight dai risultati dell'inferenza di Lookout for Metrics e dai dati in tempo reale. In QuickSight sono presenti due set di dati da utilizzare: L4M_Visualization_dataset_with_liveData ed L4M_Visualization_dataset_with_dimensionContribution.

I L4M_Visualization_dataset_with_liveData il set di dati include le seguenti metriche:

  • timestamp – La data e l'ora dei dati in tempo reale passati a Lookout for Metrics
  • visualizzazioni – Il valore della metrica delle visualizzazioni
  • Le vendite – Il valore della metrica delle entrate
  • piattaforma, mercato, revenueAnomalyMetricValue, viewsAnomalyMetricValue, revenueGroupScore e viewsGroupScore – Queste metriche fanno parte di entrambi i set di dati

I L4M_Visualization_dataset_with_dimensionContribution il set di dati include le seguenti metriche:

  • timestamp – La data e l'ora in cui è stata rilevata l'anomalia
  • nomemetrico – Le metriche che stai monitorando
  • nomedimensione – La dimensione all'interno della metrica
  • valoredimensione – Il valore della dimensione
  • valoreContributo – La percentuale su quanto dimensionValue sta influenzando l'anomalia quando rilevata

La schermata seguente mostra queste cinque metriche nella dashboard delle anomalie del rilevatore Lookout for Metrics.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Le seguenti metriche fanno parte di entrambi i set di dati:

  • piattaforma – La piattaforma dove si è verificata l'anomalia
  • mercato – Il mercato in cui si è verificata l'anomalia
  • revenueAnomalyMetricValue e viewsAnomalyMetricValue – I valori corrispondenti della metrica al momento del rilevamento dell'anomalia (in questa situazione, le metriche sono entrate o visualizzazioni)
  • RevenueGroupScore e viewsGroupScore – I punteggi di gravità per ciascuna metrica per l'anomalia rilevata

Per comprendere meglio queste ultime metriche, puoi rivedere i file CSV creati dalla funzione Lambda nel tuo bucket S3 in cui hai salvato anomalyResults/metricValue_AnomalyScore.

Prossimi passi

Il passaggio successivo consiste nel creare i dashboard per i dati che desideri visualizzare. Questo post non include una spiegazione sulla creazione di grafici QuickSight. Se non conosci QuickSight, fai riferimento a Iniziare con l'analisi dei dati in Amazon QuickSight per un'introduzione. Le schermate seguenti mostrano esempi di dashboard di base. Per ulteriori informazioni, controlla il Workshop QuickSight.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Conclusione

Le anomalie vengono presentate individualmente sulla console Lookout for Metrics, ognuna con il proprio grafico, rendendo difficile la visualizzazione dell'insieme nel suo insieme. Per un'analisi più approfondita è necessaria una soluzione automatizzata e integrata. In questo post, abbiamo utilizzato un rilevatore Lookout for Metrics per generare anomalie e collegato i dati a QuickSight per creare visualizzazioni. Questa soluzione ci consente di condurre un'analisi più approfondita delle anomalie e di averle tutte in un unico posto/dashboard.

Come passaggio successivo, questa soluzione potrebbe anche essere ampliata aggiungendo un set di dati aggiuntivo e combinando le anomalie di più rilevatori. Potresti anche adattare la funzione Lambda. La funzione Lambda contiene il codice che genera i set di dati e i nomi delle variabili che utilizziamo per i dashboard QuickSight. Puoi adattare questo codice al tuo caso d'uso particolare modificando i set di dati stessi o i nomi delle variabili che hanno più senso per te.

Se hai commenti o domande, lasciali nei commenti.


Informazioni sugli autori

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.Benedetto de Patoul è un architetto specializzato in soluzioni AI/ML presso AWS. Aiuta i clienti fornendo guida e assistenza tecnica per creare soluzioni relative all'IA/ML quando si utilizza AWS.

Visualizza i risultati delle anomalie di Amazon Lookout for Metrics con Amazon QuickSight PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.Paolo Troiano è Senior Solutions Architect presso AWS, con sede ad Atlanta, Georgia. Aiuta i clienti fornendo indicazioni su strategie e soluzioni tecnologiche su AWS. È appassionato di tutto ciò che riguarda l'IA/ML e l'automazione delle soluzioni.

Timestamp:

Di più da Apprendimento automatico di AWS