Amazon Lookout per le metriche è un servizio AWS che utilizza il machine learning (ML) per monitorare automaticamente i parametri più importanti per le aziende con maggiore velocità e precisione. Il servizio rende inoltre più semplice diagnosticare la causa principale delle anomalie, come cali imprevisti delle entrate, tassi elevati di carrelli abbandonati, picchi di errori nelle transazioni di pagamento, aumenti delle registrazioni di nuovi utenti e molti altri. Lookout for Metrics va oltre il semplice rilevamento delle anomalie. Consente agli sviluppatori di impostare un monitoraggio autonomo per parametri importanti per rilevare anomalie e identificare la loro causa principale in pochi clic per rilevare anomalie nelle sue metriche, il tutto senza alcuna esperienza di ML.
Amazzone Atena è un servizio di query interattivo che semplifica l'analisi dei dati in Servizio di archiviazione semplice Amazon (Amazon S3) utilizzando SQL standard. Punta semplicemente ai tuoi dati in Amazon S3, definisci lo schema e inizia a eseguire query utilizzando SQL standard. La maggior parte dei risultati viene fornita in pochi secondi. Con Athena, non sono necessari complessi lavori ETL per preparare i dati per l'analisi. Ciò rende facile per chiunque abbia competenze SQL analizzare rapidamente set di dati su larga scala.
Con il lancio di oggi, Lookout for Metrics può ora connettersi senza problemi ai tuoi dati in Athena per impostare rilevatori di anomalie altamente accurati. Ciò ti consente di implementare rapidamente il rilevamento delle anomalie all'avanguardia tramite ML con Lookout for Metrics rispetto a qualsiasi set di dati disponibile in Athena.
La connettività Athena estende le capacità di Lookout for Metrics apportando i seguenti vantaggi:
- Estende le capacità di Lookout for Metrics in termini di supporto per i tipi di file. Prima di questo, Lookout for Metrics supportava i file formattati CSV e JSONLines, ma con Athena questo è stato esteso a Parquet, Avro, Plaintext e altro ancora. Se riesci ad analizzarlo tramite Athena, ora è possibile importare e sfruttare con Lookout for Metrics.
- Introduce anche il supporto per i dati con interrogazioni federate. Prima di questo lancio, se i tuoi dati erano archiviati in più database o origini, avresti bisogno di definire un processo ETL complesso completo e di gestirne le caratteristiche delle prestazioni prima di poter esportare tutti i dati in un file CSV o JSONLines e inserirlo in Lookout for Metrics for Anomaly Detection. Con le query federate di Athena, definisci le origini disparate e come deve essere eseguito il join e quando i dati sono stati elaborati e possono essere interrogati da Athena, sono immediatamente pronti per Lookout for Metrics. Ciò ti consente di affidare ad Athena l'onere per la trasformazione, l'aggregazione e la posizione di consegna dei dati e concentrarti solo sulle anomalie identificate da Lookout for Metrics.
Panoramica della soluzione
In questo post, mostriamo come integrare una tabella Athena e rilevare le anomalie nelle metriche delle entrate. Tracciamo anche l'impatto del tasso di ordine e delle metriche di inventario. I dati di origine si trovano in Amazon S3 e abbiamo configurato le tabelle Athena per poter interrogare i dati al suo interno. Un AWS Lambda è responsabile dell'aggiornamento delle partizioni all'interno di Athena, che vengono utilizzate da Lookout for Metrics per rilevare le anomalie. Questa soluzione consente di utilizzare un'origine dati Athena per Lookout for Metrics.
Potresti usare il fornito AWS CloudFormazione stack per impostare le risorse per la procedura dettagliata. Contiene risorse per generare continuamente dati in tempo reale e li rende interrogabili in Athena.
- Avvia lo stack dal seguente link e seleziona GENERAZIONE nella pagina Crea stack.
- Sulla Specifica i dettagli dello stack pagina, aggiungi i valori dall'alto, assegnagli un nome Stack (ad esempio,
L4MAthenaDetector
), e selezionare Avanti. - Sulla Configura le opzioni di stack pagina, lascia tutto così com'è e seleziona Avanti.
Configura un nuovo rilevatore con Athena come origine dati
Passo 1
Accedere al Console AWS per iniziare a creare un rilevatore di anomalie con Lookout for Metrics. Il primo passo è selezionare il pulsante "Crea rilevatore".
Passo 2
Compila i campi obbligatori del rilevatore come il nome. Seleziona l'intervallo di rilevamento per il rilevatore, che è determinato dalla frequenza con cui desideri che Lookout for Metrics interroghi i tuoi dati e li monitori per rilevare eventuali anomalie. Le informazioni di crittografia non sono obbligatorie. Le informazioni di crittografia consentono a Lookout for Metrics di crittografare i tuoi dati utilizzando il tuo Servizio di gestione delle chiavi AWS (KMS) chiave. In questo esempio, salteremo l'aggiunta di una chiave di crittografia, Lookout for Metrics utilizzerà la crittografia predefinita per crittografare i dati se non vengono fornite informazioni di crittografia e procederà selezionando il pulsante "Crea".
Passo 3
Al momento della creazione del rilevatore di anomalie, vedrai la conferma in un banner in alto. Puoi procedere selezionando "Aggiungi un set di dati" tramite il banner o il pulsante sotto "Aggiungi un set di dati".
Compila le informazioni di base per l'origine dati. Il fuso orario è un campo facoltativo. Selezionare l'elenco a discesa per selezionare un'origine dati.
Lookout for Metrics supporta più origini dati per comodità dei clienti. Per questo esempio, selezioneremo Atena.
Dopo aver selezionato Athena come origine dati, avrai la possibilità di selezionare la modalità Backtest o Continua per il rilevatore. Per questo esempio, procederemo utilizzando la modalità Continua. Procedi aggiungendo i dettagli per la tabella Athena di cui vuoi monitorare le anomalie.
Puoi consentire al servizio di creare un ruolo del servizio oppure puoi utilizzarne uno esistente AWS Identity and Access Management (IAM) ruolo nel tuo account per le query federate. Tieni presente che Lookout for Metrics non supporta la creazione automatizzata di ruoli IAM per le query federate. Pertanto, dovresti creare un nuovo ruolo IAM per consentire ad Athena di eseguire le seguenti azioni sui tuoi dati,
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
Il ruolo IAM creato dal servizio è simile al seguente:
Passo 4
Ora definiremo le metriche rilevanti per il rilevatore. Lookout for Metrics popolerà i menu a discesa con le colonne presenti nella tabella Athena fornita. Puoi selezionare fino a cinque metriche e cinque dimensioni. Lookout for Metrics richiede che i dati nella tabella siano partizionati come timestamp per la colonna timestamp. Avrai anche la possibilità di stimare il costo di questo rilevatore aggiungendo il numero di valori tra le tue dimensioni.
Dopo aver selezionato tutte le metriche, procedi selezionando il pulsante "Avanti". Rivedi i dettagli e seleziona il pulsante "Salva set di dati" per salvare il set di dati.
Passo 5
Una volta creato il set di dati, attiveremo il rilevatore selezionando il pulsante "Attiva" in alto o il pulsante "Attiva rilevatore" nella sezione "Come funziona".
Ti verrà chiesto di confermare se desideri attivare il rilevatore per il rilevamento continuo. Seleziona “Attiva” per confermare.
Vedrai una conferma che informa che il rilevatore si sta attivando.
Passo 6
Una volta che il rilevatore di anomalie è attivo, è possibile utilizzare la scheda "Registro rilevatore" nella pagina dei dettagli del rilevatore per rivedere le esecuzioni di rilevamento che sono state eseguite dal servizio.
Passo 7
È possibile selezionare il pulsante "Visualizza anomalie" dalla pagina dei dettagli del rivelatore per ispezionare manualmente le anomalie che potrebbero essere state rilevate dal servizio.
Passo 8
Nella pagina Revisione anomalie, puoi regolare la soglia del punteggio di gravità sul quadrante della soglia per filtrare le anomalie al di sopra di un punteggio selezionato.
Rivedi e analizza i risultati
Quando rileva un'anomalia, Lookout for Metrics ti aiuta a concentrarti su ciò che conta di più assegnando un punteggio di gravità per facilitare la definizione delle priorità. Per aiutarti a trovare la causa principale, raggruppa in modo intelligente le anomalie che possono essere correlate allo stesso incidente, quindi riassume le diverse fonti di impatto.
Lookout for Metrics ti consente inoltre di fornire feedback in tempo reale sulla pertinenza delle anomalie rilevate, consentendo così un potente meccanismo human-in-the-loop. Queste informazioni vengono inviate al modello di rilevamento delle anomalie per migliorarne l'accuratezza quasi in tempo reale.
ripulire
Per evitare costi aggiuntivi per la risorsa impostata per la demo, puoi eliminare il rilevatore creato in Lookout for Metrics e lo stack creato tramite CloudFormation.
Conclusione
Puoi connetterti senza problemi ai tuoi dati in Athena a Lookout for Metrics per impostare un rilevatore di anomalie altamente accurato su metriche e dimensioni all'interno delle tue tabelle Athena. Per iniziare con questa funzionalità, vedere Utilizzo di Amazon Athena con Lookout for Metrics. Puoi utilizzare questa funzionalità in tutte le regioni in cui Lookout for Metrics è disponibile pubblicamente. Per ulteriori informazioni sulla disponibilità della regione, vedere Servizi regionali AWS.
Informazioni sugli autori
Devesh Ratho è un ingegnere di sviluppo software nel team Lookout for Metrics. I suoi interessi risiedono nella costruzione di sistemi distribuiti scalabili. Nel tempo libero ama le corse sim.
Chris re è un Senior Solutions Architect in AI applicata con AWS. Ha un interesse speciale nel lancio di servizi di intelligenza artificiale e ha contribuito a far crescere e creare Amazon Personalize e Amazon Forecast prima di concentrarsi su Amazon Lookout for Metrics. Nel tempo libero si diverte a cucinare, leggere, pugilato e costruire modelli per prevedere il risultato degli sport da combattimento.
- Coinsmart. Il miglior scambio di bitcoin e criptovalute d'Europa.
- Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. ACCESSO LIBERO.
- Criptofalco. Radar Altcoin. Prova gratuita.
- Fonte: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Chi siamo
- accesso
- Il mio account
- preciso
- operanti in
- Action
- azioni
- attivo
- aggiuntivo
- AI
- Servizi di intelligenza artificiale
- Tutti
- Amazon
- .
- chiunque
- Automatizzata
- autonomo
- disponibilità
- disponibile
- AWS
- bandiera
- prima
- vantaggi
- Al di là di
- sistema
- Boxe
- costruire
- Costruzione
- aziende
- funzionalità
- Causare
- oneri
- Colonna
- combattere
- complesso
- condizione
- Connettiti
- Connettività
- contiene
- comodità
- potuto
- creare
- creato
- Creazione
- creazione
- Clienti
- dati
- banche dati
- consegnato
- consegna
- dimostrare
- schierare
- dettagli
- rilevato
- rivelazione
- sviluppatori
- Mercato
- diverso
- distribuito
- non
- effetto
- consentendo
- crittografia
- ingegnere
- stima
- qualunque cosa
- esempio
- esistente
- ampliato
- esperienza
- Federale
- feedback
- campi
- Nome
- Focus
- messa a fuoco
- i seguenti
- generare
- maggiore
- Gruppo
- Crescere
- Aiuto
- aiuta
- Alta
- vivamente
- Come
- Tutorial
- HTTPS
- identificare
- Identità
- Impact
- importante
- competenze
- informazioni
- ingresso
- integrare
- interattivo
- interesse
- interessi
- inventario
- IT
- Offerte di lavoro
- join
- Le
- King
- lanciare
- lancio
- apprendimento
- Lasciare
- Leva
- LINK
- località
- macchina
- machine learning
- FA
- gestire
- gestione
- obbligatorio
- manualmente
- Importanza
- Matters
- Metrica
- ML
- modello
- modelli
- Monitorare
- monitoraggio
- Scopri di più
- maggior parte
- multiplo
- numero
- Opzione
- minimo
- Pagamento
- performance
- personalizzare
- punto
- possibile
- potente
- predire
- Preparare
- presenti
- processi
- fornire
- rapidamente
- pneumatici
- Lettura
- tempo reale
- regionale
- pertinente
- necessario
- richiede
- risorsa
- Risorse
- responsabile
- Risultati
- Le vendite
- recensioni
- scalabile
- senza soluzione di continuità
- secondo
- selezionato
- servizio
- Servizi
- set
- Shopping
- SIM
- Un'espansione
- abilità
- Software
- lo sviluppo del software
- solido
- soluzione
- Soluzioni
- la nostra speciale
- velocità
- Sports
- pila
- Standard
- inizia a
- iniziato
- state-of-the-art
- dichiarazione
- conservazione
- supporto
- supportato
- supporti
- SISTEMI DI TRATTAMENTO
- team
- L’ORIGINE
- perciò
- soglia
- Attraverso
- tempo
- di oggi
- top
- pista
- delle transazioni
- Trasformazione
- per
- aggiornamento
- uso
- versione
- Che
- entro
- sarebbe