Amazon Lookout pentru metrici este un serviciu AWS care utilizează învățarea automată (ML) pentru a monitoriza automat valorile care sunt cele mai importante pentru companii, cu o viteză și acuratețe mai mari. Serviciul facilitează, de asemenea, diagnosticarea cauzei principale a anomaliilor, cum ar fi scăderile neașteptate ale veniturilor, ratele ridicate ale cărucioarelor de cumpărături abandonate, creșterile eșecului tranzacțiilor de plată, creșterea numărului de noi înscrieri de utilizatori și multe altele. Lookout for Metrics depășește simpla detectare a anomaliilor. Permite dezvoltatorilor să configureze monitorizarea autonomă pentru valorile importante pentru a detecta anomaliile și a identifica cauza principală a acestora în doar câteva clicuri pentru a detecta anomalii în valorile sale - toate fără a fi necesară experiența ML.
Amazon Atena este un serviciu interactiv de interogări care facilitează analiza datelor Serviciul Amazon de stocare simplă (Amazon S3) folosind SQL standard. Pur și simplu indicați datele dvs. în Amazon S3, definiți schema și începeți să interogați folosind SQL standard. Cele mai multe rezultate sunt livrate în câteva secunde. Cu Athena, nu este nevoie de lucrări ETL complexe pentru a vă pregăti datele pentru analiză. Acest lucru face ușor pentru oricine cu abilități SQL să analizeze rapid seturi de date la scară largă.
Odată cu lansarea de astăzi, Lookout for Metrics se poate conecta acum fără probleme la datele dvs. din Athena pentru a configura detectoare de anomalii foarte precise. Acest lucru vă permite să implementați rapid detectarea anomaliilor de ultimă generație prin ML cu Lookout for Metrics față de orice seturi de date disponibile în Athena.
Conectivitatea Athena extinde capacitățile Lookout for Metrics aducând următoarele beneficii:
- Acesta extinde capacitățile Lookout for Metrics în ceea ce privește suport pentru tipul de fișier. Înainte de aceasta, Lookout for Metrics a acceptat fișierele formatate CSV și JSONLines, dar cu Athena acest lucru a fost extins la Parquet, Avro, Plaintext și multe altele. Dacă îl puteți analiza prin Athena, atunci este acum posibil să importați și să utilizați funcția de pârghie cu Lookout for Metrics.
- De asemenea, introduce suport pentru date cu interogări federate. Înainte de această lansare, dacă datele dumneavoastră au fost stocate în mai multe baze de date sau surse, ar trebui să definiți un proces ETL complet complex, precum și să gestionați caracteristicile de performanță ale acestuia înainte de a putea exporta toate datele într-un fișier CSV sau JSONLines și de a le introduce. în Lookout for Metrics for Anomaly Detection. Cu interogările federate de la Athena, definiți sursele disparate, precum și modul în care ar trebui efectuată unirea și când datele au fost procesate și pot fi interogate de Athena, este imediat gata pentru Lookout for Metrics. Acest lucru vă permite să predați sarcina pentru transformarea datelor, agregarea și locația de livrare către Athena și să vă concentrați doar asupra anomaliilor identificate din Lookout for Metrics.
Prezentare generală a soluțiilor
În această postare, demonstrăm cum să integrăm un tabel Athena și să detectăm anomalii în valorile veniturilor. De asemenea, urmărim modul în care sunt afectate rata comenzilor și valorile de inventar. Datele sursă se află în Amazon S3 și am configurat tabelele Athena pentru a putea interoga datele din ele. Un AWS Lambdas este responsabil pentru actualizarea partițiilor din Athena, care sunt utilizate de Lookout for Metrics pentru a detecta anomaliile. Această soluție vă permite să utilizați o sursă de date Athena pentru Lookout for Metrics.
Ai putea folosi cele furnizate Formarea AWS Cloud stiva pentru a configura resursele pentru procedura. Conține resurse pentru a genera continuu date live și le face interogabile în Athena.
- Lansați stiva de la următorul link și selectați următor pe pagina Creare stivă.
- Pe Specificați detaliile stivei pagina, adăugați valorile de mai sus, dați-i un nume de stivă (de exemplu,
L4MAthenaDetector
), și selectați Pagina Următoare →. - Pe Configurați opțiunile stivei pagina, lăsați totul așa cum este și selectați Pagina Următoare →.
Configurați un nou detector cu Athena ca sursă de date
Etapa 1
Conectați-vă la Consola AWS pentru a începe cu crearea unui detector de anomalii cu Lookout for Metrics. Primul pas este să selectați butonul „Creare detector”.
Etapa 2
Completați câmpurile obligatorii ale detectorului, cum ar fi numele. Selectați intervalul de detectare pentru detector, care este determinat de frecvența la care doriți ca Lookout for Metrics să vă interogheze datele și să le monitorizeze pentru anomalii. Informațiile de criptare nu sunt obligatorii. Informațiile de criptare permit Lookout for Metrics să cripteze datele dvs. folosind dvs Serviciul de gestionare a cheilor AWS (KMS) cheie. În acest exemplu, vom omite adăugarea unei chei de criptare, Lookout for Metrics va folosi criptarea implicită pentru a cripta datele dvs. dacă nu sunt furnizate informații de criptare și va continua selectând butonul „Creați”.
Etapa 3
La crearea detectorului de anomalii, veți vedea confirmarea într-un banner în partea de sus. Puteți continua selectând „Adăugați un set de date” fie prin banner, fie prin butonul de sub „Adăugați un set de date”.
Completați informațiile de bază pentru sursa de date. Fusul orar este un câmp opțional. Selectați meniul drop-down pentru a selecta o sursă de date.
Lookout for Metrics acceptă mai multe surse de date ca un plus pentru clienți. Pentru acest exemplu, vom selecta Athena.
Odată ce Athena este selectată ca sursă de date, veți avea opțiunea de a selecta modul Backtest sau Continuous pentru detector. Pentru acest exemplu, vom continua utilizând modul Continuu. Continuați prin adăugarea detaliilor pentru tabelul Athena pe care doriți să le monitorizați pentru anomalii.
Puteți permite serviciului să creeze un rol de serviciu sau puteți utiliza unul existent AWS Identity and Access Management (IAM) rol în contul dvs. pentru interogări federate. Rețineți că Lookout for Metrics nu acceptă crearea automată a rolurilor IAM pentru interogări federate. Prin urmare, va trebui să creați un nou rol IAM pentru a permite Athenei să efectueze următoarele acțiuni asupra datelor dvs.
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
Rolul IAM creat de serviciu arată astfel:
Etapa 4
Acum vom defini valorile relevante pentru detector. Lookout for Metrics va popula meniurile derulante cu coloanele prezente în tabelul Athena furnizat. Puteți selecta până la cinci valori și cinci parametri. Lookout for Metrics necesită ca datele din tabel să fie partiționate ca marcaje de timp pentru coloana de marcaje de timp. Veți avea, de asemenea, opțiunea de a estima costul pentru acest detector adăugând numărul de valori din dimensiunile dvs.
După ce ați selectat toate valorile, continuați selectând butonul „Următorul”. Examinați detaliile și selectați butonul „Salvați setul de date” pentru a salva setul de date.
Etapa 5
Odată ce setul de date este creat, vom activa detectorul fie selectând butonul „Activare” din partea de sus, fie butonul „Activare detector” din secțiunea „Cum funcționează”.
Vi se va solicita să confirmați dacă doriți să activați detectorul pentru detectarea continuă. Selectați „Activare” pentru a confirma.
Veți vedea o confirmare care vă informează că detectorul se activează.
Etapa 6
Odată ce detectorul de anomalii este activ, puteți utiliza fila „Jurnal detector” din pagina de detalii detector pentru a examina execuțiile de detectare care au fost efectuate de serviciu.
Etapa 7
Puteți selecta butonul „Vizualizare anomalii” din pagina cu detaliile detectorului pentru a inspecta manual anomaliile care ar fi putut fi detectate de serviciu.
Etapa 8
Pe pagina de examinare a anomaliilor, puteți ajusta pragul scorului de severitate pe discul de prag pentru a filtra anomaliile peste un scor selectat.
Examinați și analizați rezultatele
Când detectați o anomalie, Lookout for Metrics vă ajută să vă concentrați pe ceea ce contează cel mai mult, atribuind un scor de severitate pentru a ajuta la stabilirea priorităților. Pentru a vă ajuta să găsiți cauza principală, grupează în mod inteligent anomaliile care pot fi legate de același incident și apoi rezumă diferitele surse de impact.
Lookout for Metrics vă permite, de asemenea, să oferiți feedback în timp real cu privire la relevanța anomaliilor detectate, permițând astfel un mecanism puternic de om în buclă. Aceste informații sunt transmise modelului de detectare a anomaliilor pentru a-și îmbunătăți acuratețea în timp aproape real.
A curăța
Pentru a evita costurile suplimentare pentru resursa configurată pentru demonstrație, puteți șterge detectorul creat din Lookout for Metrics și stiva creată prin CloudFormation.
Concluzie
Vă puteți conecta fără probleme la datele dvs. din Athena la Lookout for Metrics pentru a configura un detector de anomalii foarte precis pentru valori și dimensiuni din tabelele dvs. Athena. Pentru a începe cu această capacitate, consultați Utilizarea Amazon Athena cu Lookout for Metrics. Puteți folosi această capacitate în toate regiunile în care Lookout for Metrics este disponibil public. Pentru mai multe informații despre disponibilitatea regiunii, consultați Servicii regionale AWS.
Despre Autori
Devesh Ratho este inginer de dezvoltare software în echipa Lookout for Metrics. Interesele sale constau în construirea de sisteme distribuite scalabile. În timpul liber, îi plac cursele sim.
Chris King este arhitect senior de soluții în IA aplicată cu AWS. El are un interes deosebit în lansarea serviciilor de inteligență artificială și a ajutat la dezvoltarea și construirea Amazon Personalize și Amazon Forecast înainte de a se concentra pe Amazon Lookout for Metrics. În timpul liber, îi place să gătească, să citească, să boxeze și să construiască modele pentru a prezice rezultatul sporturilor de luptă.
- Coinsmart. Cel mai bun schimb de Bitcoin și Crypto din Europa.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. ACCES LIBER.
- CryptoHawk. Radar Altcoin. Încercare gratuită.
- Sursa: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Despre Noi
- acces
- Cont
- precis
- peste
- Acțiune
- acțiuni
- activ
- Suplimentar
- AI
- Servicii AI
- TOATE
- Amazon
- analiză
- oricine
- Automata
- autonom
- disponibilitate
- disponibil
- AWS
- steag
- înainte
- Beneficiile
- Dincolo de
- frontieră
- Box
- construi
- Clădire
- întreprinderi
- capacități
- Provoca
- taxe
- Coloană
- combaterea
- complex
- condiție
- Conectați
- Suport conectare
- conține
- comoditate
- ar putea
- crea
- a creat
- Crearea
- creaţie
- clienţii care
- de date
- baze de date
- livrate
- livrare
- demonstra
- implementa
- detalii
- detectat
- Detectare
- Dezvoltatorii
- Dezvoltare
- diferit
- distribuite
- Nu
- efect
- permițând
- criptare
- inginer
- estima
- tot
- exemplu
- existent
- extins
- experienţă
- fed-
- feedback-ul
- Domenii
- First
- Concentra
- concentrându-se
- următor
- genera
- mai mare
- Grupului
- Crește
- ajutor
- ajută
- Înalt
- extrem de
- Cum
- Cum Pentru a
- HTTPS
- identifica
- Identitate
- Impactul
- important
- îmbunătăţi
- informații
- intrare
- integra
- interactiv
- interes
- interese
- inventar
- IT
- Locuri de munca
- alătura
- Cheie
- Rege
- lansa
- lansare
- învăţare
- Părăsi
- Pârghie
- LINK
- locaţie
- maşină
- masina de învățare
- FACE
- administra
- administrare
- obligatoriu
- manual
- materie
- materie
- Metrici
- ML
- model
- Modele
- monitor
- Monitorizarea
- mai mult
- cele mai multe
- multiplu
- număr
- Opțiune
- comandă
- plată
- performanță
- personaliza
- Punct
- posibil
- puternic
- prezice
- Pregăti
- prezenta
- proces
- furniza
- repede
- curse
- tarife
- Citind
- în timp real
- regional
- necesar
- Necesită
- resursă
- Resurse
- responsabil
- REZULTATE
- venituri
- revizuiască
- scalabil
- perfect
- secunde
- selectate
- serviciu
- Servicii
- set
- Cumpărături
- DA
- simplu
- aptitudini
- Software
- de dezvoltare de software
- solid
- soluţie
- soluţii
- special
- viteză
- Sportul
- stivui
- standard
- Începe
- început
- de ultimă oră
- Declarație
- depozitare
- a sustine
- Suportat
- Sprijină
- sisteme
- echipă
- Sursa
- prin urmare
- prag
- Prin
- timp
- azi
- top
- urmări
- tranzacție
- Transformare
- în
- actualizarea
- utilizare
- versiune
- Ce
- în
- ar