Amazon Lookout mõõdikute jaoks on AWS-i teenus, mis kasutab masinõpet (ML), et jälgida automaatselt suurema kiiruse ja täpsusega mõõdikuid, mis on ettevõtete jaoks kõige olulisemad. Teenus hõlbustab ka kõrvalekallete algpõhjuste diagnoosimist, nagu ootamatud tulude langused, hüljatud ostukorvide kõrge määr, maksetehingute tõrgete suurenemine, uute kasutajate registreerumiste arv ja palju muud. Lookout for Metrics läheb kaugemale lihtsast anomaaliate tuvastamisest. See võimaldab arendajatel seadistada oluliste mõõdikute autonoomset jälgimist, et tuvastada kõrvalekaldeid ja tuvastada nende algpõhjus mõne klõpsuga, et tuvastada anomaaliad selle mõõdikutes – seda kõike ilma ML-i kogemusteta.
Amazonase Athena on interaktiivne päringuteenus, mis muudab andmete analüüsimise lihtsaks Amazon Simple Storage Service (Amazon S3) kasutades standardset SQL-i. Osutage lihtsalt oma andmetele rakenduses Amazon S3, määratlege skeem ja alustage päringuid standardse SQL-i abil. Enamik tulemusi edastatakse sekunditega. Athena puhul pole andmete analüüsiks ettevalmistamiseks vaja keerulisi ETL-i töid. See muudab SQL-i oskustega inimeste jaoks suuremahuliste andmekogude kiire analüüsimise lihtsaks.
Tänase käivitamisega saab Lookout for Metrics nüüd sujuvalt ühenduse luua teie andmetega Athenas, et seadistada ülitäpsed anomaaliadetektorid. See võimaldab teil kiiresti juurutada tipptasemel anomaaliate tuvastamise ML-i ja Lookout for Metrics abil kõigi Athenas saadaolevate andmekogumite suhtes.
Athena ühenduvus laiendab Lookout for Metricsi võimalusi, tuues kaasa järgmised eelised.
- See laiendab Lookout for Metricsi võimalusi failitüübi tugi. Enne seda toetas Lookout for Metrics CSV- ja JSONLinesi vormindatud faile, kuid Athena puhul on seda laiendatud parketile, Avro-le, tavatekstile ja muule. Kui saate seda Athena kaudu sõeluda, on nüüd võimalik teenusega Lookout for Metrics importida ja võimendada.
- Samuti tutvustatakse sellega andmete tuge liitpäringud. Enne seda käivitamist, kui teie andmed olid salvestatud mitmesse andmebaasi või allikasse, peate enne kõigi andmete eksportimist CSV- või JSONLinesi faili ja sisestama täieliku keeruka ETL-protsessi ja haldama selle jõudlusnäitajaid. anomaalia tuvastamise mõõdikute otsingusse. Athena ühendatud päringute abil saate määratleda erinevad allikad ja ühendamise viisi ning kui andmed on töödeldud ja Athena saab nende kohta päringuid teha, on see kohe Lookout for Metricsi jaoks valmis. See võimaldab teil anda Athenale üle andmete teisendamise, koondamise ja kohaletoimetamise koormuse ning keskenduda lihtsalt Lookout for Metricsi tuvastatud kõrvalekalletele.
Lahenduse ülevaade
Selles postituses näitame, kuidas integreerida Athena tabelit ja tuvastada tulumõõdikute kõrvalekaldeid. Jälgime ka seda, kuidas see mõjutab tellimuste määra ja laoseisu mõõdikuid. Lähteandmed asuvad Amazon S3-s ja oleme konfigureerinud Athena tabelid, et saaksime selles olevate andmete kohta päringuid teha. An AWS Lambda vastutab Athena partitsioonide värskendamise eest, mida Lookout for Metrics kasutab kõrvalekallete tuvastamiseks. See lahendus võimaldab teil Lookout for Metrics jaoks kasutada Athena andmeallikat.
Võite kasutada pakutavat AWS CloudFormation virna, et seadistada läbivaatuse ressursse. See sisaldab ressursse reaalajas andmete pidevaks genereerimiseks ja muudab need Athenas päringuvõimeliseks.
- Käivitage virn järgmiselt lingilt ja valige järgmine lehel Loo virn.
- Kohta Määrake virna üksikasjad lehele, lisage väärtused ülalt, andke sellele virna nimi (näiteks
L4MAthenaDetector
) ja valige järgmine. - Kohta Konfigureerige virna valikud lehele, jätke kõik nii nagu on ja valige järgmine.
Seadistage uus detektor, mille andmeallikaks on Athena
Samm 1
Logi sisse AWS-i konsool et alustada anomaaliadetektori loomist koos Lookout for Metricsiga. Esimene samm on valida nupp "Loo detektor".
Samm 2
Täitke detektori kohustuslikud väljad, näiteks nimi. Valige detektori tuvastamise intervall, mis määratakse kindlaks sagedusega, mille korral soovite, et Lookout for Metrics küsiks teie andmeid ja jälgiks neid kõrvalekallete suhtes. Krüptiteave ei ole kohustuslik. Krüptiteave võimaldab Lookout for Metricsil teie andmeid krüptida, kasutades teie AWS-i võtmehaldusteenus (KMS) võti. Selles näites jätame krüpteerimisvõtme lisamise vahele. Lookout for Metrics kasutab teie andmete krüptimiseks vaikekrüptimist, kui krüpteerimisteavet pole esitatud, ja jätkab, valides nupu „Loo”.
Samm 3
Anomaaliadetektori loomisel näete ülaosas bänneril kinnitust. Saate jätkata, valides kas bänneri või jaotise "Andmestiku lisamine" all oleva nupu kaudu "Lisa andmestik".
Täitke andmeallika põhiteave. Ajavöönd on valikuline väli. Andmeallika valimiseks valige rippmenüü.
Lookout for Metrics toetab klientide mugavuse huvides mitut andmeallikat. Selle näite jaoks valime Athena.
Kui andmeallikaks on valitud Athena, saate valida detektori jaoks Backtest või Continuous režiimi. Selle näite puhul jätkame pideva režiimiga. Jätkake, lisades Athena tabeli üksikasjad, mida soovite kõrvalekallete suhtes jälgida.
Saate lubada teenusel luua teenuserolli või kasutada olemasolevat AWS-i identiteedi ja juurdepääsu haldus (IAM) rolli teie kontol liitpäringute jaoks. Pange tähele, et Lookout for Metrics ei toeta ühendatud päringute jaoks IAM-rollide automaatset loomist. Seetõttu peaksite looma uue IAM-i rolli, et Athena saaks teie andmetega teha järgmisi toiminguid:
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
Teenuse loodud IAM-i roll näeb välja järgmine:
Samm 4
Nüüd määratleme detektori jaoks asjakohased mõõdikud. Lookout for Metrics täidab rippmenüüded kaasasolevas Athena tabelis olevate veergudega. Saate valida kuni viis mõõdikut ja viis dimensiooni. Lookout for Metrics nõuab, et tabelis olevad andmed oleksid ajatempli veeru ajatemplitena jaotatud. Samuti saate hinnata selle detektori maksumust, lisades oma mõõtmete väärtuste arvu.
Kui olete kõik mõõdikud valinud, klõpsake nuppu "Järgmine". Vaadake üksikasjad üle ja valige andmestiku salvestamiseks nupp „Salvesta andmestik”.
Samm 5
Kui andmestik on loodud, aktiveerime detektori, valides ülaosas nupu "Aktiveeri" või jaotises "Kuidas see töötab" nupu "Aktiveeri detektor".
Teil palutakse kinnitada, kas soovite detektori pidevaks tuvastamiseks aktiveerida. Kinnitamiseks valige "Aktiveeri".
Näete kinnitust, mis teavitab detektori aktiveerumisest.
Samm 6
Kui anomaaliadetektor on aktiivne, saate detektori üksikasjade lehel vahekaarti „Detektori logi” kasutada, et vaadata üle teenuse poolt teostatud tuvastamistoimingud.
Samm 7
Saate valida detektori üksikasjade lehel nupu „Kuva anomaaliad”, et käsitsi kontrollida kõrvalekaldeid, mille teenus võis tuvastada.
Samm 8
Anomaaliate ülevaatelehel saate lävevaliku raskusastmeskoori läve kohandada, et filtreerida valitud skoorist kõrgemaid kõrvalekaldeid.
Vaadake ja analüüsige tulemusi
Anomaalia tuvastamisel aitab Lookout for Metrics keskenduda kõige olulisemale, määrates tähtsuse järjekorda seadmise hõlbustamiseks raskusastme. Algpõhjuse leidmiseks rühmitab see arukalt kõrvalekalded, mis võivad olla seotud sama juhtumiga, ja teeb seejärel kokkuvõtte erinevatest mõjuallikatest.
Lookout for Metrics võimaldab teil anda ka reaalajas tagasisidet tuvastatud kõrvalekallete asjakohasuse kohta, võimaldades seeläbi võimsa inimese ahelas mehhanismi. See teave suunatakse tagasi anomaaliate tuvastamise mudelile, et parandada selle täpsust peaaegu reaalajas.
Koristage
Demo jaoks seadistatud ressursi eest lisatasude vältimiseks saate Lookout for Metrics alt loodud detektori ja CloudFormationi kaudu loodud virna kustutada.
Järeldus
Saate sujuvalt ühenduse luua oma andmetega Athena teenusega Lookout for Metrics, et seadistada Athena tabelites ülitäpne anomaaliadetektor kõigi mõõdikute ja dimensioonide lõikes. Selle võimaluse kasutamise alustamiseks vaadake Amazon Athena kasutamine koos Lookout for Metricsiga. Saate seda võimalust kasutada kõigis piirkondades, kus Lookout for Metrics on avalikult saadaval. Lisateavet piirkonna saadavuse kohta vt AWS piirkondlikud teenused.
Autoritest
Devesh Ratho on Lookout for Metricsi meeskonna tarkvaraarenduse insener. Tema huvid seisnevad skaleeritavate hajutatud süsteemide loomises. Vabal ajal naudib ta sim-võidusõitu.
Chris kuningas on vanemlahenduste arhitekt AWS-i rakendusliku AI alal. Ta tunneb erilist huvi AI-teenuste käivitamise vastu ning aitas kasvada ja luua Amazon Personalize'i ja Amazon Forecasti, enne kui keskendus Amazon Lookout for Metrics'ile. Vabal ajal meeldib talle süüa teha, lugeda, poksida ja ehitada mudeleid, et ennustada võitlusspordi tulemusi.
- Münditark. Euroopa parim Bitcoini ja krüptobörs.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. TASUTA PÄÄS.
- CryptoHawk. Altcoini radar. Tasuta prooviversioon.
- Allikas: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- MEIST
- juurdepääs
- konto
- täpne
- üle
- tegevus
- meetmete
- aktiivne
- Täiendavad lisad
- AI
- AI teenused
- Materjal: BPA ja flataatide vaba plastik
- Amazon
- analüüs
- keegi
- Automatiseeritud
- autonoomne
- kättesaadavus
- saadaval
- AWS
- lipp
- enne
- Kasu
- Peale
- piir
- Poks
- ehitama
- Ehitus
- ettevõtted
- võimeid
- Põhjus
- koormuste
- Veerg
- vastu
- keeruline
- seisund
- Võta meiega ühendust
- Side
- sisaldab
- mugavus
- võiks
- looma
- loodud
- loomine
- loomine
- Kliendid
- andmed
- andmebaasid
- esitatud
- tarne
- näitama
- juurutada
- detailid
- tuvastatud
- Detection
- Arendajad
- & Tarkvaraarendus
- erinev
- jagatud
- Ei tee
- mõju
- võimaldades
- krüpteerimist
- insener
- hinnata
- kõik
- näide
- olemasolevate
- laiendatud
- kogemus
- Toidetud
- tagasiside
- Valdkonnad
- esimene
- Keskenduma
- keskendumine
- Järel
- tekitama
- suurem
- Grupi omad
- Kasvama
- aitama
- aitab
- Suur
- kõrgelt
- Kuidas
- Kuidas
- HTTPS
- identifitseerima
- Identity
- mõju
- oluline
- parandama
- info
- sisend
- integreerima
- interaktiivne
- huvi
- el
- inventar
- IT
- Tööturg
- liituma
- Võti
- kuningas
- algatama
- käivitamine
- õppimine
- Lahkuma
- Finantsvõimendus
- LINK
- liising
- masin
- masinõpe
- TEEB
- juhtima
- juhtimine
- kohustuslik
- käsitsi
- küsimus
- Oluline
- Meetrika
- ML
- mudel
- mudelid
- Jälgida
- järelevalve
- rohkem
- kõige
- mitmekordne
- number
- valik
- et
- makse
- jõudlus
- personaliseerida
- Punkt
- võimalik
- võimas
- ennustada
- Valmistama
- esitada
- protsess
- anda
- kiiresti
- võidusõit
- Rates
- Lugemine
- reaalajas
- piirkondlik
- asjakohane
- nõutav
- Vajab
- ressurss
- Vahendid
- vastutav
- Tulemused
- tulu
- läbi
- skaalautuvia
- sujuvalt
- sekundit
- väljavalitud
- teenus
- Teenused
- komplekt
- ostud
- JAH
- lihtne
- oskused
- tarkvara
- tarkvaraarenduse
- tahke
- lahendus
- Lahendused
- eriline
- kiirus
- sport
- Kestab
- standard
- algus
- alustatud
- modernne
- väljavõte
- ladustamine
- toetama
- Toetatud
- Toetab
- süsteemid
- meeskond
- Allikas
- seetõttu
- künnis
- Läbi
- aeg
- tänane
- ülemine
- jälgida
- tehing
- Transformation
- all
- ajakohastamine
- kasutama
- versioon
- M
- jooksul
- oleks