Amazon Lookout for Metrics on AWS-palvelu, joka käyttää koneoppimista (ML) valvomaan automaattisesti yrityksille tärkeimpiä mittareita nopeammin ja tarkemmin. Palvelu helpottaa myös poikkeamien perimmäisten syiden diagnosointia, kuten odottamattomia tulonlaskuja, hylättyjen ostoskärryjen korkeaa määrää, piikkejä maksutapahtumissa, uusien käyttäjien kirjautumisten lisääntymistä ja monia muita. Lookout for Metrics ylittää yksinkertaisen poikkeamien havaitsemisen. Sen avulla kehittäjät voivat määrittää itsenäisen valvonnan tärkeille mittareille poikkeamien havaitsemiseksi ja niiden perimmäisen syyn tunnistamiseksi muutamalla napsautuksella, jotta ne voivat havaita poikkeamat sen mittareissa – ilman ML-kokemusta.
Amazon Athena on interaktiivinen kyselypalvelu, jonka avulla on helppo analysoida tietoja Amazonin yksinkertainen tallennuspalvelu (Amazon S3) käyttämällä tavallista SQL:ää. Osoita vain tietojasi Amazon S3:ssa, määritä skeema ja aloita kyselyt tavallisella SQL:llä. Suurin osa tuloksista toimitetaan sekunneissa. Athenan avulla ei tarvita monimutkaisia ETL-töitä tietojen valmistelemiseksi analysointia varten. Tämän ansiosta kaikkien SQL-taitojen omaavien on helppo analysoida nopeasti suuria tietojoukkoja.
Tämän päivän julkaisun myötä Lookout for Metrics voi nyt muodostaa saumattomasti yhteyden tietoihisi Athenassa ja määrittää erittäin tarkkoja poikkeamien ilmaisimia. Tämän avulla voit ottaa nopeasti käyttöön huippuluokan poikkeamien havaitsemisen ML:n ja Lookout for Metricsin avulla kaikkiin Athenassa saatavilla oleviin tietojoukoihin.
Athena-yhteydet laajentavat Lookout for Metricsin ominaisuuksia tuomalla seuraavat edut:
- Se laajentaa Lookout for Metricsin ominaisuuksia mm tiedostotyypin tuki. Ennen tätä Lookout for Metrics tuki CSV- ja JSONLines-muotoiltuja tiedostoja, mutta Athenan avulla tämä on laajennettu koskemaan Parquet-, Avro-, Plaintext- ja muita tiedostoja. Jos voit jäsentää sen Athenan kautta, voit nyt tuoda ja hyödyntää Lookout for Metrics -sovelluksen avulla.
- Se ottaa käyttöön myös tuen datalle liitetyt kyselyt. Jos tietosi oli tallennettu useisiin tietokantoihin tai lähteisiin ennen tätä julkaisua, sinun oli määriteltävä täydellinen monimutkainen ETL-prosessi ja hallittava sen suorituskykyominaisuuksia, ennen kuin voit viedä kaikki tiedot CSV- tai JSONLines-tiedostoon ja syöttää ne. etsimään poikkeamien havaitsemisen mittareita. Athenan yhdistetyillä kyselyillä määrität eri lähteet sekä kuinka yhdistäminen tulee suorittaa, ja kun tiedot on käsitelty ja Athena voi tehdä niistä kyselyitä, se on heti valmis Lookout for Metricsiin. Näin voit siirtää tietojen muuntamisen, yhdistämisen ja toimituspaikan Athenalle ja keskittyä vain Lookout for Metricsin tunnistettuihin poikkeamiin.
Ratkaisun yleiskatsaus
Tässä viestissä näytämme kuinka integroida Athena-taulukko ja havaita poikkeavuuksia tulomittareissa. Seuraamme myös, miten tilausprosentit ja varastotiedot vaikuttavat. Lähdetiedot ovat Amazon S3:ssa, ja olemme konfiguroineet Athena-taulukot pystymään kyselemään sen sisältämiä tietoja. An AWS Lambda on vastuussa Athenen osioiden päivittämisestä, joita Lookout for Metrics käyttää poikkeamien havaitsemiseen. Tämän ratkaisun avulla voit käyttää Athena-tietolähdettä Lookout for Metricsiin.
Voisit käyttää tarjottua AWS-pilven muodostuminen pino resurssien määrittämiseksi läpikäyntiä varten. Se sisältää resursseja live-datan jatkuvaan tuottamiseen ja tekee niistä kyselykelpoisia Athenassa.
- Käynnistä pino seuraavasta linkistä ja valitse seuraava Luo pino -sivulla.
- On Määritä pinon yksityiskohdat sivu, lisää arvot ylhäältä, anna sille pinon nimi (esim.
L4MAthenaDetector
) ja valitse seuraava. - On Määritä pinoasetukset sivu, jätä kaikki ennalleen ja valitse seuraava.
Asenna uusi ilmaisin, jossa on Athena tietolähteenä
Vaihe 1
Kirjaudu sisään AWS-konsoli aloittaaksesi poikkeamien tunnistimen luomisen Lookout for Metricsin avulla. Ensimmäinen askel on valita "Luo ilmaisin" -painike.
Vaihe 2
Täytä pakolliset tunnistimen kentät, kuten nimi. Valitse ilmaisimen tunnistusväli, joka määräytyy sen taajuuden mukaan, jolla haluat Lookout for Metricsin tiedustelevan tietojasi ja valvovan niitä poikkeamien varalta. Salaustiedot eivät ole pakollisia. Salaustietojen avulla Lookout for Metrics voi salata tietosi käyttämällä AWS-avainhallintapalvelu (KMS) avain. Tässä esimerkissä ohitamme salausavaimen lisäämisen. Lookout for Metrics käyttää oletussalausta tietojesi salaamiseen, jos salaustietoja ei anneta, ja jatka valitsemalla Luo-painike.
Vaihe 3
Kun poikkeamatunnistin on luotu, näet vahvistuksen yläreunassa olevassa bannerissa. Voit jatkaa valitsemalla "Lisää tietojoukko" joko bannerista tai "Lisää tietojoukko" -kohdan alla olevasta painikkeesta.
Täytä tietolähteen perustiedot. Aikavyöhyke on valinnainen kenttä. Valitse tietolähde avattavasta valikosta.
Lookout for Metrics tukee useita tietolähteitä asiakkaiden avuksi. Tässä esimerkissä valitsemme Athena.
Kun Athena on valittu tietolähteeksi, voit valita ilmaisimelle Backtest- tai Continuous-tilan. Tässä esimerkissä jatketaan käyttämällä jatkuvaa tilaa. Jatka lisäämällä tiedot Athena-taulukosta, jota haluat seurata poikkeavuuksien varalta.
Voit antaa palvelun luoda palveluroolin tai voit käyttää olemassa olevaa roolia AWS-identiteetin ja käyttöoikeuksien hallinta (IAM) rooli tilissäsi yhdistetyissä kyselyissä. Huomaa, että Lookout for Metrics ei tue automaattista IAM-roolien luomista hajautetuille kyselyille. Siksi sinun on luotava uusi IAM-rooli, jotta Athena voi suorittaa seuraavat toiminnot tiedoillesi:
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
Palvelun luoma IAM-rooli näyttää tältä:
Vaihe 4
Nyt määritämme ilmaisimen merkitykselliset mittarit. Lookout for Metrics täyttää avattavat valikot mukana toimitetussa Athena-taulukossa olevilla sarakkeilla. Voit valita enintään viisi mittaria ja viisi ulottuvuutta. Lookout for Metrics edellyttää, että taulukossasi olevat tiedot osioidaan aikaleimasarakkeen aikaleimoiksi. Sinulla on myös mahdollisuus arvioida tämän ilmaisimen hinta lisäämällä arvojen lukumäärä mitoissasi.
Kun olet valinnut kaikki mittarit, jatka valitsemalla "Seuraava"-painike. Tarkista tiedot ja tallenna tietojoukko valitsemalla Tallenna tietojoukko.
Vaihe 5
Kun tietojoukko on luotu, aktivoimme ilmaisimen joko valitsemalla "Aktivoi"-painikkeen yläosassa tai "Aktivoi ilmaisin" -painikkeen "Kuinka se toimii" -osiossa.
Sinua pyydetään vahvistamaan, haluatko aktivoida tunnistimen jatkuvaa tunnistusta varten. Vahvista valitsemalla "Aktivoi".
Näet vahvistuksen, joka ilmoittaa, että ilmaisin on aktivoitumassa.
Vaihe 6
Kun poikkeamanilmaisin on aktiivinen, voit käyttää Detector Log -välilehteä Ilmaisimen tiedot -sivulla tarkastellaksesi palvelun suorittamia tunnistussuorituksia.
Vaihe 7
Voit valita "Näytä poikkeamat" -painikkeen ilmaisimen tietosivulta tarkistaaksesi manuaalisesti poikkeamat, jotka palvelu on saattanut havaita.
Vaihe 8
Poikkeamat-arvostelusivulla voit säätää vakavuuspisteiden kynnystä kynnysvalitsimella suodattaaksesi poikkeamat valitun pistemäärän yläpuolella.
Tarkastele ja analysoi tuloksia
Kun havaitset poikkeaman, Lookout for Metrics auttaa sinua keskittymään tärkeimpiin määrittämällä vakavuuspisteet priorisoinnin helpottamiseksi. Auttaakseen sinua löytämään perimmäisen syyn se ryhmittelee älykkäästi poikkeamat, jotka voivat liittyä samaan tapaukseen, ja tekee sitten yhteenvedon eri vaikutuslähteistä.
Lookout for Metrics -palvelun avulla voit myös antaa reaaliaikaista palautetta havaittujen poikkeavuuksien merkityksestä, mikä mahdollistaa tehokkaan ihmissilmukan mekanismin. Nämä tiedot syötetään takaisin poikkeamien havaitsemismalliin sen tarkkuuden parantamiseksi lähes reaaliajassa.
Puhdistaa
Välttääksesi lisäkuluja demoa varten määritetystä resurssista, voit poistaa luodun ilmaisimen Lookout for Metrics -kohdasta ja CloudFormationin kautta luodun pinon.
Yhteenveto
Voit muodostaa saumattomasti yhteyden Athenen tietoihisi Lookout for Metricsiin, jotta voit määrittää erittäin tarkan poikkeamatunnistimen Athena-taulukoissasi oleville mittareille ja ulottuvuuksille. Aloita tämän ominaisuuden käyttö katsomalla Amazon Athenan käyttäminen Lookout for Metricsin kanssa. Voit käyttää tätä ominaisuutta kaikilla alueilla, joilla Lookout for Metrics on julkisesti saatavilla. Lisätietoja alueen saatavuudesta, katso AWS: n alueelliset palvelut.
Tietoja Tekijät
Devesh Ratho on ohjelmistokehitysinsinööri Lookout for Metrics -tiimissä. Hänen kiinnostuksen kohteet ovat skaalautuvien hajautettujen järjestelmien rakentaminen. Vapaa-ajallaan hän nauttii sim-kilpailusta.
Chris King on Applied AI: n vanhempi ratkaisuarkkitehti AWS: llä. Hänellä on erityinen kiinnostus tekoälypalveluiden käynnistämiseen ja hän auttoi kasvamaan ja rakentamaan Amazon Personalize- ja Amazon Forecast -palveluja ennen keskittymistään Amazon Lookout for Metrics -sovellukseen. Vapaa-ajallaan hän nauttii ruoanlaitosta, lukemisesta, nyrkkeilystä ja rakentaa malleja taistelulajien tuloksen ennustamiseksi.
- Coinsmart. Euroopan paras Bitcoin- ja kryptopörssi.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. VAPAA PÄÄSY.
- CryptoHawk. Altcoinin tutka. Ilmainen kokeilu.
- Lähde: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Meistä
- pääsy
- Tili
- tarkka
- poikki
- Toiminta
- toimet
- aktiivinen
- lisä-
- AI
- Tekoälyn palvelut
- Kaikki
- Amazon
- analyysi
- joku
- Automatisoitu
- autonominen
- saatavuus
- saatavissa
- AWS
- lippu
- ennen
- Hyödyt
- Jälkeen
- reunus
- Nyrkkeily
- rakentaa
- Rakentaminen
- yritykset
- kyvyt
- Aiheuttaa
- maksut
- Sarake
- torjumiseksi
- monimutkainen
- ehto
- kytkeä
- Liitännät
- sisältää
- mukavuus
- voisi
- luoda
- luotu
- Luominen
- luominen
- Asiakkaat
- tiedot
- tietokannat
- toimitettu
- toimitus
- osoittaa
- sijoittaa
- yksityiskohdat
- havaittu
- Detection
- kehittäjille
- Kehitys
- eri
- jaettu
- ei
- vaikutus
- mahdollistaa
- salaus
- insinööri
- arvio
- kaikki
- esimerkki
- olemassa
- laajeni
- experience
- Fed
- palaute
- Fields
- Etunimi
- Keskittää
- tarkennus
- jälkeen
- tuottaa
- suurempi
- Ryhmän
- Kasvaa
- auttaa
- auttaa
- Korkea
- erittäin
- Miten
- Miten
- HTTPS
- tunnistaa
- Identiteetti
- Vaikutus
- tärkeä
- parantaa
- tiedot
- panos
- yhdistää
- vuorovaikutteinen
- korko
- etu
- inventaario
- IT
- Työpaikat
- yhdistää
- avain
- kuningas
- käynnistää
- käynnistäminen
- oppiminen
- jättää
- Vaikutusvalta
- LINK
- sijainti
- kone
- koneoppiminen
- TEE
- hoitaa
- johto
- pakollinen
- käsin
- asia
- Matters
- Metrics
- ML
- malli
- mallit
- monitori
- seuranta
- lisää
- eniten
- moninkertainen
- numero
- Vaihtoehto
- tilata
- maksu
- suorituskyky
- Personoida
- Kohta
- mahdollinen
- voimakas
- ennustaa
- Valmistella
- esittää
- prosessi
- toimittaa
- nopeasti
- kilpa
- Hinnat
- Lukeminen
- reaaliaikainen
- alueellinen
- merkityksellinen
- tarvitaan
- Vaatii
- resurssi
- Esittelymateriaalit
- vastuullinen
- tulokset
- tulot
- arviot
- skaalautuva
- saumattomasti
- sekuntia
- valittu
- palvelu
- Palvelut
- setti
- Ostokset
- KYLLÄ
- Yksinkertainen
- taitoja
- Tuotteemme
- ohjelmistokehitys
- vankka
- ratkaisu
- Ratkaisumme
- erityinen
- nopeus
- Urheilu
- pino
- standardi
- Alkaa
- alkoi
- huippu-
- Lausunto
- Levytila
- tuki
- Tuetut
- Tukee
- järjestelmät
- joukkue-
- Lähde
- siksi
- kynnys
- Kautta
- aika
- tämän päivän
- ylin
- raita
- kauppa
- Muutos
- varten
- päivittäminen
- käyttää
- versio
- Mitä
- sisällä
- olisi