Amazon Lookout za meritve je storitev AWS, ki uporablja strojno učenje (ML) za samodejno spremljanje meritev, ki so najpomembnejše za podjetja, z večjo hitrostjo in natančnostjo. Storitev prav tako olajša diagnosticiranje temeljnega vzroka anomalij, kot so nepričakovani padci prihodkov, visoke stopnje zapuščenih nakupovalnih vozičkov, skoki v neuspešnih plačilnih transakcijah, povečanje števila novih prijav uporabnikov in še veliko več. Lookout for Metrics presega preprosto odkrivanje nepravilnosti. Razvijalcem omogoča, da vzpostavijo avtonomno spremljanje pomembnih meritev za odkrivanje anomalij in prepoznavanje njihovega temeljnega vzroka v nekaj klikih za odkrivanje anomalij v njegovih meritvah – vse brez potrebnih izkušenj z ML.
Amazonska Atena je interaktivna poizvedovalna storitev, ki olajša analizo podatkov v Preprosta storitev shranjevanja Amazon (Amazon S3) z uporabo standardnega SQL. Preprosto pokažite na svoje podatke v Amazon S3, definirajte shemo in začnite poizvedovati s standardnim SQL. Večina rezultatov se prikaže v nekaj sekundah. Z Atheno ni potrebe po zapletenih opravilih ETL za pripravo vaših podatkov za analizo. To vsem, ki imajo znanje SQL, olajša hitro analizo obsežnih naborov podatkov.
Z današnjo predstavitvijo se lahko Lookout for Metrics zdaj nemoteno poveže z vašimi podatki v Atheni za nastavitev zelo natančnih detektorjev nepravilnosti. To vam omogoča hitro uvedbo najsodobnejšega odkrivanja anomalij prek ML z Lookout for Metrics za vse nabore podatkov, ki so na voljo v Atheni.
Povezljivost Athena razširja zmogljivosti Lookout for Metrics z naslednjimi prednostmi:
- Razširja zmožnosti programa Lookout for Metrics v smislu podpora za vrsto datoteke. Pred tem je Lookout for Metrics podpiral formatirane datoteke CSV in JSONLines, z Atheno pa je bilo to razširjeno na Parquet, Avro, Plaintext itd. Če ga lahko razčlenite prek Athene, potem je zdaj mogoče uvoziti in izkoristiti z Lookout for Metrics.
- Uvaja tudi podporo za podatke s zvezne poizvedbe. Če so bili vaši podatki pred tem zagonom shranjeni v več zbirkah podatkov ali virih, bi morali definirati celoten kompleksen proces ETL in upravljati njegove značilnosti delovanja, preden bi lahko izvozili vse podatke v datoteko CSV ali JSONLines in jo vnesli v Lookout za meritve za odkrivanje nepravilnosti. Z združenimi poizvedbami iz Athene definirate različne vire in tudi, kako naj se izvede združevanje, in ko so podatki obdelani in lahko Athena po njih poizveduje, so takoj pripravljeni za Lookout for Metrics. To vam omogoča, da predate breme za pretvorbo podatkov, združevanje in lokacijo dostave Atheni in se osredotočite samo na ugotovljene anomalije iz Lookout for Metrics.
Pregled rešitev
V tej objavi prikazujemo, kako integrirati tabelo Athena in odkriti anomalije v meritvah prihodkov. Spremljamo tudi, kako to vpliva na stopnjo naročil in meritve zalog. Izvorni podatki so v Amazonu S3 in konfigurirali smo tabele Athena, da lahko poizvedujejo po podatkih v njih. An AWS Lambda je odgovoren za posodabljanje particij znotraj Athene, ki jih Lookout for Metrics uporablja za odkrivanje anomalij. Ta rešitev vam omogoča uporabo vira podatkov Athena za Lookout for Metrics.
Lahko uporabite priloženo Oblikovanje oblaka AWS stack za nastavitev virov za sprehod. Vsebuje vire za nenehno ustvarjanje podatkov v živo in jih omogoča poizvedovanje v Atheni.
- Zaženite sklad na naslednji povezavi in izberite Naslednja na strani Ustvari sklad.
- o Določite podrobnosti zlaganja stran, dodajte vrednosti od zgoraj, ji dajte ime Stack (npr.
L4MAthenaDetector
), in izberite Naslednji. - o Konfigurirajte možnosti zlaganja strani, pustite vse, kot je, in izberite Naslednji.
Nastavite nov detektor z Atheno kot virom podatkov
korak 1
Prijava na Konzola AWS za začetek ustvarjanja detektorja nepravilnosti s funkcijo Lookout for Metrics. Prvi korak je, da izberete gumb »Ustvari detektor«.
korak 2
Izpolnite obvezna polja detektorja, kot je ime. Izberite interval zaznavanja za detektor, ki je določen s pogostostjo, s katero želite, da Lookout for Metrics poizveduje po vaših podatkih in jih spremlja glede nepravilnosti. Podatki o šifriranju niso obvezni. Podatki o šifriranju omogočajo Lookout for Metrics šifriranje vaših podatkov z vašimi AWS Service Key Management (KMS) ključ. V tem primeru bomo preskočili dodajanje šifrirnega ključa, Lookout for Metrics bi uporabil privzeto šifriranje za šifriranje vaših podatkov, če ni podanih informacij o šifriranju, in nadaljeval z izbiro gumba »Ustvari«.
korak 3
Ko ustvarite detektor nepravilnosti, boste v pasici na vrhu videli potrditev. Nadaljujete lahko tako, da izberete »Dodaj nabor podatkov« prek pasice ali gumba pod »Dodaj nabor podatkov«.
Izpolnite osnovne podatke za vir podatkov. Časovni pas je neobvezno polje. Izberite spustni meni, da izberete vir podatkov.
Lookout for Metrics podpira več virov podatkov kot udobje za stranke. Za ta primer bomo izbrali Atheno.
Ko je Athena izbrana kot vir podatkov, boste imeli možnost izbrati Backtest ali Continuous način za detektor. V tem primeru bomo nadaljevali z uporabo neprekinjenega načina. Nadaljujte z dodajanjem podrobnosti za tabelo Athena, za katero želite spremljati nepravilnosti.
Storitvi lahko dovolite, da ustvari vlogo storitve, ali pa uporabite obstoječo AWS upravljanje identitete in dostopa (IAM) vlogo v vašem računu za zvezne poizvedbe. Upoštevajte, da Lookout for Metrics ne podpira samodejnega ustvarjanja vlog IAM za zvezne poizvedbe. Zato bi morali ustvariti novo vlogo IAM, da bi Atheni omogočili izvajanje naslednjih dejanj na vaših podatkih,
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
Vloga IAM, ki jo ustvari storitev, je videti takole:
korak 4
Zdaj bomo definirali ustrezne metrike za detektor. Lookout for Metrics bo zapolnil spustne menije s stolpci v priloženi tabeli Athena. Izberete lahko do pet meritev in pet dimenzij. Lookout for Metrics zahteva, da so podatki v vaši tabeli razdeljeni kot časovni žigi za stolpec časovnega žiga. Imeli boste tudi možnost, da ocenite stroške za ta detektor, tako da dodate število vrednosti v svojih dimenzijah.
Ko izberete vse meritve, nadaljujte z izbiro gumba »Naprej«. Preglejte podrobnosti in izberite gumb »Shrani nabor podatkov«, da shranite nabor podatkov.
korak 5
Ko je nabor podatkov ustvarjen, bomo detektor aktivirali z izbiro gumba »Aktiviraj« na vrhu ali gumba »Aktiviraj detektor« pod razdelkom »Kako deluje«.
Pozvani boste, da potrdite, ali želite aktivirati detektor za neprekinjeno zaznavanje. Za potrditev izberite »Aktiviraj«.
Videli boste potrditev, da se detektor aktivira.
korak 6
Ko je detektor nepravilnosti aktiven, lahko uporabite zavihek »Dnevnik detektorja« na strani s podrobnostmi detektorja, da pregledate izvedbe zaznavanja, ki jih je izvedla storitev.
korak 7
Na strani s podrobnostmi o detektorju lahko izberete gumb »Ogled anomalij«, da ročno pregledate anomalije, ki jih je morda zaznala storitev.
korak 8
Na strani za pregled anomalij lahko prilagodite prag ocene resnosti na številčnici praga, da filtrirate anomalije nad izbranim rezultatom.
Preglejte in analizirajte rezultate
Pri zaznavanju nepravilnosti vam Lookout for Metrics pomaga, da se osredotočite na tisto, kar je najpomembnejše, tako da dodeli oceno resnosti za pomoč pri določanju prednosti. Da bi vam pomagal najti temeljni vzrok, inteligentno združi anomalije, ki so lahko povezane z istim incidentom, in nato povzame različne vire vpliva.
Lookout for Metrics vam omogoča tudi zagotavljanje povratnih informacij v realnem času o pomembnosti zaznanih anomalij, s čimer omogočite zmogljiv mehanizem človeka v zanki. Te informacije se vrnejo v model za zaznavanje nepravilnosti, da se izboljša njegova natančnost v skoraj realnem času.
Čiščenje
Da bi se izognili dodatnim stroškom za vir, nastavljen za predstavitev, lahko izbrišete ustvarjeni detektor pod Lookout for Metrics in sklad, ustvarjen prek CloudFormation.
zaključek
S svojimi podatki v Atheni se lahko nemoteno povežete s storitvijo Lookout for Metrics, da nastavite zelo natančen detektor nepravilnosti v meritvah in dimenzijah v svojih tabelah Athena. Če želite začeti s to zmožnostjo, glejte Uporaba Amazon Athena z Lookout for Metrics. To možnost lahko uporabljate v vseh regijah, kjer je Lookout for Metrics javno dostopen. Za več informacij o razpoložljivosti regije glejte Regionalne službe AWS.
O avtorjih
Devesh Ratho je inženir za razvoj programske opreme v ekipi Lookout for Metrics. Njegovi interesi so izgradnja razširljivih porazdeljenih sistemov. V prostem času uživa v sim dirkah.
Chris King je višji arhitekt rešitev na področju uporabne umetne inteligence z AWS. Posebno se zanima za uvedbo storitev umetne inteligence in je pomagal pri rasti in izgradnji Amazon Personalize in Amazon Forecast, preden se je osredotočil na Amazon Lookout for Metrics. V prostem času uživa v kuhanju, branju, boksanju in gradnji modelov za napovedovanje rezultatov borilnih športov.
- Coinsmart. Najboljša evropska borza bitcoinov in kriptovalut.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. PROST DOSTOP.
- CryptoHawk. Altcoin radar. Brezplačen preizkus.
- Vir: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- O meni
- dostop
- Račun
- natančna
- čez
- Ukrep
- dejavnosti
- aktivna
- Dodatne
- AI
- Storitve AI
- vsi
- Amazon
- Analiza
- kdo
- Avtomatizirano
- avtonomno
- razpoložljivost
- Na voljo
- AWS
- banner
- pred
- Prednosti
- Poleg
- meja
- Boks
- izgradnjo
- Building
- podjetja
- Zmogljivosti
- Vzrok
- Stroški
- Stolpec
- boj proti
- kompleksna
- stanje
- Connect
- Povezovanje
- Vsebuje
- udobje
- bi
- ustvarjajo
- ustvaril
- Ustvarjanje
- Oblikovanje
- Stranke, ki so
- datum
- baze podatkov
- dostavi
- dostava
- izkazati
- razporedi
- Podrobnosti
- Zaznali
- Odkrivanje
- Razvijalci
- Razvoj
- drugačen
- porazdeljena
- Ne
- učinek
- omogočanje
- šifriranje
- inženir
- oceniti
- vse
- Primer
- obstoječih
- razširiti
- izkušnje
- Fed
- povratne informacije
- Področja
- prva
- Osredotočite
- osredotoča
- po
- ustvarjajo
- več
- Skupine
- Grow
- pomoč
- Pomaga
- visoka
- zelo
- Kako
- Kako
- HTTPS
- identificirati
- identiteta
- vpliv
- Pomembno
- izboljšanje
- Podatki
- vhod
- integrirati
- interaktivno
- obresti
- interesi
- inventar
- IT
- Delovna mesta
- pridružite
- Ključne
- King
- kosilo
- začetek
- učenje
- pustite
- Vzvod
- LINK
- kraj aktivnosti
- stroj
- strojno učenje
- IZDELA
- upravljanje
- upravljanje
- obvezna
- ročno
- Matter
- Zadeve
- Meritve
- ML
- Model
- modeli
- monitor
- spremljanje
- več
- Najbolj
- več
- Številka
- Možnost
- Da
- Plačilo
- performance
- prilagodite
- Točka
- mogoče
- močan
- napovedati
- Pripravimo
- predstaviti
- Postopek
- zagotavljajo
- hitro
- racing
- Cene
- reading
- v realnem času
- regionalni
- pomembno
- obvezna
- zahteva
- vir
- viri
- odgovorna
- Rezultati
- prihodki
- pregleda
- razširljive
- brez težav
- sekund
- izbran
- Storitev
- Storitve
- nastavite
- Nakupovalna
- DA
- Enostavno
- spretnosti
- Software
- Razvoj programske opreme
- trdna
- Rešitev
- rešitve
- posebna
- hitrost
- Šport
- sveženj
- standardna
- Začetek
- začel
- state-of-the-art
- Izjava
- shranjevanje
- podpora
- Podprti
- Podpira
- sistemi
- skupina
- Vir
- zato
- Prag
- skozi
- čas
- današnje
- vrh
- sledenje
- transakcija
- Preoblikovanje
- pod
- posodabljanje
- uporaba
- različica
- Kaj
- v
- bi