Amazon Lookout for metrics er en AWS-tjeneste som bruker maskinlæring (ML) for automatisk å overvåke beregningene som er viktigst for bedrifter med større hastighet og nøyaktighet. Tjenesten gjør det også enklere å diagnostisere grunnårsaken til uregelmessigheter, for eksempel uventede fall i inntekter, høye forekomster av forlatte handlekurver, topper i betalingstransaksjonsfeil, økning i nye brukerregistreringer og mange flere. Lookout for Metrics går utover enkel oppdagelse av anomalier. Det lar utviklere konfigurere autonom overvåking for viktige beregninger for å oppdage uregelmessigheter og identifisere grunnårsaken i løpet av noen få klikk for å oppdage uregelmessigheter i beregningene – alt uten behov for ML-erfaring.
Amazonas Athena er en interaktiv spørringstjeneste som gjør det enkelt å analysere data i Amazon Simple Storage Service (Amazon S3) bruker standard SQL. Bare pek på dataene dine i Amazon S3, definer skjemaet og begynn å spørre med standard SQL. De fleste resultatene leveres i løpet av sekunder. Med Athena er det ikke behov for komplekse ETL-jobber for å forberede dataene dine for analyse. Dette gjør det enkelt for alle med SQL-kunnskaper å raskt analysere store datasett.
Med dagens lansering kan Lookout for Metrics nå sømløst koble til dataene dine i Athena for å sette opp svært nøyaktige anomalidetektorer. Dette lar deg raskt distribuere state-of-the-art avviksdeteksjon via ML med Lookout for Metrics mot alle datasett som er tilgjengelige i Athena.
Athena-tilkobling utvider mulighetene til Lookout for Metrics ved å gi følgende fordeler:
- Det utvider mulighetene til Lookout for Metrics mht filtypestøtte. Før dette støttet Lookout for Metrics CSV- og JSONLines-formaterte filer, men med Athena har dette blitt utvidet til Parquet, Avro, Plaintext og mer. Hvis du kan analysere det via Athena, er det nå mulig å importere og utnytte med Lookout for Metrics.
- Den introduserer også støtte for data med fødererte søk. Før denne lanseringen, hvis dataene dine ble lagret i flere databaser eller kilder, må du definere en komplett kompleks ETL-prosess samt administrere ytelsesegenskapene før du kan eksportere alle dataene til en CSV- eller JSONLines-fil og legge dem inn i Lookout for Metrics for Anomaly Detection. Med fødererte spørringer fra Athena definerer du de forskjellige kildene samt hvordan sammenføyningen skal utføres, og når dataene er behandlet og kan spørres av Athena, er den umiddelbart klar for Lookout for Metrics. Dette gjør at du kan overlate byrden for datatransformasjon, aggregering og leveringssted til Athena og bare fokusere på de identifiserte uregelmessighetene fra Lookout for Metrics.
Løsningsoversikt
I dette innlegget viser vi hvordan du integrerer en Athena-tabell og oppdager uregelmessigheter i inntektsberegningene. Vi sporer også hvordan ordrefrekvens og lagerberegninger påvirkes. Kildedataene ligger i Amazon S3, og vi har konfigurert Athena-tabeller for å kunne spørre etter dataene i den. An AWS Lambda er ansvarlig for å oppdatere partisjonene i Athena, som brukes av Lookout for Metrics for å oppdage anomalier. Denne løsningen lar deg bruke en Athena-datakilde for Lookout for Metrics.
Du kan bruke den medfølgende AWS skyformasjon stack for å sette opp ressurser for gjennomgangen. Den inneholder ressurser for kontinuerlig å generere live data og gjør dem søkebare i Athena.
- Start stabelen fra følgende lenke og velg neste på Opprett stabel-siden.
- På Spesifiser stakkdetaljer side, legg til verdiene ovenfra, gi den et stabelnavn (f.eks.
L4MAthenaDetector
), og velg neste. - På Konfigurer stakkalternativer side, la alt være som det er og velg neste.
Sett opp en ny detektor med Athena som datakilde
Trinn 1
Logg deg inn på AWS-konsoll for å komme i gang med å lage en anomalidetektor med Lookout for Metrics. Det første trinnet er å velge "Opprett detektor"-knappen.
Trinn 2
Fyll ut de obligatoriske detektorfeltene som navn. Velg deteksjonsintervallet for detektoren, som bestemmes av frekvensen du vil at Lookout for Metrics skal spørre etter dataene dine og overvåke dem for avvik. Krypteringsinformasjon er ikke obligatorisk. Krypteringsinformasjon lar Lookout for Metrics kryptere dataene dine ved hjelp av din AWS Key Management Service (KMS) nøkkel. I dette eksemplet hopper vi over å legge til en krypteringsnøkkel. Lookout for Metrics vil bruke standardkryptering for å kryptere dataene dine hvis ingen krypteringsinformasjon er oppgitt, og fortsette ved å velge «Opprett»-knappen.
Trinn 3
Ved opprettelse av anomalidetektoren vil du se bekreftelse i et banner øverst. Du kan fortsette ved å velge "Legg til et datasett" enten gjennom banneret eller knappen under "Legg til et datasett".
Fyll ut grunnleggende informasjon for datakilden. Tidssone er et valgfritt felt. Velg rullegardinmenyen for å velge en datakilde.
Lookout for Metrics støtter flere datakilder som en bekvemmelighet for kundene. For dette eksemplet velger vi Athena.
Når Athena er valgt som datakilde, har du muligheten til å velge Tilbaketest eller Kontinuerlig modus for detektoren. For dette eksemplet fortsetter vi ved å bruke kontinuerlig modus. Fortsett ved å legge til detaljer for Athena-tabellen som du vil overvåke for uregelmessigheter.
Du kan la tjenesten opprette en tjenesterolle, eller du kan bruke en eksisterende AWS Identity and Access Management (IAM) rolle i kontoen din for forente søk. Vær oppmerksom på at Lookout for Metrics ikke støtter automatisk oppretting av IAM-roller for forente søk. Derfor må du opprette en ny IAM-rolle for å tillate Athena å utføre følgende handlinger på dataene dine,
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
IAM-rollen opprettet av tjenesten ser slik ut:
Trinn 4
Nå skal vi definere relevante beregninger for detektoren. Lookout for Metrics vil fylle ut rullegardinmenyene med kolonnene i den medfølgende Athena-tabellen. Du kan velge opptil fem beregninger og fem dimensjoner. Lookout for Metrics krever at dataene i tabellen din er partisjonert som tidsstempler for tidsstempelkolonnen. Du vil også ha muligheten til å anslå kostnadene for denne detektoren ved å legge til antall verdier på tvers av dimensjonene dine.
Når du har valgt alle beregningene, fortsett ved å velge "Neste"-knappen. Se gjennom detaljene og velg "Lagre datasett"-knappen for å lagre datasettet.
Trinn 5
Når datasettet er opprettet, aktiverer vi detektoren ved enten å velge "Aktiver"-knappen øverst eller "Aktiver detektor"-knappen under "Slik fungerer det".
Du vil bli bedt om å bekrefte om du vil aktivere detektoren for kontinuerlig deteksjon. Velg "Aktiver" for å bekrefte.
Du vil se en bekreftelse som informerer om at detektoren aktiveres.
Trinn 6
Når anomalidetektoren er aktiv, kan du bruke fanen "Detektorlogg" på siden Detektordetaljer for å gjennomgå deteksjonskjøringer som er utført av tjenesten.
Trinn 7
Du kan velge "Se avvik"-knappen fra siden med detektordetaljer for å manuelt inspisere avvik som kan ha blitt oppdaget av tjenesten.
Trinn 8
På siden for vurdering av uregelmessigheter kan du justere terskelen for alvorlighetsscore på terskelen for å filtrere uregelmessigheter over en valgt poengsum.
Gjennomgå og analyser resultatene
Når du oppdager en anomali, hjelper Lookout for Metrics deg med å fokusere på det som betyr mest ved å tildele en alvorlighetsgrad for å hjelpe deg med prioritering. For å hjelpe deg med å finne årsaken, grupperer den på en intelligent måte anomalier som kan være relatert til den samme hendelsen, og oppsummerer deretter de ulike kildene til påvirkning.
Lookout for Metrics lar deg også gi tilbakemelding i sanntid om relevansen av oppdagede anomalier, og muliggjør dermed en kraftig menneske-i-løkken-mekanisme. Denne informasjonen føres tilbake til anomalideteksjonsmodellen for å forbedre nøyaktigheten i nesten sanntid.
Rydd opp
For å unngå å pådra deg ekstra kostnader for ressursen som er satt opp for demoen, kan du slette den opprettede detektoren under Lookout for Metrics og stabelen som er opprettet via CloudFormation.
konklusjonen
Du kan sømløst koble til dataene dine i Athena til Lookout for Metrics for å sette opp svært nøyaktige anomalidetektorer på tvers av beregninger og dimensjoner i Athena-tabellene dine. For å komme i gang med denne muligheten, se Bruke Amazon Athena med Lookout for Metrics. Du kan bruke denne funksjonen i alle regioner der Lookout for Metrics er offentlig tilgjengelig. For mer informasjon om regiontilgjengelighet, se AWS regionale tjenester.
Om forfatterne
Devesh Ratho er en programvareutviklingsingeniør i Lookout for Metrics-teamet. Hans interesser ligger i å bygge skalerbare distribuerte systemer. På fritiden liker han simracing.
Chris King er Senior Solutions Architect i anvendt AI med AWS. Han har en spesiell interesse i å lansere AI-tjenester og bidro til å vokse og bygge Amazon Personalize og Amazon Forecast før han fokuserte på Amazon Lookout for Metrics. På fritiden liker han å lage mat, lese, bokse og bygge modeller for å forutsi resultatet av kampsport.
- Myntsmart. Europas beste Bitcoin og Crypto Exchange.
- Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. FRI TILGANG.
- CryptoHawk. Altcoin Radar. Gratis prøveperiode.
- Kilde: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Om oss
- adgang
- Logg inn
- nøyaktig
- tvers
- Handling
- handlinger
- aktiv
- Ytterligere
- AI
- AI-tjenester
- Alle
- Amazon
- analyse
- noen
- Automatisert
- autonom
- tilgjengelighet
- tilgjengelig
- AWS
- banner
- før du
- Fordeler
- Beyond
- grensen
- Boksing
- bygge
- Bygning
- bedrifter
- evner
- Årsak
- avgifter
- Kolonne
- bekjempe
- komplekse
- tilstand
- Koble
- Tilkobling
- inneholder
- bekvemmelighet
- kunne
- skape
- opprettet
- Opprette
- skaperverket
- Kunder
- dato
- databaser
- levert
- levering
- demonstrere
- utplassere
- detaljer
- oppdaget
- Gjenkjenning
- utviklere
- Utvikling
- forskjellig
- distribueres
- ikke
- effekt
- muliggjør
- kryptering
- ingeniør
- anslag
- alt
- eksempel
- eksisterende
- utvidet
- erfaring
- Fed
- tilbakemelding
- Felt
- Først
- Fokus
- fokusering
- etter
- generere
- større
- Gruppens
- Grow
- hjelpe
- hjelper
- Høy
- svært
- Hvordan
- Hvordan
- HTTPS
- identifisere
- Identitet
- Påvirkning
- viktig
- forbedre
- informasjon
- inngang
- integrere
- interaktiv
- interesse
- interesser
- inventar
- IT
- Jobb
- bli medlem
- nøkkel
- konge
- lansere
- lansere
- læring
- Permisjon
- Leverage
- LINK
- plassering
- maskin
- maskinlæring
- GJØR AT
- administrer
- ledelse
- obligatorisk
- manuelt
- Saken
- Saker
- Metrics
- ML
- modell
- modeller
- Overvåke
- overvåking
- mer
- mest
- flere
- Antall
- Alternativ
- rekkefølge
- betaling
- ytelse
- tilpasse
- Point
- mulig
- kraftig
- forutsi
- Forbered
- presentere
- prosess
- gi
- raskt
- Racing
- priser
- Lesning
- sanntids
- regional
- relevant
- påkrevd
- Krever
- ressurs
- Ressurser
- ansvarlig
- Resultater
- inntekter
- anmeldelse
- skalerbar
- sømløst
- sekunder
- valgt
- tjeneste
- Tjenester
- sett
- Shopping
- JA
- Enkelt
- ferdigheter
- Software
- programvareutvikling
- solid
- løsning
- Solutions
- spesiell
- fart
- Sports
- stable
- Standard
- Begynn
- startet
- state-of-the-art
- Uttalelse
- lagring
- støtte
- Støttes
- Støtter
- Systemer
- lag
- Kilden
- derfor
- terskel
- Gjennom
- tid
- dagens
- topp
- spor
- Transaksjonen
- Transformation
- etter
- oppdatering
- bruke
- versjon
- Hva
- innenfor
- ville