Amazon Lookout for Metrics er en AWS-tjeneste, der bruger maskinlæring (ML) til automatisk at overvåge de målinger, der er vigtigst for virksomheder, med større hastighed og nøjagtighed. Tjenesten gør det også nemmere at diagnosticere årsagen til uregelmæssigheder, såsom uventede fald i omsætning, høje rater af forladte indkøbskurve, stigninger i betalingstransaktionsfejl, stigninger i nye brugertilmeldinger og mange flere. Lookout for Metrics rækker ud over simpel anomalidetektion. Det giver udviklere mulighed for at konfigurere autonom overvågning af vigtige målinger for at opdage uregelmæssigheder og identificere deres rodårsag i løbet af nogle få klik for at opdage uregelmæssigheder i dens målinger – alt sammen uden at kræve ML-erfaring.
Amazonas Athena er en interaktiv forespørgselstjeneste, der gør det nemt at analysere data i Amazon Simple Storage Service (Amazon S3) ved hjælp af standard SQL. Du skal blot pege på dine data i Amazon S3, definere skemaet og begynde at forespørge ved hjælp af standard SQL. De fleste resultater leveres inden for få sekunder. Med Athena er der ikke behov for komplekse ETL-job for at forberede dine data til analyse. Dette gør det nemt for alle med SQL-færdigheder hurtigt at analysere store datasæt.
Med dagens lancering kan Lookout for Metrics nu problemfrit oprette forbindelse til dine data i Athena for at opsætte meget nøjagtige anomalidetektorer. Dette giver dig mulighed for hurtigt at implementere state-of-the-art anomalidetektion via ML med Lookout for Metrics mod alle datasæt, der er tilgængelige i Athena.
Athena-forbindelse udvider mulighederne for Lookout for Metrics ved at bringe følgende fordele:
- Det udvider mulighederne i Lookout for Metrics mht filtypeunderstøttelse. Før dette understøttede Lookout for Metrics CSV- og JSONLines-formaterede filer, men med Athena er dette blevet udvidet til Parquet, Avro, Plaintext og mere. Hvis du kan parse det via Athena, så er det nu muligt at importere og udnytte med Lookout for Metrics.
- Det introducerer også understøttelse af data med fødererede forespørgsler. Før denne lancering, hvis dine data blev lagret i flere databaser eller kilder, ville du skulle definere en komplet kompleks ETL-proces samt administrere dens ydeevnekarakteristika, før du kunne eksportere alle data til en CSV- eller JSONLines-fil og indtaste dem til Lookout for Metrics for Anomali Detection. Med fødererede forespørgsler fra Athena definerer du de forskellige kilder, samt hvordan sammenkædningen skal udføres, og når dataene er blevet behandlet og kan forespørges af Athena, er de straks klar til Lookout for Metrics. Dette gør det muligt for dig at overdrage byrden for datatransformation, aggregering og leveringssted til Athena og blot fokusere på de identificerede anomalier fra Lookout for Metrics.
Løsningsoversigt
I dette indlæg demonstrerer vi, hvordan man integrerer en Athena-tabel og opdager anomalier i indtægtsmålingerne. Vi sporer også, hvordan ordrehastighed og lagermålinger påvirkes. Kildedataene ligger i Amazon S3, og vi har konfigureret Athena-tabeller til at kunne forespørge dataene i den. An AWS Lambda er ansvarlig for at opdatere partitionerne i Athena, som bruges af Lookout for Metrics til at opdage uregelmæssigheder. Denne løsning giver dig mulighed for at bruge en Athena-datakilde til Lookout for Metrics.
Du kan bruge det medfølgende AWS CloudFormation stak for at konfigurere ressourcer til gennemgangen. Den indeholder ressourcer til kontinuerligt at generere live-data og gør dem forespørgselsklare i Athena.
- Start stakken fra følgende link, og vælg næste på siden Opret stak.
- På Angiv stakdetaljer side, tilføj værdierne fra oven, giv den et staknavn (f.eks.
L4MAthenaDetector
), og vælg Næste. - På Konfigurer stakindstillinger side, lad alt være som det er og vælg Næste.
Opsæt en ny detektor med Athena som datakilde
Trin 1
Log ind på AWS-konsol for at komme i gang med at oprette en anomalidetektor med Lookout for Metrics. Det første trin er at vælge knappen "Opret detektor".
Trin 2
Udfyld de obligatoriske detektorfelter som navn. Vælg registreringsintervallet for detektoren, som bestemmes af den frekvens, hvormed du ønsker, at Lookout for Metrics skal forespørge om dine data og overvåge dem for uregelmæssigheder. Krypteringsoplysninger er ikke obligatoriske. Krypteringsoplysninger giver Lookout for Metrics mulighed for at kryptere dine data ved hjælp af din AWS Key Management Service (KMS) nøgle. I dette eksempel springer vi over at tilføje en krypteringsnøgle, Lookout for Metrics vil bruge standardkryptering til at kryptere dine data, hvis der ikke er angivet krypteringsoplysninger, og fortsætte ved at vælge knappen "Opret".
Trin 3
Ved oprettelse af anomalidetektoren vil du se bekræftelse i et banner øverst. Du kan fortsætte ved at vælge "Tilføj et datasæt" gennem enten banneret eller knappen under "Tilføj et datasæt".
Udfyld de grundlæggende oplysninger for datakilden. Tidszone er et valgfrit felt. Vælg rullemenuen for at vælge en datakilde.
Lookout for Metrics understøtter flere datakilder som en bekvemmelighed for kunderne. I dette eksempel vælger vi Athena.
Når Athena er valgt som datakilde, har du mulighed for at vælge Backtest eller Continuous mode for detektoren. I dette eksempel fortsætter vi ved at bruge kontinuerlig tilstand. Fortsæt ved at tilføje detaljer for Athena-tabellen, som du vil overvåge for uregelmæssigheder.
Du kan tillade tjenesten at oprette en tjenesterolle, eller du kan bruge en eksisterende AWS Identity and Access Management (IAM) rolle på din konto for fødererede forespørgsler. Bemærk, at Lookout for Metrics ikke understøtter automatisk oprettelse af IAM-roller til fødererede forespørgsler. Derfor skal du oprette en ny IAM-rolle for at tillade Athena at udføre følgende handlinger på dine data,
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
IAM-rollen oprettet af tjenesten ser sådan ud:
Trin 4
Nu vil vi definere relevante målinger for detektoren. Lookout for Metrics vil udfylde rullemenuerne med de kolonner, der findes i den medfølgende Athena-tabel. Du kan vælge op til fem metrics og fem dimensioner. Lookout for Metrics kræver, at dataene i din tabel er opdelt som tidsstempler for tidsstempelkolonnen. Du vil også have mulighed for at estimere omkostningerne for denne detektor ved at tilføje antallet af værdier på tværs af dine dimensioner.
Når du har valgt alle metrics, skal du fortsætte ved at vælge knappen "Næste". Gennemgå detaljerne, og vælg knappen "Gem datasæt" for at gemme datasættet.
Trin 5
Når datasættet er oprettet, aktiverer vi detektoren ved enten at vælge knappen "Aktiver" øverst eller knappen "Aktiver detektor" under afsnittet "Sådan virker det".
Du bliver bedt om at bekræfte, om du vil aktivere detektoren til kontinuerlig detektering. Vælg "Aktiver" for at bekræfte.
Du vil se en bekræftelse, der informerer om, at detektoren aktiveres.
Trin 6
Når anomalidetektoren er aktiv, kan du bruge fanen "Detektorlog" på siden Detektordetaljer til at gennemgå detekteringsudførelser, der er blevet udført af tjenesten.
Trin 7
Du kan vælge knappen "Se uregelmæssigheder" fra siden med detektordetaljer for manuelt at inspicere uregelmæssigheder, der kan være blevet opdaget af tjenesten.
Trin 8
På siden Anomali-gennemgang kan du justere tærskelværdien for alvorlighedsscore på tærskelvælgeren for at filtrere anomalier over en valgt score.
Gennemgå og analyser resultaterne
Når du opdager en anomali, hjælper Lookout for Metrics dig med at fokusere på det, der betyder mest ved at tildele en alvorlighedsscore for at hjælpe med prioritering. For at hjælpe dig med at finde årsagen, grupperer den intelligent uregelmæssigheder, der kan være relateret til den samme hændelse, og opsummerer derefter de forskellige kilder til påvirkning.
Lookout for Metrics giver dig også mulighed for at give feedback i realtid om relevansen af detekterede anomalier, hvilket muliggør en kraftfuld human-in-the-loop-mekanisme. Disse oplysninger føres tilbage til anomalidetektionsmodellen for at forbedre dens nøjagtighed i næsten realtid.
Ryd op
For at undgå at pådrage sig yderligere gebyrer for ressourcen, der er opsat til demoen, kan du slette den oprettede detektor under Lookout for Metrics og stakken, der er oprettet via CloudFormation.
Konklusion
Du kan problemfrit oprette forbindelse til dine data i Athena til Lookout for Metrics for at opsætte en meget nøjagtig anomalidetektor på tværs af metrics og dimensioner i dine Athena-tabeller. For at komme i gang med denne funktion, se Brug af Amazon Athena med Lookout for Metrics. Du kan bruge denne funktion i alle regioner, hvor Lookout for Metrics er offentligt tilgængelig. For mere information om regions tilgængelighed, se AWS regionale tjenester.
Om forfatterne
Devesh Ratho er softwareudviklingsingeniør i Lookout for Metrics-teamet. Hans interesser ligger i at bygge skalerbare distribuerede systemer. I sin fritid nyder han sim-racing.
Chris King er en senior løsningsarkitekt i anvendt kunstig intelligens med AWS. Han har en særlig interesse i at lancere AI-tjenester og hjalp med at vokse og opbygge Amazon Personalize og Amazon Forecast, før han fokuserede på Amazon Lookout for Metrics. I sin fritid nyder han at lave mad, læse, bokse og bygge modeller til at forudsige resultatet af kampsport.
- Coinsmart. Europas bedste Bitcoin og Crypto Exchange.
- Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. FRI ADGANG.
- CryptoHawk. Altcoin radar. Gratis prøveversion.
- Kilde: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Om
- adgang
- Konto
- præcis
- tværs
- Handling
- aktioner
- aktiv
- Yderligere
- AI
- AI-tjenester
- Alle
- Amazon
- analyse
- nogen
- Automatiseret
- autonom
- tilgængelighed
- til rådighed
- AWS
- banner
- før
- fordele
- Beyond
- grænse
- Boksning
- bygge
- Bygning
- virksomheder
- kapaciteter
- Årsag
- afgifter
- Kolonne
- bekæmpe
- komplekse
- betingelse
- Tilslut
- Connectivity
- indeholder
- bekvemmelighed
- kunne
- skabe
- oprettet
- Oprettelse af
- skabelse
- Kunder
- data
- databaser
- leveret
- levering
- demonstrere
- indsætte
- detaljer
- opdaget
- Detektion
- udviklere
- Udvikling
- forskellige
- distribueret
- Er ikke
- effekt
- muliggør
- kryptering
- ingeniør
- skøn
- at alt
- eksempel
- eksisterende
- udvidet
- erfaring
- Fed
- tilbagemeldinger
- Fields
- Fornavn
- Fokus
- fokusering
- efter
- generere
- større
- Gruppens
- Grow
- hjælpe
- hjælper
- Høj
- stærkt
- Hvordan
- How To
- HTTPS
- identificere
- Identity
- KIMOs Succeshistorier
- vigtigt
- Forbedre
- oplysninger
- indgang
- integrere
- interaktiv
- interesse
- interesser
- opgørelse
- IT
- Karriere
- deltage
- Nøgle
- King (Konge)
- lancere
- lancering
- læring
- Forlade
- Leverage
- LINK
- placering
- maskine
- machine learning
- maerker
- administrere
- ledelse
- obligatorisk
- manuelt
- Matter
- Matters
- Metrics
- ML
- model
- modeller
- Overvåg
- overvågning
- mere
- mest
- flere
- nummer
- Option
- ordrer
- betaling
- ydeevne
- Tilpas
- Punkt
- mulig
- vigtigste
- forudsige
- Forbered
- præsentere
- behandle
- give
- hurtigt
- Racing
- priser
- Læsning
- realtid
- regional
- relevant
- påkrævet
- Kræver
- ressource
- Ressourcer
- ansvarlige
- Resultater
- indtægter
- gennemgå
- skalerbar
- problemfrit
- sekunder
- valgt
- tjeneste
- Tjenester
- sæt
- Shopping
- JA
- Simpelt
- færdigheder
- Software
- softwareudvikling
- solid
- løsninger
- Løsninger
- særligt
- hastighed
- Sport
- stable
- standard
- starte
- påbegyndt
- state-of-the-art
- Statement
- opbevaring
- support
- Understøttet
- Understøtter
- Systemer
- hold
- The Source
- derfor
- tærskel
- Gennem
- tid
- nutidens
- top
- spor
- transaktion
- Transformation
- under
- opdatering
- brug
- udgave
- Hvad
- inden for
- ville