Amazon Lookout för mätvärden är en AWS-tjänst som använder maskininlärning (ML) för att automatiskt övervaka de mätvärden som är viktigast för företag med större hastighet och noggrannhet. Tjänsten gör det också lättare att diagnostisera grundorsaken till anomalier, såsom oväntade nedgångar i intäkter, höga andelar övergivna kundvagnar, toppar i betalningstransaktionsmisslyckanden, ökningar av nya användarregistreringar och många fler. Lookout for Metrics går utöver enkel upptäckt av avvikelser. Det gör det möjligt för utvecklare att ställa in autonom övervakning för viktiga mätvärden för att upptäcka avvikelser och identifiera deras grundorsak inom några få klick för att upptäcka avvikelser i mätvärdena – allt utan att ha erfarenhet av ML.
Amazonas Athena är en interaktiv frågetjänst som gör det enkelt att analysera data i Amazon Simple Storage Service (Amazon S3) använder standard SQL. Peka helt enkelt på dina data i Amazon S3, definiera schemat och börja fråga med standard SQL. De flesta resultat levereras inom några sekunder. Med Athena finns det inget behov av komplexa ETL-jobb för att förbereda din data för analys. Detta gör det enkelt för alla med SQL-kunskaper att snabbt analysera storskaliga datamängder.
Med dagens lansering kan Lookout for Metrics nu sömlöst ansluta till dina data i Athena för att ställa in mycket exakta anomalidetektorer. Detta låter dig snabbt distribuera toppmodern anomalidetektering via ML med Lookout for Metrics mot alla datauppsättningar som är tillgängliga i Athena.
Athena-anslutningen utökar möjligheterna hos Lookout for Metrics genom att ge följande fördelar:
- Det utökar kapaciteten hos Lookout for Metrics när det gäller filtypsstöd. Dessförinnan stödde Lookout for Metrics CSV- och JSONLines-formaterade filer, men med Athena har detta utökats till Parquet, Avro, Plaintext och mer. Om du kan analysera det via Athena är det nu möjligt att importera och utnyttja med Lookout for Metrics.
- Det introducerar också stöd för data med federerade frågor. Innan den här lanseringen, om din data lagrades i flera databaser eller källor, skulle du behöva definiera en komplett komplex ETL-process samt hantera dess prestandaegenskaper innan du kan exportera all data till en CSV- eller JSONLines-fil och mata in den in Lookout for Metrics for Anomaly Detection. Med federerade frågor från Athena definierar du de olika källorna samt hur sammankopplingen ska utföras och när data har bearbetats och kan frågas av Athena är den omedelbart redo för Lookout for Metrics. Detta gör att du kan överlåta bördan för datatransformation, aggregering och leveransplats till Athena och bara fokusera på de identifierade anomalierna från Lookout for Metrics.
Lösningsöversikt
I det här inlägget visar vi hur man integrerar en Athena-tabell och upptäcker anomalier i intäktsmåtten. Vi spårar också hur orderhastighet och lagermått påverkas. Källdata ligger i Amazon S3 och vi har konfigurerat Athena-tabeller för att kunna söka efter data i den. En AWS Lambda är ansvarig för att uppdatera partitionerna inom Athena, som används av Lookout for Metrics för att upptäcka anomalier. Denna lösning gör att du kan använda en Athena-datakälla för Lookout for Metrics.
Du kan använda den medföljande AWS molnformation stack för att ställa in resurser för genomgången. Den innehåller resurser för att kontinuerligt generera livedata och gör dem sökbara i Athena.
- Starta stacken från följande länk och välj Nästa på sidan Skapa stack.
- På Ange stapeldetaljer sida, lägg till värdena ovanifrån, ge den ett stacknamn (till exempel,
L4MAthenaDetector
), och välj Nästa. - På Konfigurera stackalternativ sida, lämna allt som det är och välj Nästa.
Sätt upp en ny detektor med Athena som datakälla
steg 1
Logga in på AWS-konsol för att komma igång med att skapa en anomalidetektor med Lookout for Metrics. Det första steget är att välja knappen "Skapa detektor".
steg 2
Fyll i de obligatoriska detektorfälten som namn. Välj detekteringsintervallet för detektorn, vilket bestäms av den frekvens med vilken du vill att Lookout for Metrics ska fråga dina data och övervaka dem för avvikelser. Krypteringsinformation är inte obligatorisk. Krypteringsinformation gör att Lookout for Metrics kan kryptera dina data med hjälp av din AWS Key Management Service (KMS) nyckel. I det här exemplet hoppar vi över att lägga till en krypteringsnyckel, Lookout for Metrics skulle använda standardkryptering för att kryptera din data om ingen krypteringsinformation tillhandahålls, och fortsätt genom att välja knappen "Skapa".
steg 3
När anomalidetektorn skapas ser du en bekräftelse i en banner högst upp. Du kan fortsätta genom att välja "Lägg till en datauppsättning" genom antingen bannern eller knappen under "Lägg till en dataset".
Fyll i grundinformationen för datakällan. Tidszon är ett valfritt fält. Välj rullgardinsmenyn för att välja en datakälla.
Lookout for Metrics stöder flera datakällor som en bekvämlighet för kunderna. För det här exemplet väljer vi Athena.
När Athena har valts som datakälla har du möjlighet att välja Backtest eller Continuous mode för detektorn. I det här exemplet fortsätter vi med att använda kontinuerligt läge. Fortsätt genom att lägga till detaljer för Athena-tabellen som du vill övervaka för anomalier.
Du kan tillåta tjänsten att skapa en tjänstroll eller så kan du använda en befintlig AWS Identity and Access Management (IAM) roll i ditt konto för federerade frågor. Observera att Lookout for Metrics inte stöder automatiskt skapande av IAM-roller för federerade frågor. Därför måste du skapa en ny IAM-roll för att Athena ska kunna utföra följande åtgärder på din data,
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
IAM-rollen som skapas av tjänsten ser ut så här:
steg 4
Nu ska vi definiera relevanta mätvärden för detektorn. Lookout for Metrics kommer att fylla i rullgardinsmenyn med kolumnerna som finns i den medföljande Athena-tabellen. Du kan välja upp till fem mätvärden och fem dimensioner. Lookout for Metrics kräver att data i din tabell är partitionerade som tidsstämplar för tidsstämpelkolumnen. Du kommer också att ha ett alternativ att uppskatta kostnaden för den här detektorn genom att lägga till antalet värden över dina dimensioner.
När du har valt alla mätvärden, fortsätt genom att välja knappen "Nästa". Granska detaljerna och välj knappen "Spara dataset" för att spara datamängden.
steg 5
När datasetet har skapats aktiverar vi detektorn genom att antingen välja knappen "Aktivera" högst upp eller knappen "Aktivera detektor" under avsnittet "Hur det fungerar".
Du kommer att uppmanas att bekräfta om du vill aktivera detektorn för kontinuerlig detektering. Välj "Aktivera" för att bekräfta.
Du kommer att se en bekräftelse som informerar om att detektorn aktiveras.
steg 6
När anomalidetektorn är aktiv kan du använda fliken "Detektorlogg" på sidan Detektordetaljer för att granska detekteringskörningar som har utförts av tjänsten.
steg 7
Du kan välja knappen "Visa avvikelser" på sidan med detektordetaljer för att manuellt inspektera avvikelser som kan ha upptäckts av tjänsten.
steg 8
På sidan för granskning av anomalier kan du justera tröskelvärdet för allvarlighetspoäng på tröskelratten för att filtrera avvikelser över en vald poäng.
Granska och analysera resultaten
När du upptäcker en anomali hjälper Lookout for Metrics dig att fokusera på det som är viktigast genom att tilldela ett allvarlighetsvärde för att underlätta prioriteringen. För att hjälpa dig hitta grundorsaken grupperar den på ett intelligent sätt anomalier som kan vara relaterade till samma incident och sammanfattar sedan de olika källorna till påverkan.
Lookout for Metrics låter dig också ge feedback i realtid om relevansen av upptäckta anomalier, vilket möjliggör en kraftfull mänsklig-i-loop-mekanism. Denna information återkopplas till anomalidetekteringsmodellen för att förbättra dess noggrannhet i nästan realtid.
Städa upp
För att undvika extra kostnader för resursen som ställts in för demon kan du ta bort den skapade detektorn under Lookout for Metrics och stacken som skapats via CloudFormation.
Slutsats
Du kan sömlöst ansluta till dina data i Athena till Lookout for Metrics för att ställa in en mycket exakt anomalidetektor över mätvärden och dimensioner i dina Athena-tabeller. För att komma igång med denna funktion, se Använder Amazon Athena med Lookout for Metrics. Du kan använda denna funktion i alla regioner där Lookout for Metrics är allmänt tillgängligt. För mer information om Regionens tillgänglighet, se AWS regionala tjänster.
Om författarna
Devesh Ratho är en mjukvaruutvecklingsingenjör i teamet Lookout for Metrics. Hans intressen ligger i att bygga skalbara distribuerade system. På fritiden tycker han om simracing.
Chris kung är Senior Solutions Architect i tillämpad AI med AWS. Han har ett särskilt intresse av att lansera AI-tjänster och hjälpte till att växa och bygga Amazon Personalize och Amazon Forecast innan han fokuserade på Amazon Lookout for Metrics. På fritiden tycker han om att laga mat, läsa, boxa och bygga modeller för att förutsäga resultatet av stridssport.
- Myntsmart. Europas bästa bitcoin- och kryptobörs.
- Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. FRI TILLGÅNG.
- CryptoHawk. Altcoin radar. Gratis provperiod.
- Källa: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Om oss
- tillgång
- Konto
- exakt
- tvärs
- Handling
- åtgärder
- aktiv
- Annat
- AI
- AI-tjänster
- Alla
- amason
- analys
- någon
- Automatiserad
- autonom
- tillgänglighet
- tillgänglig
- AWS
- banderoll
- innan
- Fördelarna
- Bortom
- gränsen
- Boxning
- SLUTRESULTAT
- Byggnad
- företag
- kapacitet
- Orsak
- avgifter
- Kolumn
- bekämpa
- komplex
- tillstånd
- Kontakta
- Anslutningar
- innehåller
- bekvämlighet
- kunde
- skapa
- skapas
- Skapa
- skapande
- Kunder
- datum
- databaser
- levereras
- leverans
- demonstrera
- distribuera
- detaljer
- detekterad
- Detektering
- utvecklare
- Utveckling
- olika
- distribueras
- inte
- effekt
- möjliggör
- kryptering
- ingenjör
- uppskatta
- allt
- exempel
- befintliga
- expanderade
- erfarenhet
- Fed
- återkoppling
- Fält
- Förnamn
- Fokus
- fokusering
- efter
- generera
- större
- Gruppens
- Väx
- hjälpa
- hjälper
- Hög
- höggradigt
- Hur ser din drömresa ut
- How To
- HTTPS
- identifiera
- Identitet
- Inverkan
- med Esport
- förbättra
- informationen
- ingång
- integrera
- interaktiva
- intresse
- intressen
- lager
- IT
- Lediga jobb
- delta
- Nyckel
- King
- lansera
- lansera
- inlärning
- Lämna
- Hävstång
- LINK
- läge
- Maskinen
- maskininlärning
- GÖR
- hantera
- ledning
- obligatoriskt
- manuellt
- Materia
- Betyder Något
- Metrics
- ML
- modell
- modeller
- Övervaka
- övervakning
- mer
- mest
- multipel
- antal
- Alternativet
- beställa
- betalning
- prestanda
- personifiera
- Punkt
- möjlig
- den mäktigaste
- förutse
- Förbered
- presentera
- process
- ge
- snabbt
- Racing
- rates
- Läsning
- realtid
- regionala
- relevanta
- Obligatorisk
- Kräver
- resurs
- Resurser
- ansvarig
- Resultat
- intäkter
- översyn
- skalbar
- sömlöst
- sekunder
- vald
- service
- Tjänster
- in
- Gå och Handla
- SIM
- Enkelt
- färdigheter
- Mjukvara
- mjukvaruutveckling
- fast
- lösning
- Lösningar
- speciell
- fart
- Sporter
- stapel
- standard
- starta
- igång
- state-of-the-art
- .
- förvaring
- stödja
- Som stöds
- Stöder
- System
- grupp
- källan
- därför
- tröskelvärde
- Genom
- tid
- dagens
- topp
- spår
- transaktion
- Transformation
- under
- uppdatering
- användning
- version
- Vad
- inom
- skulle