Vi er glade for å lansere en analysefunksjon for årsaksbidrag i Amazon Lookout for metrics som hjelper deg å forstå de potensielle grunnårsakene til de forretningskritiske anomaliene i dataene. Tidligere fikk du bare de grunnleggende årsakene til en enkelt anomali per mål. Du måtte analysere for å finne ut om årsakssammenhenger eksisterte mellom de oppdagede anomaliene i ulike mål. Når du fokuserer på en enkelt anomali, kan du lett gå glipp av anomaliens nedstrøms (eller oppstrøms) påvirkning. Det kan for eksempel hende at du ser en økning i at handlekurven forlates og vet at inntekten din vil avta. Imidlertid vet du kanskje ikke hva som førte til at kassevognene ble forlatt til en høyere hastighet. Funksjonen for analyse av årsaksbidrag kan fortelle deg at økningen i forlatte betalingsvogner kan skyldes topper i transaksjonsfeil eller plutselige endringer i prisene på grunn av kampanjens utløp.
Lookout for Metrics bruker maskinlæring (ML) for automatisk å oppdage og diagnostisere anomalier i store datasett der avvik fra normalen er vanskelig å oppdage og tapte anomalier har forretningskritisk innvirkning. Lookout for Metrics reduserer tiden det tar å implementere AI/ML-tjenester for forretningskritiske problemer.
I dette innlegget diskuterer vi den nye kausale bidragsanalyseevnen og dens fordeler.
Utfordringer i deteksjon av anomalier
Avviksdeteksjon har to deler: oppdage avvik og identifisere grunnårsaken som utløste avvikene, slik at teamet kan iverksette tiltak for å redusere problemet.
Tradisjonelle business intelligence (BI)-systemer som bruker statiske terskelbaserte eller regelbaserte anomalier har tre problemer. For det første kan det hende du har millioner av beregninger å spore på tvers av flere datakilder. Ta digital reklame, for eksempel – du vil spore beregninger som visninger, klikk, inntekter og handlekurvberegninger på tvers av kampanje-ID-er, produktkategorier, geografier og mer. Og det er det samme for alle domene, det være seg detaljhandel, telekom, spill eller finansielle tjenester. Med tradisjonelle BI-verktøy krever det mye manuelt arbeid å administrere data på tvers av flere kilder, lage dashboard og rapporter og legge til varsler på et detaljert nivå, og det er ikke skalerbart.
For det andre fungerer disse tradisjonelle BI-verktøyene ved å sette opp regler. Du setter opp et område, og alt utenfor området er en anomali, og du blir varslet om disse. Hvis rekkevidden er for bred, går du glipp av viktige varsler, og hvis det er for smalt, mottar du for mange falske varsler.
Disse områdene (øvre og nedre grense i bildet ovenfor) er også statiske, og endres ikke basert på klokkeslett, ukedag eller årstider; de må oppdateres manuelt. Du vil sannsynligvis gå glipp av viktige uregelmessigheter og motta for mange falske alarmer, eller du mister tilliten til verktøyet og begynner å ignorere disse varslene totalt.
Til slutt, BI-rapporter og dashboards genereres ofte på slutten av timen, slutten av dagen eller slutten av uken, når det er for sent for deg å handle på et problem. Og selv når disse resultatene kommer, svarer det ikke på hvorfor. Så utviklere, analytikere og bedriftseiere kan bruke uker på å prøve å identifisere årsaken til uregelmessigheten, og forsinke meningsfull handling ytterligere.
Årsaksslutning i Lookout for Metrics
Selv om det å spørre etter grunnårsaken til en uventet hendelse ser ut til å være kjernen i den menneskelige måten å forstå verden på, blir statistiske assosiasjoner ofte feiltolket som en kausal påvirkning. Det vil si at korrelasjon ikke innebærer årsakssammenheng, og å skjelne årsakene til hendelser fra observasjonsdata krever spesialiserte kausale slutningsmetoder.
Grunnårsaksanalysen i Lookout for Metrics bruker kausale slutningsteknikker for å øke synligheten og tolkbarheten av anomalier på tvers av mål. Lookout for Metrics er i stand til ikke bare å identifisere årsaksdrivere, men også kvantitativt tilskrive de unormale hendelsene til dem, og gi en prosentpoengscore av sannsynlighet blant de sannsynlige årsaksdriverne for en unormal hendelse. For eksempel kan Lookout for Metrics nå trekke årsakssammenhenger mellom et fall i annonsevisninger (avvik) på grunn av færre klikk på nettstedet ditt, IOS og Android (årsakssammenheng), noe som fører til en nedgang i inntektene (nedstrømseffekt). Anta at en eller flere potensielle grunnårsaker oppstår (nettsted, iOS, Android). I så fall kan Lookout for Metrics identifisere den mest sannsynlige årsaken (for eksempel nettsted med 90 % sannsynlighet) som førte til et fall i annonsevisninger.
Den vitenskapelige tilnærmingen er avhengig av en to-trinns prosedyre:
- Utlede årsakssammenhengene mellom tiltakene.
- Basert på den utledede årsaksstrukturen, tilskriv uregelmessighetene i det berørte tiltaket til de forårsakende tiltakene.
For å utlede årsakssammenhengene mellom målene bruker vi en Granger-årsaksmetode som tar paneldatastrukturen til Lookout for Metrics i betraktning. De eksisterende Granger-årsaksmetodene for paneldata kan ikke håndtere avhengigheter på tvers av dimensjonsverdikombinasjoner (for eksempel inntektsavhengigheter på tvers av forskjellige land som vi vanligvis har i reelle data). For eksempel øker arrangementer som Black Friday inntektene til flere land, og derfor er det en ekstern kilde som gjør inntektene til forskjellige land avhengige). Vi måtte derfor utvikle vår egen Granger-årsakssammenheng[1] metode på paneldata som kan håndtere denne typen avhengigheter.
Når årsaksstrukturen er tilgjengelig, tilskriver vi uregelmessighetene til det berørte tiltaket til dets årsakstiltak for å kvantifisere årsak-virkningsforhold.
Analyser avvik på Lookout for Metrics-konsollen
Etter at Lookout for Metrics starter avviksdeteksjon, kan du se etter de oppdagede anomaliene på anomalies side for detektoren. Når du velger en anomali, blir du omdirigert til detaljsiden for den observerte anomalien.
Avviksdetaljsiden inneholder en Årsaksanalyse seksjon. Denne delen prøver å forklare denne observerte anomalien med hensyn til de andre anomaliene for de anomalidetektorkonfigurerte målene.
I det følgende eksemplet er «inntekter påvirket» den observerte uregelmessigheten, og de potensielle årsakene inkluderer bestillinger og ikke-konfigurerte tiltak. Ordrer bidrar med omtrent 81.84 % til den nåværende anomalien, nemlig inntekter som fører til en nedstrøms innvirkning på resultatet.
Å velge den potensielle årsaken ordrer tar oss til detaljene om den observerte anomalien. I dette tilfellet er de mulige årsakene til denne anomalien klikk og ikke-konfigurerte tiltak. Klikk kan være en av de potensielle årsakene til denne anomalien, men den får en relativt lav bidragsscore på 8.37 %, og detektoren observerer ikke noe unormalt for det. I dette tilfellet konkluderer Lookout for Metrics med at ordreanomalien er forårsaket av eksterne faktorer eller tiltak som ikke ble konfigurert for overvåking under detektoroppsettfasen. Denne anomalien i bestillinger har en potensiell nedstrømspåvirkning på resultat og inntekt.
Velge den potensielle nedstrømspåvirkningen overskudd tar oss til detaljene om den observerte anomalien. I dette tilfellet ser de potensielle årsakene ut til å være en blanding av uregelmessigheter i inntekter, bestillinger og ikke-konfigurerte mål, med respektive bidragsscore på 33 %, 14 % og 53 %. Ingen nedstrømstiltak er berørt av denne anomalien.
For dette eksemplet kan uregelmessigheten i fortjeneste delvis forklares av uregelmessighetene i inntekter og ordrer. Da kan uregelmessigheten i inntektene forklares med uregelmessigheten i bestillinger med høy sikkerhet.
konklusjonen
Den nye analysefunksjonen for årsaksbidrag i Lookout for Metrics oppdager årsaksinteraksjonen mellom anomalier i målene dine. For å oppnå dette lærer detektoren årsakssammenhengen mellom tiltak i dataene dine fullt ut selvovervåket og bruker denne årsaksinformasjonen til å spore uregelmessigheter tilbake til deres rotårsaker. Denne funksjonen kan hjelpe deg kausalt koble uregelmessigheter på tvers av tiltak og gir deg et verktøy for raskt å diagnostisere og deretter fikse eventuelle problemer i systemet ditt.
[1] L. Minorics, C. Turkmen, P. Bloebaum, D. Kernert, L. Callot og D. Janzing. Testing av Granger ikke-årsakssammenheng i paneler med tverrsnittsavhengigheter. AISTATS, 2022.
Om forfatterne
Lenon Minorics er en Applied Scientist som fokuserer på kausal slutning og oppdagelse av anomalier. Før Amazon var Lenon en akademisk forsker i matematikk. Hans personlige forskningsinteresser inkluderer maskinlæring, kausal slutning, stokastikk og fraktal geometri. På fritiden liker Lenon å trene alle typer sport, spesielt brasiliansk jiu-jitsu.
Shashank Srivastava er senior produktsjef for Amazon AI vertikale tjenester. Han er lidenskapelig opptatt av å løse problemer innen AI i NLP, nyhetsdeteksjon og dataknapphet. På fritiden liker Shashank å spille tennis og golf.
Caner Türkmen er en Applied Scientist ved Amazon Web Services, hvor han jobber med problemer i skjæringspunktet mellom maskinlæring, prognoser og oppdagelse av anomalier. Før han begynte i AWS, jobbet han i ledelseskonsulentbransjen som dataforsker, og tjente finans- og telekommunikasjonsindustrien på prosjekter over hele verden. Caners personlige forskningsinteresser spenner over en rekke emner, inkludert probabilistisk og Bayesiansk ML, stokastiske prosesser og deres praktiske anvendelser.
Alex Kim er senior produktsjef for AWS AI Services. Hans oppgave er å levere AI/ML-løsninger til alle kunder som kan dra nytte av det. På fritiden liker han alle typer sport og å oppdage nye spisesteder.
- Myntsmart. Europas beste Bitcoin og Crypto Exchange.
- Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. FRI TILGANG.
- CryptoHawk. Altcoin Radar. Gratis prøveperiode.
- Kilde: https://aws.amazon.com/blogs/machine-learning/identify-potential-root-cause-in-business-critical-anomalies-using-amazon-lookout-for-metrics/
- "
- 100
- 2022
- a
- Om oss
- Logg inn
- Oppnå
- tvers
- Handling
- Handling
- Annonse
- AI
- AI-tjenester
- Alle
- Amazon
- Amazon Web Services
- blant
- analyse
- analysere
- android
- besvare
- søknader
- anvendt
- tilnærming
- ca
- automatisk
- tilgjengelig
- AWS
- før du
- nytte
- Fordeler
- mellom
- Svart
- Black Friday
- grensen
- virksomhet
- business intelligence
- Kampanje
- stand
- Årsak
- forårsaket
- årsaker
- forårsaker
- endring
- Sjekk ut
- Velg
- kombinasjoner
- Kom
- Koble
- konsulent
- kunne
- land
- Opprette
- Gjeldende
- Kunder
- dato
- dataforsker
- dag
- avtale
- avhengig
- detaljer
- oppdaget
- Gjenkjenning
- Bestem
- utvikle
- utviklere
- forskjellig
- digitalt
- Dimensjon
- diskutere
- ikke
- domene
- Drop
- under
- lett
- spise
- spesielt
- Event
- hendelser
- eksempel
- opphisset
- eksisterende
- faktorer
- Trekk
- finansiell
- finansielle tjenester
- Først
- Fix
- fokusering
- etter
- Gratis
- Fredag
- fra
- videre
- gaming
- globus
- hjelpe
- hjelper
- Høy
- høyere
- Men
- HTTPS
- menneskelig
- identifisere
- identifisering
- bilde
- Påvirkning
- iverksette
- viktig
- inkludere
- inkluderer
- Inkludert
- Øke
- bransjer
- industri
- påvirke
- informasjon
- f.eks
- Intelligens
- interaksjon
- interesser
- kryss
- iOS
- saker
- IT
- Vet
- stor
- lansere
- ledende
- Fører
- læring
- Led
- Nivå
- Sannsynlig
- lenker
- Se
- maskin
- maskinlæring
- ledelse
- leder
- administrerende
- håndbok
- manuelt arbeid
- manuelt
- matematikk
- meningsfylt
- måle
- målinger
- metoder
- Metrics
- kunne
- millioner
- Oppdrag
- ML
- overvåking
- mer
- mest
- flere
- nemlig
- normal
- ordrer
- Annen
- egen
- eiere
- lidenskapelig
- prosent
- personlig
- fase
- spiller
- mulig
- potensiell
- Problem
- problemer
- Prosesser
- Produkt
- Profit
- prosjekter
- forfremmelse
- gir
- gi
- raskt
- område
- motta
- relasjoner
- Relasjoner
- gjengir
- Rapporter
- Krever
- forskning
- Resultater
- detaljhandel
- inntekter
- root
- regler
- samme
- skalerbar
- Forsker
- Tjenester
- servering
- sett
- innstilling
- oppsett
- Shopping
- enkelt
- So
- solid
- Solutions
- spesialisert
- bruke
- Sports
- Begynn
- starter
- statistisk
- I ettertid
- plutselig
- system
- Systemer
- lag
- teknikker
- telekom
- telekommunikasjon
- Testing
- De
- verden
- derfor
- tre
- tid
- verktøy
- verktøy
- temaer
- spor
- tradisjonelle
- Transaksjonen
- Stol
- typer
- typisk
- forstå
- forståelse
- us
- bruke
- verdi
- synlighet
- web
- webtjenester
- Nettsted
- uke
- Hva
- HVEM
- Arbeid
- arbeidet
- virker
- verden
- Din