Visualiseer uw Amazon Lookout for Metrics-afwijkingsresultaten met Amazon QuickSight

Een van de uitdagingen waarmee teams worden geconfronteerd bij het gebruik van Amazon Lookout voor statistieken verbindt het snel en efficiënt met datavisualisatie. De anomalieën worden afzonderlijk weergegeven op de Lookout for Metrics-console, elk met hun eigen grafiek, waardoor het moeilijk is om de set als geheel te bekijken. Voor een diepere analyse is een geautomatiseerde, geïntegreerde oplossing nodig.

In dit bericht gebruiken we een Lookout for Metrics live-detector die is gebouwd volgens de Ermee beginnen sectie van de AWS-voorbeelden, Amazon Lookout for Metrics GitHub-opslagplaats. Nadat de detector actief is en anomalieën zijn gegenereerd uit de dataset, verbinden we Lookout for Metrics met: Amazon QuickSight. We maken twee datasets: één door de dimensietabel samen te voegen met de anomalietabel, en een andere door de anomalietabel samen te voegen met de live data. Vervolgens kunnen we deze twee datasets toevoegen aan een QuickSight-analyse, waar we grafieken in één dashboard kunnen toevoegen.

We kunnen twee soorten gegevens aan de Lookout for Metrics-detector leveren: continu en historisch. De AWS-voorbeelden GitHub-opslagplaats biedt beide, hoewel we ons concentreren op de continue live-gegevens. De detector bewaakt deze live data om afwijkingen te identificeren en schrijft de afwijkingen naar: Amazon eenvoudige opslagservice (Amazon S3) terwijl ze worden gegenereerd. Aan het einde van een gespecificeerd interval analyseert de detector de gegevens. Na verloop van tijd leert de detector afwijkingen nauwkeuriger te identificeren op basis van gevonden patronen.

Lookout for Metrics maakt gebruik van machine learning (ML) om automatisch afwijkingen in zakelijke en operationele gegevens te detecteren en te diagnosticeren, zoals een plotselinge daling van de verkoopomzet of het percentage klantenwerving. De service is nu algemeen beschikbaar vanaf 25 maart 2021. Het inspecteert en bereidt automatisch gegevens uit verschillende bronnen voor om afwijkingen sneller en nauwkeuriger te detecteren dan traditionele methoden die worden gebruikt voor het detecteren van afwijkingen. U kunt ook feedback geven over gedetecteerde afwijkingen om de resultaten af ​​te stemmen en de nauwkeurigheid in de loop van de tijd te verbeteren. Lookout for Metrics maakt het gemakkelijk om gedetecteerde afwijkingen te diagnosticeren door afwijkingen met betrekking tot dezelfde gebeurtenis te groeperen en een waarschuwing te verzenden met een samenvatting van de mogelijke hoofdoorzaak. Het rangschikt ook afwijkingen in volgorde van ernst, zodat u uw aandacht kunt richten op wat het belangrijkst is voor uw bedrijf.

QuickSight is een volledig beheerde, cloud-native business intelligence (BI)-service waarmee u eenvoudig verbinding kunt maken met uw gegevens om interactieve dashboards te maken en te publiceren. Daarnaast kunt u gebruik maken van Amazon QuickSight om direct antwoord te krijgen door middel van natuurlijke taalvragen.

U kunt vanaf elk apparaat toegang krijgen tot serverloze, zeer schaalbare QuickSight-dashboards en deze naadloos insluiten in uw applicaties, portals en websites. De volgende schermafbeelding is een voorbeeld van wat u aan het einde van dit bericht kunt bereiken.

Overzicht van de oplossing

De oplossing is een combinatie van AWS-services, voornamelijk Lookout for Metrics, QuickSight, AWS Lambda, Amazone Athene, AWS lijmen Amazon S3.

Het volgende diagram illustreert de oplossingsarchitectuur. Lookout for Metrics detecteert en stuurt de afwijkingen naar Lambda via een waarschuwing. De Lambda-functie genereert de anomalieresultaten als CSV-bestanden en slaat ze op in Amazon S3. Een AWS Glue-crawler analyseert de metadata en maakt tabellen in Athena. QuickSight gebruikt Athena om de Amazon S3-gegevens te doorzoeken, waardoor dashboards kunnen worden gebouwd om zowel de anomalieresultaten als de livegegevens te visualiseren.

Deze oplossing bouwt voort op de bronnen die zijn gecreëerd in de Ermee beginnen gedeelte van de GitHub-opslagplaats. Voor elke stap bevatten we opties om de bronnen te maken met behulp van de AWS-beheerconsole of het starten van de verstrekte AWS CloudFormatie stapel. Als u een aangepaste Lookout for Metrics-detector heeft, kunt u deze gebruiken en als volgt aanpassen: notitieboekje om dezelfde resultaten te bereiken.

De implementatiestappen zijn als volgt:

1. Maak de Amazon Sage Maker notebook-instantie (ALFMTestNotebook) en notebooks met behulp van de stapel in de Initiële setup sectie van de GitHub repo.
2. Open de notebook-instantie op de SageMaker-console en navigeer naar de amazon-lookout-for-metrics-samples/getting_started map.
3. Maak de S3-bucket en voltooi de gegevensvoorbereiding met de eerste notitieboekje (1.PrereqSetupData.ipynb). Open het notitieboekje met de conda_python3 kernel, als daarom wordt gevraagd.

We slaan de tweede over notitieboekje omdat het gericht is op het backtesten van gegevens.

4. Als u door het voorbeeld loopt met behulp van de console, maakt u de Lookout for Metrics live-detector en zijn waarschuwing met behulp van de derde notitieboekje (3.GettingStartedWithLiveData.ipynb).

Als u de meegeleverde CloudFormation-stacks gebruikt, is de derde notebook niet vereist. De detector en zijn waarschuwing worden gemaakt als onderdeel van de stapel.

5. Nadat u de live-detector Lookout for Metrics hebt gemaakt, moet u deze vanaf de console activeren.

Dit kan tot 2 uur duren om het model te initialiseren en afwijkingen te detecteren.

6. Implementeer een Lambda-functie, met behulp van Python met een Pandas-bibliotheeklaag, en maak een waarschuwing aan de live-detector om deze te starten.
7. Gebruik de combinatie van Athena en AWS Glue om de gegevens voor QuickSight te ontdekken en voor te bereiden.
8. Maak de QuickSight-gegevensbron en datasets.
9. Maak ten slotte een QuickSight-analyse voor visualisatie met behulp van de datasets.

De CloudFormation-scripts worden doorgaans uitgevoerd als een set geneste stapels in een productieomgeving. Ze worden afzonderlijk in dit bericht gegeven om een ​​stapsgewijze doorloop te vergemakkelijken.

Voorwaarden

Om deze walkthrough te doorlopen, hebt u een AWS-account nodig waar de oplossing zal worden geïmplementeerd. Zorg ervoor dat alle resources die u implementeert zich in dezelfde regio bevinden. U hebt een actieve Lookout for Metrics-detector nodig die is gebouwd op basis van notebooks 1 en 3 van de GitHub repo. Als u geen actieve Lookout for Metrics-detector heeft, heeft u twee opties:

• Voer notebooks 1 en 3 uit en ga verder vanaf stap 1 van dit bericht (de Lambda-functie en waarschuwing maken)
• Voer notebook 1 uit en gebruik vervolgens de CloudFormation-sjabloon om de Lookout for Metrics-detector te genereren

Maak de live-detector met AWS CloudFormation

De L4MLiveDetector.yaml CloudFormation-script maakt de Lookout for Metrics-afwijkingsdetector waarbij de bron verwijst naar de live gegevens in de opgegeven S3-bucket. Voer de volgende stappen uit om de detector te maken:

1. Start de stapel via de volgende link:

2. Op de Maak een stapel pagina, kies Volgende.
3. Op de Geef stapeldetails op pagina, geef de volgende informatie op:
   1. Een stapelnaam. Bijvoorbeeld, L4MLiveDetector.
   2. De S3-emmer, <Account Number>-lookoutmetrics-lab.
   3. De rol ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
   4. Een anomaliedetectiefrequentie. Kiezen PT1H (per uur).
4. Kies Volgende.
5. Op de Configureer stapelopties pagina, laat alles zoals het is en kies Volgende.
6. Op de Beoordeling pagina, laat alles zoals het is en kies Maak een stapel.

Maak de sms-waarschuwing van de live detector met AWS CloudFormation (optioneel)

Deze stap is optioneel. De waarschuwing wordt als voorbeeld weergegeven, zonder gevolgen voor het maken van de gegevensset. De L4MLiveDetectorAlert.yaml CloudFormation-script maakt de Lookout for Metrics-afwijkingsdetectorwaarschuwing met een sms-doel.

1. Start de stapel via de volgende link:

2. Op de Maak een stapel pagina, kies Volgende.
3. Op de Geef stapeldetails op pagina, werk het sms-telefoonnummer bij en voer een naam in voor de stapel (bijvoorbeeld L4MLiveDetectorAlert).
4. Kies Volgende.
5. Op de Configureer stapelopties pagina, laat alles zoals het is en kies Volgende.
6. Op de Beoordeling pagina, selecteer het selectievakje voor bevestiging, laat al het andere zoals het is en kies Maak een stapel.

Opschonen van bronnen

Voordat u doorgaat met de volgende stap, moet u uw SageMaker-notebookinstantie stoppen om ervoor te zorgen dat er geen onnodige kosten worden gemaakt. Het is niet meer nodig.

Maak de Lambda-functie en alarm

In dit gedeelte geven we instructies voor het maken van uw Lambda-functie en waarschuwing via de console of AWS CloudFormation.

Maak de functie en alarmeer met de console

Je hebt een Lambda nodig AWS Identiteits- en toegangsbeheer (IAM) rol na beste werkwijze met minste bevoegdheden om toegang te krijgen tot de bucket waar u de resultaten wilt opslaan.

1. 1. Maak een nieuwe functie op de Lambda-console.
   2. kies Auteur vanaf nul.
   3. Voor Functienaamvoer een naam in.
   4. Voor Runtime, kiezen Python 3.8.
   5. Voor Uitvoeringsrolselecteer Gebruik een bestaande rol en specificeer de rol die u hebt gemaakt.
   6. Kies Maak functie.
2. 
   7. Downloaden het ZIP-bestand met de benodigde code voor de Lambda-functie.
   8. Open de functie op de Lambda-console.
   9. Op de Code tabblad, kies Uploaden van, kiezen .Zip bestanden upload het bestand dat u hebt gedownload.
   10. Kies Bespaar.

Uw bestandsstructuur zou hetzelfde moeten blijven na het uploaden van het ZIP-bestand.

11. In het Lagen sectie, kies Laag toevoegen.
12. kies Geef een ARN . op.
13. In de volgende GitHub repo, kies de CSV die overeenkomt met de regio waarin u werkt en kopieer de ARN van de nieuwste Pandas-versie.
14. Voor Geef een ARN . op, voer de ARN in die u hebt gekopieerd.
15. Kies Toevoegen.

16. Om de functie aan uw omgeving aan te passen, moet u onderaan de code van het lambda_function.py-bestand de bucketnaam bijwerken met uw bucket waar u de anomalieresultaten wilt opslaan, en de DataSet_ARN van uw anomaliedetector.
17. Kies Implementeren om de wijzigingen actief te maken.

U moet nu de Lookout for Metrics-detector aansluiten op uw functie.

18. Navigeer in de Lookout for Metrics-console naar uw detector en kies Waarschuwing toevoegen.
19. Voer de waarschuwingsnaam en de gewenste ernstdrempel in.
20. Kies uit de zenderlijst: Lambda.
21. Kies de functie die je hebt gemaakt en zorg ervoor dat je de juiste rol hebt om deze te activeren.
22. Kies Waarschuwing toevoegen.

Nu wacht u tot uw waarschuwing wordt geactiveerd. De tijd varieert afhankelijk van wanneer de detector een afwijking vindt.

Wanneer een anomalie wordt gedetecteerd, activeert Lookout for Metrics de Lambda-functie. Het ontvangt de benodigde informatie van Lookout for Metrics en controleert of er al een opgeslagen CSV-bestand in Amazon S3 is op het overeenkomstige tijdstempel van de anomalie. Als er geen bestand is, genereert Lambda het bestand en voegt de anomaliegegevens toe. Als het bestand al bestaat, werkt Lambda het bestand bij met de extra ontvangen gegevens. De functie genereert een afzonderlijk CSV-bestand voor elke verschillende tijdstempel.

Maak de functie en waarschuwing met behulp van AWS CloudFormation

Net als bij de console-instructies, kunt u: download het ZIP-bestand met daarin de benodigde code voor de Lambda-functie. In dit geval moet het echter worden geüpload naar de S3-bucket zodat de AWS CloudFormation-code deze kan laden tijdens het maken van de functie.

Maak in de S3-bucket die is opgegeven bij het maken van de Lookout for Metrics-detector, een map met de naam lambda-code en upload het ZIP-bestand.

De Lambda-functie laadt dit als zijn code tijdens het maken.

De L4MLambdaFunction.yaml CloudFormation-script maakt de Lambda-functie en waarschuwingsbronnen en gebruikt het functiecodearchief dat in dezelfde S3-bucket is opgeslagen.

1. Start de stapel via de volgende link:

2. Op de Maak een stapel pagina, kies Volgende.
3. Op de Geef stapeldetails op pagina, geef een stapelnaam op (bijvoorbeeld L4MLambdaFunction).
4. In de volgende GitHub repo, open de CSV die overeenkomt met de regio waarin u werkt en kopieer de ARN van de nieuwste Pandas-versie.
5. Voer de ARN in als de ARN-parameter van de Panda's Lambda-laag.
6. Kies Volgende.
7. Op de Configureer stapelopties pagina, laat alles zoals het is en kies Volgende.
8. Op de Beoordeling pagina, selecteer het selectievakje voor bevestiging, laat al het andere zoals het is en kies Maak een stapel.

Activeer de detector

Voordat u doorgaat naar de volgende stap, moet u de detector vanaf de console activeren.

1. Kies in de Lookout for Metrics-console Detectoren in het navigatievenster.
2. Kies uw nieuw gemaakte detector.
3. Kies Activeren, kies dan Activeren nogmaals om te bevestigen.

Activering initialiseert de detector; het is klaar wanneer het model zijn leercyclus heeft voltooid. Dit kan tot 2 uur duren.

De gegevens voorbereiden voor QuickSight

Voordat u deze stap voltooit, moet u de detector de tijd geven om afwijkingen te vinden. De Lambda-functie die u hebt gemaakt, slaat de anomalieresultaten op in de bucket Lookout for Metrics in de anomalyResults map. We kunnen deze gegevens nu verwerken om ze voor te bereiden op QuickSight.

Maak de AWS Glue-crawler op de console

Nadat enkele afwijkende CSV-bestanden zijn gegenereerd, gebruiken we een AWS Glue-crawler om de metadatatabellen te genereren.

1. Kies op de AWS Glue-console: crawlers in het navigatievenster.
2. Kies Crawler toevoegen.

3. Voer een naam in voor de crawler (bijvoorbeeld L4MCrawler).
4. Kies Volgende.
5. Voor Crawlerbrontypeselecteer Gegevensopslag.
6. Voor Herhaal crawls van S3-gegevensopslagselecteer Alle mappen crawlen.
7. Kies Volgende.

8. Op de configuratiepagina van de gegevensopslag, voor: Crawl gegevens inselecteer Opgegeven pad in mijn account.
9. Voor Inclusief pad, voer het pad van uw . in dimensionContributions bestand (s3://YourBucketName/anomalyResults/dimensionContributions).
10. Kies Volgende.
11. Kies Ja om nog een gegevensopslag toe te voegen en herhaal de instructies voor: metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
12. Herhaal de instructies nogmaals voor de live gegevens die moeten worden geanalyseerd door de Lookout for Metrics anomaliedetector (dit is de S3-datasetlocatie van uw Lookout for Metrics-detector).

U zou nu drie gegevensarchieven moeten hebben die de crawler kan verwerken.

Nu moet u de rol selecteren waarmee de crawler door de S3-locaties van uw gegevens kan gaan.

13. Selecteer voor dit bericht Maak een IAM-rol en voer een naam in voor de rol.
14. Kies Volgende.

15. Voor Frequentie, laat als Rennen op aanvraag En kies Volgende.
16. In het Configureer de uitvoer van de crawler sectie, kies Voeg database toe.

Hiermee wordt de Athena-database gemaakt waarin uw metadatatabellen zich bevinden nadat de crawler is voltooid.

17. Voer een naam in voor uw database en kies creëren.
18. Kies Volgende, kies dan Finish.

19. Op de crawlers pagina van de AWS Glue-console, selecteer de crawler die u hebt gemaakt en kies Voer de crawler uit.

Het kan zijn dat u enkele minuten moet wachten, afhankelijk van de grootte van de gegevens. Wanneer het is voltooid, wordt de status van de crawler weergegeven als: Klaar. Om de metadatatabellen te zien, navigeert u naar uw database op de databases pagina en kies Tafels in het navigatievenster.

In dit voorbeeld vertegenwoordigt de metadatatabel genaamd live de S3-dataset van de Lookout for Metrics live-detector. Als best practice wordt aanbevolen om: versleutel uw AWS Glue Data Catalog-metadata.

Athena herkent automatisch de metadatatabellen en QuickSight gebruikt Athena om de gegevens te doorzoeken en de resultaten te visualiseren.

Maak de AWS Glue-crawler met AWS CloudFormation

De L4MGlueCrawler.yaml CloudFormation-script maakt de AWS Glue-crawler, de bijbehorende IAM-rol en de uitvoer Athena-database.

1. Start de stapel via de volgende link:

2. Op de Maak een stapel pagina, kies Volgende.
3. Op de Geef stapeldetails op pagina, voer een naam in voor uw stapel (bijvoorbeeld L4MGlueCrawler), en kies Volgende.
4. Op de Configureer stapelopties pagina, laat alles zoals het is en kies Volgende.
5. Op de Beoordeling pagina, selecteer het selectievakje voor bevestiging, laat al het andere zoals het is en kies Maak een stapel.

Voer de AWS Glue-crawler uit

Nadat u de crawler heeft gemaakt, moet u deze uitvoeren voordat u naar de volgende stap gaat. U kunt het uitvoeren vanaf de console of de AWS-opdrachtregelinterface (AWS CLI). Voer de volgende stappen uit om de console te gebruiken:

1. Kies op de AWS Glue-console: crawlers in het navigatievenster.
2. Selecteer uw crawler (L4MCrawler).
3. Kies Voer de crawler uit.

Wanneer de crawler is voltooid, wordt de status weergegeven: Klaar.

Maak een QuickSight-account aan

Voordat u met deze volgende stap begint, navigeert u naar de QuickSight-console en maakt u een account aan als u er nog geen heeft. Om ervoor te zorgen dat u toegang heeft tot de bijbehorende services (Athena en S3-bucket), kiest u rechtsboven uw accountnaam, kiest u Beheer QuickSighten kies Beveiliging en machtigingen, waar u de benodigde services kunt toevoegen. Zorg ervoor dat u bij het instellen van uw Amazon S3-toegang selecteert: Schrijftoestemming voor Athena Workgroup.

Nu bent u klaar om uw gegevens in QuickSight te visualiseren.

Maak de QuickSight-gegevenssets op de console

Als dit de eerste keer is dat u Athena gebruikt, moet u de uitvoerlocatie van de query's configureren. Raadpleeg voor instructies stap 1–6 in Maak een database. Voer vervolgens de volgende stappen uit:

1. Kies op de QuickSight-console datasets.
2. Kies Nieuwe dataset.
3. Kies Athene als uw bron.
4. Voer een naam in voor uw gegevensbron.
5. Kies Maak een gegevensbron.

6. Geef voor uw database de database op die u eerder hebt gemaakt met de AWS Glue-crawler.
7. Geef de tabel op die uw live gegevens bevat (niet de anomalieën).
8. Kies Gegevens bewerken/voorbeeld bekijken.

U wordt doorgestuurd naar een interface die lijkt op de volgende schermafbeelding.

De volgende stap is het toevoegen en combineren van de metricValue_AnomalyScore gegevens met de live gegevens.

9. Kies Gegevens toevoegen.
10. Kies Gegevensbron toevoegen.
11. Geef de database op die u hebt gemaakt en de metricValue_AnomalyScore tafel.
12. Kies kies.

U moet nu de samenvoeging van de twee tabellen configureren.

13. Kies de link tussen de twee tabellen.
14. Laat het join-type staan ​​als Links, voeg de tijdstempel en elke dimensie toe die je hebt als een join-clausule en kies Solliciteer.

In het volgende voorbeeld gebruiken we tijdstempel, platform en marktplaats als join-clausules.

In het rechterdeelvenster kunt u de velden verwijderen die u niet wilt behouden.

15. Verwijder de tijdstempel van de metricValue_AnomalyScore tabel om geen dubbele kolom te hebben.
16. Wijzig het gegevenstype van de tijdstempel (van de live-gegevenstabel) van string naar datum, en specificeer de juiste formaat. In ons geval zou het moeten zijn yyyy-MM-dd HH:mm:ss.

De volgende schermafbeelding toont uw weergave nadat u enkele velden heeft verwijderd en het gegevenstype heeft aangepast.

17. Kies Opslaan en visualiseren.
18. Kies het potloodpictogram naast de dataset.
19. Kies Gegevensset toevoegen En kies dimensioncontributions.

Maak de QuickSight-gegevenssets met AWS CloudFormation

Deze stap bevat drie CloudFormation-stacks.

Het eerste CloudFormation-script, L4MQuickSightDataSource.yaml, maakt de QuickSight Athena-gegevensbron aan.

1. Start de stapel via de volgende link:

2. Op de Maak een stapel pagina, kies Volgende.
3. Op de Geef stapeldetails op pagina, voer uw QuickSight-gebruikersnaam, de QuickSight-accountregio in (opgegeven bij het maken van de QuickSight-account) en een stapelnaam (bijvoorbeeld L4MQuickSightDataSource).
4. Kies Volgende.
5. Op de Configureer stapelopties pagina, laat alles zoals het is en kies Volgende.
6. Op de Beoordeling pagina, laat alles zoals het is en kies Maak een stapel.

Het tweede CloudFormation-script, L4MQuickSightDataSet1.yaml, maakt een QuickSight-gegevensset die de dimensietabel verbindt met de anomalietabel.

1. Start de stapel via de volgende link:

2. Op de Maak een stapel pagina, kies Volgende.
3. Op de Geef stapeldetails op, voer een stapelnaam in (bijvoorbeeld L4MQuickSightDataSet1).
4. Kies Volgende.
5. Op de Configureer stapelopties pagina, laat alles zoals het is en kies Volgende.
6. Op de Beoordeling pagina, laat alles zoals het is en kies Maak een stapel.

Het derde CloudFormation-script, L4MQuickSightDataSet2.yaml, maakt de QuickSight-gegevensset die de anomalietabel verbindt met de livegegevenstabel.

1. Start de stapel via de volgende link:

2. Op de Stapelpagina makenKiezen Volgende.
3. Op de Geef stapeldetails op pagina, voer een stapelnaam in (bijvoorbeeld L4MQuickSightDataSet2).
4. Kies Volgende.
5. Op de Configureer stapelopties pagina, laat alles zoals het is en kies Volgende.
6. Op de Beoordeling pagina, laat alles zoals het is en kies Maak een stapel.

Maak de QuickSight-analyse voor het maken van dashboards

Deze stap kan alleen op de console worden voltooid. Nadat u uw QuickSight-gegevenssets heeft gemaakt, voert u de volgende stappen uit:

1. Kies op de QuickSight-console Analyse in het navigatievenster.
2. Kies Nieuwe analyse.
3. Kies de eerste dataset, L4MQuickSightDataSetWithLiveData.

4. Kies Analyse maken.

De QuickSight-analyse wordt in eerste instantie gemaakt met alleen de eerste dataset.

5. Om de tweede dataset toe te voegen, kiest u het potloodpictogram naast dataset En kies Gegevensset toevoegen.
6. Kies de tweede dataset en kies kies.

U kunt vervolgens beide datasets gebruiken voor het maken van grafieken door deze te kiezen op de dataset drop-down menu.

Gegevenssetstatistieken

U hebt met succes een QuickSight-analyse gemaakt van Lookout for Metrics-inferentieresultaten en de live gegevens. Er zijn twee datasets in QuickSight die u kunt gebruiken: L4M_Visualization_dataset_with_liveData en L4M_Visualization_dataset_with_dimensionContribution.

De L4M_Visualization_dataset_with_liveData dataset bevat de volgende statistieken:

• tijdstempel – De datum en tijd van de live gegevens die zijn doorgegeven aan Lookout for Metrics
• . – De waarde van de metrische weergaven
• inkomsten – De waarde van de omzetstatistiek
• platform, marktplaats, omzetAnomalyMetricValue, viewsAnomalyMetricValue, revenueGroupScore en viewsGroupScore – Deze statistieken maken deel uit van beide datasets

De L4M_Visualization_dataset_with_dimensionContribution dataset bevat de volgende statistieken:

• tijdstempel – De datum en tijd waarop de afwijking werd gedetecteerd
• metrischeNaam – De statistieken die u bijhoudt
• dimensieNaam – De dimensie binnen de statistiek
• dimensieWaarde – De waarde van de dimensie
• waardebijdrage – Het percentage van hoeveel dimensieValue de anomalie beïnvloedt wanneer deze wordt gedetecteerd

De volgende schermafbeelding toont deze vijf statistieken op het anomaliedashboard van de Lookout for Metrics-detector.

De volgende statistieken maken deel uit van beide datasets:

• platform – Het platform waar de anomalie plaatsvond
• markt – De marktplaats waar de anomalie plaatsvond
• omzetAnomalyMetricValue en weergavenAnomalyMetricValue – De corresponderende waarden van de statistiek toen de anomalie werd gedetecteerd (in deze situatie zijn de metrische gegevens inkomsten of weergaven)
• omzetGroupScore en viewsGroupScore – De ernstscores voor elke statistiek voor de gedetecteerde anomalie

Om deze laatste statistieken beter te begrijpen, kunt u de CSV-bestanden bekijken die zijn gemaakt door de Lambda-functie in uw S3-bucket waar u hebt opgeslagen anomalyResults/metricValue_AnomalyScore.

Volgende stappen

De volgende stap is het bouwen van de dashboards voor de gegevens die u wilt zien. Dit bericht bevat geen uitleg over het maken van QuickSight-diagrammen. Als QuickSight nieuw voor u is, raadpleeg dan: Aan de slag met gegevensanalyse in Amazon QuickSight voor een introductie. De volgende schermafbeeldingen tonen voorbeelden van basisdashboards. Kijk voor meer informatie op de QuickSight-workshops.

Conclusie

De anomalieën worden afzonderlijk weergegeven op de Lookout for Metrics-console, elk met hun eigen grafiek, waardoor het moeilijk is om de set als geheel te bekijken. Voor een diepere analyse is een geautomatiseerde, geïntegreerde oplossing nodig. In dit bericht hebben we een Lookout for Metrics-detector gebruikt om afwijkingen te genereren en de gegevens aan QuickSight gekoppeld om visualisaties te maken. Deze oplossing stelt ons in staat om een ​​diepere analyse van anomalieën uit te voeren en ze allemaal op één plek/dashboard te hebben.

Als volgende stap kan deze oplossing net zo goed worden uitgebreid door een extra dataset toe te voegen en afwijkingen van meerdere detectoren te combineren. Je zou ook de Lambda-functie kunnen aanpassen. De Lambda-functie bevat de code die de datasets en variabelenamen genereert die we gebruiken voor de QuickSight-dashboards. U kunt deze code aanpassen aan uw specifieke gebruikssituatie door de gegevenssets zelf of de variabelenamen te wijzigen die voor u logischer zijn.

Als je feedback of vragen hebt, laat ze dan achter in de comments.

---

Over de auteurs

Benoît de Patoul is een AI/ML Specialist Solutions Architect bij AWS. Hij helpt klanten door begeleiding en technische assistentie te bieden bij het bouwen van oplossingen met betrekking tot AI/ML bij het gebruik van AWS.

Paul Troiano is Senior Solutions Architect bij AWS, gevestigd in Atlanta, GA. Hij helpt klanten door advies te geven over technologische strategieën en oplossingen op AWS. Hij is gepassioneerd door alles wat met AI/ML en oplossingsautomatisering te maken heeft.