Visualisieren Sie die Anomalieergebnisse von Amazon Lookout for Metrics mit Amazon QuickSight

Eine der Herausforderungen, denen Teams bei der Verwendung von Amazon Lookout für Metriken verbindet es schnell und effizient mit der Datenvisualisierung. Die Anomalien werden einzeln auf der Lookout for Metrics-Konsole dargestellt, jede mit ihrem eigenen Diagramm, was es schwierig macht, den Satz als Ganzes anzuzeigen. Für eine tiefere Analyse wird eine automatisierte, integrierte Lösung benötigt.

In diesem Beitrag verwenden wir einen Live-Detektor von Lookout for Metrics, der nach dem erstellt wurde Erste Schritte Abschnitt aus dem AWS-Beispiele, Amazon Lookout für Metriken GitHub-Repository. Nachdem der Detektor aktiv ist und Anomalien aus dem Datensatz generiert werden, verbinden wir Lookout for Metrics mit Amazon QuickSight. Wir erstellen zwei Datensätze: einen durch Verbinden der Dimensionstabelle mit der Anomalietabelle und einen anderen durch Verbinden der Anomalietabelle mit den Live-Daten. Wir können diese beiden Datensätze dann zu einer QuickSight-Analyse hinzufügen, wo wir Diagramme in einem einzigen Dashboard hinzufügen können.

Wir können dem Lookout for Metrics-Detektor zwei Arten von Daten bereitstellen: kontinuierlich und historisch. Das AWS Samples GitHub Repo bietet beides, wobei wir uns auf die kontinuierlichen Live-Daten konzentrieren. Der Detektor überwacht diese Live-Daten, um Anomalien zu identifizieren, und schreibt die Anomalien auf Amazon Simple Storage-Service (Amazon S3), sobald sie generiert werden. Am Ende eines bestimmten Intervalls analysiert der Detektor die Daten. Mit der Zeit lernt der Detektor, Anomalien anhand der gefundenen Muster genauer zu identifizieren.

Lookout for Metrics verwendet maschinelles Lernen (ML), um automatisch Anomalien in Geschäfts- und Betriebsdaten zu erkennen und zu diagnostizieren, wie z. B. einen plötzlichen Rückgang der Verkaufserlöse oder der Kundenakquisitionsraten. Der Dienst ist nun ab dem 25. März 2021 allgemein verfügbar. Er untersucht und bereitet Daten aus einer Vielzahl von Quellen automatisch auf, um Anomalien schneller und genauer zu erkennen als herkömmliche Methoden zur Anomalieerkennung. Sie können auch Feedback zu erkannten Anomalien geben, um die Ergebnisse zu optimieren und die Genauigkeit im Laufe der Zeit zu verbessern. Lookout for Metrics erleichtert die Diagnose erkannter Anomalien, indem Anomalien im Zusammenhang mit demselben Ereignis gruppiert und eine Warnung gesendet werden, die eine Zusammenfassung der potenziellen Grundursache enthält. Außerdem werden Anomalien nach Schweregrad geordnet, sodass Sie Ihre Aufmerksamkeit auf das richten können, was für Ihr Unternehmen am wichtigsten ist.

QuickSight ist ein vollständig verwalteter, Cloud-nativer Business-Intelligence-Service (BI), der es einfach macht, eine Verbindung zu Ihren Daten herzustellen, um interaktive Dashboards zu erstellen und zu veröffentlichen. Zusätzlich können Sie verwenden Amazon QuickSight um sofortige Antworten durch Abfragen in natürlicher Sprache zu erhalten.

Sie können von jedem Gerät aus auf serverlose, hochgradig skalierbare QuickSight-Dashboards zugreifen und sie nahtlos in Ihre Anwendungen, Portale und Websites einbetten. Der folgende Screenshot ist ein Beispiel dafür, was Sie am Ende dieses Beitrags erreichen können.

Lösungsübersicht

Die Lösung ist eine Kombination aus AWS-Services, hauptsächlich Lookout for Metrics, QuickSight, AWS Lambda, Amazonas Athena, AWS-Kleberund Amazon S3.

Das folgende Diagramm veranschaulicht die Lösungsarchitektur. Lookout for Metrics erkennt die Anomalien und sendet sie über eine Warnung an Lambda. Die Lambda-Funktion generiert die Anomalieergebnisse als CSV-Dateien und speichert sie in Amazon S3. Ein AWS Glue-Crawler analysiert die Metadaten und erstellt Tabellen in Athena. QuickSight verwendet Athena, um die Amazon S3-Daten abzufragen, sodass Dashboards erstellt werden können, um sowohl die Anomalieergebnisse als auch die Live-Daten zu visualisieren.

Diese Lösung erweitert die Ressourcen, die in erstellt wurden Erste Schritte Abschnitt des GitHub-Repos. Für jeden Schritt fügen wir Optionen zum Erstellen der Ressourcen entweder mit der AWS-Managementkonsole oder Starten der bereitgestellten AWS CloudFormation Stapel. Wenn Sie über einen benutzerdefinierten Lookout for Metrics-Detektor verfügen, können Sie ihn verwenden und wie folgt anpassen Notizbuch um die gleichen Ergebnisse zu erzielen.

Die Umsetzungsschritte sind wie folgt:

1. erstellen Sie Amazon Sage Maker Notebook-Instanz (ALFMTestNotebook) und Notebooks, die den Stapel verwenden, der in der bereitgestellt wird Ersteinrichtung Abschnitt aus dem GitHub Repo.
2. Öffnen Sie die Notebook-Instanz in der SageMaker-Konsole und navigieren Sie zu der amazon-lookout-for-metrics-samples/getting_started -Ordner.
3. Erstellen Sie den S3-Bucket und schließen Sie die Datenvorbereitung mit dem ersten ab Notizbuch (1.PrereqSetupData.ipynb). Öffnen Sie das Notizbuch mit dem conda_python3 Kernel, wenn Sie dazu aufgefordert werden.

Den zweiten überspringen wir Notizbuch weil es sich auf das Backtesting von Daten konzentriert.

4. Wenn Sie das Beispiel mithilfe der Konsole durchgehen, erstellen Sie den Lookout for Metrics Live-Detektor und seine Warnung mithilfe der dritten Notizbuch (3.GettingStartedWithLiveData.ipynb).

Wenn Sie die bereitgestellten CloudFormation-Stacks verwenden, ist das dritte Notebook nicht erforderlich. Der Detektor und seine Warnung werden als Teil des Stapels erstellt.

5. Nachdem Sie den Live-Detektor von Lookout for Metrics erstellt haben, müssen Sie ihn über die Konsole aktivieren.

Dies kann bis zu 2 Stunden dauern, um das Modell zu initialisieren und Anomalien zu erkennen.

6. Stellen Sie eine Lambda-Funktion bereit, indem Sie Python mit einer Pandas-Bibliotheksebene verwenden, und erstellen Sie eine an den Live-Detektor angehängte Warnung, um ihn zu starten.
7. Verwenden Sie die Kombination aus Athena und AWS Glue, um die Daten für QuickSight zu ermitteln und vorzubereiten.
8. Erstellen Sie die QuickSight-Datenquelle und Datasets.
9. Erstellen Sie abschließend eine QuickSight-Analyse zur Visualisierung mithilfe der Datensätze.

Die CloudFormation-Skripte werden in der Regel als Satz verschachtelter Stacks in einer Produktionsumgebung ausgeführt. Sie werden in diesem Beitrag einzeln bereitgestellt, um eine Schritt-für-Schritt-Anleitung zu erleichtern.

Voraussetzungen:

Um diese exemplarische Vorgehensweise durchzugehen, benötigen Sie ein AWS-Konto, in dem die Lösung bereitgestellt wird. Stellen Sie sicher, dass sich alle von Ihnen bereitgestellten Ressourcen in derselben Region befinden. Sie benötigen einen laufenden Lookout for Metrics-Detektor, der aus den Notebooks 1 und 3 von gebaut wurde GitHub Repo. Wenn Sie keinen aktiven Lookout for Metrics-Detektor haben, haben Sie zwei Möglichkeiten:

• Führen Sie die Notebooks 1 und 3 aus und fahren Sie mit Schritt 1 dieses Beitrags fort (Erstellen der Lambda-Funktion und -Warnung).
• Führen Sie Notebook 1 aus und verwenden Sie dann die CloudFormation-Vorlage, um den Lookout for Metrics-Detektor zu generieren

Erstellen Sie den Live-Detektor mit AWS CloudFormation

Das L4MLiveDetector.yaml Das CloudFormation-Skript erstellt den Lookout for Metrics-Anomaliedetektor, wobei seine Quelle auf die Live-Daten im angegebenen S3-Bucket verweist. Führen Sie die folgenden Schritte aus, um den Detektor zu erstellen:

1. Starten Sie den Stack über den folgenden Link:

2. Auf dem Stapel erstellen Seite wählen Weiter.
3. Auf dem Geben Sie die Stapeldetails an Seite, machen Sie folgende Angaben:
   1. Ein Stapelname. Zum Beispiel, L4MLiveDetector.
   2. Der S3-Eimer, <Account Number>-lookoutmetrics-lab.
   3. Der Rollen-ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
   4. Eine Anomalieerkennungsfrequenz. Wählen PT1H (stündlich).
4. Auswählen Weiter.
5. Auf dem Konfigurieren Sie die Stapeloptionen Seite, alles so lassen wie es ist und wählen Weiter.
6. Auf dem Bewertung Seite, alles so lassen wie es ist und wählen Stapel erstellen.

Erstellen Sie die Live-Detektor-SMS-Warnung mit AWS CloudFormation (optional)

Dieser Schritt ist optional. Die Warnung wird als Beispiel dargestellt, ohne Auswirkung auf die Datensatzerstellung. Das L4MLiveDetectorAlert.yaml Das CloudFormation-Skript erstellt die Lookout for Metrics-Anomalieerkennungswarnung mit einem SMS-Ziel.

1. Starten Sie den Stack über den folgenden Link:

2. Auf dem Stapel erstellen Seite wählen Weiter.
3. Auf dem Geben Sie die Stapeldetails an aktualisieren Sie die SMS-Telefonnummer und geben Sie einen Namen für den Stack ein (z. B. L4MLiveDetectorAlert).
4. Auswählen Weiter.
5. Auf dem Konfigurieren Sie die Stapeloptionen Seite, alles so lassen wie es ist und wählen Weiter.
6. Auf dem Bewertung Seite, aktivieren Sie das Kontrollkästchen Bestätigung, lassen Sie alles andere unverändert und wählen Sie aus Stapel erstellen.

Ressourcenbereinigung

Bevor Sie mit dem nächsten Schritt fortfahren, stoppen Sie Ihre SageMaker-Notebook-Instance, um sicherzustellen, dass keine unnötigen Kosten entstehen. Es wird nicht mehr benötigt.

Erstellen Sie die Lambda-Funktion und -Warnung

In diesem Abschnitt geben wir Anweisungen zum Erstellen Ihrer Lambda-Funktion und -Warnung über die Konsole oder AWS CloudFormation.

Erstellen Sie die Funktion und die Warnung mit der Konsole

Du brauchst ein Lambda AWS Identity and Access Management and (ICH BIN) Rolle nach dem Best Practice mit den geringsten Privilegien , um auf den Bucket zuzugreifen, in dem die Ergebnisse gespeichert werden sollen.

1. 1. Erstellen Sie auf der Lambda-Konsole eine neue Funktion.
   2. Auswählen Autor von Grund auf neu.
   3. Aussichten für FunktionsnameGeben Sie einen Namen ein.
   4. Aussichten für Laufzeit, wählen Python 3.8.
   5. Aussichten für AusführungsrolleWählen Verwenden Sie eine vorhandene Rolle und geben Sie die von Ihnen erstellte Rolle an.
   6. Auswählen Funktion erstellen.
2. 
   7. Herunterladen die ZIP-Datei, die den notwendigen Code für die Lambda-Funktion enthält.
   8. Öffnen Sie in der Lambda-Konsole die Funktion.
   9. Auf dem Code Tab, wählen Sie Hochladen von, wählen .zip-Datei, und laden Sie die heruntergeladene Datei hoch.
   10. Auswählen Speichern.

Ihr Dateibaum sollte nach dem Hochladen der ZIP-Datei unverändert bleiben.

11. Im Schichten Wählen Sie im Abschnitt Ebene hinzufügen.
12. Auswählen Geben Sie einen ARN an.
13. Im Folgenden GitHub Repo, wählen Sie die CSV-Datei aus, die der Region entspricht, in der Sie arbeiten, und kopieren Sie den ARN aus der neuesten Pandas-Version.
14. Aussichten für Geben Sie einen ARN an, geben Sie den kopierten ARN ein.
15. Auswählen Speichern.

16. Um die Funktion an Ihre Umgebung anzupassen, stellen Sie am Ende des Codes aus der Datei lambda_function.py sicher, dass Sie den Bucket-Namen mit Ihrem Bucket aktualisieren, in dem Sie die Anomalieergebnisse speichern möchten, und die DataSet_ARN von Ihrem Anomaliedetektor.
17. Auswählen Deploy um die Änderungen aktiv zu machen.

Sie müssen nun den Lookout for Metrics-Detektor mit Ihrer Funktion verbinden.

18. Navigieren Sie in der Lookout for Metrics-Konsole zu Ihrem Detektor und wählen Sie ihn aus Benachrichtigung hinzufügen.
19. Geben Sie den Warnungsnamen und Ihren bevorzugten Schweregradschwellenwert ein.
20. Wählen Sie in der Senderliste aus Lambda.
21. Wählen Sie die von Ihnen erstellte Funktion aus und stellen Sie sicher, dass Sie die richtige Rolle haben, um sie auszulösen.
22. Auswählen Benachrichtigung hinzufügen.

Jetzt warten Sie, bis Ihr Alarm ausgelöst wird. Die Zeit variiert je nachdem, wann der Detektor eine Anomalie findet.

Wenn eine Anomalie erkannt wird, löst Lookout for Metrics die Lambda-Funktion aus. Es erhält die notwendigen Informationen von Lookout for Metrics und prüft, ob zum entsprechenden Zeitstempel der Anomalie bereits eine gespeicherte CSV-Datei in Amazon S3 vorhanden ist. Wenn keine Datei vorhanden ist, generiert Lambda die Datei und fügt die Anomaliedaten hinzu. Wenn die Datei bereits vorhanden ist, aktualisiert Lambda die Datei mit den zusätzlich empfangenen Daten. Die Funktion generiert für jeden unterschiedlichen Zeitstempel eine separate CSV-Datei.

Erstellen Sie die Funktion und die Warnung mit AWS CloudFormation

Ähnlich wie bei den Konsolenanweisungen, Sie Laden Sie die ZIP-Datei herunter enthält den erforderlichen Code für die Lambda-Funktion. In diesem Fall muss es jedoch in den S3-Bucket hochgeladen werden, damit der AWS CloudFormation-Code es während der Funktionserstellung laden kann.

Erstellen Sie in dem S3-Bucket, der bei der Erstellung des Lookout for Metrics-Detektors angegeben ist, einen Ordner mit dem Namen Lambda-Code und laden Sie die ZIP-Datei hoch.

Die Lambda-Funktion lädt dies während der Erstellung als ihren Code.

Das L4MLambdaFunction.yaml Das CloudFormation-Skript erstellt die Lambda-Funktion und Warnungsressourcen und verwendet das Funktionscodearchiv, das im selben S3-Bucket gespeichert ist.

1. Starten Sie den Stack über den folgenden Link:

2. Auf dem Stapel erstellen Seite wählen Weiter.
3. Auf dem Geben Sie die Stapeldetails an Geben Sie auf der Seite einen Stack-Namen an (z. B. L4MLambdaFunction).
4. Im Folgenden GitHub Repo, öffnen Sie die CSV-Datei, die der Region entspricht, in der Sie arbeiten, und kopieren Sie den ARN aus der neuesten Pandas-Version.
5. Geben Sie den ARN als ARN-Parameter der Pandas Lambda-Ebene ein.
6. Auswählen Weiter.
7. Auf dem Konfigurieren Sie die Stapeloptionen Seite, alles so lassen wie es ist und wählen Weiter.
8. Auf dem Bewertung Seite, aktivieren Sie das Kontrollkästchen Bestätigung, lassen Sie alles andere unverändert und wählen Sie aus Stapel erstellen.

Aktivieren Sie den Detektor

Bevor Sie mit dem nächsten Schritt fortfahren, müssen Sie den Detektor über die Konsole aktivieren.

1. Wählen Sie in der Konsole Lookout for Metrics die Option Detektoren im Navigationsbereich.
2. Wählen Sie Ihren neu erstellten Detektor aus.
3. Auswählen Mehr erfahren, Dann wählen Mehr erfahren nochmal zur Bestätigung.

Die Aktivierung initialisiert den Detektor; es ist beendet, wenn das Modell seinen Lernzyklus abgeschlossen hat. Dies kann bis zu 2 Stunden dauern.

Bereiten Sie die Daten für QuickSight vor

Bevor Sie diesen Schritt ausführen, geben Sie dem Detektor Zeit, Anomalien zu finden. Die von Ihnen erstellte Lambda-Funktion speichert die Anomalieergebnisse im Lookout for Metrics-Bucket in der anomalyResults Verzeichnis. Wir können diese Daten jetzt verarbeiten, um sie für QuickSight vorzubereiten.

Erstellen Sie den AWS Glue-Crawler auf der Konsole

Nachdem einige Anomalie-CSV-Dateien generiert wurden, verwenden wir einen AWS Glue-Crawler, um die Metadatentabellen zu generieren.

1. Wählen Sie in der AWS Glue-Konsole aus Crawlers im Navigationsbereich.
2. Auswählen Crawler hinzufügen.

3. Geben Sie einen Namen für den Crawler ein (z. B. L4MCrawler).
4. Auswählen Weiter.
5. Aussichten für Crawler-QuelltypWählen Datenspeicher.
6. Aussichten für Wiederholen Sie Crawls von S3-DatenspeichernWählen Alle Ordner durchsuchen.
7. Auswählen Weiter.

8. Auf der Konfigurationsseite des Datenspeichers, z Daten einkriechenWählen Angegebener Pfad in meinem Konto.
9. Aussichten für Pfad einschließen, geben Sie den Pfad Ihrer ein dimensionContributions Datei (s3://YourBucketName/anomalyResults/dimensionContributions).
10. Auswählen Weiter.
11. Auswählen Ja , um einen weiteren Datenspeicher hinzuzufügen, und wiederholen Sie die Anweisungen für metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
12. Wiederholen Sie die Anweisungen erneut für die Live-Daten, die vom Anomaliedetektor von Lookout for Metrics analysiert werden sollen (dies ist der S3-Datensatzspeicherort von Ihrem Lookout for Metrics-Detektor).

Sie sollten jetzt über drei Datenspeicher verfügen, die der Crawler verarbeiten kann.

Jetzt müssen Sie die Rolle auswählen, damit der Crawler die S3-Speicherorte Ihrer Daten durchgehen kann.

13. Wählen Sie für diesen Beitrag Erstellen Sie eine IAM-Rolle und geben Sie einen Namen für die Rolle ein.
14. Auswählen Weiter.

15. Aussichten für Frequenz, verlassen als Bei Bedarf ausführen und wählen Sie Weiter.
16. Im Konfigurieren Sie die Ausgabe des Crawlers Wählen Sie im Abschnitt Datenbank hinzufügen.

Dadurch wird die Athena-Datenbank erstellt, in der sich Ihre Metadatentabellen befinden, nachdem der Crawler abgeschlossen ist.

17. Geben Sie einen Namen für Ihre Datenbank ein und wählen Sie Erstellen.
18. Auswählen Weiter, Dann wählen Endziel.

19. Auf dem Crawlers Seite der AWS Glue-Konsole, wählen Sie den von Ihnen erstellten Crawler aus und wählen Sie Führen Sie den Crawler aus.

Abhängig von der Größe der Daten müssen Sie möglicherweise einige Minuten warten. Wenn der Vorgang abgeschlossen ist, wird der Status des Crawlers als angezeigt Bereit. Um die Metadatentabellen anzuzeigen, navigieren Sie zu Ihrer Datenbank auf der Datenbanken Seite und wählen Tische im Navigationsbereich.

In diesem Beispiel stellt die Metadatentabelle namens live den S3-Datensatz aus dem Live-Detektor von Lookout for Metrics dar. Als Best Practice wird dies empfohlen Verschlüsseln Sie Ihre AWS Glue Data Catalog-Metadaten.

Athena erkennt automatisch die Metadatentabellen und QuickSight verwendet Athena, um die Daten abzufragen und die Ergebnisse zu visualisieren.

Erstellen Sie den AWS Glue-Crawler mit AWS CloudFormation

Das L4MGlueCrawler.yaml Das CloudFormation-Skript erstellt den AWS Glue-Crawler, die zugehörige IAM-Rolle und die Athena-Ausgabedatenbank.

1. Starten Sie den Stack über den folgenden Link:

2. Auf dem Stapel erstellen Seite wählen Weiter.
3. Auf dem Geben Sie die Stapeldetails an Geben Sie auf der Seite einen Namen für Ihren Stack ein (z. B. L4MGlueCrawler), und wähle Weiter.
4. Auf dem Konfigurieren Sie die Stapeloptionen Seite, alles so lassen wie es ist und wählen Weiter.
5. Auf dem Bewertung Seite, aktivieren Sie das Kontrollkästchen Bestätigung, lassen Sie alles andere unverändert und wählen Sie aus Stapel erstellen.

Führen Sie den AWS Glue-Crawler aus

Nachdem Sie den Crawler erstellt haben, müssen Sie ihn ausführen, bevor Sie mit dem nächsten Schritt fortfahren. Sie können es über die Konsole oder die ausführen AWS-Befehlszeilenschnittstelle (AWS-CLI). Führen Sie die folgenden Schritte aus, um die Konsole zu verwenden:

1. Wählen Sie in der AWS Glue-Konsole aus Crawlers im Navigationsbereich.
2. Wählen Sie Ihren Crawler (L4MCrawler).
3. Auswählen Führen Sie den Crawler aus.

Wenn der Crawler fertig ist, zeigt er den Status an Bereit.

Erstellen Sie ein QuickSight-Konto

Bevor Sie mit diesem nächsten Schritt beginnen, navigieren Sie zur QuickSight-Konsole und erstellen Sie ein Konto, falls Sie noch keines haben. Um sicherzustellen, dass Sie Zugriff auf die entsprechenden Dienste (Athena- und S3-Bucket) haben, wählen Sie oben rechts Ihren Kontonamen aus, wählen Sie QuickSight verwalten, und wähle Sicherheit und Berechtigungen, wo Sie die erforderlichen Dienste hinzufügen können. Stellen Sie beim Einrichten Ihres Amazon S3-Zugangs sicher, dass Sie auswählen Schreibberechtigung für Athena Workgroup.

Jetzt können Sie Ihre Daten in QuickSight visualisieren.

Erstellen Sie die QuickSight-Datasets in der Konsole

Wenn Sie Athena zum ersten Mal verwenden, müssen Sie den Ausgabespeicherort der Abfragen konfigurieren. Anweisungen finden Sie in den Schritten 1–6 in Erstellen Sie eine Datenbank. Führen Sie dann die folgenden Schritte aus:

1. Wählen Sie in der QuickSight-Konsole Datensätze.
2. Auswählen Neuer Datensatz.
3. Wählen Sie Athena als Ihre Quelle.
4. Geben Sie einen Namen für Ihre Datenquelle ein.
5. Auswählen Datenquelle erstellen.

6. Geben Sie für Ihre Datenbank diejenige an, die Sie zuvor mit dem AWS Glue-Crawler erstellt haben.
7. Geben Sie die Tabelle an, die Ihre Live-Daten enthält (nicht die Anomalien).
8. Auswählen Daten bearbeiten/vorschauen.

Sie werden zu einer Oberfläche weitergeleitet, die dem folgenden Screenshot ähnelt.

Der nächste Schritt besteht darin, die hinzuzufügen und zu kombinieren metricValue_AnomalyScore Daten mit den Live-Daten.

9. Auswählen Daten hinzufügen.
10. Auswählen Datenquelle hinzufügen.
11. Geben Sie die von Ihnen erstellte Datenbank und die metricValue_AnomalyScore Tabelle.
12. Auswählen Auswählen.

Sie müssen nun den Join der beiden Tabellen konfigurieren.

13. Wählen Sie die Verknüpfung zwischen den beiden Tabellen.
14. Belassen Sie den Join-Typ bei Links, fügen Sie den Zeitstempel und jede Dimension, die Sie haben, als Join-Klausel hinzu und wählen Sie aus Jetzt bewerben.

Im folgenden Beispiel verwenden wir Timestamp, Platform und Marketplace als Join-Klauseln.

Im rechten Bereich können Sie die Felder entfernen, die Sie nicht behalten möchten.

15. Entfernen Sie den Zeitstempel aus der metricValue_AnomalyScore Tabelle, um keine doppelte Spalte zu haben.
16. Ändern Sie den Datentyp des Zeitstempels (der Live-Datentabelle) von Zeichenfolge in Datum, und geben Sie den richtigen an Format. In unserem Fall sollte es so sein yyyy-MM-dd HH:mm:ss.

Der folgende Screenshot zeigt Ihre Ansicht, nachdem Sie einige Felder entfernt und den Datentyp angepasst haben.

17. Auswählen Speichern und visualisieren.
18. Wählen Sie das Stiftsymbol neben dem Datensatz.
19. Auswählen Datensatz hinzufügen und wählen Sie dimensioncontributions.

Erstellen Sie die QuickSight-Datensätze mit AWS CloudFormation

Dieser Schritt enthält drei CloudFormation-Stacks.

Das erste CloudFormation-Skript, L4MQuickSightDataSource.yaml, erstellt die QuickSight Athena-Datenquelle.

1. Starten Sie den Stack über den folgenden Link:

2. Auf dem Stapel erstellen Seite wählen Weiter.
3. Auf dem Geben Sie die Stapeldetails an Geben Sie auf der Seite Ihren QuickSight-Benutzernamen, die Region des QuickSight-Kontos (bei der Erstellung des QuickSight-Kontos angegeben) und einen Stack-Namen (z. B. L4MQuickSightDataSource).
4. Auswählen Weiter.
5. Auf dem Konfigurieren Sie die Stapeloptionen Seite, alles so lassen wie es ist und wählen Weiter.
6. Auf dem Bewertung Seite, alles so lassen wie es ist und wählen Stapel erstellen.

Das zweite CloudFormation-Skript, L4MQuickSightDataSet1.yaml, erstellt ein QuickSight-Dataset, das die Dimensionstabelle mit der Anomalietabelle verbindet.

1. Starten Sie den Stack über den folgenden Link:

2. Auf dem Stapel erstellen Seite wählen Weiter.
3. Auf dem Geben Sie die Stapeldetails an, geben Sie einen Stack-Namen ein (z. B. L4MQuickSightDataSet1).
4. Auswählen Weiter.
5. Auf dem Konfigurieren Sie die Stapeloptionen Seite, alles so lassen wie es ist und wählen Weiter.
6. Auf dem Bewertung Seite, alles so lassen wie es ist und wählen Stapel erstellen.

Das dritte CloudFormation-Skript, L4MQuickSightDataSet2.yaml, erstellt das QuickSight-Dataset, das die Anomalietabelle mit der Live-Datentabelle verbindet.

1. Starten Sie den Stack über den folgenden Link:

2. Auf dem Stapelseite erstellenwählen Weiter.
3. Auf dem Geben Sie die Stapeldetails an Geben Sie auf der Seite einen Stack-Namen ein (z. B. L4MQuickSightDataSet2).
4. Auswählen Weiter.
5. Auf dem Konfigurieren Sie die Stapeloptionen Seite, alles so lassen wie es ist und wählen Weiter.
6. Auf dem Bewertung Seite, alles so lassen wie es ist und wählen Stapel erstellen.

Erstellen Sie die QuickSight-Analyse für die Dashboard-Erstellung

Dieser Schritt kann nur auf der Konsole ausgeführt werden. Nachdem Sie Ihre QuickSight-Datasets erstellt haben, führen Sie die folgenden Schritte aus:

1. Wählen Sie in der QuickSight-Konsole Analyse im Navigationsbereich.
2. Auswählen Eine neue Analyse.
3. Wählen Sie den ersten Datensatz, L4MQuickSightDataSetWithLiveData.

4. Auswählen Analyse erstellen.

Die QuickSight-Analyse wird zunächst nur mit dem ersten Datensatz erstellt.

5. Um den zweiten Datensatz hinzuzufügen, wählen Sie das Stiftsymbol neben aus Datensatz und wählen Sie Datensatz hinzufügen.
6. Wählen Sie den zweiten Datensatz und wählen Sie Auswählen.

Sie können dann beide Datensätze zum Erstellen von Diagrammen verwenden, indem Sie sie auf der auswählen Datensatz Dropdown-Menü.

Dataset-Metriken

Sie haben erfolgreich eine QuickSight-Analyse aus Lookout for Metrics-Inferenzergebnissen und den Live-Daten erstellt. In QuickSight stehen Ihnen zwei Datensätze zur Verfügung: L4M_Visualization_dataset_with_liveData und L4M_Visualization_dataset_with_dimensionContribution.

Das L4M_Visualization_dataset_with_liveData Datensatz enthält die folgenden Metriken:

• Zeitstempel – Datum und Uhrzeit der an Lookout for Metrics übermittelten Live-Daten
• Ansichten – Der Wert der Views-Metrik
• Einnahmen – Der Wert der Umsatzmetrik
• Plattform, Marktplatz, RevenueAnomalyMetricValue, ViewsAnomalyMetricValue, RevenueGroupScore und ViewsGroupScore – Diese Metriken sind Teil beider Datensätze

Das L4M_Visualization_dataset_with_dimensionContribution Datensatz enthält die folgenden Metriken:

• Zeitstempel – Datum und Uhrzeit der Erkennung der Anomalie
• MetrikName – Die Metriken, die Sie überwachen
• Dimensionsname – Die Dimension innerhalb der Metrik
• Dimensionswert – Der Wert der Dimension
• wertBeitrag – Der Prozentsatz, wie viel dimensionValue die Anomalie beeinflusst, wenn sie erkannt wird

Der folgende Screenshot zeigt diese fünf Metriken auf dem Anomalie-Dashboard des Lookout for Metrics-Detektors.

Die folgenden Metriken sind Teil beider Datensätze:

• Plattform – Die Plattform, auf der die Anomalie aufgetreten ist
• Marktplatz – Der Marktplatz, auf dem die Anomalie aufgetreten ist
• „revenueAnomalyMetricValue“ und „viewsAnomalyMetricValue“. – Die entsprechenden Werte der Metrik, als die Anomalie erkannt wurde (in diesem Fall handelt es sich bei den Metriken um Einnahmen oder Aufrufe)
• RevenueGroupScore und ViewsGroupScore – Die Schweregrade für jede Metrik für die erkannte Anomalie

Um diese letzten Metriken besser zu verstehen, können Sie die CSV-Dateien überprüfen, die von der Lambda-Funktion in Ihrem S3-Bucket erstellt wurden, in dem Sie sie gespeichert haben anomalyResults/metricValue_AnomalyScore.

Nächste Schritte

Der nächste Schritt besteht darin, die Dashboards für die Daten zu erstellen, die Sie sehen möchten. Dieser Beitrag enthält keine Erläuterung zum Erstellen von QuickSight-Diagrammen. Wenn Sie neu bei QuickSight sind, finden Sie weitere Informationen unter Erste Schritte mit der Datenanalyse in Amazon QuickSight für eine Einführung. Die folgenden Screenshots zeigen Beispiele für einfache Dashboards. Weitere Informationen finden Sie unter QuickSight-Workshops.

Zusammenfassung

Die Anomalien werden einzeln auf der Lookout for Metrics-Konsole dargestellt, jede mit ihrem eigenen Diagramm, was es schwierig macht, den Satz als Ganzes anzuzeigen. Für eine tiefere Analyse wird eine automatisierte, integrierte Lösung benötigt. In diesem Beitrag haben wir einen Lookout for Metrics-Detektor verwendet, um Anomalien zu generieren, und die Daten mit QuickSight verbunden, um Visualisierungen zu erstellen. Diese Lösung ermöglicht es uns, Anomalien genauer zu analysieren und sie alle an einem einzigen Ort/Dashboard zu haben.

Als nächster Schritt könnte diese Lösung auch um einen zusätzlichen Datensatz erweitert und Anomalien von mehreren Detektoren kombiniert werden. Sie könnten auch die Lambda-Funktion anpassen. Die Lambda-Funktion enthält den Code, der die Datensätze und Variablennamen generiert, die wir für die QuickSight-Dashboards verwenden. Sie können diesen Code an Ihren speziellen Anwendungsfall anpassen, indem Sie die Datensätze selbst oder die für Sie sinnvolleren Variablennamen ändern.

Wenn Sie Feedback oder Fragen haben, hinterlassen Sie diese bitte in den Kommentaren.

---

Über die Autoren

Benoît de Patoul ist AI/ML Specialist Solutions Architect bei AWS. Er hilft Kunden, indem er Anleitungen und technische Unterstützung bereitstellt, um Lösungen im Zusammenhang mit KI/ML bei der Verwendung von AWS zu entwickeln.

Paul Troiano ist Senior Solutions Architect bei AWS mit Sitz in Atlanta, GA. Er hilft Kunden, indem er Anleitungen zu Technologiestrategien und -lösungen auf AWS gibt. Er interessiert sich leidenschaftlich für alles rund um KI/ML und Lösungsautomatisierung.