Amazon Lookout für Metriken ist ein AWS-Service, der maschinelles Lernen (ML) verwendet, um die für Unternehmen wichtigsten Metriken automatisch schneller und genauer zu überwachen. Der Service erleichtert auch die Diagnose der Grundursache von Anomalien, wie z. B. unerwartete Umsatzrückgänge, hohe Raten verlassener Warenkörbe, Spitzen bei fehlgeschlagenen Zahlungstransaktionen, Anstieg der Anmeldungen neuer Benutzer und vieles mehr. Lookout for Metrics geht über die einfache Erkennung von Anomalien hinaus. Es ermöglicht Entwicklern, eine autonome Überwachung für wichtige Metriken einzurichten, um Anomalien zu erkennen und ihre Grundursache mit wenigen Klicks zu identifizieren, um Anomalien in ihren Metriken zu erkennen – alles ohne ML-Erfahrung erforderlich.
Amazonas Athena ist ein interaktiver Abfragedienst, der die Analyse von Daten in Einfacher Amazon-Speicherdienst (Amazon S3) unter Verwendung von Standard-SQL. Zeigen Sie einfach auf Ihre Daten in Amazon S3, definieren Sie das Schema und starten Sie die Abfrage mit Standard-SQL. Die meisten Ergebnisse werden innerhalb von Sekunden geliefert. Mit Athena sind keine komplexen ETL-Jobs erforderlich, um Ihre Daten für die Analyse vorzubereiten. Dies macht es jedem mit SQL-Kenntnissen leicht, große Datensätze schnell zu analysieren.
Mit der heutigen Einführung kann Lookout for Metrics jetzt nahtlos eine Verbindung zu Ihren Daten in Athena herstellen, um hochpräzise Anomaliedetektoren einzurichten. Auf diese Weise können Sie schnell modernste Anomalieerkennung über ML mit Lookout for Metrics für alle Datensätze bereitstellen, die in Athena verfügbar sind.
Die Athena-Konnektivität erweitert die Funktionen von Lookout for Metrics um die folgenden Vorteile:
- Es erweitert die Möglichkeiten von Lookout for Metrics in Bezug auf Dateityp-Unterstützung. Zuvor unterstützte Lookout for Metrics Dateien im CSV- und JSONLines-Format, aber mit Athena wurde dies auf Parquet, Avro, Plaintext und mehr erweitert. Wenn Sie es über Athena parsen können, ist es jetzt möglich, es mit Lookout for Metrics zu importieren und zu nutzen.
- Außerdem wird die Unterstützung für Daten mit eingeführt föderierte Abfragen. Wenn Ihre Daten vor dieser Einführung in mehreren Datenbanken oder Quellen gespeichert waren, mussten Sie einen vollständigen komplexen ETL-Prozess definieren und seine Leistungsmerkmale verwalten, bevor Sie alle Daten in eine CSV- oder JSONLines-Datei exportieren und eingeben konnten in Lookout for Metrics for Anomaly Detection. Mit föderierten Abfragen von Athena definieren Sie die unterschiedlichen Quellen sowie die Art und Weise, wie die Verknüpfung durchgeführt werden soll, und wenn die Daten verarbeitet wurden und von Athena abgefragt werden können, sind sie sofort bereit für Lookout for Metrics. Auf diese Weise können Sie die Last für die Datentransformation, -aggregation und den Lieferort an Athena übergeben und sich nur auf die identifizierten Anomalien von Lookout for Metrics konzentrieren.
Lösungsüberblick
In diesem Beitrag zeigen wir, wie Sie eine Athena-Tabelle integrieren und Anomalien in den Umsatzmetriken erkennen. Wir verfolgen auch, wie sich die Bestellrate und Bestandskennzahlen auswirken. Die Quelldaten liegen in Amazon S3 und wir haben Athena-Tabellen konfiguriert, um die darin enthaltenen Daten abzufragen. Ein AWS Lambda ist verantwortlich für die Aktualisierung der Partitionen in Athena, die von Lookout for Metrics zur Erkennung von Anomalien verwendet werden. Mit dieser Lösung können Sie eine Athena-Datenquelle für Lookout for Metrics verwenden.
Sie könnten die bereitgestellten verwenden AWS CloudFormation stack, um Ressourcen für die exemplarische Vorgehensweise einzurichten. Es enthält Ressourcen zum kontinuierlichen Generieren von Live-Daten und macht sie in Athena abfragbar.
- Starten Sie den Stack über den folgenden Link und wählen Sie ihn aus weiter auf der Seite Stack erstellen.
- Auf dem Geben Sie die Stapeldetails an Seite, fügen Sie die Werte von oben hinzu, geben Sie ihm einen Stack-Namen (z. B.
L4MAthenaDetector
) und wählen Sie Weiter. - Auf dem Konfigurieren Sie die Stapeloptionen Seite, alles so lassen wie es ist und auswählen Weiter.
Richten Sie einen neuen Detektor mit Athena als Datenquelle ein
Schritt 1
Melden Sie sich bei der AWS-Konsole um mit der Erstellung eines Anomaliedetektors mit Lookout for Metrics zu beginnen. Wählen Sie im ersten Schritt die Schaltfläche „Melder erstellen“ aus.
Schritt 2
Füllen Sie die obligatorischen Detektorfelder wie Name aus. Wählen Sie das Erkennungsintervall für den Detektor aus, das durch die Häufigkeit bestimmt wird, mit der Lookout for Metrics Ihre Daten abfragen und auf Anomalien überwachen soll. Verschlüsselungsinformationen sind nicht obligatorisch. Verschlüsselungsinformationen ermöglichen es Lookout for Metrics, Ihre Daten mit Ihrem zu verschlüsseln AWS-Schlüsselverwaltungsservice (KMS) Schlüssel. In diesem Beispiel überspringen wir das Hinzufügen eines Verschlüsselungsschlüssels, Lookout for Metrics würde die Standardverschlüsselung verwenden, um Ihre Daten zu verschlüsseln, wenn keine Verschlüsselungsinformationen bereitgestellt werden, und fahren Sie fort, indem Sie auf die Schaltfläche „Erstellen“ klicken.
Schritt 3
Nach der Erstellung des Anomaliedetektors sehen Sie oben in einem Banner eine Bestätigung. Sie können fortfahren, indem Sie entweder über das Banner oder die Schaltfläche unter „Datensatz hinzufügen“ „Datensatz hinzufügen“ auswählen.
Füllen Sie die grundlegenden Informationen für die Datenquelle aus. Zeitzone ist ein optionales Feld. Wählen Sie das Dropdown-Menü aus, um eine Datenquelle auszuwählen.
Lookout for Metrics unterstützt zur Vereinfachung für Kunden mehrere Datenquellen. Für dieses Beispiel wählen wir Athena aus.
Sobald Athena als Datenquelle ausgewählt ist, haben Sie die Möglichkeit, den Backtest- oder Continuous-Modus für den Detektor auszuwählen. Für dieses Beispiel verwenden wir den Continuous-Modus. Fahren Sie fort, indem Sie Details für die Athena-Tabelle hinzufügen, die Sie auf Anomalien überwachen möchten.
Sie können dem Dienst erlauben, eine Dienstrolle zu erstellen, oder Sie können eine vorhandene verwenden AWS Identitäts- und Zugriffsverwaltung (IAM) Rolle in Ihrem Konto für föderierte Abfragen. Beachten Sie, dass Lookout for Metrics die automatische Erstellung von IAM-Rollen für föderierte Abfragen nicht unterstützt. Daher müssten Sie eine neue IAM-Rolle erstellen, damit Athena die folgenden Aktionen für Ihre Daten ausführen kann:
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
Die vom Dienst erstellte IAM-Rolle sieht wie folgt aus:
Schritt 4
Jetzt definieren wir relevante Metriken für den Detektor. Lookout for Metrics füllt die Dropdown-Listen mit den Spalten, die in der bereitgestellten Athena-Tabelle vorhanden sind. Sie können bis zu fünf Metriken und fünf Dimensionen auswählen. Lookout for Metrics erfordert, dass die Daten in Ihrer Tabelle als Zeitstempel für die Zeitstempelspalte partitioniert werden. Sie haben auch die Möglichkeit, die Kosten für diesen Detektor zu schätzen, indem Sie die Anzahl der Werte in Ihren Dimensionen addieren.
Nachdem Sie alle Metriken ausgewählt haben, fahren Sie fort, indem Sie auf die Schaltfläche „Weiter“ klicken. Überprüfen Sie die Details und wählen Sie die Schaltfläche „Datensatz speichern“, um den Datensatz zu speichern.
Schritt 5
Sobald der Datensatz erstellt ist, aktivieren wir den Detektor, indem wir entweder die Schaltfläche „Aktivieren“ oben oder die Schaltfläche „Detektor aktivieren“ im Abschnitt „Funktionsweise“ auswählen.
Sie werden aufgefordert, zu bestätigen, ob Sie den Detektor für die kontinuierliche Erkennung aktivieren möchten. Wählen Sie zur Bestätigung „Aktivieren“.
Sie sehen eine Bestätigung, die Sie darüber informiert, dass der Detektor aktiviert wird.
Schritt 6
Sobald der Anomaliedetektor aktiv ist, können Sie die Registerkarte „Detektorprotokoll“ auf der Seite mit den Detektordetails verwenden, um die vom Dienst durchgeführten Erkennungsausführungen zu überprüfen.
Schritt 7
Sie können die Schaltfläche „Anomalien anzeigen“ auf der Detektordetailseite auswählen, um Anomalien, die möglicherweise vom Dienst erkannt wurden, manuell zu untersuchen.
Schritt 8
Auf der Überprüfungsseite für Anomalien können Sie den Schweregrad-Score-Schwellenwert auf der Schwellenwertskala anpassen, um Anomalien über einem ausgewählten Score herauszufiltern.
Überprüfen und analysieren Sie die Ergebnisse
Beim Erkennen einer Anomalie hilft Ihnen Lookout for Metrics, sich auf das Wesentliche zu konzentrieren, indem es eine Bewertung des Schweregrads zuweist, um die Priorisierung zu unterstützen. Um Ihnen bei der Suche nach der Grundursache zu helfen, gruppiert es Anomalien, die möglicherweise mit demselben Vorfall zusammenhängen, auf intelligente Weise und fasst dann die verschiedenen Auswirkungsquellen zusammen.
Mit Lookout for Metrics können Sie außerdem Echtzeit-Feedback zur Relevanz erkannter Anomalien geben und so einen leistungsstarken Human-in-the-Loop-Mechanismus aktivieren. Diese Informationen werden nahezu in Echtzeit an das Anomalieerkennungsmodell zurückgemeldet, um dessen Genauigkeit zu verbessern.
Aufräumen
Um zu vermeiden, dass zusätzliche Kosten für die für die Demo eingerichtete Ressource anfallen, können Sie den erstellten Detektor unter Lookout for Metrics und den über CloudFormation erstellten Stack löschen.
Zusammenfassung
Sie können Ihre Daten in Athena nahtlos mit Lookout for Metrics verbinden, um einen hochpräzisen Anomaliedetektor für Metriken und Dimensionen in Ihren Athena-Tabellen einzurichten. Um mit dieser Funktion zu beginnen, siehe Verwenden von Amazon Athena mit Lookout for Metrics. Sie können diese Funktion in allen Regionen nutzen, in denen Lookout for Metrics öffentlich verfügbar ist. Weitere Informationen zur regionalen Verfügbarkeit finden Sie unter Regionale AWS-Services.
Über die Autoren
Devesh Ratho ist Softwareentwicklungsingenieur im Lookout for Metrics-Team. Seine Interessen liegen im Aufbau skalierbarer verteilter Systeme. In seiner Freizeit betreibt er gerne Sim-Racing.
Chris König ist Senior Solutions Architect in Applied AI bei AWS. Er hat ein besonderes Interesse an der Einführung von KI-Diensten und half beim Wachstum und Aufbau von Amazon Personalize und Amazon Forecast, bevor er sich auf Amazon Lookout for Metrics konzentrierte. In seiner Freizeit kocht er gerne, liest, boxt und baut Modelle, um das Ergebnis des Kampfsports vorherzusagen.
- Coinsmart. Europas beste Bitcoin- und Krypto-Börse.
- Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. DEN FREIEN ZUGANG.
- CryptoHawk. Altcoin-Radar. Kostenlose Testphase.
- Quelle: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Über uns
- Zugang
- Konto
- genau
- über
- Action
- Aktionen
- aktiv
- Zusätzliche
- AI
- KI-Dienste
- Alle
- Amazon
- Analyse
- jemand
- Automatisiert
- Autonom
- Verfügbarkeit
- verfügbar
- AWS
- banner
- Bevor
- Vorteile
- Beyond
- Grenze
- Boxen
- bauen
- Building
- Unternehmen
- Fähigkeiten
- Verursachen
- Gebühren
- Kolonne
- Bekämpfung
- Komplex
- Zustand
- Vernetz Dich
- Konnektivität
- enthält
- sehr beliebtes Sprach- und Freizeitprogramm
- könnte
- erstellen
- erstellt
- Erstellen
- Schaffung
- Kunden
- technische Daten
- Datenbanken
- geliefert
- Lieferanten
- zeigen
- einsetzen
- Details
- erkannt
- Entdeckung
- Entwickler
- Entwicklung
- anders
- verteilt
- Tut nicht
- bewirken
- ermöglichen
- Verschlüsselung
- Ingenieur
- schätzen
- alles
- Beispiel
- vorhandenen
- ergänzt
- ERFAHRUNGEN
- Fed
- Feedback
- Felder
- Vorname
- Setzen Sie mit Achtsamkeit
- Fokussierung
- Folgende
- erzeugen
- mehr
- Gruppen
- Wachsen Sie über sich hinaus
- Hilfe
- hilft
- High
- hoch
- Ultraschall
- Hilfe
- HTTPS
- identifizieren
- Identitätsschutz
- Impact der HXNUMXO Observatorien
- wichtig
- zu unterstützen,
- Information
- Varianten des Eingangssignals:
- integrieren
- interaktive
- Interesse
- Interessen
- Inventar
- IT
- Jobs
- join
- Wesentliche
- King
- starten
- Start
- lernen
- Verlassen
- Hebelwirkung
- LINK
- Standorte
- Maschine
- Maschinelles Lernen
- MACHT
- verwalten
- Management
- Alle Tauchgäste müssen eine Tauchversicherung vorweisen,
- manuell
- Materie
- Angelegenheiten
- Metrik
- ML
- Modell
- für
- Überwachen
- Überwachung
- mehr
- vor allem warme
- mehrere
- Anzahl
- Option
- Auftrag
- Zahlung
- Leistung
- personalisieren
- Points
- möglich
- größte treibende
- vorhersagen
- Danach
- Gegenwart
- Prozessdefinierung
- die
- schnell
- Renn-
- Honorar
- Lesebrillen
- Echtzeit
- regional
- relevant
- falls angefordert
- erfordert
- Ressourcen
- Downloads
- für ihren Verlust verantwortlich.
- Die Ergebnisse
- Einnahmen
- Überprüfen
- skalierbaren
- nahtlos
- Sekunden
- ausgewählt
- Dienstleistungen
- kompensieren
- Shopping
- JA
- Einfacher
- Fähigkeiten
- Software
- Software-Entwicklung
- solide
- Lösung
- Lösungen
- besondere
- Geschwindigkeit
- Sports
- Stapel
- Standard
- Anfang
- begonnen
- State-of-the-art
- Erklärung
- Lagerung
- Support
- Unterstützte
- Unterstützt
- Systeme und Techniken
- Team
- Die Quelle
- deswegen
- Schwelle
- Durch
- Zeit
- heutigen
- Top
- verfolgen sind
- Transaktion
- Transformation
- für
- Aktualisierung
- -
- Version
- Was
- .
- würde