Οπτικοποιήστε τα αποτελέσματα ανωμαλίας του Amazon Lookout for Metrics με το Amazon QuickSight

Μία από τις προκλήσεις που αντιμετωπίζουν οι ομάδες που χρησιμοποιούν Αναζήτηση Amazon για μετρήσεις το συνδέει γρήγορα και αποτελεσματικά με την οπτικοποίηση δεδομένων. Οι ανωμαλίες παρουσιάζονται μεμονωμένα στην κονσόλα Lookout for Metrics, καθεμία με το δικό της γράφημα, γεγονός που καθιστά δύσκολη την προβολή του συνόλου στο σύνολό του. Απαιτείται μια αυτοματοποιημένη, ολοκληρωμένη λύση για βαθύτερη ανάλυση.

Σε αυτήν την ανάρτηση, χρησιμοποιούμε έναν ζωντανό ανιχνευτή Lookout for Metrics που έχει δημιουργηθεί σύμφωνα με το Ξεκινώντας ενότητα από το AWS Samples, Amazon Lookout for Metrics Αποθετήριο GitHub. Αφού ενεργοποιηθεί ο ανιχνευτής και δημιουργηθούν ανωμαλίες από το σύνολο δεδομένων, συνδέουμε το Lookout for Metrics στο Amazon QuickSight. Δημιουργούμε δύο σύνολα δεδομένων: ένα ενώνοντας τον πίνακα διαστάσεων με τον πίνακα ανωμαλιών και ένα άλλο ενώνοντας τον πίνακα ανωμαλιών με τα ζωντανά δεδομένα. Στη συνέχεια, μπορούμε να προσθέσουμε αυτά τα δύο σύνολα δεδομένων σε μια ανάλυση QuickSight, όπου μπορούμε να προσθέσουμε γραφήματα σε έναν ενιαίο πίνακα εργαλείων.

Μπορούμε να παρέχουμε δύο τύπους δεδομένων στον ανιχνευτή Lookout for Metrics: συνεχές και ιστορικό. ο Αποθετήριο AWS Samples GitHub προσφέρει και τα δύο, αν και εστιάζουμε στα συνεχή ζωντανά δεδομένα. Ο ανιχνευτής παρακολουθεί αυτά τα ζωντανά δεδομένα για να εντοπίσει ανωμαλίες και εγγράφει τις ανωμαλίες Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) καθώς δημιουργούνται. Στο τέλος ενός καθορισμένου διαστήματος, ο ανιχνευτής αναλύει τα δεδομένα. Με την πάροδο του χρόνου, ο ανιχνευτής μαθαίνει να εντοπίζει με μεγαλύτερη ακρίβεια τις ανωμαλίες με βάση τα μοτίβα που βρίσκει.

Το Lookout for Metrics χρησιμοποιεί μηχανική εκμάθηση (ML) για την αυτόματη ανίχνευση και διάγνωση ανωμαλιών σε επιχειρηματικά και λειτουργικά δεδομένα, όπως μια ξαφνική πτώση στα έσοδα από πωλήσεις ή στα ποσοστά απόκτησης πελατών. Η υπηρεσία είναι πλέον γενικά διαθέσιμη από τις 25 Μαρτίου 2021. Ελέγχει αυτόματα και προετοιμάζει δεδομένα από διάφορες πηγές για τον εντοπισμό ανωμαλιών με μεγαλύτερη ταχύτητα και ακρίβεια από τις παραδοσιακές μεθόδους που χρησιμοποιούνται για τον εντοπισμό ανωμαλιών. Μπορείτε επίσης να παρέχετε σχόλια σχετικά με ανωμαλίες που ανιχνεύθηκαν για να συντονίσετε τα αποτελέσματα και να βελτιώσετε την ακρίβεια με την πάροδο του χρόνου. Το Lookout for Metrics διευκολύνει τη διάγνωση ανωμαλιών που ανιχνεύονται ομαδοποιώντας τις ανωμαλίες που σχετίζονται με το ίδιο συμβάν και στέλνοντας μια ειδοποίηση που περιλαμβάνει μια σύνοψη της πιθανής βασικής αιτίας. Επίσης, ταξινομεί τις ανωμαλίες με σειρά σοβαρότητας, ώστε να μπορείτε να δώσετε προτεραιότητα στην προσοχή σας σε ό,τι έχει μεγαλύτερη σημασία για την επιχείρησή σας.

Το QuickSight είναι μια πλήρως διαχειριζόμενη, εγγενής υπηρεσία επιχειρηματικής ευφυΐας (BI) στο cloud, η οποία διευκολύνει τη σύνδεση με τα δεδομένα σας για τη δημιουργία και τη δημοσίευση διαδραστικών πινάκων εργαλείων. Επιπλέον, μπορείτε να χρησιμοποιήσετε Amazon QuickSight για να λάβετε άμεσες απαντήσεις μέσω ερωτημάτων φυσικής γλώσσας.

Μπορείτε να αποκτήσετε πρόσβαση σε πίνακες εργαλείων QuickSight χωρίς διακομιστές από οποιαδήποτε συσκευή και να τους ενσωματώσετε απρόσκοπτα στις εφαρμογές, τις πύλες και τους ιστότοπούς σας. Το παρακάτω στιγμιότυπο οθόνης είναι ένα παράδειγμα του τι μπορείτε να επιτύχετε μέχρι το τέλος αυτής της ανάρτησης.

Επισκόπηση της λύσης

Η λύση είναι ένας συνδυασμός υπηρεσιών AWS, κυρίως Lookout for Metrics, QuickSight, AWS Lambda, Αμαζόν Αθηνά, Κόλλα AWSκαι Amazon S3.

Το παρακάτω διάγραμμα απεικονίζει την αρχιτεκτονική λύσης. Το Lookout for Metrics εντοπίζει και στέλνει τις ανωμαλίες στο Lambda μέσω ειδοποίησης. Η συνάρτηση Lambda δημιουργεί τα αποτελέσματα ανωμαλίας ως αρχεία CSV και τα αποθηκεύει στο Amazon S3. Ένας ανιχνευτής AWS Glue αναλύει τα μεταδεδομένα και δημιουργεί πίνακες στο Athena. Το QuickSight χρησιμοποιεί το Athena για να ρωτήσει τα δεδομένα του Amazon S3, επιτρέποντας τη δημιουργία πινάκων εργαλείων για την οπτικοποίηση τόσο των αποτελεσμάτων ανωμαλιών όσο και των ζωντανών δεδομένων.

Αυτή η λύση επεκτείνεται στους πόρους που δημιουργούνται στο Ξεκινώντας τμήμα του αποθετηρίου GitHub. Για κάθε βήμα, περιλαμβάνουμε επιλογές για τη δημιουργία των πόρων είτε χρησιμοποιώντας το Κονσόλα διαχείρισης AWS ή εκκίνηση του παρεχόμενου AWS CloudFormation σωρός. Εάν διαθέτετε έναν προσαρμοσμένο ανιχνευτή Lookout for Metrics, μπορείτε να τον χρησιμοποιήσετε και να τον προσαρμόσετε ως εξής σημειωματάριο για να πετύχουμε τα ίδια αποτελέσματα.

Τα βήματα υλοποίησης είναι τα εξής:

1. Δημιουργήστε το Amazon Sage Maker παράδειγμα σημειωματάριου (ALFMTestNotebook) και σημειωματάρια χρησιμοποιώντας τη στοίβα που παρέχεται στο Αρχική εγκατάσταση ενότητα από το GitHub repo.
2. Ανοίξτε την παρουσία του σημειωματάριου στην κονσόλα SageMaker και μεταβείτε στο amazon-lookout-for-metrics-samples/getting_started φάκελο.
3. Δημιουργήστε τον κάδο S3 και ολοκληρώστε την προετοιμασία δεδομένων χρησιμοποιώντας τον πρώτο σημειωματάριο (1.PrereqSetupData.ipynb). Ανοίξτε το σημειωματάριο με το conda_python3 πυρήνα, εάν σας ζητηθεί.

Παραλείπουμε το δεύτερο σημειωματάριο επειδή επικεντρώνεται στον εκ των υστέρων έλεγχο δεδομένων.

4. Εάν ακολουθείτε το παράδειγμα χρησιμοποιώντας την κονσόλα, δημιουργήστε τον ζωντανό ανιχνευτή Lookout for Metrics και την ειδοποίησή του χρησιμοποιώντας το τρίτο σημειωματάριο (3.GettingStartedWithLiveData.ipynb).

Εάν χρησιμοποιείτε τις παρεχόμενες στοίβες CloudFormation, το τρίτο σημειωματάριο δεν απαιτείται. Ο ανιχνευτής και η ειδοποίησή του δημιουργούνται ως μέρος της στοίβας.

5. Αφού δημιουργήσετε τον ζωντανό ανιχνευτή Lookout for Metrics, πρέπει να τον ενεργοποιήσετε από την κονσόλα.

Μπορεί να χρειαστούν έως και 2 ώρες για την προετοιμασία του μοντέλου και τον εντοπισμό ανωμαλιών.

6. Αναπτύξτε μια συνάρτηση Lambda, χρησιμοποιώντας Python με ένα επίπεδο βιβλιοθήκης Pandas και δημιουργήστε μια ειδοποίηση συνδεδεμένη στον ζωντανό ανιχνευτή για να την εκκινήσετε.
7. Χρησιμοποιήστε τον συνδυασμό Athena και AWS Glue για να ανακαλύψετε και να προετοιμάσετε τα δεδομένα για το QuickSight.
8. Δημιουργήστε την πηγή δεδομένων και τα σύνολα δεδομένων QuickSight.
9. Τέλος, δημιουργήστε μια ανάλυση QuickSight για οπτικοποίηση, χρησιμοποιώντας τα σύνολα δεδομένων.

Τα σενάρια CloudFormation εκτελούνται συνήθως ως ένα σύνολο ένθετων στοίβων σε ένα περιβάλλον παραγωγής. Παρέχονται μεμονωμένα σε αυτήν την ανάρτηση για να διευκολυνθεί μια βήμα προς βήμα περιγραφή.

Προϋποθέσεις

Για να περάσετε από αυτήν την περιγραφή, χρειάζεστε έναν λογαριασμό AWS όπου θα αναπτυχθεί η λύση. Βεβαιωθείτε ότι όλοι οι πόροι που αναπτύσσετε βρίσκονται στην ίδια Περιοχή. Χρειάζεστε έναν ανιχνευτή Lookout for Metrics που λειτουργεί από τα σημειωματάρια 1 και 3 από το GitHub repo. Εάν δεν έχετε ανιχνευτή Lookout for Metrics που εκτελείται, έχετε δύο επιλογές:

• Εκτελέστε τα σημειωματάρια 1 και 3 και συνεχίστε από το βήμα 1 αυτής της ανάρτησης (δημιουργία της συνάρτησης Lambda και της ειδοποίησης)
• Εκτελέστε το notebook 1 και, στη συνέχεια, χρησιμοποιήστε το πρότυπο CloudFormation για να δημιουργήσετε τον ανιχνευτή Lookout for Metrics

Δημιουργήστε τον ζωντανό ανιχνευτή χρησιμοποιώντας το AWS CloudFormation

Η L4MLiveDetector.yaml Το σενάριο CloudFormation δημιουργεί τον ανιχνευτή ανωμαλιών Lookout for Metrics με την πηγή του να δείχνει τα ζωντανά δεδομένα στον καθορισμένο κάδο S3. Για να δημιουργήσετε τον ανιχνευτή, ολοκληρώστε τα παρακάτω βήματα:

1. Εκκινήστε τη στοίβα από τον παρακάτω σύνδεσμο:

2. Στις Δημιουργία στοίβας σελίδα, επιλέξτε Επόμενο.
3. Στις Καθορίστε λεπτομέρειες στοίβας σελίδα, παρέχετε τις ακόλουθες πληροφορίες:
   1. Ένα όνομα στοίβας. Για παράδειγμα, L4MLiveDetector.
   2. Ο κάδος S3, <Account Number>-lookoutmetrics-lab.
   3. Ο ρόλος ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
   4. Συχνότητα ανίχνευσης ανωμαλιών. Επιλέγω PT1H (ωριαίος).
4. Επιλέξτε Επόμενο.
5. Στις Διαμόρφωση επιλογών στοίβας σελίδα, αφήστε τα πάντα ως έχουν και επιλέξτε Επόμενο.
6. Στις Βαθμολογία Κριτικής σελίδα, αφήστε τα πάντα ως έχουν και επιλέξτε Δημιουργία στοίβας.

Δημιουργήστε την ειδοποίηση SMS ζωντανού ανιχνευτή χρησιμοποιώντας το AWS CloudFormation (Προαιρετικό)

Αυτό το βήμα είναι προαιρετικό. Η ειδοποίηση παρουσιάζεται ως παράδειγμα, χωρίς επιπτώσεις στη δημιουργία δεδομένων. ο L4MLiveDetectorAlert.yaml Το σενάριο CloudFormation δημιουργεί την ειδοποίηση ανιχνευτή ανωμαλιών Lookout for Metrics με έναν στόχο SMS.

1. Εκκινήστε τη στοίβα από τον παρακάτω σύνδεσμο:

2. Στις Δημιουργία στοίβας σελίδα, επιλέξτε Επόμενο.
3. Στις Καθορίστε λεπτομέρειες στοίβας σελίδα, ενημερώστε τον αριθμό τηλεφώνου SMS και εισαγάγετε ένα όνομα για τη στοίβα (για παράδειγμα, L4MLiveDetectorAlert).
4. Επιλέξτε Επόμενο.
5. Στις Διαμόρφωση επιλογών στοίβας σελίδα, αφήστε τα πάντα ως έχουν και επιλέξτε Επόμενο.
6. Στις Βαθμολογία Κριτικής σελίδα, επιλέξτε το πλαίσιο ελέγχου επιβεβαίωσης, αφήστε όλα τα άλλα ως έχουν και επιλέξτε Δημιουργία στοίβας.

Εκκαθάριση πόρων

Πριν προχωρήσετε στο επόμενο βήμα, σταματήστε την παρουσία του φορητού υπολογιστή SageMaker για να διασφαλίσετε ότι δεν θα προκύψουν περιττά έξοδα. Δεν χρειάζεται πλέον.

Δημιουργήστε τη συνάρτηση Lambda και ειδοποίηση

Σε αυτήν την ενότητα, παρέχουμε οδηγίες για τη δημιουργία της λειτουργίας Lambda και της ειδοποίησης μέσω της κονσόλας ή του AWS CloudFormation.

Δημιουργήστε τη λειτουργία και ειδοποιήστε με την κονσόλα

Χρειάζεσαι ένα Λάμδα Διαχείριση ταυτότητας και πρόσβασης AWS (ΕΓΩ ΕΙΜΑΙ) ρόλος μετά τη ελάχιστα προνόμια βέλτιστη πρακτική για πρόσβαση στον κάδο όπου θέλετε να αποθηκευτούν τα αποτελέσματα.

1. 1. Στην κονσόλα Lambda, δημιουργήστε μια νέα λειτουργία.
   2. Αγορά Συγγραφέας από το μηδέν.
   3. Για Όνομα λειτουργίας¸ εισάγετε ένα όνομα.
   4. Για Διάρκεια, επιλέξτε Python 3.8.
   5. Για Ο ρόλος εκτέλεσης, Επιλέξτε Χρησιμοποιήστε έναν υπάρχοντα ρόλο και καθορίστε τον ρόλο που δημιουργήσατε.
   6. Επιλέξτε Δημιουργία λειτουργίας.
2. 
   7. Λήψη το αρχείο ZIP που περιέχει τον απαραίτητο κωδικό για τη συνάρτηση Lambda.
   8. Στην κονσόλα Lambda, ανοίξτε τη λειτουργία.
   9. Στις Κώδικας καρτέλα, επιλέξτε Μεταφόρτωση από, επιλέξτε αρχείο .zipκαι ανεβάστε το αρχείο που κατεβάσατε.
   10. Επιλέξτε Αποθήκευση.

Το δέντρο του αρχείου σας θα πρέπει να παραμείνει το ίδιο μετά τη μεταφόρτωση του αρχείου ZIP.

11. Στο Επίπεδα τμήμα, επιλέξτε Προσθήκη επιπέδου.
12. Αγορά Καθορίστε ένα ARN.
13. Στα ακόλουθα GitHub repo, επιλέξτε το CSV που αντιστοιχεί στην Περιοχή στην οποία εργάζεστε και αντιγράψτε το ARN από την πιο πρόσφατη έκδοση του Panda.
14. Για Καθορίστε ένα ARN, εισαγάγετε το ARN που αντιγράψατε.
15. Επιλέξτε Πρόσθεση.

16. Για να προσαρμόσετε τη συνάρτηση στο περιβάλλον σας, στο κάτω μέρος του κώδικα από το αρχείο lambda_function.py, φροντίστε να ενημερώσετε το όνομα του κάδου με τον κάδο σας όπου θέλετε να αποθηκεύσετε τα αποτελέσματα ανωμαλίας και DataSet_ARN από τον ανιχνευτή ανωμαλιών σας.
17. Επιλέξτε Ανάπτυξη για να ενεργοποιήσετε τις αλλαγές.

Τώρα πρέπει να συνδέσετε τον ανιχνευτή Lookout for Metrics στη λειτουργία σας.

18. Στην κονσόλα Lookout for Metrics, μεταβείτε στον ανιχνευτή σας και επιλέξτε Προσθήκη ειδοποίησης.
19. Εισαγάγετε το όνομα ειδοποίησης και το προτιμώμενο όριο σοβαρότητας.
20. Από τη λίστα καναλιών, επιλέξτε Λάμδα.
21. Επιλέξτε τη συνάρτηση που δημιουργήσατε και βεβαιωθείτε ότι έχετε τον σωστό ρόλο για να την ενεργοποιήσετε.
22. Επιλέξτε Προσθήκη ειδοποίησης.

Τώρα περιμένετε να ενεργοποιηθεί η ειδοποίησή σας. Ο χρόνος ποικίλλει ανάλογα με το πότε ο ανιχνευτής εντοπίζει μια ανωμαλία.

Όταν εντοπίζεται μια ανωμαλία, το Lookout for Metrics ενεργοποιεί τη συνάρτηση Lambda. Λαμβάνει τις απαραίτητες πληροφορίες από το Lookout for Metrics και ελέγχει αν υπάρχει ήδη αποθηκευμένο αρχείο CSV στο Amazon S3 στην αντίστοιχη χρονική σήμανση της ανωμαλίας. Εάν δεν υπάρχει αρχείο, το Lambda δημιουργεί το αρχείο και προσθέτει τα δεδομένα ανωμαλίας. Εάν το αρχείο υπάρχει ήδη, το Lambda ενημερώνει το αρχείο με τα επιπλέον δεδομένα που λαμβάνονται. Η συνάρτηση δημιουργεί ένα ξεχωριστό αρχείο CSV για κάθε διαφορετική χρονική σήμανση.

Δημιουργήστε τη συνάρτηση και ειδοποίηση χρησιμοποιώντας το AWS CloudFormation

Παρόμοια με τις οδηγίες της κονσόλας, εσείς κατεβάστε το αρχείο ZIP που περιέχει τον απαραίτητο κωδικό για τη συνάρτηση Λάμδα. Ωστόσο, σε αυτήν την περίπτωση πρέπει να μεταφορτωθεί στον κάδο S3 προκειμένου ο κώδικας AWS CloudFormation να τον φορτώσει κατά τη δημιουργία της συνάρτησης.

Στον κάδο S3 που καθορίζεται στη δημιουργία ανιχνευτή Lookout for Metrics, δημιουργήστε έναν φάκελο που ονομάζεται lambda-code και ανεβάστε το αρχείο ZIP.

Η συνάρτηση Lambda το φορτώνει ως κωδικό κατά τη δημιουργία.

Η L4MLambdaFunction.yaml Η δέσμη ενεργειών CloudFormation δημιουργεί τους πόρους συνάρτησης Lambda και ειδοποιήσεων και χρησιμοποιεί το αρχείο κώδικα συνάρτησης που είναι αποθηκευμένο στον ίδιο κάδο S3.

1. Εκκινήστε τη στοίβα από τον παρακάτω σύνδεσμο:

2. Στις Δημιουργία στοίβας σελίδα, επιλέξτε Επόμενο.
3. Στις Καθορίστε λεπτομέρειες στοίβας σελίδα, καθορίστε ένα όνομα στοίβας (για παράδειγμα, L4MLambdaFunction).
4. Στα ακόλουθα GitHub repo, ανοίξτε το CSV που αντιστοιχεί στην Περιοχή στην οποία εργάζεστε και αντιγράψτε το ARN από την πιο πρόσφατη έκδοση του Panda.
5. Εισαγάγετε το ARN ως την παράμετρο ARN του επιπέδου Pandas Lambda.
6. Επιλέξτε Επόμενο.
7. Στις Διαμόρφωση επιλογών στοίβας σελίδα, αφήστε τα πάντα ως έχουν και επιλέξτε Επόμενο.
8. Στις Βαθμολογία Κριτικής σελίδα, επιλέξτε το πλαίσιο ελέγχου επιβεβαίωσης, αφήστε όλα τα άλλα ως έχουν και επιλέξτε Δημιουργία στοίβας.

Ενεργοποιήστε τον ανιχνευτή

Πριν προχωρήσετε στο επόμενο βήμα, πρέπει να ενεργοποιήσετε τον ανιχνευτή από την κονσόλα.

1. Στην κονσόλα αναζήτησης για μετρήσεις, επιλέξτε Ανιχνευτές στο παράθυρο πλοήγησης.
2. Επιλέξτε τον ανιχνευτή που μόλις δημιουργήσατε.
3. Επιλέξτε Θέτω εις ενέργειαν, κατόπιν επιλέξτε Θέτω εις ενέργειαν ξανά για επιβεβαίωση.

Η ενεργοποίηση αρχικοποιεί τον ανιχνευτή. τελειώνει όταν το μοντέλο έχει ολοκληρώσει τον κύκλο εκμάθησής του. Αυτό μπορεί να διαρκέσει έως και 2 ώρες.

Προετοιμάστε τα δεδομένα για το QuickSight

Πριν ολοκληρώσετε αυτό το βήμα, δώστε χρόνο στον ανιχνευτή να εντοπίσει ανωμαλίες. Η συνάρτηση Lambda που δημιουργήσατε αποθηκεύει τα αποτελέσματα ανωμαλίας στον κάδο Lookout for Metrics στο anomalyResults Ευρετήριο. Μπορούμε τώρα να επεξεργαστούμε αυτά τα δεδομένα για να τα προετοιμάσουμε για το QuickSight.

Δημιουργήστε το πρόγραμμα ανίχνευσης AWS Glue στην κονσόλα

Αφού δημιουργηθούν ορισμένα αρχεία CSV ανωμαλιών, χρησιμοποιούμε έναν ανιχνευτή AWS Glue για να δημιουργήσουμε τους πίνακες μεταδεδομένων.

1. Στην κονσόλα κόλλας AWS, επιλέξτε Ανιχνευτές στο παράθυρο πλοήγησης.
2. Επιλέξτε Προσθήκη προγράμματος ανίχνευσης.

3. Εισαγάγετε ένα όνομα για το πρόγραμμα ανίχνευσης (για παράδειγμα, L4MCrawler).
4. Επιλέξτε Επόμενο.
5. Για Τύπος πηγής προγράμματος ανίχνευσης, Επιλέξτε Αποθήκες δεδομένων.
6. Για Επαναλάβετε τις ανιχνεύσεις των αποθηκών δεδομένων S3, Επιλέξτε Ανίχνευση όλων των φακέλων.
7. Επιλέξτε Επόμενο.

8. Στη σελίδα διαμόρφωσης χώρου αποθήκευσης δεδομένων, για Ανίχνευση δεδομένων σε, Επιλέξτε Καθορισμένη διαδρομή στο λογαριασμό μου.
9. Για Συμπερίληψη διαδρομής, μπείτε στο μονοπάτι σας dimensionContributions αρχείο (s3://YourBucketName/anomalyResults/dimensionContributions).
10. Επιλέξτε Επόμενο.
11. Επιλέξτε Ναι για να προσθέσετε άλλο χώρο αποθήκευσης δεδομένων και να επαναλάβετε τις οδηγίες για metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
12. Επαναλάβετε ξανά τις οδηγίες για τα ζωντανά δεδομένα που θα αναλυθούν από τον ανιχνευτή ανωμαλιών Lookout for Metrics (αυτή είναι η τοποθεσία δεδομένων S3 από τον ανιχνευτή Lookout for Metrics).

Θα πρέπει τώρα να έχετε τρεις αποθήκες δεδομένων για επεξεργασία από το πρόγραμμα ανίχνευσης.

Τώρα πρέπει να επιλέξετε τον ρόλο που θα επιτρέψει στον ανιχνευτή να περάσει από τις τοποθεσίες S3 των δεδομένων σας.

13. Για αυτήν την ανάρτηση, επιλέξτε Δημιουργήστε ένα ρόλο IAM και πληκτρολογήστε ένα όνομα για το ρόλο.
14. Επιλέξτε Επόμενο.

15. Για Συχνότητα, αφήστε ως Εκτελείται κατ 'απαίτηση Και επιλέξτε Επόμενο.
16. Στο Διαμορφώστε την έξοδο του προγράμματος ανίχνευσης τμήμα, επιλέξτε Προσθήκη βάσης δεδομένων.

Αυτό δημιουργεί τη βάση δεδομένων Athena όπου βρίσκονται οι πίνακες μεταδεδομένων σας μετά την ολοκλήρωση του προγράμματος ανίχνευσης.

17. Εισαγάγετε ένα όνομα για τη βάση δεδομένων σας και επιλέξτε Δημιουργία.
18. Επιλέξτε Επόμενο, κατόπιν επιλέξτε φινίρισμα.

19. Στις Ανιχνευτές σελίδα της κονσόλας AWS Glue, επιλέξτε το πρόγραμμα ανίχνευσης που δημιουργήσατε και επιλέξτε Εκτελέστε το πρόγραμμα ανίχνευσης.

Ίσως χρειαστεί να περιμένετε μερικά λεπτά, ανάλογα με το μέγεθος των δεδομένων. Όταν ολοκληρωθεί, η κατάσταση του ανιχνευτή εμφανίζεται ως Έτοιμος. Για να δείτε τους πίνακες μεταδεδομένων, μεταβείτε στη βάση δεδομένων σας στο Βάσεις Δεδομένων σελίδα και επιλέξτε πίνακες στο παράθυρο πλοήγησης.

Σε αυτό το παράδειγμα, ο πίνακας μεταδεδομένων που ονομάζεται live αντιπροσωπεύει το σύνολο δεδομένων S3 από τον ζωντανό ανιχνευτή Lookout for Metrics. Ως βέλτιστη πρακτική, συνιστάται να κρυπτογραφήστε τα μεταδεδομένα σας AWS Glue Data Catalog.

Το Athena αναγνωρίζει αυτόματα τους πίνακες μεταδεδομένων και το QuickSight χρησιμοποιεί το Athena για να ρωτήσει τα δεδομένα και να οπτικοποιήσει τα αποτελέσματα.

Δημιουργήστε το πρόγραμμα ανίχνευσης AWS Glue χρησιμοποιώντας το AWS CloudFormation

Η L4MGlueCrawler.yaml Το σενάριο CloudFormation δημιουργεί τον ανιχνευτή AWS Glue, τον συσχετισμένο ρόλο του IAM και τη βάση δεδομένων εξόδου Athena.

1. Εκκινήστε τη στοίβα από τον παρακάτω σύνδεσμο:

2. Στις Δημιουργία στοίβας σελίδα, επιλέξτε Επόμενο.
3. Στις Καθορίστε λεπτομέρειες στοίβας σελίδα, πληκτρολογήστε ένα όνομα για τη στοίβα σας (για παράδειγμα, L4MGlueCrawler) και επιλέξτε Επόμενο.
4. Στις Διαμόρφωση επιλογών στοίβας σελίδα, αφήστε τα πάντα ως έχουν και επιλέξτε Επόμενο.
5. Στις Βαθμολογία Κριτικής σελίδα, επιλέξτε το πλαίσιο ελέγχου επιβεβαίωσης, αφήστε όλα τα άλλα ως έχουν και επιλέξτε Δημιουργία στοίβας.

Εκτελέστε το πρόγραμμα ανίχνευσης AWS Glue

Αφού δημιουργήσετε το πρόγραμμα ανίχνευσης, πρέπει να το εκτελέσετε πριν προχωρήσετε στο επόμενο βήμα. Μπορείτε να το εκτελέσετε από την κονσόλα ή το Διεπαφή γραμμής εντολών AWS (AWS CLI). Για να χρησιμοποιήσετε την κονσόλα, ολοκληρώστε τα παρακάτω βήματα:

1. Στην κονσόλα κόλλας AWS, επιλέξτε Ανιχνευτές στο παράθυρο πλοήγησης.
2. Επιλέξτε το πρόγραμμα ανίχνευσης (L4MCrawler).
3. Επιλέξτε Εκτελέστε το πρόγραμμα ανίχνευσης.

Όταν ολοκληρωθεί ο ανιχνευτής, εμφανίζει την κατάσταση Έτοιμος.

Δημιουργήστε έναν λογαριασμό QuickSight

Πριν ξεκινήσετε αυτό το επόμενο βήμα, μεταβείτε στην κονσόλα QuickSight και δημιουργήστε έναν λογαριασμό εάν δεν έχετε ήδη. Για να βεβαιωθείτε ότι έχετε πρόσβαση στις αντίστοιχες υπηρεσίες (κάδος Athena και S3), επιλέξτε το όνομα του λογαριασμού σας επάνω δεξιά, επιλέξτε Διαχείριση QuickSight, και επιλέξτε Ασφάλεια και Άδειες, όπου μπορείτε να προσθέσετε τις απαραίτητες υπηρεσίες. Κατά τη ρύθμιση της πρόσβασής σας στο Amazon S3, φροντίστε να επιλέξετε Άδεια εγγραφής για το Athena Workgroup.

Τώρα είστε έτοιμοι να οπτικοποιήσετε τα δεδομένα σας στο QuickSight.

Δημιουργήστε τα σύνολα δεδομένων QuickSight στην κονσόλα

Εάν αυτή είναι η πρώτη φορά που χρησιμοποιείτε το Athena, πρέπει να διαμορφώσετε τη θέση εξόδου των ερωτημάτων. Για οδηγίες, ανατρέξτε στα Βήματα 1–6 Δημιουργήστε μια βάση δεδομένων. Στη συνέχεια, ολοκληρώστε τα παρακάτω βήματα:

1. Στην κονσόλα QuickSight, επιλέξτε Δεδομένα.
2. Επιλέξτε Νέο σύνολο δεδομένων.
3. Επιλέξτε την Αθηνά ως πηγή σας.
4. Εισαγάγετε ένα όνομα για την πηγή δεδομένων σας.
5. Επιλέξτε Δημιουργία πηγής δεδομένων.

6. Για τη βάση δεδομένων σας, καθορίστε αυτήν που δημιουργήσατε νωρίτερα με τον ανιχνευτή AWS Glue.
7. Καθορίστε τον πίνακα που περιέχει τα ζωντανά δεδομένα σας (όχι τις ανωμαλίες).
8. Επιλέξτε Επεξεργασία/προεπισκόπηση δεδομένων.

Ανακατευθυνθείτε σε μια διεπαφή παρόμοια με το παρακάτω στιγμιότυπο οθόνης.

Το επόμενο βήμα είναι να προσθέσετε και να συνδυάσετε το metricValue_AnomalyScore δεδομένα με τα ζωντανά δεδομένα.

9. Επιλέξτε Προσθήκη δεδομένων.
10. Επιλέξτε Προσθήκη πηγής δεδομένων.
11. Καθορίστε τη βάση δεδομένων που δημιουργήσατε και το metricValue_AnomalyScore πίνακα.
12. Επιλέξτε Αγορά.

Πρέπει τώρα να διαμορφώσετε την ένωση των δύο πινάκων.

13. Επιλέξτε τη σύνδεση μεταξύ των δύο πινάκων.
14. Αφήστε τον τύπο σύνδεσης ως Αριστερό, προσθέστε τη χρονική σήμανση και κάθε ιδιότητα που έχετε ως ρήτρα σύνδεσης και επιλέξτε Εφαρμογή.

Στο παρακάτω παράδειγμα, χρησιμοποιούμε χρονική σήμανση, πλατφόρμα και αγορά ως ρήτρες σύνδεσης.

Στο δεξιό παράθυρο, μπορείτε να αφαιρέσετε τα πεδία που δεν σας ενδιαφέρει να διατηρήσετε.

15. Αφαιρέστε τη χρονική σήμανση από το metricValue_AnomalyScore πίνακα για να μην υπάρχει διπλότυπη στήλη.
16. Αλλάξτε τον τύπο δεδομένων χρονικής σήμανσης (του πίνακα ζωντανών δεδομένων) από συμβολοσειρά σε ημερομηνία και καθορίστε τη σωστή μορφή. Στην περίπτωσή μας, θα έπρεπε να είναι yyyy-MM-dd HH:mm:ss.

Το παρακάτω στιγμιότυπο οθόνης δείχνει την προβολή σας αφού αφαιρέσετε ορισμένα πεδία και προσαρμόσετε τον τύπο δεδομένων.

17. Επιλέξτε Αποθήκευση και οπτικοποίηση.
18. Επιλέξτε το εικονίδιο με το μολύβι δίπλα στο σύνολο δεδομένων.
19. Επιλέξτε Προσθήκη δεδομένων Και επιλέξτε dimensioncontributions.

Δημιουργήστε τα σύνολα δεδομένων QuickSight χρησιμοποιώντας το AWS CloudFormation

Αυτό το βήμα περιέχει τρεις στοίβες CloudFormation.

Το πρώτο σενάριο CloudFormation, L4MQuickSightDataSource.yaml, δημιουργεί την πηγή δεδομένων QuickSight Athena.

1. Εκκινήστε τη στοίβα από τον παρακάτω σύνδεσμο:

2. Στις Δημιουργία στοίβας σελίδα, επιλέξτε Επόμενο.
3. Στις Καθορίστε λεπτομέρειες στοίβας σελίδα, εισαγάγετε το όνομα χρήστη QuickSight, την Περιοχή λογαριασμού QuickSight (καθορίζεται κατά τη δημιουργία του λογαριασμού QuickSight) και ένα όνομα στοίβας (για παράδειγμα, L4MQuickSightDataSource).
4. Επιλέξτε Επόμενο.
5. Στις Διαμόρφωση επιλογών στοίβας σελίδα, αφήστε τα πάντα ως έχουν και επιλέξτε Επόμενο.
6. Στις Βαθμολογία Κριτικής σελίδα, αφήστε τα πάντα ως έχουν και επιλέξτε Δημιουργία στοίβας.

Το δεύτερο σενάριο CloudFormation, L4MQuickSightDataSet1.yaml, δημιουργεί ένα σύνολο δεδομένων QuickSight που ενώνει τον πίνακα διαστάσεων με τον πίνακα ανωμαλιών.

1. Εκκινήστε τη στοίβα από τον παρακάτω σύνδεσμο:

2. Στις Δημιουργία στοίβας σελίδα, επιλέξτε Επόμενο.
3. Στις Καθορίστε λεπτομέρειες στοίβας, πληκτρολογήστε ένα όνομα στοίβας (για παράδειγμα, L4MQuickSightDataSet1).
4. Επιλέξτε Επόμενο.
5. Στις Διαμόρφωση επιλογών στοίβας σελίδα, αφήστε τα πάντα ως έχουν και επιλέξτε Επόμενο.
6. Στις Βαθμολογία Κριτικής σελίδα, αφήστε τα πάντα ως έχουν και επιλέξτε Δημιουργία στοίβας.

Το τρίτο σενάριο CloudFormation, L4MQuickSightDataSet2.yaml, δημιουργεί το σύνολο δεδομένων QuickSight που ενώνει τον πίνακα ανωμαλιών με τον πίνακα ζωντανών δεδομένων.

1. Εκκινήστε τη στοίβα από τον παρακάτω σύνδεσμο:

2. Στις Δημιουργία σελίδας στοίβας¸ επιλέξτε Επόμενο.
3. Στις Καθορίστε λεπτομέρειες στοίβας σελίδα, πληκτρολογήστε ένα όνομα στοίβας (για παράδειγμα, L4MQuickSightDataSet2).
4. Επιλέξτε Επόμενο.
5. Στις Διαμόρφωση επιλογών στοίβας σελίδα, αφήστε τα πάντα ως έχουν και επιλέξτε Επόμενο.
6. Στις Βαθμολογία Κριτικής σελίδα, αφήστε τα πάντα ως έχουν και επιλέξτε Δημιουργία στοίβας.

Δημιουργήστε την ανάλυση QuickSight για τη δημιουργία πίνακα εργαλείων

Αυτό το βήμα μπορεί να ολοκληρωθεί μόνο στην κονσόλα. Αφού δημιουργήσετε τα σύνολα δεδομένων QuickSight, ολοκληρώστε τα παρακάτω βήματα:

1. Στην κονσόλα QuickSight, επιλέξτε Ανάλυση στο παράθυρο πλοήγησης.
2. Επιλέξτε Νέα ανάλυση.
3. Επιλέξτε το πρώτο σύνολο δεδομένων, L4MQuickSightDataSetWithLiveData.

4. Επιλέξτε Δημιουργία ανάλυσης.

Η ανάλυση QuickSight δημιουργείται αρχικά μόνο με το πρώτο σύνολο δεδομένων.

5. Για να προσθέσετε το δεύτερο σύνολο δεδομένων, επιλέξτε το εικονίδιο με το μολύβι δίπλα Σύνολο δεδομένων Και επιλέξτε Προσθήκη δεδομένων.
6. Επιλέξτε το δεύτερο σύνολο δεδομένων και επιλέξτε Αγορά.

Στη συνέχεια, μπορείτε να χρησιμοποιήσετε οποιοδήποτε σύνολο δεδομένων για τη δημιουργία γραφημάτων επιλέγοντάς το στο Σύνολο δεδομένων πτυσώμενο μενού.

Μετρήσεις συνόλου δεδομένων

Έχετε δημιουργήσει με επιτυχία μια ανάλυση QuickSight από τα αποτελέσματα συμπερασμάτων Lookout for Metrics και τα ζωντανά δεδομένα. Δύο σύνολα δεδομένων υπάρχουν στο QuickSight για χρήση: L4M_Visualization_dataset_with_liveData και L4M_Visualization_dataset_with_dimensionContribution.

Η L4M_Visualization_dataset_with_liveData Το σύνολο δεδομένων περιλαμβάνει τις ακόλουθες μετρήσεις:

• timestamp – Η ημερομηνία και η ώρα των ζωντανών δεδομένων μεταβιβάστηκαν στο Lookout for Metrics
• εμφανίσεις – Η τιμή της μέτρησης προβολών
• έσοδα – Η αξία της μέτρησης εσόδων
• πλατφόρμα, αγορά, έσοδαAnomalyMetricValue, viewsAnomalyMetricValue, έσοδαGroupScore και viewsGroupScore – Αυτές οι μετρήσεις αποτελούν μέρος και των δύο συνόλων δεδομένων

Η L4M_Visualization_dataset_with_dimensionContribution Το σύνολο δεδομένων περιλαμβάνει τις ακόλουθες μετρήσεις:

• timestamp – Η ημερομηνία και η ώρα εντοπισμού της ανωμαλίας
• metricName – Οι μετρήσεις που παρακολουθείτε
• διάστασηΌνομα – Η διάσταση εντός της μέτρησης
• τιμή διάστασης – Η τιμή της διάστασης
• αξίαΣυμβολή – Το ποσοστό σχετικά με το πόσο dimensionValue επηρεάζει την ανωμαλία όταν εντοπίζεται

Το παρακάτω στιγμιότυπο οθόνης δείχνει αυτές τις πέντε μετρήσεις στον πίνακα ελέγχου ανωμαλιών του ανιχνευτή Lookout for Metrics.

Οι ακόλουθες μετρήσεις αποτελούν μέρος και των δύο συνόλων δεδομένων:

• πλατφόρμες – Η εξέδρα όπου συνέβη η ανωμαλία
• αγορά – Η αγορά όπου συνέβη η ανωμαλία
• έσοδαAnomalyMetricValue και προβολέςAnomalyMetricValue – Οι αντίστοιχες τιμές της μέτρησης όταν εντοπίστηκε η ανωμαλία (σε αυτήν την περίπτωση, οι μετρήσεις είναι έσοδα ή προβολές)
• έσοδαGroupScore και viewsGroupScore – Οι βαθμολογίες σοβαρότητας για κάθε μέτρηση για την ανιχνευόμενη ανωμαλία

Για να κατανοήσετε καλύτερα αυτές τις τελευταίες μετρήσεις, μπορείτε να ελέγξετε τα αρχεία CSV που δημιουργήθηκαν από τη συνάρτηση Lambda στον κάδο S3 όπου αποθηκεύσατε anomalyResults/metricValue_AnomalyScore.

Τα επόμενα βήματα

Το επόμενο βήμα είναι να δημιουργήσετε τους πίνακες εργαλείων για τα δεδομένα που θέλετε να δείτε. Αυτή η ανάρτηση δεν περιλαμβάνει εξήγηση για τη δημιουργία γραφημάτων QuickSight. Εάν είστε νέοι στο QuickSight, ανατρέξτε στο Ξεκινώντας με την ανάλυση δεδομένων στο Amazon QuickSight για μια εισαγωγή. Τα ακόλουθα στιγμιότυπα οθόνης δείχνουν παραδείγματα βασικών πινάκων εργαλείων. Για περισσότερες πληροφορίες, ρίξτε μια ματιά στο Εργαστήρια QuickSight.

Συμπέρασμα

Οι ανωμαλίες παρουσιάζονται μεμονωμένα στην κονσόλα Lookout for Metrics, η καθεμία με το δικό της γράφημα, καθιστώντας δύσκολη την προβολή του συνόλου στο σύνολό του. Απαιτείται μια αυτοματοποιημένη, ολοκληρωμένη λύση για βαθύτερη ανάλυση. Σε αυτήν την ανάρτηση, χρησιμοποιήσαμε έναν ανιχνευτή Lookout for Metrics για να δημιουργήσουμε ανωμαλίες και συνδέσαμε τα δεδομένα στο QuickSight για να δημιουργήσουμε απεικονίσεις. Αυτή η λύση μας δίνει τη δυνατότητα να διεξάγουμε βαθύτερη ανάλυση σε ανωμαλίες και να τις έχουμε όλες σε ένα μόνο μέρος/πίνακα ελέγχου.

Ως επόμενο βήμα, αυτή η λύση θα μπορούσε επίσης να επεκταθεί προσθέτοντας ένα επιπλέον σύνολο δεδομένων και να συνδυάσει ανωμαλίες από πολλαπλούς ανιχνευτές. Θα μπορούσατε επίσης να προσαρμόσετε τη λειτουργία Λάμδα. Η συνάρτηση Lambda περιέχει τον κώδικα που δημιουργεί τα σύνολα δεδομένων και τα ονόματα μεταβλητών που χρησιμοποιούμε για τους πίνακες εργαλείων QuickSight. Μπορείτε να προσαρμόσετε αυτόν τον κωδικό στη συγκεκριμένη περίπτωση χρήσης σας αλλάζοντας τα ίδια τα σύνολα δεδομένων ή τα ονόματα των μεταβλητών που έχουν πιο νόημα για εσάς.

Εάν έχετε οποιαδήποτε σχόλια ή ερωτήσεις, αφήστε τα στα σχόλια.

---

Σχετικά με τους Συγγραφείς

Benoît de Patoul είναι AI/ML Specialist Solutions Architect στο AWS. Βοηθά τους πελάτες παρέχοντας καθοδήγηση και τεχνική βοήθεια για τη δημιουργία λύσεων που σχετίζονται με το AI/ML κατά τη χρήση του AWS.

Παύλος Τροιάνο είναι Senior Solutions Architect στην AWS, με έδρα την Ατλάντα, GA. Βοηθά τους πελάτες παρέχοντας καθοδήγηση σχετικά με τεχνολογικές στρατηγικές και λύσεις στο AWS. Είναι παθιασμένος με όλα τα πράγματα AI/ML και αυτοματισμό λύσεων.