Αναζήτηση Amazon για μετρήσεις είναι μια υπηρεσία AWS που χρησιμοποιεί μηχανική εκμάθηση (ML) για την αυτόματη παρακολούθηση των μετρήσεων που είναι πιο σημαντικές για τις επιχειρήσεις με μεγαλύτερη ταχύτητα και ακρίβεια. Η υπηρεσία διευκολύνει επίσης τη διάγνωση της βασικής αιτίας των ανωμαλιών, όπως απροσδόκητες μειώσεις στα έσοδα, υψηλά ποσοστά εγκαταλελειμμένων καλαθιών αγορών, αυξήσεις στις αποτυχίες συναλλαγών πληρωμών, αυξήσεις στις εγγραφές νέων χρηστών και πολλά άλλα. Το Lookout for Metrics υπερβαίνει τον απλό εντοπισμό ανωμαλιών. Επιτρέπει στους προγραμματιστές να ρυθμίσουν αυτόνομη παρακολούθηση για σημαντικές μετρήσεις για τον εντοπισμό ανωμαλιών και τον εντοπισμό της βασικής αιτίας τους μέσα σε λίγα κλικ για τον εντοπισμό ανωμαλιών στις μετρήσεις του—όλα αυτά χωρίς να απαιτείται εμπειρία ML.
Αμαζόν Αθηνά είναι μια διαδραστική υπηρεσία ερωτημάτων που διευκολύνει την ανάλυση δεδομένων Υπηρεσία απλής αποθήκευσης Amazon (Amazon S3) χρησιμοποιώντας τυπική SQL. Απλώς υποδείξτε τα δεδομένα σας στο Amazon S3, ορίστε το σχήμα και ξεκινήστε την αναζήτηση χρησιμοποιώντας την τυπική SQL. Τα περισσότερα αποτελέσματα παραδίδονται μέσα σε δευτερόλεπτα. Με το Athena, δεν υπάρχει ανάγκη για πολύπλοκες εργασίες ETL για την προετοιμασία των δεδομένων σας για ανάλυση. Αυτό καθιστά εύκολο για οποιονδήποτε με δεξιότητες SQL να αναλύει γρήγορα σύνολα δεδομένων μεγάλης κλίμακας.
Με τη σημερινή κυκλοφορία, το Lookout for Metrics μπορεί πλέον να συνδεθεί απρόσκοπτα με τα δεδομένα σας στο Athena για να ρυθμίσει ανιχνευτές ανωμαλιών υψηλής ακρίβειας. Αυτό σας επιτρέπει να αναπτύξετε γρήγορα τον εντοπισμό ανωμαλιών τελευταίας τεχνολογίας μέσω ML με το Lookout for Metrics σε σχέση με τυχόν σύνολα δεδομένων που είναι διαθέσιμα στο Athena.
Η συνδεσιμότητα Athena επεκτείνει τις δυνατότητες του Lookout for Metrics φέρνοντας τα ακόλουθα πλεονεκτήματα:
- Επεκτείνει τις δυνατότητες του Lookout for Metrics όσον αφορά υποστήριξη τύπου αρχείου. Πριν από αυτό, το Lookout for Metrics υποστήριζε αρχεία με μορφοποίηση CSV και JSONLines, αλλά με το Athena αυτό επεκτάθηκε σε Parquet, Avro, Plaintext και άλλα. Εάν μπορείτε να το αναλύσετε μέσω της Athena, τότε είναι πλέον δυνατή η εισαγωγή και η μόχλευση με το Lookout for Metrics.
- Εισάγει επίσης υποστήριξη για δεδομένα με ομοσπονδιακά ερωτήματα. Πριν από αυτήν την κυκλοφορία, εάν τα δεδομένα σας ήταν αποθηκευμένα σε πολλές βάσεις δεδομένων ή πηγές, θα πρέπει να ορίσετε μια πλήρη σύνθετη διαδικασία ETL καθώς και να διαχειριστείτε τα χαρακτηριστικά απόδοσης για να μπορέσετε να εξαγάγετε όλα τα δεδομένα σε ένα αρχείο CSV ή JSONLines και να τα εισαγάγετε στο Lookout for Metrics for Anomaly Detection. Με τα ομοσπονδιακά ερωτήματα από την Athena, ορίζετε τις διαφορετικές πηγές καθώς και τον τρόπο με τον οποίο θα πρέπει να εκτελείται η σύνδεση και όταν τα δεδομένα έχουν υποστεί επεξεργασία και μπορούν να ερωτηθούν από την Athena, είναι αμέσως έτοιμο για το Lookout for Metrics. Αυτό σας δίνει τη δυνατότητα να παραδώσετε το βάρος για τον μετασχηματισμό δεδομένων, τη συγκέντρωση και την τοποθεσία παράδοσης στην Athena και απλώς να εστιάσετε στις εντοπισμένες ανωμαλίες από το Lookout for Metrics.
Επισκόπηση λύσεων
Σε αυτήν την ανάρτηση, δείχνουμε πώς να ενσωματώσετε έναν πίνακα Athena και να εντοπίσετε ανωμαλίες στις μετρήσεις εσόδων. Παρακολουθούμε επίσης πώς επηρεάζονται οι μετρήσεις του ποσοστού παραγγελιών και του αποθέματος. Τα δεδομένα προέλευσης βρίσκονται στο Amazon S3 και έχουμε διαμορφώσει πίνακες Athena ώστε να μπορούμε να ρωτάμε τα δεδομένα σε αυτά. Ενα AWS Lambda είναι υπεύθυνος για την ενημέρωση των κατατμήσεων εντός του Athena, τα οποία χρησιμοποιούνται από το Lookout for Metrics για τον εντοπισμό ανωμαλιών. Αυτή η λύση σάς δίνει τη δυνατότητα να χρησιμοποιήσετε μια πηγή δεδομένων Athena για το Lookout for Metrics.
Μπορείτε να χρησιμοποιήσετε το παρεχόμενο AWS CloudFormation στοίβα για να ρυθμίσετε πόρους για την αναλυτική παρουσίαση. Περιέχει πόρους για τη συνεχή δημιουργία ζωντανών δεδομένων και τα καθιστά ικανά για αναζήτηση στο Athena.
- Εκκινήστε τη στοίβα από τον παρακάτω σύνδεσμο και επιλέξτε επόμενη στη σελίδα Δημιουργία στοίβας.
- Στις Καθορίστε λεπτομέρειες στοίβας σελίδα, προσθέστε τις τιμές από πάνω, δώστε της ένα όνομα στοίβας (για παράδειγμα,
L4MAthenaDetector
) και επιλέξτε Επόμενο. - Στις Διαμόρφωση επιλογών στοίβας σελίδα, αφήστε τα πάντα ως έχουν και επιλέξτε Επόμενο.
Ρυθμίστε έναν νέο ανιχνευτή με την Athena ως πηγή δεδομένων
Βήμα 1
Συνδεθείτε στο Κονσόλα AWS για να ξεκινήσετε με τη δημιουργία ενός ανιχνευτή ανωμαλιών με το Lookout for Metrics. Το πρώτο βήμα είναι να επιλέξετε το κουμπί «Δημιουργία ανιχνευτή».
Βήμα 2
Συμπληρώστε τα υποχρεωτικά πεδία ανιχνευτή όπως όνομα. Επιλέξτε το διάστημα ανίχνευσης για τον ανιχνευτή, το οποίο καθορίζεται από τη συχνότητα με την οποία θέλετε το Lookout for Metrics να ερωτά τα δεδομένα σας και να τα παρακολουθεί για ανωμαλίες. Οι πληροφορίες κρυπτογράφησης δεν είναι υποχρεωτικές. Οι πληροφορίες κρυπτογράφησης επιτρέπουν στο Lookout for Metrics να κρυπτογραφεί τα δεδομένα σας χρησιμοποιώντας τη δική σας Υπηρεσία διαχείρισης κλειδιών AWS (KMS) κλειδί. Σε αυτό το παράδειγμα, θα παραλείψουμε την προσθήκη ενός κλειδιού κρυπτογράφησης, το Lookout for Metrics θα χρησιμοποιούσε προεπιλεγμένη κρυπτογράφηση για την κρυπτογράφηση των δεδομένων σας εάν δεν παρέχονται πληροφορίες κρυπτογράφησης και θα προχωρήσετε επιλέγοντας το κουμπί "Δημιουργία".
Βήμα 3
Μετά τη δημιουργία του ανιχνευτή ανωμαλιών, θα δείτε την επιβεβαίωση σε ένα banner στο επάνω μέρος. Μπορείτε να προχωρήσετε επιλέγοντας «Προσθήκη συνόλου δεδομένων» είτε μέσω του banner είτε του κουμπιού στην περιοχή «Προσθήκη συνόλου δεδομένων».
Συμπληρώστε τις βασικές πληροφορίες για την πηγή δεδομένων. Η ζώνη ώρας είναι ένα προαιρετικό πεδίο. Επιλέξτε το αναπτυσσόμενο μενού για να επιλέξετε μια πηγή δεδομένων.
Το Lookout for Metrics υποστηρίζει πολλαπλές πηγές δεδομένων ως διευκόλυνση για τους πελάτες. Για αυτό το παράδειγμα, θα επιλέξουμε το Athena.
Μόλις επιλεγεί το Athena ως η πηγή δεδομένων, θα έχετε την επιλογή να επιλέξετε Backtest ή Continuous mode για τον ανιχνευτή. Για αυτό το παράδειγμα, θα προχωρήσουμε χρησιμοποιώντας τη λειτουργία Συνεχής. Συνεχίστε προσθέτοντας λεπτομέρειες για τον πίνακα Athena που θέλετε να παρακολουθήσετε για ανωμαλίες.
Μπορείτε να επιτρέψετε στην υπηρεσία να δημιουργήσει έναν ρόλο υπηρεσίας ή να χρησιμοποιήσετε έναν υπάρχοντα Διαχείριση ταυτότητας και πρόσβασης AWS (IAM) ρόλο στον λογαριασμό σας για ομοσπονδιακά ερωτήματα. Λάβετε υπόψη ότι το Lookout for Metrics δεν υποστηρίζει την αυτόματη δημιουργία ρόλων IAM για ομοσπονδιακά ερωτήματα. Επομένως, θα πρέπει να δημιουργήσετε έναν νέο ρόλο IAM για να επιτρέψετε στην Athena να εκτελέσει τις ακόλουθες ενέργειες στα δεδομένα σας:
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
Ο ρόλος IAM που δημιουργήθηκε από την υπηρεσία μοιάζει με τον ακόλουθο:
Βήμα 4
Τώρα θα ορίσουμε τις σχετικές μετρήσεις για τον ανιχνευτή. Το Lookout for Metrics θα συμπληρώσει τα αναπτυσσόμενα μενού με τις στήλες που υπάρχουν στον παρεχόμενο πίνακα Athena. Μπορείτε να επιλέξετε έως και πέντε μετρήσεις και πέντε διαστάσεις. Το Lookout for Metrics απαιτεί τα δεδομένα στον πίνακά σας να διαμερίζονται ως χρονικές σημάνσεις για τη στήλη χρονικής σήμανσης. Θα έχετε επίσης την επιλογή να υπολογίσετε το κόστος για αυτόν τον ανιχνευτή προσθέτοντας τον αριθμό των τιμών στις διαστάσεις σας.
Αφού επιλέξετε όλες τις μετρήσεις, προχωρήστε επιλέγοντας το κουμπί "Επόμενο". Ελέγξτε τις λεπτομέρειες και επιλέξτε το κουμπί "Αποθήκευση δεδομένων" για να αποθηκεύσετε το σύνολο δεδομένων.
Βήμα 5
Μόλις δημιουργηθεί το σύνολο δεδομένων, θα ενεργοποιήσουμε τον ανιχνευτή επιλέγοντας είτε το κουμπί "Ενεργοποίηση" στο επάνω μέρος ή το κουμπί "Ενεργοποίηση ανιχνευτή" στην ενότητα "Πώς λειτουργεί".
Θα σας ζητηθεί να επιβεβαιώσετε εάν θέλετε να ενεργοποιήσετε τον ανιχνευτή για συνεχή ανίχνευση. Επιλέξτε «Ενεργοποίηση» για επιβεβαίωση.
Θα δείτε μια επιβεβαίωση που ενημερώνει ότι ο ανιχνευτής ενεργοποιείται.
Βήμα 6
Μόλις ενεργοποιηθεί ο ανιχνευτής ανωμαλιών, μπορείτε να χρησιμοποιήσετε την καρτέλα «Αρχείο καταγραφής ανιχνευτή» στη σελίδα λεπτομερειών ανιχνευτή για να ελέγξετε τις εκτελέσεις ανίχνευσης που έχουν πραγματοποιηθεί από την υπηρεσία.
Βήμα 7
Μπορείτε να επιλέξετε το κουμπί «Προβολή ανωμαλιών» από τη σελίδα λεπτομερειών ανιχνευτή για να επιθεωρήσετε μη αυτόματα τις ανωμαλίες που μπορεί να έχουν εντοπιστεί από την υπηρεσία.
Βήμα 8
Στη σελίδα ελέγχου ανωμαλιών, μπορείτε να προσαρμόσετε το όριο βαθμολογίας σοβαρότητας στον επιλογέα ορίου για να φιλτράρετε τις ανωμαλίες πάνω από μια επιλεγμένη βαθμολογία.
Ελέγξτε και αναλύστε τα αποτελέσματα
Κατά τον εντοπισμό μιας ανωμαλίας, το Lookout for Metrics σάς βοηθά να εστιάσετε σε ό,τι έχει μεγαλύτερη σημασία, εκχωρώντας μια βαθμολογία σοβαρότητας για τον καθορισμό προτεραιοτήτων βοήθειας. Για να σας βοηθήσει να βρείτε τη βασική αιτία, ομαδοποιεί έξυπνα τις ανωμαλίες που μπορεί να σχετίζονται με το ίδιο περιστατικό και στη συνέχεια συνοψίζει τις διαφορετικές πηγές επιπτώσεων.
Το Lookout for Metrics σάς επιτρέπει επίσης να παρέχετε ανατροφοδότηση σε πραγματικό χρόνο σχετικά με τη συνάφεια των ανωμαλιών που ανιχνεύθηκαν, επιτρέποντας έτσι έναν ισχυρό μηχανισμό ανθρώπινης παρουσίας. Αυτές οι πληροφορίες ανατροφοδοτούνται στο μοντέλο ανίχνευσης ανωμαλιών για να βελτιωθεί η ακρίβειά του σε σχεδόν πραγματικό χρόνο.
εκκαθάριση
Για να αποφύγετε την επιβολή πρόσθετων χρεώσεων για τον πόρο που έχει ρυθμιστεί για την επίδειξη, μπορείτε να διαγράψετε τον ανιχνευτή που δημιουργήθηκε στο Lookout for Metrics και τη στοίβα που δημιουργήθηκε μέσω του CloudFormation.
Συμπέρασμα
Μπορείτε να συνδεθείτε απρόσκοπτα στα δεδομένα σας στο Athena στο Lookout for Metrics για να ρυθμίσετε τον ανιχνευτή ανωμαλιών υψηλής ακρίβειας σε μετρήσεις και διαστάσεις στους πίνακές σας Athena. Για να ξεκινήσετε με αυτήν τη δυνατότητα, βλ Χρήση του Amazon Athena με το Lookout for Metrics. Μπορείτε να χρησιμοποιήσετε αυτήν τη δυνατότητα σε όλες τις Περιοχές όπου το Lookout for Metrics είναι δημόσια διαθέσιμο. Για περισσότερες πληροφορίες σχετικά με τη διαθεσιμότητα της περιοχής, βλ Περιφερειακές υπηρεσίες AWS.
Σχετικά με τους Συγγραφείς
Devesh Ratho είναι Μηχανικός Ανάπτυξης Λογισμικού στην ομάδα Lookout for Metrics. Τα ενδιαφέροντά του έγκεινται στην κατασκευή επεκτάσιμων κατανεμημένων συστημάτων. Στον ελεύθερο χρόνο του, απολαμβάνει τους αγώνες sim.
Κρις Κινγκ είναι ανώτερος αρχιτέκτονας λύσεων στην Εφαρμοσμένη AI με AWS. Έχει ιδιαίτερο ενδιαφέρον για την έναρξη των υπηρεσιών AI και βοήθησε να αναπτυχθεί και να χτιστεί το Amazon Personalize και το Amazon Forecast πριν επικεντρωθεί στο Amazon Lookout for Metrics. Στον ελεύθερο χρόνο του απολαμβάνει το μαγείρεμα, την ανάγνωση, την πυγμαχία και την κατασκευή μοντέλων για να προβλέψει το αποτέλεσμα των αθλητικών μάχης.
- Coinsmart. Το καλύτερο ανταλλακτήριο Bitcoin και Crypto στην Ευρώπη.
- Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. ΕΛΕΥΘΕΡΗ ΠΡΟΣΒΑΣΗ.
- CryptoHawk. Ραντάρ Altcoin. Δωρεάν δοκιμή.
- Πηγή: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Σχετικά
- πρόσβαση
- Λογαριασμός
- ακριβής
- απέναντι
- Ενέργειες
- ενεργειών
- ενεργός
- Πρόσθετος
- AI
- Υπηρεσίες AI
- Όλα
- Amazon
- ανάλυση
- κάποιος
- Αυτοματοποιημένη
- αυτονόμος
- διαθεσιμότητα
- διαθέσιμος
- AWS
- πανό
- πριν
- οφέλη
- Πέρα
- σύνορο
- Πυγμαχία
- χτίζω
- Κτίριο
- επιχειρήσεις
- δυνατότητες
- Αιτία
- φορτία
- Στήλη
- την καταπολέμηση της
- συγκρότημα
- κατάσταση
- Connect
- Συνδεσιμότητα
- Περιέχει
- ευκολία
- θα μπορούσε να
- δημιουργία
- δημιουργήθηκε
- δημιουργία
- δημιουργία
- Πελάτες
- ημερομηνία
- βάσεις δεδομένων
- παραδίδεται
- διανομή
- αποδεικνύουν
- παρατάσσω
- καθέκαστα
- εντοπιστεί
- Ανίχνευση
- προγραμματιστές
- Ανάπτυξη
- διαφορετικές
- διανέμονται
- Όχι
- αποτέλεσμα
- ενεργοποίηση
- κρυπτογράφηση
- μηχανικός
- εκτίμηση
- πάντα
- παράδειγμα
- υφιστάμενα
- επεκτάθηκε
- εμπειρία
- Fed
- ανατροφοδότηση
- Πεδία
- Όνομα
- Συγκέντρωση
- εστιάζοντας
- Εξής
- παράγουν
- μεγαλύτερη
- Ομάδα
- Grow
- βοήθεια
- βοηθά
- Ψηλά
- υψηλά
- Πως
- Πώς να
- HTTPS
- προσδιορίσει
- Ταυτότητα
- Επίπτωση
- σημαντικό
- βελτίωση
- πληροφορίες
- εισαγωγή
- ενσωματώσει
- διαδραστικό
- τόκος
- συμφέροντα
- απογραφή
- IT
- Θέσεις εργασίας
- ενταχθούν
- Κλειδί
- βασιλιάς
- ξεκινήσει
- δρομολόγηση
- μάθηση
- Άδεια
- Μόχλευση
- LINK
- τοποθεσία
- μηχανή
- μάθηση μηχανής
- ΚΑΝΕΙ
- διαχείριση
- διαχείριση
- υποχρεωτικό
- χειροκίνητα
- ύλη
- Θέματα
- Metrics
- ML
- μοντέλο
- μοντέλα
- Παρακολούθηση
- παρακολούθηση
- περισσότερο
- πλέον
- πολλαπλούς
- αριθμός
- Επιλογή
- τάξη
- πληρωμή
- επίδοση
- εξατομίκευση
- Σημείο
- δυνατός
- ισχυρός
- προβλέψει
- Προετοιμάστε
- παρόν
- διαδικασια μας
- παρέχουν
- γρήγορα
- ιπποδρομίες
- Τιμές
- Ανάγνωση
- σε πραγματικό χρόνο
- περιφερειακός
- απαιτείται
- Απαιτεί
- πόρος
- Υποστηρικτικό υλικό
- υπεύθυνος
- Αποτελέσματα
- έσοδα
- ανασκόπηση
- επεκτάσιμη
- άψογα
- δευτερόλεπτα
- επιλέγονται
- υπηρεσία
- Υπηρεσίες
- σειρά
- Καταστήματα Λιανικής
- ΝΑΙ
- Απλούς
- δεξιότητες
- λογισμικό
- ανάπτυξη λογισμικού
- στέρεο
- λύση
- Λύσεις
- ειδική
- ταχύτητα
- Αθλητισμός
- σωρός
- πρότυπο
- Εκκίνηση
- ξεκίνησε
- state-of-the-art
- Δήλωση
- χώρος στο δίσκο
- υποστήριξη
- υποστηριζόνται!
- Υποστηρίζει
- συστήματα
- Η Πηγη
- επομένως
- κατώφλι
- Μέσω
- ώρα
- σημερινή
- κορυφή
- τροχιά
- συναλλαγή
- Μεταμόρφωση
- υπό
- ενημέρωση
- χρήση
- εκδοχή
- Τι
- εντός
- θα