Επιτάχυνση της ενημέρωσης με τις συλλογές χρονοσειρών MongoDB και το Amazon SageMaker Canvas | Υπηρεσίες Ιστού της Amazon

Αυτή είναι μια δημοσίευση επισκέπτη που συντάχθηκε με τον Babu Srinivasan από το MongoDB.

Καθώς οι βιομηχανίες εξελίσσονται στο σημερινό επιχειρηματικό τοπίο με γρήγορο ρυθμό, η αδυναμία να υπάρχουν προβλέψεις σε πραγματικό χρόνο θέτει σημαντικές προκλήσεις για τις βιομηχανίες που εξαρτώνται σε μεγάλο βαθμό από ακριβείς και έγκαιρες γνώσεις. Η απουσία προβλέψεων σε πραγματικό χρόνο σε διάφορους κλάδους παρουσιάζει πιεστικές επιχειρηματικές προκλήσεις που μπορούν να επηρεάσουν σημαντικά τη λήψη αποφάσεων και τη λειτουργική αποτελεσματικότητα. Χωρίς πληροφορίες σε πραγματικό χρόνο, οι επιχειρήσεις αγωνίζονται να προσαρμοστούν στις δυναμικές συνθήκες της αγοράς, να προβλέψουν με ακρίβεια τη ζήτηση των πελατών, να βελτιστοποιήσουν τα επίπεδα αποθέματος και να λάβουν προληπτικές στρατηγικές αποφάσεις. Βιομηχανίες όπως η χρηματοδότηση, το λιανικό εμπόριο, η διαχείριση αλυσίδας εφοδιασμού και η εφοδιαστική αντιμετωπίζουν τον κίνδυνο χαμένων ευκαιριών, αυξημένου κόστους, αναποτελεσματικής κατανομής πόρων και αδυναμίας ανταπόκρισης στις προσδοκίες των πελατών. Διερευνώντας αυτές τις προκλήσεις, οι οργανισμοί μπορούν να αναγνωρίσουν τη σημασία της πρόβλεψης σε πραγματικό χρόνο και να εξερευνήσουν καινοτόμες λύσεις για να ξεπεράσουν αυτά τα εμπόδια, δίνοντάς τους τη δυνατότητα να παραμείνουν ανταγωνιστικοί, να λαμβάνουν τεκμηριωμένες αποφάσεις και να ευδοκιμήσουν στο σημερινό γρήγορο επιχειρηματικό περιβάλλον.

Αξιοποιώντας το μετασχηματιστικό δυναμικό του εγγενούς MongoDB χρονική σειρά δυνατότητες δεδομένων και την ενσωμάτωσή τους με τη δύναμη του Καμβάς Amazon SageMaker, οι οργανισμοί μπορούν να ξεπεράσουν αυτές τις προκλήσεις και να ξεκλειδώσουν νέα επίπεδα ευελιξίας. Η ισχυρή διαχείριση δεδομένων χρονοσειρών της MongoDB επιτρέπει την αποθήκευση και την ανάκτηση μεγάλου όγκου δεδομένων χρονοσειρών σε πραγματικό χρόνο, ενώ οι προηγμένοι αλγόριθμοι μηχανικής μάθησης και οι δυνατότητες πρόβλεψης παρέχουν ακριβή και δυναμικά μοντέλα πρόβλεψης με το SageMaker Canvas.

Σε αυτήν την ανάρτηση, θα διερευνήσουμε τις δυνατότητες χρήσης των δεδομένων χρονοσειρών του MongoDB και του καμβά SageMaker ως μια ολοκληρωμένη λύση.

MongoDB Άτλας

MongoDB Άτλας είναι μια πλήρως διαχειριζόμενη πλατφόρμα δεδομένων προγραμματιστών που απλοποιεί την ανάπτυξη και την κλιμάκωση των βάσεων δεδομένων MongoDB στο cloud. Είναι ένας χώρος αποθήκευσης που βασίζεται σε έγγραφα που παρέχει μια πλήρως διαχειριζόμενη βάση δεδομένων, με ενσωματωμένο πλήρες κείμενο και διανύσματα Αναζήτηση, υποστήριξη για Geospatial ερωτήματα, Διαγράμματα και εγγενής υποστήριξη για αποτελεσματική χρονική σειρά δυνατότητες αποθήκευσης και αναζήτησης. Το MongoDB Atlas προσφέρει αυτόματο διαμοιρασμό, οριζόντια επεκτασιμότητα και ευέλικτη ευρετηρίαση για απορρόφηση δεδομένων μεγάλου όγκου. Μεταξύ όλων, οι δυνατότητες εγγενών χρονοσειρών είναι ένα χαρακτηριστικό γνώρισμα που την καθιστά ιδανική για τη διαχείριση μεγάλου όγκου δεδομένων χρονοσειρών, όπως δεδομένα κρίσιμων επιχειρηματικών εφαρμογών, τηλεμετρία, αρχεία καταγραφής διακομιστή και άλλα. Με αποτελεσματικά ερωτήματα, συνάθροιση και ανάλυση, οι επιχειρήσεις μπορούν να εξάγουν πολύτιμες πληροφορίες από δεδομένα με χρονική σήμανση. Χρησιμοποιώντας αυτές τις δυνατότητες, οι επιχειρήσεις μπορούν να αποθηκεύουν, να διαχειρίζονται και να αναλύουν αποτελεσματικά δεδομένα χρονοσειρών, επιτρέποντας αποφάσεις βάσει δεδομένων και αποκτώντας ανταγωνιστικό πλεονέκτημα.

Καμβάς Amazon SageMaker

Καμβάς Amazon SageMaker είναι μια υπηρεσία οπτικής μηχανικής μάθησης (ML) που δίνει τη δυνατότητα σε επιχειρησιακούς αναλυτές και επιστήμονες δεδομένων να δημιουργούν και να αναπτύσσουν προσαρμοσμένα μοντέλα ML χωρίς να απαιτείται εμπειρία ML ή να χρειάζεται να γράψουν ούτε μία γραμμή κώδικα. Το SageMaker Canvas υποστηρίζει μια σειρά από περιπτώσεις χρήσης, όπως πρόβλεψη χρονοσειρών, που δίνει τη δυνατότητα στις επιχειρήσεις να προβλέπουν με ακρίβεια τη μελλοντική ζήτηση, τις πωλήσεις, τις απαιτήσεις πόρων και άλλα δεδομένα χρονοσειρών. Η υπηρεσία χρησιμοποιεί τεχνικές βαθιάς εκμάθησης για τον χειρισμό πολύπλοκων μοτίβων δεδομένων και επιτρέπει στις επιχειρήσεις να δημιουργούν ακριβείς προβλέψεις ακόμη και με ελάχιστα ιστορικά δεδομένα. Χρησιμοποιώντας τις δυνατότητες του Amazon SageMaker Canvas, οι επιχειρήσεις μπορούν να λαμβάνουν τεκμηριωμένες αποφάσεις, να βελτιστοποιούν τα επίπεδα αποθέματος, να βελτιώνουν τη λειτουργική αποτελεσματικότητα και να βελτιώνουν την ικανοποίηση των πελατών.

Το SageMaker Canvas UI σάς επιτρέπει να ενσωματώνετε απρόσκοπτα πηγές δεδομένων από το νέφος ή τις εγκαταστάσεις, να συγχωνεύετε σύνολα δεδομένων χωρίς κόπο, να εκπαιδεύετε ακριβή μοντέλα και να κάνετε προβλέψεις με αναδυόμενα δεδομένα—όλα χωρίς κωδικοποίηση. Εάν χρειάζεστε μια αυτοματοποιημένη ροή εργασιών ή άμεση ενσωμάτωση μοντέλου ML σε εφαρμογές, οι λειτουργίες πρόβλεψης καμβά είναι προσβάσιμες μέσω APIs.

Επισκόπηση λύσεων

Οι χρήστες διατηρούν τα δεδομένα χρονοσειρών συναλλαγών τους στον MongoDB Atlas. Μέσω της Atlas Data Federation, τα δεδομένα εξάγονται στον κάδο Amazon S3. Το Amazon SageMaker Canvas έχει πρόσβαση στα δεδομένα για τη δημιουργία μοντέλων και τη δημιουργία προβλέψεων. Τα αποτελέσματα της πρόβλεψης αποθηκεύονται σε έναν κάδο S3. Χρησιμοποιώντας τις υπηρεσίες MongoDB Data Federation, οι προβλέψεις παρουσιάζονται οπτικά μέσω των γραφημάτων MongoDB.

Το παρακάτω διάγραμμα περιγράφει την προτεινόμενη αρχιτεκτονική λύσης.

Προϋποθέσεις

Για αυτήν τη λύση χρησιμοποιούμε το MongoDB Atlas για την αποθήκευση δεδομένων χρονοσειρών, το Amazon SageMaker Canvas για την εκπαίδευση ενός μοντέλου και την παραγωγή προβλέψεων και το Amazon S3 για την αποθήκευση δεδομένων που εξάγονται από το MongoDB Atlas.

Βεβαιωθείτε ότι έχετε τις ακόλουθες προϋποθέσεις:

Διαμόρφωση του συμπλέγματος MongoDB Atlas

Δημιουργήστε ένα δωρεάν σύμπλεγμα MongoDB Atlas ακολουθώντας τις οδηγίες στο Δημιουργήστε ένα σύμπλεγμα. Ρυθμίστε το Πρόσβαση στη βάση δεδομένων και Πρόσβαση στο δίκτυο.

Συμπληρώστε μια συλλογή χρονοσειρών στο MongoDB Atlas

Για τους σκοπούς αυτής της επίδειξης, μπορείτε να χρησιμοποιήσετε ένα δείγμα συνόλου δεδομένων από από Kaggle και ανεβάστε το ίδιο στο MongoDB Atlas με το MongoDB εργαλεία , Κατά προτίμηση Πυξίδα MongoDB.

Ο ακόλουθος κώδικας δείχνει ένα δείγμα συνόλου δεδομένων για μια συλλογή χρονοσειρών:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

Το ακόλουθο στιγμιότυπο οθόνης δείχνει τα δείγματα δεδομένων χρονοσειρών στον Atlas MongoDB:

Δημιουργήστε έναν κάδο S3

Δημιουργία έναν κάδο S3 στο AWS, όπου τα δεδομένα χρονοσειρών πρέπει να αποθηκευτούν και να αναλυθούν. Σημειώστε ότι έχουμε δύο φακέλους. sales-train-data χρησιμοποιείται για την αποθήκευση δεδομένων που εξάγονται από το MongoDB Atlas, ενώ sales-forecast-output περιέχει προβλέψεις από το  Canvas.

Δημιουργήστε την Ομοσπονδία Δεδομένων

Ρυθμίστε το Ομοσπονδία Δεδομένων στον Atlas και καταχωρήστε τον κάδο S3 που δημιουργήθηκε προηγουμένως ως μέρος της προέλευσης δεδομένων. Σημειώστε ότι οι τρεις διαφορετικές βάσεις δεδομένων/συλλογές δημιουργούνται στη συνένωση δεδομένων για το σύμπλεγμα Atlas, τον κάδο S3 για τα δεδομένα MongoDB Atlas και τον κάδο S3 για την αποθήκευση των αποτελεσμάτων του Canvas.

Τα παρακάτω στιγμιότυπα οθόνης δείχνουν τη ρύθμιση της ομοσπονδίας δεδομένων.

Ρυθμίστε την υπηρεσία εφαρμογής Atlas

Δημιουργήστε το Υπηρεσίες εφαρμογών MongoDB για να αναπτύξετε τις λειτουργίες για τη μεταφορά των δεδομένων από το σύμπλεγμα MongoDB Atlas στον κάδο S3 χρησιμοποιώντας το $έξω συσσωμάτωση.

Επαληθεύστε τη διαμόρφωση της πηγής δεδομένων

Οι υπηρεσίες εφαρμογής δημιουργούν ένα νέο όνομα υπηρεσίας Altas που πρέπει να αναφέρεται ως υπηρεσίες δεδομένων στην ακόλουθη συνάρτηση. Βεβαιωθείτε ότι έχει δημιουργηθεί το όνομα υπηρεσίας Atlas και σημειώστε το για μελλοντική αναφορά.

Δημιουργήστε τη συνάρτηση

Ρυθμίστε τις υπηρεσίες εφαρμογής Atlas για να δημιουργήσετε το έναυσμα και λειτουργίες. Οι ενεργοποιητές πρέπει να προγραμματιστούν για την εγγραφή των δεδομένων στο S3 σε συχνότητα περιόδου με βάση την επιχειρηματική ανάγκη για εκπαίδευση των μοντέλων.

Το ακόλουθο σενάριο δείχνει τη συνάρτηση εγγραφής στον κάδο S3:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Λειτουργία δείγματος

Η λειτουργία μπορεί να εκτελεστεί μέσω της καρτέλας Εκτέλεση και τα σφάλματα μπορούν να εντοπιστούν σφαλμάτων χρησιμοποιώντας τις δυνατότητες καταγραφής στις Υπηρεσίες Εφαρμογής. Επιπλέον, τα σφάλματα μπορούν να διορθωθούν χρησιμοποιώντας το μενού Αρχεία στο αριστερό παράθυρο.

Το παρακάτω στιγμιότυπο οθόνης δείχνει την εκτέλεση της συνάρτησης μαζί με την έξοδο:

Δημιουργήστε σύνολο δεδομένων στον καμβά Amazon SageMaker

Τα ακόλουθα βήματα προϋποθέτουν ότι έχετε δημιουργήσει έναν τομέα SageMaker και ένα προφίλ χρήστη. Εάν δεν το έχετε κάνει ήδη, βεβαιωθείτε ότι έχετε ρυθμίσει τις παραμέτρους του Τομέας SageMaker και προφίλ χρήστη. Στο προφίλ χρήστη, ενημερώστε τον κάδο S3 ώστε να είναι προσαρμοσμένος και δώστε το όνομα του κάδου σας.

Όταν ολοκληρώσετε, μεταβείτε στο SageMaker Canvas, επιλέξτε τον τομέα και το προφίλ σας και επιλέξτε Καμβάς.

Δημιουργήστε ένα σύνολο δεδομένων που παρέχει την πηγή δεδομένων.

Επιλέξτε την πηγή δεδομένων ως S3

Επιλέξτε τη θέση δεδομένων από τον κάδο S3 και επιλέξτε Δημιουργία δεδομένων.

Ελέγξτε το σχήμα και κάντε κλικ στην επιλογή Δημιουργία δεδομένων

Μετά την επιτυχή εισαγωγή, το σύνολο δεδομένων θα εμφανιστεί στη λίστα όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης.

Εκπαιδεύστε το μοντέλο

Στη συνέχεια, θα χρησιμοποιήσουμε το Canvas για να ρυθμίσουμε για να εκπαιδεύσουμε το μοντέλο. Επιλέξτε το σύνολο δεδομένων και κάντε κλικ στην επιλογή Δημιουργία.

Δημιουργήστε ένα όνομα μοντέλου, επιλέξτε Προγνωστική ανάλυση και επιλέξτε Δημιουργία.

Επιλέξτε στήλη προορισμού

Στη συνέχεια, κάντε κλικ στην επιλογή Διαμόρφωση μοντέλου χρονικής σειράς και επιλέξτε item_id ως τη στήλη Item ID.

Αγορά tm για τη στήλη χρονικής σφραγίδας

Για να καθορίσετε το χρονικό διάστημα που θέλετε να προβλέψετε, επιλέξτε 8 εβδομάδες.

Τώρα είστε έτοιμοι να κάνετε προεπισκόπηση του μοντέλου ή να ξεκινήσετε τη διαδικασία κατασκευής.

Αφού κάνετε προεπισκόπηση του μοντέλου ή εκκινήσετε την έκδοση, το μοντέλο σας θα δημιουργηθεί και μπορεί να διαρκέσει έως και τέσσερις ώρες. Μπορείτε να φύγετε από την οθόνη και να επιστρέψετε για να δείτε την κατάσταση εκπαίδευσης του μοντέλου.

Όταν το μοντέλο είναι έτοιμο, επιλέξτε το μοντέλο και κάντε κλικ στην πιο πρόσφατη έκδοση

Ελέγξτε τις μετρήσεις του μοντέλου και τον αντίκτυπο της στήλης και εάν είστε ικανοποιημένοι με την απόδοση του μοντέλου, κάντε κλικ στην Πρόβλεψη.

Στη συνέχεια, επιλέξτε Πρόβλεψη παρτίδας και κάντε κλικ στην επιλογή Επιλογή δεδομένων.

Επιλέξτε το σύνολο δεδομένων σας και κάντε κλικ στην επιλογή Επιλογή δεδομένων.

Στη συνέχεια, κάντε κλικ στην επιλογή Έναρξη προβλέψεων.

Παρατηρήστε μια εργασία που δημιουργήθηκε ή παρατηρήστε την πρόοδο της εργασίας στο SageMaker στις εργασίες Inference, Batch transformation.

Όταν ολοκληρωθεί η εργασία, επιλέξτε την εργασία και σημειώστε τη διαδρομή S3 όπου το Canvas αποθήκευσε τις προβλέψεις.

Οπτικοποιήστε τα δεδομένα πρόβλεψης σε γραφήματα Atlas

Για να οπτικοποιήσετε τα δεδομένα πρόβλεψης, δημιουργήστε το Διαγράμματα MongoDB Atlas με βάση τα Ομοσπονδιακά δεδομένα (amazon-forecast-data) για τις προβλέψεις P10, P50 και P90 όπως φαίνεται στο παρακάτω διάγραμμα.

εκκαθάριση

• Διαγράψτε το σύμπλεγμα Atlas MongoDB
• Διαγράψτε τη διαμόρφωση της ομοσπονδίας δεδομένων Atlas
• Διαγράψτε την εφαρμογή Atlas Application Service
• Διαγράψτε τον κάδο S3
• Διαγράψτε τα δεδομένα και τα μοντέλα του καμβά του Amazon SageMaker
• Διαγράψτε τα διαγράμματα Atlas
• Αποσυνδεθείτε από το Amazon SageMaker Canvas

Συμπέρασμα

Σε αυτήν την ανάρτηση εξάγαμε δεδομένα χρονοσειρών από τη συλλογή χρονοσειρών MongoDB. Αυτή είναι μια ειδική συλλογή βελτιστοποιημένη για αποθήκευση και ταχύτητα αναζήτησης δεδομένων χρονοσειρών. Χρησιμοποιήσαμε το Amazon SageMaker Canvas για να εκπαιδεύσουμε μοντέλα και να δημιουργήσουμε προβλέψεις και οπτικοποιήσαμε τις προβλέψεις στα γραφήματα Atlas.

Για περισσότερες πληροφορίες, ανατρέξτε στους ακόλουθους πόρους.

---

Σχετικά με τους συγγραφείς

Ιγκόρ Αλεξέεφ είναι Senior Partner Solution Architect στην AWS στον τομέα δεδομένων και Analytics. Στο ρόλο του, ο Igor συνεργάζεται με στρατηγικούς εταίρους βοηθώντας τους να δημιουργήσουν περίπλοκες, βελτιστοποιημένες για AWS αρχιτεκτονικές. Πριν ενταχθεί στην AWS, ως Αρχιτέκτονας Δεδομένων/Λύσεων, υλοποίησε πολλά έργα στον τομέα Big Data, συμπεριλαμβανομένων πολλών λιμνών δεδομένων στο οικοσύστημα Hadoop. Ως Μηχανικός Δεδομένων συμμετείχε στην εφαρμογή AI/ML στον εντοπισμό απάτης και στον αυτοματισμό γραφείου.

Μπάμπου Σρινιβασάν είναι Senior Partner Solutions Architect στη MongoDB. Στον τρέχοντα ρόλο του, εργάζεται με το AWS για να δημιουργήσει τις τεχνικές ενσωματώσεις και τις αρχιτεκτονικές αναφοράς για τις λύσεις AWS και MongoDB. Έχει πάνω από δύο δεκαετίες εμπειρίας στις τεχνολογίες Βάσεων Δεδομένων και Cloud. Είναι παθιασμένος με την παροχή τεχνικών λύσεων σε πελάτες που εργάζονται με πολλαπλούς Global System Integrators (GSI) σε πολλές γεωγραφικές περιοχές.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/