Χρησιμοποιήστε το Amazon SageMaker Canvas για διερευνητική ανάλυση δεδομένων

Η διερευνητική ανάλυση δεδομένων (EDA) είναι μια κοινή εργασία που εκτελείται από επιχειρησιακούς αναλυτές για την ανακάλυψη προτύπων, την κατανόηση των σχέσεων, την επικύρωση υποθέσεων και τον εντοπισμό ανωμαλιών στα δεδομένα τους. Στη μηχανική μάθηση (ML), είναι σημαντικό να κατανοήσετε πρώτα τα δεδομένα και τις σχέσεις τους πριν ξεκινήσετε τη δημιουργία μοντέλων. Οι παραδοσιακοί κύκλοι ανάπτυξης ML μπορεί μερικές φορές να διαρκέσουν μήνες και απαιτούν προηγμένες δεξιότητες επιστήμης δεδομένων και μηχανικής ML, ενώ οι λύσεις ML χωρίς κώδικα μπορούν να βοηθήσουν τις εταιρείες να επιταχύνουν την παράδοση λύσεων ML σε ημέρες ή και ώρες.

Καμβάς Amazon SageMaker είναι ένα εργαλείο ML χωρίς κώδικα που βοηθά τους επιχειρηματικούς αναλυτές να δημιουργούν ακριβείς προβλέψεις ML χωρίς να χρειάζεται να γράψουν κώδικα ή χωρίς να απαιτείται εμπειρία ML. Το Canvas παρέχει μια εύχρηστη οπτική διεπαφή για τη φόρτωση, τον καθαρισμό και τη μετατροπή των συνόλων δεδομένων, ακολουθούμενη από τη δημιουργία μοντέλων ML και τη δημιουργία ακριβών προβλέψεων.

Σε αυτήν την ανάρτηση, περιγράφουμε τον τρόπο εκτέλεσης του EDA για να κατανοήσετε καλύτερα τα δεδομένα σας πριν δημιουργήσετε το μοντέλο ML σας, χάρη στις ενσωματωμένες προηγμένες απεικονίσεις του Canvas. Αυτές οι απεικονίσεις σάς βοηθούν να αναλύσετε τις σχέσεις μεταξύ των χαρακτηριστικών στα σύνολα δεδομένων σας και να κατανοήσετε καλύτερα τα δεδομένα σας. Αυτό γίνεται διαισθητικά, με τη δυνατότητα αλληλεπίδρασης με τα δεδομένα και ανακάλυψης πληροφοριών που μπορεί να περάσουν απαρατήρητα με την ad hoc αναζήτηση. Μπορούν να δημιουργηθούν γρήγορα μέσω του "Data visualizer" στο Canvas πριν από τη δημιουργία και την εκπαίδευση μοντέλων ML.

Επισκόπηση λύσεων

Αυτές οι απεικονίσεις προσθέτουν στο εύρος των δυνατοτήτων προετοιμασίας και εξερεύνησης δεδομένων που προσφέρονται ήδη από το Canvas, συμπεριλαμβανομένης της δυνατότητας διόρθωσης τιμών που λείπουν και αντικατάστασης ακραίων τιμών. φιλτράρισμα, ένωση και τροποποίηση συνόλων δεδομένων. και εξάγετε συγκεκριμένες χρονικές τιμές από χρονικές σημάνσεις. Για να μάθετε περισσότερα σχετικά με το πώς το Canvas μπορεί να σας βοηθήσει να καθαρίσετε, να μεταμορφώσετε και να προετοιμάσετε το σύνολο δεδομένων σας, ρίξτε μια ματιά Προετοιμάστε δεδομένα με προηγμένους μετασχηματισμούς.

Για την περίπτωση χρήσης μας, εξετάζουμε γιατί οι πελάτες αναπηδούν σε οποιαδήποτε επιχείρηση και παρουσιάζουμε πώς μπορεί να βοηθήσει η EDA από την οπτική γωνία ενός αναλυτή. Το σύνολο δεδομένων που χρησιμοποιούμε σε αυτήν την ανάρτηση είναι ένα συνθετικό σύνολο δεδομένων από μια εταιρεία κινητής τηλεφωνίας τηλεπικοινωνιών για την πρόβλεψη εκτροπής πελατών που μπορείτε να κατεβάσετε (churn.csv), ή φέρνετε το δικό σας σύνολο δεδομένων για πειραματισμό. Για οδηγίες σχετικά με την εισαγωγή του δικού σας συνόλου δεδομένων, ανατρέξτε στο Εισαγωγή δεδομένων στον καμβά Amazon SageMaker.

Προϋποθέσεις

Ακολουθήστε τις οδηγίες στο Προϋποθέσεις για τη ρύθμιση του Amazon SageMaker Canvas πριν προχωρήσετε περαιτέρω.

Εισαγάγετε το σύνολο δεδομένων σας στο Canvas

Για να εισαγάγετε το δείγμα δεδομένων στο Canvas, ολοκληρώστε τα ακόλουθα βήματα:

1. Συνδεθείτε στο Canvas ως επιχειρηματικός χρήστης.Πρώτον, ανεβάζουμε το σύνολο δεδομένων που αναφέρθηκε προηγουμένως από τον τοπικό μας υπολογιστή στον Καμβά. Εάν θέλετε να χρησιμοποιήσετε άλλες πηγές, όπως π.χ Amazon RedShift, αναφέρομαι σε Συνδεθείτε σε μια εξωτερική πηγή δεδομένων.
2. Επιλέξτε εισαγωγή.
3. Επιλέξτε Μεταφόρτωση, κατόπιν επιλέξτε Επιλέξτε αρχεία από τον υπολογιστή σας.
4. Επιλέξτε το σύνολο δεδομένων σας (churn.csv) και επιλέξτε Εισαγωγή δεδομένων.
5. Επιλέξτε το σύνολο δεδομένων και επιλέξτε Δημιουργήστε μοντέλο.
6. Για Ονομα μοντέλου, πληκτρολογήστε ένα όνομα (για αυτήν την ανάρτηση, έχουμε δώσει το όνομα Churn prediction).
7. Επιλέξτε Δημιουργία.
   
   Μόλις επιλέξετε το σύνολο δεδομένων σας, εμφανίζεται μια επισκόπηση που περιγράφει τους τύπους δεδομένων, τις τιμές που λείπουν, τις μη αντιστοιχισμένες τιμές, τις μοναδικές τιμές και τη μέση τιμή ή τις τιμές λειτουργίας των αντίστοιχων στηλών.
   Από την άποψη του EDA, μπορείτε να παρατηρήσετε ότι δεν λείπουν ή δεν ταιριάζουν τιμές στο σύνολο δεδομένων. Ως επιχειρηματικός αναλυτής, μπορεί να θέλετε να αποκτήσετε μια αρχική εικόνα για τη δημιουργία του μοντέλου ακόμη και πριν ξεκινήσετε την εξερεύνηση δεδομένων για να προσδιορίσετε την απόδοση του μοντέλου και ποιους παράγοντες συμβάλλουν στην απόδοση του μοντέλου. Το Canvas σάς δίνει τη δυνατότητα να λαμβάνετε πληροφορίες από τα δεδομένα σας προτού δημιουργήσετε ένα μοντέλο κάνοντας προεπισκόπηση του μοντέλου.
8. Πριν κάνετε οποιαδήποτε εξερεύνηση δεδομένων, επιλέξτε Προεπισκόπηση μοντέλου.
9. Επιλέξτε τη στήλη για πρόβλεψη (ανατροπή). Το Canvas εντοπίζει αυτόματα ότι πρόκειται για πρόβλεψη δύο κατηγοριών.
10. Επιλέξτε Προεπισκόπηση μοντέλου. Το SageMaker Canvas χρησιμοποιεί ένα υποσύνολο των δεδομένων σας για να δημιουργήσει γρήγορα ένα μοντέλο για να ελέγξει εάν τα δεδομένα σας είναι έτοιμα να δημιουργήσουν μια ακριβή πρόβλεψη. Χρησιμοποιώντας αυτό το δείγμα μοντέλου, μπορείτε να κατανοήσετε την ακρίβεια του τρέχοντος μοντέλου και τη σχετική επίδραση κάθε στήλης στις προβλέψεις.

Το παρακάτω στιγμιότυπο οθόνης δείχνει την προεπισκόπηση μας.

Η προεπισκόπηση μοντέλου υποδεικνύει ότι το μοντέλο προβλέπει τον σωστό στόχο (ανατροπή;) στο 95.6% των περιπτώσεων. Μπορείτε επίσης να δείτε τον αρχικό αντίκτυπο της στήλης (επιρροή που έχει κάθε στήλη στη στήλη προορισμού). Ας κάνουμε κάποια εξερεύνηση δεδομένων, οπτικοποίηση και μετασχηματισμό και, στη συνέχεια, προχωρήστε στην κατασκευή ενός μοντέλου.

Εξερεύνηση δεδομένων

Το Canvas παρέχει ήδη ορισμένες κοινές βασικές απεικονίσεις, όπως η διανομή δεδομένων σε προβολή πλέγματος στο Χτίστε αυτί. Αυτά είναι εξαιρετικά για τη λήψη μιας επισκόπησης υψηλού επιπέδου των δεδομένων, την κατανόηση του τρόπου διανομής των δεδομένων και τη λήψη μιας συνοπτικής επισκόπησης του συνόλου δεδομένων.

Ως επιχειρησιακός αναλυτής, μπορεί να χρειαστεί να λάβετε υψηλού επιπέδου πληροφορίες σχετικά με τον τρόπο διανομής των δεδομένων καθώς και τον τρόπο με τον οποίο η κατανομή αντικατοπτρίζεται στη στήλη-στόχο (churn) για να κατανοήσετε εύκολα τη σχέση δεδομένων πριν δημιουργήσετε το μοντέλο. Τώρα μπορείτε να επιλέξετε Προβολή σε πλέγμα για να πάρετε μια επισκόπηση της διανομής δεδομένων.

Το ακόλουθο στιγμιότυπο οθόνης δείχνει την επισκόπηση της κατανομής του συνόλου δεδομένων.

Μπορούμε να κάνουμε τις εξής παρατηρήσεις:

• Το τηλέφωνο παίρνει πάρα πολλές μοναδικές αξίες για να είναι πρακτική χρήση. Γνωρίζουμε ότι το τηλέφωνο είναι ένα αναγνωριστικό πελάτη και δεν θέλουμε να δημιουργήσουμε ένα μοντέλο που θα μπορούσε να λάβει υπόψη συγκεκριμένους πελάτες, αλλά μάλλον να μάθουμε με μια πιο γενική έννοια τι θα μπορούσε να οδηγήσει σε ανατροπή. Μπορείτε να αφαιρέσετε αυτήν τη μεταβλητή.
• Τα περισσότερα από τα αριθμητικά χαρακτηριστικά είναι όμορφα κατανεμημένα, ακολουθώντας α Gaussian καμπύλη καμπάνας. Στο ML, θέλετε τα δεδομένα να διανέμονται κανονικά, επειδή κάθε μεταβλητή που εμφανίζει κανονική κατανομή μπορεί να προβλεφθεί με μεγαλύτερη ακρίβεια.

Ας πάμε πιο βαθιά και ας δούμε τις προηγμένες απεικονίσεις που είναι διαθέσιμες στον Καμβά.

Οπτικοποίηση δεδομένων

Ως επιχειρησιακοί αναλυτές, θέλετε να δείτε εάν υπάρχουν σχέσεις μεταξύ των στοιχείων δεδομένων και πώς σχετίζονται με την απόσπαση. Με το Canvas, μπορείτε να εξερευνήσετε και να οπτικοποιήσετε τα δεδομένα σας, κάτι που σας βοηθά να αποκτήσετε προηγμένες πληροφορίες για τα δεδομένα σας πριν δημιουργήσετε τα μοντέλα σας ML. Μπορείτε να απεικονίσετε χρησιμοποιώντας διαγράμματα διασποράς, γραφήματα ράβδων και γραφήματα πλαισίου, τα οποία μπορούν να σας βοηθήσουν να κατανοήσετε τα δεδομένα σας και να ανακαλύψετε τις σχέσεις μεταξύ των χαρακτηριστικών που θα μπορούσαν να επηρεάσουν την ακρίβεια του μοντέλου.

Για να ξεκινήσετε να δημιουργείτε τις απεικονίσεις σας, ολοκληρώστε τα παρακάτω βήματα:

• Στις Χτίστε καρτέλα της εφαρμογής Canvas, επιλέξτε Οπτικοποιητής δεδομένων.

Ένας βασικός επιταχυντής της οπτικοποίησης στον Καμβά είναι το Οπτικοποιητής δεδομένων. Ας αλλάξουμε το μέγεθος του δείγματος για να έχουμε καλύτερη προοπτική.

• Επιλέξτε τον αριθμό των σειρών δίπλα Δείγμα οπτικοποίησης.
• Χρησιμοποιήστε το ρυθμιστικό για να επιλέξετε το επιθυμητό μέγεθος δείγματος.

• Επιλέξτε Ενημέρωση για να επιβεβαιώσετε την αλλαγή στο μέγεθος του δείγματός σας.

Μπορεί να θέλετε να αλλάξετε το μέγεθος του δείγματος με βάση το σύνολο δεδομένων σας. Σε ορισμένες περιπτώσεις, μπορεί να έχετε μερικές εκατοντάδες έως μερικές χιλιάδες σειρές όπου μπορείτε να επιλέξετε ολόκληρο το σύνολο δεδομένων. Σε ορισμένες περιπτώσεις, μπορεί να έχετε πολλές χιλιάδες σειρές, οπότε μπορείτε να επιλέξετε μερικές εκατοντάδες ή μερικές χιλιάδες σειρές με βάση την περίπτωση χρήσης σας.

Ένα διάγραμμα διασποράς δείχνει τη σχέση μεταξύ δύο ποσοτικών μεταβλητών που μετρήθηκαν για τα ίδια άτομα. Στην περίπτωσή μας, είναι σημαντικό να κατανοήσουμε τη σχέση μεταξύ των τιμών για να ελέγξουμε για συσχέτιση.

Επειδή έχουμε κλήσεις, λεπτά και χρέωση, θα σχεδιάσουμε τη συσχέτιση μεταξύ τους για Ημέρα, Βράδυ και Νύχτα.

Πρώτον, ας δημιουργήσουμε ένα διάγραμμα διασποράς μεταξύ χρέωσης ημέρας έναντι λεπτών ημέρας.

Μπορούμε να παρατηρήσουμε ότι καθώς τα λεπτά ημέρας αυξάνονται, η χρέωση ημέρας αυξάνεται επίσης.

Το ίδιο ισχύει και για τις βραδινές κλήσεις.

Οι νυχτερινές κλήσεις έχουν επίσης το ίδιο μοτίβο.

Επειδή τα λεπτά και το φορτίο φαίνεται να αυξάνονται γραμμικά, μπορείτε να παρατηρήσετε ότι έχουν υψηλή συσχέτιση μεταξύ τους. Η συμπερίληψη αυτών των ζευγών χαρακτηριστικών σε μερικούς αλγόριθμους ML μπορεί να πάρει επιπλέον χώρο αποθήκευσης και να μειώσει την ταχύτητα της εκπαίδευσης, ενώ η ύπαρξη παρόμοιων πληροφοριών σε περισσότερες από μία στήλες μπορεί να οδηγήσει στο να τονίσει υπερβολικά το μοντέλο τις επιπτώσεις και να οδηγήσει σε ανεπιθύμητη προκατάληψη στο μοντέλο. Ας αφαιρέσουμε ένα χαρακτηριστικό από κάθε ένα από τα ζεύγη υψηλής συσχέτισης: Ημερήσια φόρτιση από το ζεύγος με Λεπτά ημέρας, Νυχτερινή φόρτιση από το ζεύγος με Νυχτερινά λεπτά και Διεθνής χρέωση από το ζεύγος με Intl Mins.

Ισορροπία και διακύμανση δεδομένων

Ένα γράφημα ράβδων είναι μια γραφική παράσταση μεταξύ μιας κατηγορικής μεταβλητής στον άξονα x και μιας αριθμητικής μεταβλητής στον άξονα y για τη διερεύνηση της σχέσης μεταξύ των δύο μεταβλητών. Ας δημιουργήσουμε ένα γράφημα ράβδων για να δούμε πώς κατανέμονται οι κλήσεις στη στήλη στόχο μας Churn for True and False. Επιλέγω Ραβδόγραμμα και μεταφέρετε και αποθέστε κλήσεις ημέρας και μεταφέρετε στον άξονα y και στον άξονα x, αντίστοιχα.

Τώρα, ας δημιουργήσουμε το ίδιο γράφημα ράβδων για απογευματινές κλήσεις έναντι ανατροπής.

Στη συνέχεια, ας δημιουργήσουμε ένα γράφημα ράβδων για νυχτερινές κλήσεις έναντι ανατροπής.

Φαίνεται ότι υπάρχει διαφορά στη συμπεριφορά μεταξύ των πελατών που έχουν αναταράξει και εκείνων που δεν το έκαναν.

Οι γραφικές παραστάσεις πλαισίου είναι χρήσιμες επειδή εμφανίζουν διαφορές στη συμπεριφορά των δεδομένων ανά κλάση (εκτροπή ή όχι). Επειδή πρόκειται να προβλέψουμε την απόκλιση (στήλη στόχου), ας δημιουργήσουμε μια γραφική παράσταση πλαισίου ορισμένων χαρακτηριστικών έναντι της στήλης-στόχου μας για να συμπεράνουμε περιγραφικά στατιστικά στοιχεία για το σύνολο δεδομένων, όπως η μέση, η μέγιστη, η ελάχιστη, η διάμεσος και οι ακραίες τιμές.

Επιλέξτε Οικόπεδο κουτιού και σύρετε και αποθέστε τα Day mins και Churn στον άξονα y και στον άξονα x, αντίστοιχα.

Μπορείτε επίσης να δοκιμάσετε την ίδια προσέγγιση σε άλλες στήλες σε σχέση με τη στήλη-στόχο μας (churn).

Ας δημιουργήσουμε τώρα μια γραφική παράσταση λεπτών ημέρας έναντι των κλήσεων εξυπηρέτησης πελατών για να κατανοήσουμε πώς οι κλήσεις εξυπηρέτησης πελατών εκτείνονται σε όλη την αξία των λεπτών ημέρας. Μπορείτε να δείτε ότι οι κλήσεις εξυπηρέτησης πελατών δεν έχουν εξάρτηση ή συσχέτιση με την τιμή των λεπτών ημέρας.

Από τις παρατηρήσεις μας, μπορούμε να προσδιορίσουμε ότι το σύνολο δεδομένων είναι αρκετά ισορροπημένο. Θέλουμε τα δεδομένα να είναι ομοιόμορφα κατανεμημένα σε αληθές και ψευδείς τιμές, έτσι ώστε το μοντέλο να μην είναι προκατειλημμένο προς μία τιμή.

Μετασχηματισμοί

Με βάση τις παρατηρήσεις μας, αφήνουμε τη στήλη "Τηλέφωνο" επειδή είναι απλώς έναν αριθμό λογαριασμού και τις στήλες "Χρέωση ημέρας", "Χρέωση παραμονής", "Νυχτερινή χρέωση", επειδή περιέχουν αλληλοκαλυπτόμενες πληροφορίες, όπως οι στήλες "λεπτά", αλλά μπορούμε να εκτελέσουμε ξανά μια προεπισκόπηση για επιβεβαίωση.

Μετά την ανάλυση και τον μετασχηματισμό δεδομένων, ας δούμε ξανά το μοντέλο.

Μπορείτε να παρατηρήσετε ότι η εκτιμώμενη ακρίβεια του μοντέλου άλλαξε από 95.6% σε 93.6% (αυτό μπορεί να ποικίλλει), ωστόσο η επίδραση της στήλης (σημασία χαρακτηριστικών) για συγκεκριμένες στήλες έχει αλλάξει σημαντικά, γεγονός που βελτιώνει την ταχύτητα της εκπαίδευσης καθώς και την επίδραση των στηλών στην την πρόβλεψη καθώς προχωράμε στα επόμενα βήματα της κατασκευής του μοντέλου. Το σύνολο δεδομένων μας δεν απαιτεί πρόσθετο μετασχηματισμό, αλλά εάν το χρειαστείτε, μπορείτε να επωφεληθείτε από αυτό Μετασχηματισμοί δεδομένων ML για να καθαρίσετε, να μεταμορφώσετε και να προετοιμάσετε τα δεδομένα σας για τη δημιουργία μοντέλων.

Δημιουργήστε το μοντέλο

Τώρα μπορείτε να προχωρήσετε στη δημιουργία ενός μοντέλου και στην ανάλυση των αποτελεσμάτων. Για περισσότερες πληροφορίες, ανατρέξτε στο Προβλέψτε την ανατροπή πελατών με μηχανική εκμάθηση χωρίς κώδικα χρησιμοποιώντας το Amazon SageMaker Canvas.

εκκαθάριση

Για να αποφύγετε το μέλλον χρεώσεις συνεδρίας, log out του καμβά.

Συμπέρασμα

Σε αυτήν την ανάρτηση, δείξαμε πώς μπορείτε να χρησιμοποιήσετε τις δυνατότητες οπτικοποίησης καμβά για το EDA για να κατανοήσετε καλύτερα τα δεδομένα σας πριν από τη δημιουργία μοντέλου, να δημιουργήσετε ακριβή μοντέλα ML και να δημιουργήσετε προβλέψεις χρησιμοποιώντας μια διεπαφή χωρίς κώδικα, οπτική, σημείο και κλικ.

---

Σχετικά με τους Συγγραφείς

Rajakumar Sampathkumar είναι Κύριος Τεχνικός Διευθυντής Λογαριασμού στην AWS, παρέχοντας καθοδήγηση στους πελάτες σχετικά με την ευθυγράμμιση επιχειρηματικής τεχνολογίας και υποστηρίζοντας την επανεφεύρεση των μοντέλων και διαδικασιών λειτουργίας cloud. Είναι παθιασμένος με το cloud και τη μηχανική μάθηση. Ο Raj είναι επίσης ειδικός στη μηχανική εκμάθηση και συνεργάζεται με πελάτες AWS για το σχεδιασμό, την ανάπτυξη και τη διαχείριση του φόρτου εργασίας και των αρχιτεκτονικών τους AWS.

Ραχούλ Ναμπέρα είναι Σύμβουλος Data Analytics στην AWS Professional Services. Η τρέχουσα δουλειά του επικεντρώνεται στο να δίνει τη δυνατότητα στους πελάτες να δημιουργούν τα δεδομένα τους και τους φόρτους εργασίας μηχανικής εκμάθησης στο AWS. Στον ελεύθερο χρόνο του, του αρέσει να παίζει κρίκετ και βόλεϊ.

Raviteja Yelamanchili είναι αρχιτέκτονας Enterprise Solutions με τις Υπηρεσίες Web της Amazon με έδρα τη Νέα Υόρκη. Συνεργάζεται με πελάτες μεγάλων επιχειρήσεων χρηματοοικονομικών υπηρεσιών για να σχεδιάσει και να αναπτύξει εξαιρετικά ασφαλείς, επεκτάσιμες, αξιόπιστες και οικονομικά αποδοτικές εφαρμογές στο cloud. Προσφέρει πάνω από 11+ χρόνια εμπειρίας διαχείρισης κινδύνων, παροχής συμβουλών τεχνολογίας, ανάλυσης δεδομένων και μηχανικής εκμάθησης. Όταν δεν βοηθά τους πελάτες, του αρέσει να ταξιδεύει και να παίζει PS5.