Χρησιμοποιήστε το Amazon SageMaker Data Wrangler για προετοιμασία δεδομένων και τα Studio Labs για να μάθετε και να πειραματιστείτε με την ML

Amazon SageMaker Studio Lab είναι ένα δωρεάν περιβάλλον ανάπτυξης μηχανικής μάθησης (ML) που βασίζεται σε ανοιχτού κώδικα JupyterLab για οποιονδήποτε μπορεί να μάθει και να πειραματιστεί με την ML χρησιμοποιώντας υπολογιστικούς πόρους AWS ML. Βασίζεται στην ίδια αρχιτεκτονική και διεπαφή χρήστη με Στούντιο Amazon SageMaker, αλλά με ένα υποσύνολο δυνατοτήτων Studio.

Όταν ξεκινάτε να εργάζεστε σε πρωτοβουλίες ML, πρέπει να πραγματοποιήσετε διερευνητική ανάλυση δεδομένων (EDA) ή προετοιμασία δεδομένων πριν προχωρήσετε στη δημιουργία μοντέλου. Amazon SageMaker Data Wrangler είναι μια ικανότητα του Amazon Sage Maker Αυτό καθιστά ταχύτερο για τους επιστήμονες δεδομένων και τους μηχανικούς την προετοιμασία δεδομένων για εφαρμογές ML μέσω μιας οπτικής διεπαφής. Το Data Wrangler μειώνει τον χρόνο που χρειάζεται για τη συγκέντρωση και την προετοιμασία δεδομένων για ML από εβδομάδες σε λεπτά.

Ένας βασικός επιταχυντής της προετοιμασίας χαρακτηριστικών στο Data Wrangler είναι το Αναφορά ποιότητας δεδομένων και πληροφοριών. Αυτή η αναφορά ελέγχει την ποιότητα των δεδομένων και βοηθά στον εντοπισμό ανωμαλιών στα δεδομένα σας, ώστε να μπορείτε να εκτελέσετε την απαιτούμενη μηχανική δεδομένων για να διορθώσετε το σύνολο δεδομένων σας. Μπορείτε να χρησιμοποιήσετε την Αναφορά ποιότητας δεδομένων και πληροφοριών για να εκτελέσετε μια ανάλυση των δεδομένων σας για να αποκτήσετε πληροφορίες για το σύνολο δεδομένων σας, όπως ο αριθμός των τιμών που λείπουν και ο αριθμός των ακραίων τιμών. Εάν αντιμετωπίζετε προβλήματα με τα δεδομένα σας, όπως διαρροή στόχου ή ανισορροπία, η αναφορά πληροφοριών μπορεί να φέρει υπόψη σας αυτά τα ζητήματα και να σας βοηθήσει να προσδιορίσετε τα βήματα προετοιμασίας δεδομένων που πρέπει να εκτελέσετε.

Οι χρήστες του Studio Lab μπορούν να επωφεληθούν από το Data Wrangler επειδή η ποιότητα των δεδομένων και η μηχανική χαρακτηριστικών είναι ζωτικής σημασίας για την προγνωστική απόδοση του μοντέλου σας. Το Data Wrangler βοηθά με την ποιότητα των δεδομένων και τη μηχανική χαρακτηριστικών, παρέχοντας πληροφορίες για ζητήματα ποιότητας δεδομένων και επιτρέποντας εύκολα την ταχεία επανάληψη και τη μηχανική των χαρακτηριστικών χρησιμοποιώντας μια διεπαφή χρήστη χαμηλού κώδικα.

Σε αυτήν την ανάρτηση, σας δείχνουμε πώς να εκτελείτε διερευνητική ανάλυση δεδομένων, να προετοιμάσετε και να μετασχηματίσετε δεδομένα χρησιμοποιώντας το Data Wrangler και να εξάγετε τα μετασχηματισμένα και προετοιμασμένα δεδομένα στο Studio Lab για να πραγματοποιήσετε τη δημιουργία μοντέλων.

Επισκόπηση λύσεων

Η λύση περιλαμβάνει τα ακόλουθα βήματα υψηλού επιπέδου:

1. Δημιουργία λογαριασμού AWS και χρήστη διαχειριστή. Αυτό είναι προαπαιτούμενο
2. Κατεβάστε το σύνολο δεδομένων churn.csv.
3. Φορτώστε το σύνολο δεδομένων σε Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3).
4. Δημιουργήστε έναν τομέα SageMaker Studio και εκκινήστε το Data Wrangler.
5. Εισαγάγετε το σύνολο δεδομένων στη ροή δεδομένων Wrangler από το Amazon S3.
6. Δημιουργήστε την αναφορά ποιότητας δεδομένων και πληροφοριών και εξάγετε συμπεράσματα σχετικά με την απαραίτητη μηχανική χαρακτηριστικών.
7. Εκτελέστε τους απαραίτητους μετασχηματισμούς δεδομένων στο Data Wrangler.
8. Κάντε λήψη της αναφοράς ποιότητας δεδομένων και πληροφοριών και του μετασχηματισμένου συνόλου δεδομένων.
9. Ανεβάστε τα δεδομένα σε ένα έργο Studio Lab για εκπαίδευση μοντέλων.

Το παρακάτω διάγραμμα απεικονίζει αυτήν τη ροή εργασίας.

Προϋποθέσεις

Για να χρησιμοποιήσετε το Data Wrangler και το Studio Lab, χρειάζεστε τις ακόλουθες προϋποθέσεις:

Δημιουργήστε μια ροή εργασιών προετοιμασίας δεδομένων με το Data Wrangler

Για να ξεκινήσετε, ακολουθήστε τα παρακάτω βήματα:

1. Ανεβάστε το σύνολο δεδομένων σας στο Amazon S3.
   
2. Στην κονσόλα SageMaker, κάτω Πίνακας ελέγχου στο παράθυρο πλοήγησης, επιλέξτε στούντιο.
   
3. Στις Εκκινήστε την εφαρμογή μενού δίπλα στο προφίλ χρήστη σας, επιλέξτε στούντιο.
   
   Αφού συνδεθείτε με επιτυχία στο Studio, θα δείτε ένα περιβάλλον ανάπτυξης όπως το παρακάτω στιγμιότυπο οθόνης.
4. Για να δημιουργήσετε μια νέα ροή εργασίας Data Wrangler, στο Αρχεία μενού, επιλέξτε Νέα, κατόπιν επιλέξτε Ροή Wrangler δεδομένων.
   
   Το πρώτο βήμα στο Data Wrangler είναι να εισαγωγή τα δεδομένα σου. Μπορείτε να εισάγετε δεδομένα από πολλές πηγές δεδομένων, όπως το Amazon S3, Αμαζόν Αθηνά, Amazon RedShift, Νιφάδα χιονιού, να Βάσεις δεδομένων. Σε αυτό το παράδειγμα, χρησιμοποιούμε το Amazon S3. Εάν θέλετε απλώς να δείτε πώς λειτουργεί το Data Wrangler, μπορείτε πάντα να επιλέξετε Χρησιμοποιήστε δείγμα δεδομένων.
5. Επιλέξτε Εισαγωγή δεδομένων.
   
6. Επιλέξτε Amazon S3.
   
7. Επιλέξτε το σύνολο δεδομένων που ανεβάσατε και επιλέξτε εισαγωγή.
   
   Το Data Wrangler σάς δίνει τη δυνατότητα είτε να εισαγάγετε ολόκληρο το σύνολο δεδομένων είτε να δειγματίσετε ένα τμήμα του.
8. Για να λάβετε γρήγορα πληροφορίες σχετικά με το σύνολο δεδομένων, επιλέξτε Πρώτα ο Κ for Δειγματοληψία και εισάγετε 50000 για Το μέγεθος του δείγματος.
   

Κατανοήστε την ποιότητα των δεδομένων και λάβετε πληροφορίες

Ας χρησιμοποιήσουμε την Αναφορά ποιότητας δεδομένων και πληροφοριών για να πραγματοποιήσουμε μια ανάλυση των δεδομένων που εισαγάγαμε στο Data Wrangler. Μπορείτε να χρησιμοποιήσετε την αναφορά για να κατανοήσετε ποια βήματα πρέπει να κάνετε για να καθαρίσετε και να επεξεργαστείτε τα δεδομένα σας. Αυτή η αναφορά παρέχει πληροφορίες όπως ο αριθμός των τιμών που λείπουν και ο αριθμός των ακραίων τιμών. Εάν αντιμετωπίζετε προβλήματα με τα δεδομένα σας, όπως διαρροή στόχου ή ανισορροπία, η αναφορά πληροφοριών μπορεί να φέρει αυτά τα ζητήματα στην προσοχή σας.

1. Επιλέξτε το σύμβολο συν δίπλα Τύποι δεδομένων Και επιλέξτε Λάβετε πληροφορίες δεδομένων.
   
2. Για Τύπος ανάλυσης, επιλέξτε Αναφορά ποιότητας δεδομένων και πληροφοριών.
3. Για Στήλη στόχου, επιλέξτε Καρδάρα?.
4. Για Τύπος προβλήματος¸ επιλέξτε Ταξινόμηση.
5. Επιλέξτε Δημιουργία.
   

Σας παρουσιάζεται μια λεπτομερής αναφορά που μπορείτε να ελέγξετε και να κατεβάσετε. Η αναφορά περιλαμβάνει διάφορες ενότητες, όπως γρήγορο μοντέλο, σύνοψη χαρακτηριστικών, συσχέτιση χαρακτηριστικών και πληροφορίες δεδομένων. Τα ακόλουθα στιγμιότυπα οθόνης παρέχουν παραδείγματα αυτών των ενοτήτων.

Παρατηρήσεις από την έκθεση

Από την έκθεση μπορούμε να κάνουμε τις ακόλουθες παρατηρήσεις:

• Δεν βρέθηκαν διπλότυπες σειρές.
• Η State Η στήλη φαίνεται να είναι αρκετά ομοιόμορφα κατανεμημένη, επομένως τα δεδομένα είναι ισορροπημένα ως προς τον πληθυσμό της πολιτείας.
• Η Phone Η στήλη παρουσιάζει πάρα πολλές μοναδικές τιμές για να είναι πρακτικής χρήσης. Οι πάρα πολλές μοναδικές τιμές καθιστούν αυτήν τη στήλη μη χρήσιμη. Μπορούμε να ρίξουμε το Phone στήλη στη μεταμόρφωσή μας.
• Με βάση την ενότητα συσχέτισης χαρακτηριστικών της έκθεσης, Mins και Charge συσχετίζονται σε μεγάλο βαθμό. Μπορούμε να αφαιρέσουμε ένα από αυτά.

Μεταμόρφωση

Με βάση τις παρατηρήσεις μας, θέλουμε να κάνουμε τους εξής μετασχηματισμούς:

• Αφαιρέστε το Phone στήλη γιατί έχει πολλές μοναδικές τιμές.
• Βλέπουμε επίσης πολλά χαρακτηριστικά που ουσιαστικά έχουν 100% συσχέτιση μεταξύ τους. Η συμπερίληψη αυτών των ζευγών χαρακτηριστικών σε ορισμένους αλγόριθμους ML μπορεί να δημιουργήσει ανεπιθύμητα προβλήματα, ενώ σε άλλους θα εισαγάγει μόνο δευτερεύοντα πλεονασμό και προκατάληψη. Ας αφαιρέσουμε ένα χαρακτηριστικό από κάθε ένα από τα ζεύγη υψηλής συσχέτισης: Day Charge από το ζευγάρι με Day Mins, Night Charge από το ζευγάρι με Night Mins, να Intl Charge από το ζευγάρι με Intl Mins.
• Μετατρέπω True or False στο Churn στήλη να είναι αριθμητική τιμή 1 ή 0.

1. Επιστρέψτε στη ροή δεδομένων και επιλέξτε το σύμβολο συν δίπλα Τύποι δεδομένων.
2. Επιλέξτε Προσθήκη μετασχηματισμού.
   
3. Επιλέξτε Προσθέστε βήμα.
   
4. Μπορείτε να αναζητήσετε τον μετασχηματισμό που αναζητάτε (στην περίπτωσή μας, διαχείριση στηλών).
   
5. Επιλέξτε Διαχείριση στηλών.
   
6. Για Μεταμορφώστε¸ επιλέξτε Πτώση στήλης.
7. Για Στήλες για πτώση¸ επιλέξτε Phone, Day Charge, Eve Charge, Night Charge, να Intl Charge.
8. Επιλέξτε Προβολή, κατόπιν επιλέξτε Ενημέρωση.
   
   Ας προσθέσουμε έναν άλλο μετασχηματισμό για να εκτελέσουμε μια κατηγορική κωδικοποίηση στο Churn? στήλη.
9. Επιλέξτε τον μετασχηματισμό Κωδικοποιήστε κατηγορηματικά.
   
10. Για Μεταμορφώστε, επιλέξτε Κανονική κωδικοποίηση.
11. Για Στήλες εισαγωγής, επιλέξτε το Churn? στήλη.
12. Για Μη έγκυρη στρατηγική χειρισμού, επιλέξτε Αντικαταστήστε με NaN.
13. Επιλέξτε Προβολή, κατόπιν επιλέξτε Ενημέρωση.
    

Τώρα True και False μετατρέπονται σε 1 και 0, αντίστοιχα.

Τώρα που έχουμε κατανοήσει καλά τα δεδομένα και έχουμε προετοιμάσει και μετασχηματίσει τα δεδομένα για τη δημιουργία μοντέλων, μπορούμε να μετακινήσουμε τα δεδομένα στο Studio Lab για τη δημιουργία μοντέλων.

Ανεβάστε τα δεδομένα στο Studio Lab

Για να ξεκινήσετε να χρησιμοποιείτε τα δεδομένα στο Studio Lab, ολοκληρώστε τα παρακάτω βήματα:

1. Επιλέξτε Εξαγωγή δεδομένων προς την εξαγωγή σε έναν κάδο S3.
   
2. Για Τοποθεσία Amazon S3, εισαγάγετε τη διαδρομή S3 σας.
3. Καθορίστε τον τύπο αρχείου.
4. Επιλέξτε Εξαγωγή δεδομένων.
   
5. Αφού εξαγάγετε τα δεδομένα, μπορείτε να κάνετε λήψη των δεδομένων από τον κάδο S3 στον τοπικό σας υπολογιστή.
   
6. Τώρα μπορείτε να μεταβείτε στο Studio Lab και να ανεβάσετε το αρχείο στο Studio Lab.
   
   Εναλλακτικά, μπορείτε να συνδεθείτε στο Amazon S3 από το Studio Lab. Για περισσότερες πληροφορίες, ανατρέξτε στο Χρησιμοποιήστε εξωτερικούς πόρους στο Amazon SageMaker Studio Lab.
   
7. Ας εγκαταστήσουμε το SageMaker και ας εισάγουμε Panda.
   
8. Εισαγάγετε όλες τις βιβλιοθήκες όπως απαιτείται.
   
9. Τώρα μπορούμε να διαβάσουμε το αρχείο CSV.
   
10. Ας εκτυπώσουμε churn για να επιβεβαιώσετε ότι το σύνολο δεδομένων είναι σωστό.
    

Τώρα που έχετε το επεξεργασμένο σύνολο δεδομένων στο Studio Lab, μπορείτε να πραγματοποιήσετε περαιτέρω βήματα που απαιτούνται για τη δημιουργία μοντέλου.

Τιμολόγηση Data Wrangler

Μπορείτε να εκτελέσετε όλα τα βήματα σε αυτήν την ανάρτηση για EDA ή προετοιμασία δεδομένων στο Data Wrangler και πληρωμή για το απλό παράδειγμα, τις θέσεις εργασίας και τις τιμές αποθήκευσης με βάση τη χρήση ή την κατανάλωση. Δεν απαιτούνται προκαταβολικά τέλη ή τέλη αδειοδότησης.

εκκαθάριση

Όταν δεν χρησιμοποιείτε το Data Wrangler, είναι σημαντικό να απενεργοποιείτε την παρουσία στην οποία εκτελείται για να αποφύγετε την επιβολή πρόσθετων χρεώσεων. Για να αποφύγετε την απώλεια εργασίας, αποθηκεύστε τη ροή δεδομένων σας προτού απενεργοποιήσετε το Data Wrangler.

1. Για να αποθηκεύσετε τη ροή δεδομένων σας στο Studio, επιλέξτε Αρχεία, κατόπιν επιλέξτε Αποθήκευση ροής Wrangler δεδομένων.
   Το Data Wrangler αποθηκεύει αυτόματα τη ροή δεδομένων σας κάθε 60 δευτερόλεπτα.
2. Για να τερματίσετε την παρουσία του Data Wrangler, στο Studio, επιλέξτε Τρέχουσες παρουσίες και πυρήνες.
3. Κάτω από ΕΦΑΡΜΟΓΕΣ ΕΚΤΕΛΕΣΗΣ, επιλέξτε το εικονίδιο τερματισμού λειτουργίας δίπλα στο sagemaker-data-wrangler-1.0 app.
4. Επιλέξτε Κλείσε όλα για να επιβεβαιώσετε.
   

Το Data Wrangler εκτελείται σε ένα στιγμιότυπο ml.m5.4x. Αυτή η περίπτωση εξαφανίζεται από ΕΚΔΗΛΩΣΕΙΣ ΠΕΡΙΠΤΩΣΕΩΝ όταν τερματίζετε την εφαρμογή Data Wrangler.

Αφού τερματίσετε τη λειτουργία της εφαρμογής Data Wrangler, πρέπει να επανεκκινήσει την επόμενη φορά που θα ανοίξετε ένα αρχείο ροής Data Wrangler. Αυτό μπορεί να διαρκέσει μερικά λεπτά.

Συμπέρασμα

Σε αυτήν την ανάρτηση, είδαμε πώς μπορείτε να αποκτήσετε πληροφορίες για το σύνολο δεδομένων σας, να εκτελέσετε διερευνητική ανάλυση δεδομένων, να προετοιμάσετε και να μετατρέψετε δεδομένα χρησιμοποιώντας το Data Wrangler στο Studio και να εξάγετε τα μετασχηματισμένα και προετοιμασμένα δεδομένα στο Studio Lab και να πραγματοποιήσετε τη δημιουργία μοντέλων και άλλα βήματα.

Με το SageMaker Data Wrangler, μπορείτε να απλοποιήσετε τη διαδικασία προετοιμασίας δεδομένων και τη μηχανική χαρακτηριστικών και να ολοκληρώσετε κάθε βήμα της ροής εργασιών προετοιμασίας δεδομένων, συμπεριλαμβανομένης της επιλογής δεδομένων, του καθαρισμού, της εξερεύνησης και της απεικόνισης από μια ενιαία οπτική διεπαφή.

---

Σχετικά με τους συγγραφείς

Rajakumar Sampathkumar είναι Κύριος Τεχνικός Διευθυντής Λογαριασμού στην AWS, παρέχοντας καθοδήγηση στους πελάτες σχετικά με την ευθυγράμμιση επιχειρηματικής τεχνολογίας και υποστηρίζοντας την επανεφεύρεση των μοντέλων και διαδικασιών λειτουργίας τους στο cloud. Είναι παθιασμένος με το cloud και τη μηχανική μάθηση. Ο Raj είναι επίσης ειδικός στη μηχανική εκμάθηση και συνεργάζεται με πελάτες AWS για το σχεδιασμό, την ανάπτυξη και τη διαχείριση του φόρτου εργασίας και των αρχιτεκτονικών τους AWS.

Meenakshisundaram Thandavarayan είναι ανώτερος ειδικός AI/ML με πάθος να σχεδιάζει, να δημιουργεί και να προωθεί ανθρωποκεντρικές εμπειρίες Δεδομένων και Analytics. Υποστηρίζει τους πελάτες της AWS Strategic στον μετασχηματισμό τους προς μια οργάνωση που βασίζεται στα δεδομένα.

Τζέιμς Γου είναι Senior AI/ML Specialist Solution Architect στο AWS. βοηθώντας τους πελάτες να σχεδιάσουν και να δημιουργήσουν λύσεις AI/ML. Το έργο του James καλύπτει ένα ευρύ φάσμα περιπτώσεων χρήσης ML, με πρωταρχικό ενδιαφέρον για την όραση υπολογιστών, τη βαθιά μάθηση και την κλιμάκωση της ML σε όλη την επιχείρηση. Πριν από την ένταξή του στην AWS, ο James ήταν αρχιτέκτονας, προγραμματιστής και ηγέτης τεχνολογίας για περισσότερα από 10 χρόνια, συμπεριλαμβανομένων 6 ετών στη μηχανική και 4 ετών σε βιομηχανίες μάρκετινγκ και διαφήμισης.