Διαδραστικό γραφικό στοιχείο προετοιμασίας δεδομένων για φορητούς υπολογιστές που υποστηρίζεται από το Amazon SageMaker Data Wrangler

Σύμφωνα με μια έρευνα επιστημόνων δεδομένων του 2020 που διεξήχθη από την Anaconda, η προετοιμασία δεδομένων είναι ένα από τα κρίσιμα βήματα στη μηχανική μάθηση (ML) και στις ροές εργασίας ανάλυσης δεδομένων και συχνά πολύ χρονοβόρα για τους επιστήμονες δεδομένων. Οι επιστήμονες δεδομένων ξοδεύουν περίπου το 66% του χρόνου τους σε εργασίες προετοιμασίας και ανάλυσης δεδομένων, συμπεριλαμβανομένης της φόρτωσης (19%), του καθαρισμού (26%) και της οπτικοποίησης δεδομένων (21%).

Στούντιο Amazon SageMaker είναι το πρώτο πλήρως ενσωματωμένο περιβάλλον ανάπτυξης (IDE) για ML. Με ένα μόνο κλικ, οι επιστήμονες δεδομένων και οι προγραμματιστές μπορούν να κάνουν γρήγορη περιστροφή Σημειωματάρια στούντιο για να εξερευνήσετε σύνολα δεδομένων και να δημιουργήσετε μοντέλα. Εάν προτιμάτε μια διαδραστική διεπαφή βασισμένη σε GUI, μπορείτε να τη χρησιμοποιήσετε Amazon SageMaker Data Wrangler, με περισσότερες από 300 ενσωματωμένες απεικονίσεις, αναλύσεις και μετασχηματισμούς για την αποτελεσματική επεξεργασία δεδομένων που υποστηρίζονται από το Spark χωρίς να γράψετε ούτε μια γραμμή κώδικα.

Data Wrangler τώρα προσφέρει μια ενσωματωμένη δυνατότητα προετοιμασίας δεδομένων σε Σημειωματάρια Amazon SageMaker Studio που επιτρέπει στους επαγγελματίες ML να ελέγχουν οπτικά τα χαρακτηριστικά των δεδομένων, να εντοπίζουν προβλήματα και να επιλύουν προβλήματα ποιότητας δεδομένων—με λίγα μόνο κλικ απευθείας μέσα στα σημειωματάρια.

Σε αυτή την ανάρτηση, σας δείχνουμε πώς το Data Wrangler Το γραφικό στοιχείο προετοιμασίας δεδομένων δημιουργεί αυτόματα βασικές απεικονίσεις πάνω από ένα πλαίσιο δεδομένων Pandas για την κατανόηση της διανομής δεδομένων, τον εντοπισμό ζητημάτων ποιότητας δεδομένων και τις πληροφορίες επιφανειακών δεδομένων, όπως ακραίες τιμές για κάθε χαρακτηριστικό. Βοηθά στην αλληλεπίδραση με τα δεδομένα και στην ανακάλυψη πληροφοριών που μπορεί να περάσουν απαρατήρητες με τα ad hoc ερωτήματα. Συνιστά επίσης μετασχηματισμούς για αποκατάσταση, σας δίνει τη δυνατότητα να εφαρμόσετε μετασχηματισμούς δεδομένων στο περιβάλλον χρήστη και να δημιουργήσετε αυτόματα κώδικα στα κελιά του σημειωματάριου. Αυτή η δυνατότητα είναι διαθέσιμη σε όλες τις περιοχές όπου είναι διαθέσιμο το SageMaker Studio.

Επισκόπηση λύσεων

Ας κατανοήσουμε περαιτέρω πώς αυτό το νέο γραφικό στοιχείο κάνει την εξερεύνηση δεδομένων σημαντικά πιο εύκολη και παρέχει μια απρόσκοπτη εμπειρία για τη βελτίωση της συνολικής εμπειρίας προετοιμασίας δεδομένων για μηχανικούς δεδομένων και επαγγελματίες. Για την περίπτωση χρήσης μας, χρησιμοποιούμε μια τροποποιημένη έκδοση του Τιτανικό σύνολο δεδομένων, ένα δημοφιλές σύνολο δεδομένων στην κοινότητα ML, το οποίο έχει πλέον προστεθεί ως α δείγμα συνόλου δεδομένων ώστε να μπορείτε να ξεκινήσετε γρήγορα με το SageMaker Data Wrangler. Το αρχικό σύνολο δεδομένων ελήφθη από OpenML, και τροποποιήθηκε για να προσθέσει προβλήματα ποιότητας συνθετικών δεδομένων από την Amazon για αυτήν την επίδειξη. Μπορείτε να κάνετε λήψη της τροποποιημένης έκδοσης του συνόλου δεδομένων από τη δημόσια διαδρομή S3 s3://sagemaker-sample-files/datasets/tabular/dirty-titanic/titanic-dirty-4.csv.

Προϋποθέσεις

Για να αποκτήσετε πρακτική εμπειρία με όλες τις δυνατότητες που περιγράφονται σε αυτήν την ανάρτηση, συμπληρώστε τις ακόλουθες προϋποθέσεις:

1. Βεβαιωθείτε ότι έχετε λογαριασμό AWS, ασφαλή πρόσβαση για να συνδεθείτε στον λογαριασμό μέσω του Κονσόλα διαχείρισης AWS, να Διαχείριση ταυτότητας και πρόσβασης AWS (IAM) άδειες χρήσης Amazon Sage Maker και Απλή υπηρεσία αποθήκευσης Amazon Πόροι (Amazon S3).
2. Χρησιμοποιήστε το δείγμα δεδομένων από τη δημόσια διαδρομή S3 s3://sagemaker-sample-files/datasets/tabular/dirty-titanic/titanic-dirty-4.csv ή εναλλακτικά ανεβάστε το σε έναν κάδο S3 στο λογαριασμό σας.
3. Επιβιβαστείτε σε έναν τομέα SageMaker και αποκτήστε πρόσβαση στο Studio για να χρησιμοποιήσετε σημειωματάρια. Για οδηγίες, ανατρέξτε στο Ενσωματωμένος στον τομέα Amazon SageMaker. Εάν χρησιμοποιείτε το υπάρχον Studio, κάντε αναβάθμιση στο τελευταία έκδοση του Studio.

Ενεργοποιήστε το γραφικό στοιχείο εξερεύνησης δεδομένων

Όταν χρησιμοποιείτε πλαίσια δεδομένων Pandas, οι χρήστες φορητών υπολογιστών Studio μπορούν να ενεργοποιήσουν μη αυτόματα το γραφικό στοιχείο εξερεύνησης δεδομένων, έτσι ώστε οι νέες απεικονίσεις να εμφανίζονται από προεπιλογή στο επάνω μέρος κάθε στήλης. Το γραφικό στοιχείο εμφανίζει ένα ιστόγραμμα για αριθμητικά δεδομένα και ένα γράφημα ράβδων για άλλους τύπους δεδομένων. Αυτές οι αναπαραστάσεις σάς επιτρέπουν να κατανοήσετε γρήγορα τη διανομή δεδομένων και να ανακαλύψετε τιμές και ακραίες τιμές που λείπουν χωρίς να χρειάζεται να γράψετε μεθόδους boilerplate για κάθε στήλη. Μπορείτε να τοποθετήσετε το δείκτη του ποντικιού πάνω από τη γραμμή σε κάθε εικόνα για να κατανοήσετε γρήγορα τη διανομή.

Ανοίξτε το Studio και δημιουργήστε ένα νέο σημειωματάριο Python 3. Φροντίστε να επιλέξετε το Επιστήμη δεδομένων 3.0 εικόνα από εικόνες SageMaker κάνοντας κλικ Αλλάξτε περιβάλλον κουμπί.

Το widget εξερεύνησης δεδομένων είναι διαθέσιμο στις παρακάτω εικόνες. Για τη λίστα των προεπιλεγμένων εικόνων SageMaker, ανατρέξτε στο Διαθέσιμες εικόνες Amazon SageMaker.

• Python 3 (Data Science) με Python 3.7
• Python 3 (Data Science 2.0) με Python 3.8
• Python 3 (Data Science 3.0) με Python 3.10
• Spark Analytics 1.0 και 2.0

Για να χρησιμοποιήσετε αυτό το γραφικό στοιχείο, εισαγάγετε το SageMaker_DataWrangler βιβλιοθήκη. Φορτώστε την τροποποιημένη έκδοση του συνόλου δεδομένων Titanic από S3://sagemaker-sample-files/datasets/tabular/dirty-titanic/titanic-dirty-4.csv και διαβάστε το CSV με τη βιβλιοθήκη Pandas:

import pandas as pd
import boto3
import io
import sagemaker_datawrangler

s3 = boto3.client('s3')
obj = s3.get_object(Bucket='sagemaker-sample-files', Key='datasets/tabular/dirty-titanic/titanic-dirty-4.csv')
df = pd.read_csv(io.BytesIO(obj['Body'].read()))

Οπτικοποιήστε τα δεδομένα

Αφού φορτωθούν τα δεδομένα στο πλαίσιο δεδομένων Pandas, μπορείτε να προβάλετε τα δεδομένα χρησιμοποιώντας απλώς df or display(df). Μαζί με την καταχώριση της σειράς, το γραφικό στοιχείο προετοιμασίας δεδομένων παράγει πληροφορίες, απεικονίσεις και συμβουλές σχετικά με την ποιότητα των δεδομένων. Δεν χρειάζεται να γράψετε πρόσθετο κώδικα για να δημιουργήσετε πληροφορίες για λειτουργίες και στόχευση, πληροφορίες διανομής ή απόδοση ελέγχων ποιότητας δεδομένων. Μπορείτε να επιλέξετε την κεφαλίδα του πίνακα πλαισίου δεδομένων για να προβάλετε τη στατιστική περίληψη που δείχνει τις προειδοποιήσεις ποιότητας δεδομένων, εάν υπάρχουν.

Κάθε στήλη εμφανίζει ένα γράφημα ράβδων ή ένα ιστόγραμμα με βάση τον τύπο δεδομένων. Από προεπιλογή, το γραφικό στοιχείο λαμβάνει δείγματα έως και 10,000 παρατηρήσεων για τη δημιουργία σημαντικών πληροφοριών. Παρέχει επίσης την επιλογή εκτέλεσης της ανάλυσης πληροφοριών σε ολόκληρο το σύνολο δεδομένων.

Όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης, αυτό το γραφικό στοιχείο προσδιορίζει εάν μια στήλη έχει κατηγορικά ή ποσοτικά δεδομένα.

Για κατηγορικά δεδομένα, το γραφικό στοιχείο δημιουργεί το γράφημα ράβδων με όλες τις κατηγορίες. Στο παρακάτω στιγμιότυπο οθόνης, για παράδειγμα, η στήλη Sex προσδιορίζει τις κατηγορίες στα δεδομένα. Μπορείτε να περάσετε τον δείκτη του ποντικιού πάνω από τη γραμμή (αρσενικός σε αυτήν την περίπτωση) για να δείτε τις λεπτομέρειες αυτών των κατηγοριών, όπως τον συνολικό αριθμό σειρών με την τιμή male και η κατανομή του στο συνολικό οπτικοποιημένο σύνολο δεδομένων (64.07% σε αυτό το παράδειγμα). Υπογραμμίζει επίσης το συνολικό ποσοστό των τιμών που λείπουν με διαφορετικό χρώμα για τα κατηγορικά δεδομένα. Για ποσοτικά δεδομένα όπως το ticket στήλη, δείχνει την κατανομή μαζί με το ποσοστό των μη έγκυρων τιμών.

Εάν θέλετε να δείτε μια τυπική απεικόνιση Panda στο σημειωματάριο, μπορείτε να επιλέξετε Δείτε τον πίνακα Pandas και κάντε εναλλαγή μεταξύ του γραφικού στοιχείου και της αναπαράστασης Pandas, όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης.

Για να λάβετε πιο λεπτομερείς πληροφορίες σχετικά με τα δεδομένα στη στήλη, επιλέξτε την κεφαλίδα της στήλης για να ανοίξετε ένα πλαϊνό πλαίσιο αφιερωμένο στη στήλη. Εδώ μπορείτε να παρατηρήσετε δύο καρτέλες: Δεδομένα και Η ποιότητα των δεδομένων.

Στις επόμενες ενότητες, διερευνούμε αυτές τις δύο επιλογές με περισσότερες λεπτομέρειες.

Δεδομένα

Η Δεδομένα Η καρτέλα παρέχει λεπτομέρειες με περιγραφές για κάθε στήλη. Αυτή η ενότητα παραθέτει συγκεντρωτικά στατιστικά στοιχεία, όπως τρόπο λειτουργίας, αριθμό μοναδικών, αναλογίες και μετρήσεις για τιμές που λείπουν/μη έγκυρες κ.λπ., καθώς και οπτικοποίηση της διανομής δεδομένων με τη βοήθεια ενός ιστογράμματος ή ενός ραβδωτού γραφήματος. Στα ακόλουθα στιγμιότυπα οθόνης, μπορείτε να δείτε τις πληροφορίες δεδομένων και τις πληροφορίες διανομής που εμφανίζονται με εύκολα κατανοητές απεικονίσεις που δημιουργούνται για την επιλεγμένη στήλη survived.

Η ποιότητα των δεδομένων

Το γραφικό στοιχείο προετοιμασίας δεδομένων στούντιο επισημαίνει εντοπισμένα προβλήματα ποιότητας δεδομένων με το προειδοποιητικό σήμα στην κεφαλίδα. Το γραφικό στοιχείο μπορεί να προσδιορίσει ολόκληρο το φάσμα των προβλημάτων ποιότητας δεδομένων από τα βασικά (τιμές που λείπουν, σταθερή στήλη κ.λπ.) έως πιο συγκεκριμένα για το ML (διαρροή στόχου, χαρακτηριστικά χαμηλής προγνωστικής βαθμολογίας κ.λπ.). Το γραφικό στοιχείο επισημαίνει τα κελιά που προκαλούν το πρόβλημα ποιότητας δεδομένων και αναδιοργανώνει τις σειρές για να τοποθετήσει τα προβληματικά κελιά στην κορυφή. Για την επίλυση του ζητήματος ποιότητας δεδομένων, το widget παρέχει αρκετούς μετασχηματιστές, που ισχύουν με ένα πάτημα ενός κουμπιού.

Για να εξερευνήσετε την ενότητα ποιότητας δεδομένων, επιλέξτε την κεφαλίδα της στήλης και στο πλαϊνό πλαίσιο, επιλέξτε το Η ποιότητα των δεδομένων αυτί. Θα πρέπει να δείτε τα ακόλουθα στο περιβάλλον του Studio σας.

Ας δούμε τις διαφορετικές επιλογές που είναι διαθέσιμες στο Η ποιότητα των δεδομένων αυτί. Για αυτό το παράδειγμα, επιλέγουμε τη στήλη ηλικία, η οποία ανιχνεύεται ως ποσοτική στήλη με βάση τα δεδομένα. Όπως μπορούμε να δούμε στο παρακάτω στιγμιότυπο οθόνης, αυτό το γραφικό στοιχείο προτείνει διαφορετικούς τύπους μετασχηματισμών που θα μπορούσατε να εφαρμόσετε, συμπεριλαμβανομένων των πιο συνηθισμένων ενεργειών, όπως π.χ. Αντικαταστήστε με νέα τιμή, Λείπει η πτώση, Αντικαταστήστε με διάμεσο, ή Αντικαταστήστε με μέσο όρο. Μπορείτε να επιλέξετε οποιοδήποτε από αυτά για το σύνολο δεδομένων σας με βάση την περίπτωση χρήσης (το πρόβλημα ML που προσπαθείτε να λύσετε). Σας δίνει επίσης το Πτώση στήλης επιλογή εάν θέλετε να καταργήσετε εντελώς τη δυνατότητα.

Όταν επιλέγετε Εφαρμογή και εξαγωγή κωδικού, ο μετασχηματισμός εφαρμόζεται στο βαθύ αντίγραφο του πλαισίου δεδομένων. Μετά την επιτυχή εφαρμογή του μετασχηματισμού, ο πίνακας δεδομένων ανανεώνεται με τις πληροφορίες και τις απεικονίσεις. Ο κώδικας μετασχηματισμού δημιουργείται μετά το υπάρχον κελί στο σημειωματάριο. Μπορείτε να εκτελέσετε αυτόν τον εξαγόμενο κώδικα αργότερα για να εφαρμόσετε τον μετασχηματισμό στα σύνολα δεδομένων σας και να τον επεκτείνετε σύμφωνα με τις ανάγκες σας. Μπορείτε να προσαρμόσετε τον μετασχηματισμό τροποποιώντας απευθείας τον κώδικα που δημιουργείται. Αν εφαρμόσουμε το Λείπει η πτώση επιλογή στη στήλη Ηλικία, ο ακόλουθος κώδικας μετασχηματισμού εφαρμόζεται στο σύνολο δεδομένων και ο κώδικας δημιουργείται επίσης σε ένα κελί κάτω από το γραφικό στοιχείο:

#Pandas code generated by sagemaker_datawrangler
output_df = df.copy(deep=True) 

#Code to Drop missing for column: age to resolve warning: Missing values 
output_df = output_df[output_df['age'].notnull()]

Το παρακάτω είναι ένα άλλο παράδειγμα αποσπάσματος κώδικα για Αντικαταστήστε με διάμεσο:

#Pandas code generated by sagemaker_datawrangler
output_df = df.copy(deep=True) 

#Code to Replace with median for column: age to resolve warning: Missing values 
output_df['age']=output_df['age'].fillna(output_df['age'].median(skipna=True))

Τώρα ας δούμε την ικανότητα ενόρασης στόχου του γραφικού στοιχείου προετοιμασίας δεδομένων. Ας υποθέσουμε ότι θέλετε να χρησιμοποιήσετε το survived χαρακτηριστικό για να προβλέψει εάν ένας επιβάτης θα επιβιώσει. Επιλέξτε το survived κεφαλίδα στήλης. Στο πλαϊνό πλαίσιο, επιλέξτε Επιλέξτε ως στήλη προορισμού. Η ιδανική διανομή δεδομένων για το survived Το χαρακτηριστικό θα πρέπει να έχει μόνο δύο κατηγορίες: ναι (1) ή όχι (0), το οποίο βοηθά στην ταξινόμηση των πιθανοτήτων επιβίωσης από τη συντριβή του Τιτανικού. Ωστόσο, λόγω ασυνέπειας δεδομένων στην επιλεγμένη στήλη προορισμού, το χαρακτηριστικό που επιβίωσε έχει 0, 1, ?, unknown, να yes.

Επιλέξτε τον τύπο προβλήματος με βάση την επιλεγμένη στήλη προορισμού, η οποία μπορεί να είναι είτε Ταξινόμηση or Οπισθοδρόμηση. Για τη στήλη που διασώθηκε, ο τύπος προβλήματος είναι η ταξινόμηση. Επιλέγω τρέξιμο για τη δημιουργία πληροφοριών για τη στήλη προορισμού.

Το γραφικό στοιχείο προετοιμασίας δεδομένων παραθέτει τις πληροφορίες στηλών προορισμού με προτάσεις και δείγματα επεξηγήσεων για την επίλυση προβλημάτων με την ποιότητα δεδομένων της στήλης στόχου. Επίσης, επισημαίνει αυτόματα τα ανώμαλα δεδομένα στη στήλη.

Επιλέγουμε τον προτεινόμενο μετασχηματισμό Ρίξτε σπάνιες τιμές στόχου, επειδή υπάρχουν λιγότερες παρατηρήσεις για τις σπάνιες τιμές στόχου.

Ο επιλεγμένος μετασχηματισμός εφαρμόζεται στο πλαίσιο δεδομένων Pandas και οι ασυνήθιστες τιμές στόχου εξαλείφθηκαν από τη στήλη που επιβίωσε. Δείτε τον παρακάτω κώδικα:

# Pandas code generated by sagemaker_datawrangler
output_df = df.copy(deep=True)

# Code to Drop rare target values for column: survived to resolve warning: Too few instances per class 
rare_target_labels_to_drop = ['?', 'unknown', 'yes']
output_df = output_df[~output_df['survived'].isin(rare_target_labels_to_drop)]

Τα αποτελέσματα του εφαρμοζόμενου μετασχηματισμού είναι άμεσα ορατά στο πλαίσιο δεδομένων. Για την παρακολούθηση των δραστηριοτήτων προετοιμασίας δεδομένων που εφαρμόζονται χρησιμοποιώντας το γραφικό στοιχείο προετοιμασίας δεδομένων, ο μετασχηματισμένος κώδικας δημιουργείται επίσης στο ακόλουθο κελί σημειωματάριου.

Συμπέρασμα

Σε αυτήν την ανάρτηση, παρείχαμε οδηγίες σχετικά με τον τρόπο με τον οποίο το γραφικό στοιχείο προετοιμασίας δεδομένων Studio μπορεί να σας βοηθήσει να αναλύσετε τις διανομές δεδομένων, να εξερευνήσετε πληροφορίες ποιότητας δεδομένων που δημιουργούνται από το εργαλείο και να αποκαλύψετε πιθανά ζητήματα, όπως ακραίες τιμές για κάθε κρίσιμο χαρακτηριστικό. Αυτό συμβάλλει στη βελτίωση της συνολικής ποιότητας δεδομένων για να σας βοηθήσει να εκπαιδεύσετε μοντέλα υψηλής ποιότητας και καταργεί την αδιαφοροποίητη άρση βαρών, επιτρέποντάς σας να μετασχηματίσετε δεδομένα στη διεπαφή χρήστη και να δημιουργήσετε αυτόματα κώδικα για τα κελιά του φορητού υπολογιστή. Στη συνέχεια, μπορείτε να χρησιμοποιήσετε αυτόν τον κώδικα στους αγωγούς MLOps για να δημιουργήσετε επαναληψιμότητα, να αποφύγετε τη σπατάλη χρόνου σε επαναλαμβανόμενες εργασίες και να μειώσετε τα προβλήματα συμβατότητας επιταχύνοντας την κατασκευή και την ανάπτυξη αγωγών διαμάχης δεδομένων.

Εάν είστε νέοι στο SageMaker Data Wrangler ή στο Studio, ανατρέξτε στο Ξεκινήστε με το SageMaker Data Wrangler. Εάν έχετε οποιεσδήποτε ερωτήσεις σχετικά με αυτήν την ανάρτηση, προσθέστε την στην ενότητα σχολίων.

Σχετικά με τους Συγγραφείς

Parth Patel είναι αρχιτέκτονας λύσεων στο AWS στην περιοχή του κόλπου του Σαν Φρανσίσκο. Το Parth καθοδηγεί τους πελάτες να επιταχύνουν το ταξίδι τους στο cloud και να τους βοηθήσει να υιοθετήσουν και να αναπτυχθούν με επιτυχία στο AWS Cloud. Επικεντρώνεται στη μηχανική μάθηση, την περιβαλλοντική βιωσιμότητα και τον εκσυγχρονισμό εφαρμογών.

Isha Dua είναι Senior Solutions Architect με έδρα την περιοχή του κόλπου του Σαν Φρανσίσκο. Βοηθά τους πελάτες της AWS Enterprise να αναπτυχθούν κατανοώντας τους στόχους και τις προκλήσεις τους και καθοδηγώντας τους πώς μπορούν να αρχιτεκτονήσουν τις εφαρμογές τους με τρόπο που δεν είναι φυσικό, διασφαλίζοντας ταυτόχρονα ότι είναι ανθεκτικές και επεκτάσιμες. Είναι παθιασμένη με τις τεχνολογίες μηχανικής μάθησης και την περιβαλλοντική βιωσιμότητα.

Hariharan Suresh είναι Senior Solutions Architect στην AWS. Είναι παθιασμένος με τις βάσεις δεδομένων, τη μηχανική μάθηση και το σχεδιασμό καινοτόμων λύσεων. Πριν από την ένταξή του στην AWS, ο Hariharan ήταν αρχιτέκτονας προϊόντων, βασικός ειδικός στην υλοποίηση τραπεζικών εργασιών και προγραμματιστής, και συνεργάστηκε με οργανισμούς BFSI για περισσότερα από 11 χρόνια. Εκτός τεχνολογίας, του αρέσει το αλεξίπτωτο πλαγιάς και το ποδήλατο.

Ντάνι Μίτσελ είναι Αρχιτέκτονας Ειδικών Λύσεων AI/ML στην Amazon Web Services. Επικεντρώνεται σε περιπτώσεις χρήσης Computer Vision και βοηθά τους πελάτες σε όλη την EMEA να επιταχύνουν το ταξίδι τους ML.