Διαμορφώστε μια προσαρμοσμένη τοποθεσία εξόδου ερωτήματος Amazon S3 και πολιτική διατήρησης δεδομένων για πηγές δεδομένων Amazon Athena στο Amazon SageMaker Data Wrangler

Amazon SageMaker Data Wrangler μειώνει τον χρόνο που απαιτείται για τη συγκέντρωση και προετοιμασία δεδομένων για μηχανική εκμάθηση (ML) από εβδομάδες σε λεπτά Στούντιο Amazon SageMaker, το πρώτο πλήρως ενσωματωμένο περιβάλλον ανάπτυξης (IDE) για ML. Με το Data Wrangler, μπορείτε να απλοποιήσετε τη διαδικασία προετοιμασίας δεδομένων και τη μηχανική χαρακτηριστικών και να ολοκληρώσετε κάθε βήμα της ροής εργασιών προετοιμασίας δεδομένων, συμπεριλαμβανομένης της επιλογής δεδομένων, του καθαρισμού, της εξερεύνησης και της οπτικοποίησης, από μια ενιαία οπτική διεπαφή. Μπορείτε να εισάγετε δεδομένα από πολλές πηγές δεδομένων, όπως π.χ Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3), Amazon RedShift, Νιφάδα χιονιού, να 26 ενοποιημένες πηγές δεδομένων ερωτημάτων υποστηριζόμενο από Αμαζόν Αθηνά.

Από σήμερα, κατά την εισαγωγή δεδομένων από πηγές δεδομένων Athena, μπορείτε να διαμορφώσετε τη θέση εξόδου του ερωτήματος S3 και την περίοδο διατήρησης δεδομένων για εισαγωγή δεδομένων στο Data Wrangler για να ελέγχετε πού και πόσο καιρό αποθηκεύει η Athena τα ενδιάμεσα δεδομένα. Σε αυτήν την ανάρτηση, σας καθοδηγούμε σε αυτήν τη νέα λειτουργία.

Επισκόπηση λύσεων

Το Athena είναι μια διαδραστική υπηρεσία ερωτημάτων που διευκολύνει την περιήγηση Κόλλα AWS Καταλογίστε δεδομένα και αναλύστε δεδομένα στο Amazon S3 και 26 ενοποιημένες πηγές δεδομένων ερωτημάτων χρησιμοποιώντας τυπική SQL. Όταν χρησιμοποιείτε το Athena για εισαγωγή δεδομένων, μπορείτε να χρησιμοποιήσετε την προεπιλεγμένη θέση S3 του Data Wrangler για την έξοδο ερωτήματος Athena ή να καθορίσετε μια ομάδα εργασίας Athena για την επιβολή μιας προσαρμοσμένης τοποθεσίας S3. Προηγουμένως, έπρεπε να εφαρμόσετε ροές εργασιών εκκαθάρισης για να καταργήσετε αυτά τα ενδιάμεσα δεδομένα ή να ρυθμίσετε με μη αυτόματο τρόπο τη διαμόρφωση κύκλου ζωής του S3 για να ελέγξετε το κόστος αποθήκευσης και να ικανοποιήσετε τις απαιτήσεις ασφάλειας δεδομένων του οργανισμού σας. Αυτό είναι ένα μεγάλο λειτουργικό κόστος και δεν μπορεί να κλιμακωθεί.

Το Data Wrangler υποστηρίζει πλέον προσαρμοσμένες τοποθεσίες S3 και περιόδους διατήρησης δεδομένων για την έξοδο ερωτημάτων Athena. Με αυτήν τη νέα δυνατότητα, μπορείτε να αλλάξετε τη θέση εξόδου ερωτήματος Athena σε έναν προσαρμοσμένο κάδο S3. Έχετε πλέον μια προεπιλεγμένη πολιτική διατήρησης δεδομένων 5 ημερών για την έξοδο του ερωτήματος Athena και μπορείτε να την αλλάξετε για να ικανοποιήσετε τις απαιτήσεις ασφάλειας δεδομένων του οργανισμού σας. Με βάση την περίοδο διατήρησης, η έξοδος ερωτήματος Athena στον κάδο S3 καθαρίζεται αυτόματα. Αφού εισαγάγετε τα δεδομένα, μπορείτε να εκτελέσετε διερευνητική ανάλυση δεδομένων σε αυτό το σύνολο δεδομένων και να αποθηκεύσετε τα καθαρά δεδομένα πίσω στο Amazon S3.

Το παρακάτω διάγραμμα απεικονίζει αυτή την αρχιτεκτονική.

Για την περίπτωση χρήσης μας, χρησιμοποιούμε ένα δείγμα δεδομένων τράπεζας για να περιηγηθούμε στη λύση. Η ροή εργασίας αποτελείται από τα ακόλουθα βήματα:

1. Κατεβάστε το δείγμα συνόλου δεδομένων και ανέβασέ το σε έναν κάδο S3.
2. Ρυθμίστε μια κόλλα AWS έρπων για ανίχνευση του σχήματος και αποθήκευση του σχήματος μεταδεδομένων στον Κατάλογο δεδομένων κόλλας AWS.
3. Χρησιμοποιήστε το Athena για να αποκτήσετε πρόσβαση στον Κατάλογο Δεδομένων για να αναζητήσετε δεδομένα από τον κάδο S3.
4. Δημιουργήστε μια νέα ροή δεδομένων Wrangler για να συνδεθείτε στο Athena.
5. Κατά τη δημιουργία της σύνδεσης, ορίστε το TTL διατήρησης για το σύνολο δεδομένων.
6. Χρησιμοποιήστε αυτήν τη σύνδεση στη ροή εργασιών και αποθηκεύστε τα καθαρά δεδομένα σε έναν άλλο κάδο S3.

Για απλότητα, υποθέτουμε ότι έχετε ήδη ρυθμίσει το περιβάλλον Athena (βήματα 1–3). Αναλυτικά τα επόμενα βήματα σε αυτήν την ανάρτηση.

Προϋποθέσεις

Για να ρυθμίσετε το περιβάλλον Athena, ανατρέξτε στο ΟΔΗΓΟΣ ΧΡΗΣΤΗ για οδηγίες βήμα προς βήμα και ολοκληρώστε τα βήματα 1–3 όπως περιγράφεται στην προηγούμενη ενότητα.

Εισαγάγετε τα δεδομένα σας από το Athena στο Data Wrangler

Για να εισαγάγετε τα δεδομένα σας, ολοκληρώστε τα παρακάτω βήματα:

1. Στην κονσόλα Studio, επιλέξτε το Υποστηρικτικό υλικό εικονίδιο στο παράθυρο πλοήγησης.
2. Επιλέξτε Data Wrangler στο αναπτυσσόμενο μενού.
3. Επιλέξτε Νέα ροή.
   
4. Στις εισαγωγή καρτέλα, επιλέξτε Αμαζόν Αθηνά.
   
   Ανοίγει μια σελίδα λεπτομερειών όπου μπορείτε να συνδεθείτε στο Athena και να γράψετε ένα ερώτημα SQL για εισαγωγή από τη βάση δεδομένων.
5. Εισαγάγετε ένα όνομα για τη σύνδεσή σας.
   
6. Ανάπτυξη Προηγμένη διαμόρφωση.
   Κατά τη σύνδεση στο Athena, το Data Wrangler χρησιμοποιεί το Amazon S3 για να σκηνοθετήσει τα ερωτούμενα δεδομένα. Από προεπιλογή, αυτά τα δεδομένα τοποθετούνται στη θέση S3 s3://sagemaker-{region}-{account_id}/athena/ με περίοδο διατήρησης 5 ημερών.
7. Για Τοποθεσία αποτελεσμάτων ερωτήματος Amazon S3, εισαγάγετε την τοποθεσία σας S3.
8. Αγορά Περίοδος διατήρησης δεδομένων και ορίστε την περίοδο διατήρησης δεδομένων (για αυτήν την ανάρτηση, 1 ημέρα).
   Εάν καταργήσετε αυτήν την επιλογή, τα δεδομένα θα διατηρηθούν επ' αόριστον.Στα παρασκήνια, το Data Wrangler επισυνάπτει μια πολιτική διαμόρφωσης κύκλου ζωής S3 σε αυτήν τη θέση S3 για αυτόματη εκκαθάριση. Δείτε το ακόλουθο παράδειγμα πολιτικής:

    "Rules": [
           {
               "Expiration": {
                   "Days": 1
               },
               "ID": "sm-data-wrangler-retention-policy-xxxxxxx",
               "Filter": {
                   "Prefix": "athena/test"
               },
               "Status": "Enabled"
           }
       ]

   Χρειάζεται s3:GetLifecycleConfiguration και s3:PutLifecycleConfiguration ώστε ο ρόλος εκτέλεσης του SageMaker να εφαρμόζει σωστά τις πολιτικές διαμόρφωσης κύκλου ζωής. Χωρίς αυτά τα δικαιώματα, λαμβάνετε μηνύματα σφάλματος όταν προσπαθείτε να εισαγάγετε τα δεδομένα.

   Το ακόλουθο μήνυμα σφάλματος είναι ένα παράδειγμα έλλειψης του GetLifecycleConfiguration άδεια.
   

   Το ακόλουθο μήνυμα σφάλματος είναι ένα παράδειγμα έλλειψης του PutLifecycleConfiguration άδεια.

   

9. Προαιρετικά, για Ομάδα εργασίας, μπορείτε να καθορίσετε μια ομάδα εργασίας Athena.
   An Athena workgroup isolates users, teams, applications, or workloads into groups, each with its own permissions and configuration settings. When you specify a workgroup, Data Wrangler inherits the workgroup setting defined in Athena. For example, if a workgroup has an S3 location defined to store query results and enables Override client side settings, you can’t edit the S3 query result location.Από προεπιλογή, το Data Wrangler αποθηκεύει επίσης τη σύνδεση Athena για εσάς. Αυτό εμφανίζεται ως νέο πλακίδιο Athena στο εισαγωγή αυτί. Μπορείτε πάντα να ανοίξετε ξανά αυτήν τη σύνδεση για να κάνετε ερώτημα και να φέρετε διαφορετικά δεδομένα στο Data Wrangler.
   
10. Αποεπιλογή Αποθήκευση σύνδεσης εάν δεν θέλετε να αποθηκεύσετε τη σύνδεση.
    
11. Για να διαμορφώσετε τη σύνδεση Athena, επιλέξτε Ν/Α for Δειγματοληψία για να εισαγάγετε ολόκληρο το σύνολο δεδομένων.
    
    Για μεγάλα σύνολα δεδομένων, το Data Wrangler σάς επιτρέπει να εισάγετε ένα υποσύνολο των δεδομένων σας για να δημιουργήσετε τη ροή εργασιών μετασχηματισμού σας και να επεξεργάζεστε ολόκληρο το σύνολο δεδομένων μόνο όταν είστε έτοιμοι. Αυτό επιταχύνει τον κύκλο επανάληψης και εξοικονομεί χρόνο και κόστος επεξεργασίας. Για να μάθετε περισσότερα σχετικά με τις διάφορες διαθέσιμες επιλογές δειγματοληψίας δεδομένων, επισκεφθείτε το Το Amazon SageMaker Data Wrangler υποστηρίζει πλέον τυχαία δειγματοληψία και στρωματοποιημένη δειγματοληψία.
12. Για Κατάλογος δεδομένων¸ επιλέξτε AwsDataCatalog.
13. Για βάση δεδομένων, επιλέξτε τη βάση δεδομένων σας.
    
    Το Data Wrangler εμφανίζει τους διαθέσιμους πίνακες. Μπορείτε να επιλέξετε κάθε πίνακα για να ελέγξετε το σχήμα και να κάνετε προεπισκόπηση των δεδομένων.
    
14. Εισαγάγετε τον ακόλουθο κωδικό στο πεδίο ερωτήματος:

    Select *
    From bank_additional_full

15. Επιλέξτε τρέξιμο για προεπισκόπηση των δεδομένων.
16. Αν όλα φαίνονται καλά, επιλέξτε εισαγωγή.
17. Εισαγάγετε ένα όνομα δεδομένων και επιλέξτε Πρόσθεση για να εισαγάγετε τα δεδομένα στον χώρο εργασίας σας στο Data Wrangler.
    

Αναλύστε και επεξεργαστείτε δεδομένα με το Data Wrangler

Αφού φορτώσετε τα δεδομένα στο Data Wrangler, μπορείτε να κάνετε διερευνητική ανάλυση δεδομένων (EDA) και να προετοιμάσετε τα δεδομένα για μηχανική εκμάθηση.

1. Επιλέξτε το σύμβολο συν δίπλα στο bank-data σύνολο δεδομένων στη ροή δεδομένων και επιλέξτε Προσθέστε ανάλυση.
   Το Data Wrangler παρέχει ενσωματωμένες αναλύσεις, συμπεριλαμβανομένης της αναφοράς ποιότητας δεδομένων και πληροφοριών, συσχέτισης δεδομένων, αναφοράς μεροληψίας πριν από την εκπαίδευση, περίληψη του συνόλου δεδομένων σας και απεικονίσεις (όπως ιστογράμματα και διαγράμματα διασποράς). Επιπλέον, μπορείτε να δημιουργήσετε τη δική σας προσαρμοσμένη οπτικοποίηση.
   
2. Για Τύπος ανάλυσης¸ επιλέξτε Αναφορά ποιότητας δεδομένων και πληροφοριών.
   Αυτό δημιουργεί αυτόματα οπτικοποιήσεις, αναλύσεις για τον εντοπισμό ζητημάτων ποιότητας δεδομένων και προτάσεις για τους σωστούς μετασχηματισμούς που απαιτούνται για το σύνολο δεδομένων σας.
3. Για Στήλη στόχου, επιλέξτε Y.
4. Επειδή αυτή είναι μια δήλωση προβλήματος ταξινόμησης, για Τύπος προβλήματος, Επιλέξτε Ταξινόμηση.
5. Επιλέξτε Δημιουργία.
   
   Το Data Wrangler δημιουργεί μια λεπτομερή αναφορά για το σύνολο δεδομένων σας. Μπορείτε επίσης να κάνετε λήψη της αναφοράς στον τοπικό σας υπολογιστή.
   
6. Για προετοιμασία δεδομένων, επιλέξτε το σύμβολο συν δίπλα στο σύνολο δεδομένων τράπεζας στη ροή δεδομένων και επιλέξτε Προσθήκη μετασχηματισμού.
7. Επιλέξτε Προσθέστε βήμα για να ξεκινήσετε να χτίζετε τις μεταμορφώσεις σας.
   

Τη στιγμή της συγγραφής αυτής της έκθεσης, το Data Wrangler παρέχει πάνω από 300 ενσωματωμένους μετασχηματισμούς. Μπορείτε επίσης να γράψετε τους δικούς σας μετασχηματισμούς χρησιμοποιώντας Pandas ή PySpark.

Τώρα μπορείτε να αρχίσετε να δημιουργείτε τις μεταμορφώσεις και τις αναλύσεις σας με βάση τις απαιτήσεις της επιχείρησής σας.

εκκαθάριση

Για να αποφύγετε το τρέχον κόστος, διαγράψτε τους πόρους του Data Wrangler ακολουθώντας τα παρακάτω βήματα όταν τελειώσετε.

1. Επιλέξτε το εικονίδιο Running Instances and Kernels.
2. Στην ενότητα ΕΚΤΕΛΕΣΗ ΕΦΑΡΜΟΓΩΝ, κάντε κλικ στο εικονίδιο τερματισμού λειτουργίας δίπλα στο sagemaker-data-wrangler-1.0 app.
3. Επιλέξτε Τερματισμός όλων για επιβεβαίωση.

Συμπέρασμα

Σε αυτήν την ανάρτηση, παρέχουμε μια επισκόπηση της προσαρμογής της τοποθεσίας σας στο S3 και την ενεργοποίηση των διαμορφώσεων κύκλου ζωής του S3 για την εισαγωγή δεδομένων από το Athena στο Data Wrangler. Με αυτήν τη δυνατότητα, μπορείτε να αποθηκεύσετε ενδιάμεσα δεδομένα σε μια ασφαλή θέση S3 και να αφαιρέσετε αυτόματα το αντίγραφο δεδομένων μετά την περίοδο διατήρησης για να μειώσετε τον κίνδυνο μη εξουσιοδοτημένης πρόσβασης στα δεδομένα. Σας συνιστούμε να δοκιμάσετε αυτή τη νέα λειτουργία. Καλό κτίριο!

Για να μάθετε περισσότερα για το Athena και το SageMaker, επισκεφτείτε τη διεύθυνση Οδηγός χρήσης Athena και Τεκμηρίωση Amazon SageMaker.

---

Σχετικά με τους συγγραφείς

 Meenakshisundaram Thandavarayan είναι Ανώτερος ειδικός AI/ML με AWS. Βοηθά στρατηγικούς λογαριασμούς υψηλής τεχνολογίας στο ταξίδι τους σε AI και ML. Είναι πολύ παθιασμένος με την τεχνητή νοημοσύνη που βασίζεται σε δεδομένα.

Harish Rajagopalan είναι Senior Solutions Architect στο Amazon Web Services. Ο Harish συνεργάζεται με εταιρικούς πελάτες και τους βοηθά στο ταξίδι τους στο cloud.

Τζέιμς Γου είναι Senior AI/ML Specialist Solution Architect στο AWS. βοηθώντας τους πελάτες να σχεδιάσουν και να δημιουργήσουν λύσεις AI/ML. Το έργο του James καλύπτει ένα ευρύ φάσμα περιπτώσεων χρήσης ML, με πρωταρχικό ενδιαφέρον για την όραση υπολογιστών, τη βαθιά μάθηση και την κλιμάκωση της ML σε όλη την επιχείρηση. Πριν από την ένταξή του στην AWS, ο James ήταν αρχιτέκτονας, προγραμματιστής και ηγέτης τεχνολογίας για περισσότερα από 10 χρόνια, συμπεριλαμβανομένων 6 ετών στη μηχανική και 4 ετών σε βιομηχανίες μάρκετινγκ και διαφήμισης.