Εφαρμόστε το RStudio στο περιβάλλον AWS σας και αποκτήστε πρόσβαση στη λίμνη δεδομένων σας χρησιμοποιώντας τα δικαιώματα AWS Lake Formation

Η R είναι μια δημοφιλής αναλυτική γλώσσα προγραμματισμού που χρησιμοποιείται από επιστήμονες και αναλυτές δεδομένων για την εκτέλεση επεξεργασίας δεδομένων, τη διεξαγωγή στατιστικών αναλύσεων, τη δημιουργία οπτικοποιήσεων δεδομένων και τη δημιουργία μοντέλων μηχανικής μάθησης (ML). Το RStudio, το ενσωματωμένο περιβάλλον ανάπτυξης για το R, παρέχει εργαλεία ανοιχτού κώδικα και επαγγελματικό λογισμικό έτοιμο για επιχειρήσεις για τις ομάδες να αναπτύξουν και να μοιραστούν τη δουλειά τους στον οργανισμό τους. Ωστόσο, η δημιουργία, η ασφάλεια, η κλιμάκωση και η συντήρηση του RStudio είναι κουραστική και δυσκίνητη.

Η εφαρμογή του περιβάλλοντος RStudio στο AWS παρέχει ελαστικότητα και επεκτασιμότητα που δεν έχετε κατά την ανάπτυξη on-prem, εξαλείφοντας την ανάγκη διαχείρισης αυτής της υποδομής. Μπορείτε να επιλέξετε τον επιθυμητό υπολογισμό και τη μνήμη με βάση τις απαιτήσεις επεξεργασίας και μπορείτε επίσης να αυξήσετε ή να μειώσετε για να εργαστείτε με αναλυτικούς φόρτους εργασίας και ML διαφορετικών μεγεθών χωρίς προκαταβολική επένδυση. Αυτό σας επιτρέπει να πειραματιστείτε γρήγορα με νέες πηγές δεδομένων και κώδικα και να διαθέσετε νέες διαδικασίες ανάλυσης και μοντέλα ML στον υπόλοιπο οργανισμό. Μπορείτε επίσης να ενσωματώσετε απρόσκοπτα τους πόρους σας στο Data Lake για να τους καταστήσετε διαθέσιμους σε προγραμματιστές και Επιστήμονες δεδομένων και να ασφαλίσετε τα δεδομένα χρησιμοποιώντας στοιχεία ελέγχου πρόσβασης σε επίπεδο γραμμής και στήλης από Σχηματισμός Λίμνης AWS.

Αυτή η ανάρτηση παρουσιάζει δύο τρόπους για εύκολη ανάπτυξη και εκτέλεση του RStudio σε AWS για πρόσβαση σε δεδομένα που είναι αποθηκευμένα στη λίμνη δεδομένων:

• Πλήρης διαχείριση Amazon Sage Maker
• Αυτο-φιλοξενείται σε Amazon Elastic Compute Cloud (Amazon EC2)
  • Μπορείτε να επιλέξετε να αναπτύξετε την έκδοση ανοιχτού κώδικα του RStudio χρησιμοποιώντας μια φιλοξενούμενη προσέγγιση EC2 που θα περιγράψουμε επίσης σε αυτήν την ανάρτηση. Η επιλογή self-hosted απαιτεί από τον διαχειριστή να δημιουργήσει μια παρουσία EC2 και να εγκαταστήσει το RStudio με μη αυτόματο τρόπο ή χρησιμοποιώντας ένα AWS CloudFormation Υπάρχει επίσης λιγότερη ευελιξία για την εφαρμογή στοιχείων ελέγχου πρόσβασης χρήστη σε αυτήν την επιλογή, καθώς όλοι οι χρήστες έχουν το ίδιο επίπεδο πρόσβασης σε αυτόν τον τύπο υλοποίησης.

RStudio στο Amazon SageMaker

Μπορείτε να εκκινήσετε το RStudio Workbench με ένα απλό κλικ από το SageMaker. Με το SageMaker οι πελάτες δεν χρειάζεται να φέρουν τα λειτουργικά έξοδα κατασκευής, εγκατάστασης, ασφάλισης, κλιμάκωσης και συντήρησης του RStudio, δεν χρειάζεται να πληρώσουν για τον διακομιστή RStudio που λειτουργεί συνεχώς (εάν χρησιμοποιούν t3.medium) και πληρώνουν μόνο για το RSession υπολογίζουν όταν το χρησιμοποιούν. Οι χρήστες του RStudio θα έχουν ευελιξία να κλιμακώνουν δυναμικά τους υπολογισμούς αλλάζοντας παρουσίες on-the-fly. Η εκτέλεση του RStudio στο SageMaker απαιτεί από έναν διαχειριστή να δημιουργήσει έναν τομέα SageMaker και συσχετισμένα προφίλ χρηστών. Χρειάζεστε επίσης μια κατάλληλη άδεια RStudio

Στο SageMaker, μπορείτε να παραχωρήσετε πρόσβαση σε επίπεδο διαχειριστή RStudio και χρήστη RStudio, με διαφορετικά δικαιώματα. Μόνο τα προφίλ χρηστών στα οποία έχει εκχωρηθεί ένας από αυτούς τους δύο ρόλους μπορούν να έχουν πρόσβαση στο RStudio στο SageMaker. Για περισσότερες πληροφορίες σχετικά με τις εργασίες διαχειριστή για τη ρύθμιση του RStudio στο SageMaker, ανατρέξτε στο Ξεκινήστε με το RStudio στο Amazon SageMaker. Αυτή η ανάρτηση δείχνει επίσης τη διαδικασία επιλογής παρουσιών EC2 για κάθε περίοδο λειτουργίας και πώς ο διαχειριστής μπορεί να περιορίσει τις επιλογές παρουσίας EC2 για τους χρήστες του RStudio.

Χρησιμοποιήστε πρόσβαση ασφαλείας σε επίπεδο γραμμής και σε επίπεδο στήλης Lake Formation

Εκτός από το να επιτρέπετε στην ομάδα σας να ξεκινήσει συνεδρίες RStudio στο SageMaker, μπορείτε επίσης να προστατεύσετε τη λίμνη δεδομένων χρησιμοποιώντας στοιχεία ελέγχου πρόσβασης σε επίπεδο γραμμής και σε επίπεδο στήλης από το Lake Formation. Για περισσότερες πληροφορίες, ανατρέξτε στο Αποτελεσματικές λίμνες δεδομένων που χρησιμοποιούν το AWS Lake Formation, Μέρος 4: Εφαρμογή ασφάλειας σε επίπεδο κυψέλης και σε επίπεδο σειράς.

Μέσω των ελέγχων ασφαλείας Lake Formation, μπορείτε να βεβαιωθείτε ότι κάθε άτομο έχει τη σωστή πρόσβαση στα δεδομένα στη λίμνη δεδομένων. Εξετάστε τα ακόλουθα δύο προφίλ χρήστη στον τομέα SageMaker, το καθένα με διαφορετικό ρόλο εκτέλεσης:

Το παρακάτω στιγμιότυπο οθόνης δείχνει το rstudiouser-limitedaccess λεπτομέρειες προφίλ.

Εικ. 2: Λεπτομέρειες προφίλ του ρόλου rstudiouser-limitedaccess

Το παρακάτω στιγμιότυπο οθόνης δείχνει το rstudiouser-fullaccess λεπτομέρειες προφίλ.

Εικ. 3: Λεπτομέρειες προφίλ του ρόλου rstudiouser-fullaccess

Το σύνολο δεδομένων που χρησιμοποιείται για αυτήν την ανάρτηση είναι α Δημόσιο σύνολο δεδομένων COVID-19. Το ακόλουθο στιγμιότυπο οθόνης δείχνει ένα παράδειγμα των δεδομένων:

Σχήμα 4: Δημόσιο σύνολο δεδομένων COVID-19

Αφού δημιουργήσετε το προφίλ χρήστη και το αντιστοιχίσετε στον κατάλληλο ρόλο, μπορείτε να αποκτήσετε πρόσβαση στο Lake Formation για να ανιχνεύσετε τα δεδομένα με Κόλλα AWS, δημιουργήστε τα μεταδεδομένα και τον πίνακα και παραχωρήστε πρόσβαση στα δεδομένα του πίνακα. Για το AmazonSageMaker-ExecutionRole-FullAccess ρόλο, παραχωρείτε πρόσβαση σε όλες τις στήλες του πίνακα και για AmazonSageMaker-ExecutionRole-LimitedAccess, παραχωρείτε πρόσβαση χρησιμοποιώντας το φίλτρο δεδομένων USA_Filter. Χρησιμοποιούμε αυτό το φίλτρο για να παρέχουμε δικαιώματα στηλών σε επίπεδο γραμμής και σε επίπεδο κελιού (βλ Πόρος στήλη στο παρακάτω στιγμιότυπο οθόνης).

Fig5: Άδειες σχηματισμού λίμνης AWS για AmazonSageMaker-ExecutionRole -Ρόλοι πλήρους/περιορισμένης πρόσβασης

Όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης, ο δεύτερος ρόλος έχει περιορισμένη πρόσβαση. Οι χρήστες που σχετίζονται με αυτόν τον ρόλο έχουν πρόσβαση μόνο στο continent, date, total_cases, total_deaths, new_cases, new_deaths, να iso_codecolumns.

Εικ6: Δικαιώματα σε επίπεδο στήλης AWS Lake Formation για ρόλο AmazonSageMaker-ExecutionRole-Limited Access

Με τα δικαιώματα ρόλων συνδεδεμένα σε κάθε προφίλ χρήστη, μπορούμε να δούμε πώς το Lake Formation επιβάλλει τα κατάλληλα δικαιώματα σε επίπεδο γραμμής και σε επίπεδο στήλης. Μπορείτε να ανοίξετε τον πάγκο εργασίας RStudio από το Εκκινήστε την εφαρμογή αναπτυσσόμενο μενού στη δημιουργημένη λίστα χρηστών και επιλέξτε Rstudio.

Στο παρακάτω στιγμιότυπο οθόνης, εκκινούμε την εφαρμογή ως rstudiouser-limitedaccess user.

Fig7: Εκκίνηση συνεδρίας RStudio για χρήστη rstudiouser-limitedaccess από την Κονσόλα Amazon SageMaker

Μπορείτε να δείτε την αρχική σελίδα του RStudio Workbench και μια λίστα με συνεδρίες, έργα και δημοσιευμένο περιεχόμενο.

Εικ8: Συνεδρία πάγκου εργασίας R Studio για χρήστη rstudiouser-limitedaccess

Επιλέξτε ένα όνομα συνεδρίας για να ξεκινήσει η συνεδρία στο SageMaker. Εγκαταστήστε τα Paws (δείτε οδηγίες νωρίτερα σε αυτήν την ανάρτηση) ώστε να έχετε πρόσβαση στις κατάλληλες υπηρεσίες AWS. Τώρα μπορείτε να εκτελέσετε ένα ερώτημα για να τραβήξετε όλα τα πεδία από το σύνολο δεδομένων μέσω Αμαζόν Αθηνά, χρησιμοποιώντας την εντολή “SELECT * FROM "databasename.tablename"και αποθηκεύστε την έξοδο του ερωτήματος σε ένα Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) κάδος.

Εικ9: Εκτέλεση ερωτήματος Athena σε συνεδρία R Studio

Το ακόλουθο στιγμιότυπο οθόνης δείχνει τα αρχεία εξόδου στον κάδο S3.

Εικ10: Η εκτέλεση του ερωτήματος Athena καταλήγει στο Amazon S3 Bucket

Το ακόλουθο στιγμιότυπο οθόνης δείχνει τα δεδομένα σε αυτά τα αρχεία εξόδου χρησιμοποιώντας Amazon S3 Select.

Εικ11: Επανεξέταση των δεδομένων εξόδου χρησιμοποιώντας το Amazon S3 Select

Μόνο δεδομένα ΗΠΑ και στήλες ήπειρος, ημερομηνία, total_cases, total_deaths, new_cases, new_deaths, να iso_code φαίνονται στο αποτέλεσμα για το rstudiouser-limitedaccess χρήστη.

Ας επαναλάβουμε τα ίδια βήματα για το rstudiouser-fullaccess χρήστη.

Εικ12: Εκκίνηση συνεδρίας RStudio για χρήστη rstudiouser-fullaccess από την Κονσόλα Amazon SageMaker

Μπορείτε να δείτε την αρχική σελίδα του RStudio Workbench και μια λίστα με συνεδρίες, έργα και δημοσιευμένο περιεχόμενο.

Εικ13: Συνεδρία πάγκου εργασίας R Studio για rstudiouser-fullaccess χρήστη

Ας εκτελέσουμε το ίδιο ερώτημα “SELECT * FROM "databasename.tablename" χρησιμοποιώντας την Αθηνά.

Εικ14: Εκτέλεση ερωτήματος Athena σε συνεδρία R Studio

Το ακόλουθο στιγμιότυπο οθόνης δείχνει τα αρχεία εξόδου στον κάδο S3.

Εικ15: Η εκτέλεση του ερωτήματος Athena καταλήγει στο Amazon S3 Bucket

Το ακόλουθο στιγμιότυπο οθόνης δείχνει τα δεδομένα σε αυτά τα αρχεία εξόδου χρησιμοποιώντας Amazon S3 Select.

Εικ16: Επανεξέταση των δεδομένων εξόδου χρησιμοποιώντας το Amazon S3 Select

Όπως φαίνεται σε αυτό το παράδειγμα, το rstudiouser-fullaccess Ο χρήστης έχει πρόσβαση σε όλες τις στήλες και τις σειρές του συνόλου δεδομένων.

Αυτο-φιλοξενείται στο Amazon EC2

Εάν θέλετε να αρχίσετε να πειραματίζεστε με την έκδοση ανοιχτού κώδικα του RStudio στο AWS, μπορείτε να εγκαταστήσετε το Rstudio σε μια παρουσία EC2. Αυτό το πρότυπο CloudFormation που παρέχεται σε αυτήν την ανάρτηση παρέχει την παρουσία EC2 και εγκαθιστά το RStudio χρησιμοποιώντας το σενάριο δεδομένων χρήστη. Μπορείτε να εκτελέσετε το πρότυπο πολλές φορές για να παρέχετε πολλαπλές παρουσίες RStudio όπως απαιτείται και μπορείτε να το χρησιμοποιήσετε σε οποιαδήποτε περιοχή AWS. Αφού αναπτύξετε το πρότυπο CloudFormation, σας παρέχει μια διεύθυνση URL για πρόσβαση στο RStudio από ένα πρόγραμμα περιήγησης ιστού. Το Amazon EC2 σάς δίνει τη δυνατότητα να αυξήσετε ή να μειώσετε την κλίμακα για να χειριστείτε τις αλλαγές στο μέγεθος των δεδομένων και την απαραίτητη υπολογιστική ικανότητα για την εκτέλεση των αναλυτικών στοιχείων σας.

Δημιουργήστε ένα ζεύγος κλειδιού-τιμής για ασφαλή πρόσβαση

Το AWS χρησιμοποιεί κρυπτογραφία δημόσιου κλειδιού για να εξασφαλίσει τις πληροφορίες σύνδεσης για την παρουσία σας EC2. Καθορίζετε το όνομα του ζεύγους κλειδιών στο KeyPair παράμετρος κατά την εκκίνηση του προτύπου CloudFormation. Στη συνέχεια, μπορείτε να χρησιμοποιήσετε το ίδιο κλειδί για να συνδεθείτε στην παρεχόμενη παρουσία EC2 αργότερα, εάν χρειαστεί.

Προτού εκτελέσετε το πρότυπο CloudFormation, βεβαιωθείτε ότι έχετε το ζεύγος κλειδιών Amazon EC2 στον λογαριασμό AWS που σκοπεύετε να χρησιμοποιήσετε. Εάν όχι, τότε ανατρέξτε στο Δημιουργήστε ένα ζεύγος κλειδιών χρησιμοποιώντας το Amazon EC2 για οδηγίες για τη δημιουργία ενός.

Εκκινήστε το πρότυπο CloudFormationΣυνδεθείτε στην κονσόλα CloudFormation στο us-east-1 Περιοχή και επιλέξτε Εκκίνηση στοίβας.

Πρέπει να εισαγάγετε πολλές παραμέτρους στο πρότυπο CloudFormation:

• InitialUser και InitialPassword – Το όνομα χρήστη και ο κωδικός πρόσβασης που χρησιμοποιείτε για να συνδεθείτε στην περίοδο λειτουργίας RStudio. Οι προεπιλεγμένες τιμές είναι rstudio και Rstudio@123, Αντίστοιχα.
• Τύπος Instance – Ο τύπος παρουσίας EC2 στον οποίο θα αναπτυχθεί ο διακομιστής RStudio. Το πρότυπο δέχεται επί του παρόντος όλες τις παρουσίες στις οικογένειες παρουσιών t2, m4, c4, r4, g2, p2 και g3 και μπορεί να ενσωματώσει εύκολα άλλες οικογένειες παρουσιών. Η προεπιλεγμένη τιμή είναι t2.micro.
• Ζεύγος κλειδιών – Το ζεύγος κλειδιών που χρησιμοποιείτε για να συνδεθείτε στην παρουσία EC2.
• VpcId και SubnetId - Η Εικονικό ιδιωτικό σύννεφο Amazon (Amazon VPC) και υποδίκτυο στο οποίο θα ξεκινήσει η παρουσία.

Αφού εισαγάγετε αυτές τις παραμέτρους, αναπτύξτε το πρότυπο CloudFormation. Όταν ολοκληρωθεί, είναι διαθέσιμοι οι ακόλουθοι πόροι:

• Ένα στιγμιότυπο EC2 με εγκατεστημένο το RStudio.
• Ένας ρόλος IAM με τα απαραίτητα δικαιώματα για σύνδεση με άλλες υπηρεσίες AWS.
• Μια ομάδα ασφαλείας με κανόνες για το άνοιγμα της θύρας 8787 για τον διακομιστή RStudio.

Συνδεθείτε στο RStudio

Τώρα είστε έτοιμοι να χρησιμοποιήσετε το RStudio! μεταβείτε στο Έξοδοι καρτέλα για τη στοίβα CloudFormation και αντιγράψτε την τιμή διεύθυνσης URL RStudio (είναι σε μορφή http://ec2-XX-XX-XXX-XX.compute-1.amazonaws.com:8787/). Εισαγάγετε αυτήν τη διεύθυνση URL σε ένα πρόγραμμα περιήγησης ιστού. Αυτό ανοίγει την περίοδο λειτουργίας RStudio, στην οποία μπορείτε να συνδεθείτε χρησιμοποιώντας το ίδιο όνομα χρήστη και κωδικό πρόσβασης που καταχωρίσατε κατά την εκτέλεση του προτύπου CloudFormation.

Αποκτήστε πρόσβαση στις υπηρεσίες AWS από το RStudio

Αφού αποκτήσετε πρόσβαση στην περίοδο λειτουργίας RStudio, θα πρέπει να εγκαταστήσετε το R Package για AWS (Paws). Αυτό σας επιτρέπει να συνδεθείτε με πολλές υπηρεσίες AWS, συμπεριλαμβανομένων των υπηρεσιών και των πόρων στη λίμνη δεδομένων σας. Για να εγκαταστήσετε το Paws, εισαγάγετε και εκτελέστε τον ακόλουθο κωδικό R:

install.packages("paws")

Για να χρησιμοποιήσετε μια υπηρεσία AWS, δημιουργήστε έναν πελάτη και αποκτήστε πρόσβαση στις λειτουργίες της υπηρεσίας από αυτόν τον πελάτη. Όταν αποκτάτε πρόσβαση σε API AWS, πρέπει να παρέχετε τα διαπιστευτήρια και την περιοχή σας. Το Paws αναζητά τα διαπιστευτήρια και την περιοχή χρησιμοποιώντας την αλυσίδα ελέγχου ταυτότητας AWS:

• Ρητά παρεχόμενο κλειδί πρόσβασης, μυστικό κλειδί, διακριτικό περιόδου σύνδεσης, προφίλ ή περιοχή
• R μεταβλητές περιβάλλοντος
• Μεταβλητές περιβάλλοντος λειτουργικού συστήματος
• Το AWS μοιράστηκε διαπιστευτήρια και αρχεία διαμόρφωσης .aws/credentials και .aws/config
• Ρόλος ΙΑΜ κοντέινερ
• Παράδειγμα ρόλος IAM

Επειδή εκτελείτε μια παρουσία EC2 με συνδεδεμένο ρόλο IAM, το Paws χρησιμοποιεί αυτόματα τα διαπιστευτήρια ρόλου IAM για τον έλεγχο ταυτότητας αιτημάτων API AWS.

# To interact with an Amazon S3 service, first create an S3 client then list the objects within your bucket by invoking: rstudio-XXXXXXXXXX
s3 <- paws::s3(config = list(region = 'us-east-1'))s3$list_objects(Bucket = "rstudio-XXXXXXXXXX")
# Let’s see how we can interactively query data from your data lake using Amazon Athena.
athena <- paws::athena(config = list(region = 'us-east-1'))
athena$start_query_execution(QueryString = "SELECT * FROM "databasename.tablename" limit 10;",QueryExecutionContext = list(Database = "databasename", Catalog = "catalogname"),ResultConfiguration = list(OutputLocation = "S3 Bucket",EncryptionConfiguration = list(EncryptionOption = "SSE_S3")), WorkGroup = "workgroup name")
$QueryExecutionId[1] 
"17ccec8a-d196-4b4c-b31c-314fab8939f3"

Για περιβάλλον παραγωγής, συνιστούμε τη χρήση της επεκτάσιμης λύσης Rstudio που περιγράφεται παρακάτω αυτό το ιστολόγιο.

Συμπέρασμα

Μάθατε πώς να αναπτύσσετε το περιβάλλον RStudio σας στο AWS. Δείξαμε τα πλεονεκτήματα της χρήσης του RStudio στο Amazon SageMaker και πώς μπορείτε να ξεκινήσετε. Μάθατε επίσης πώς να ξεκινήσετε γρήγορα να πειραματίζεστε με την έκδοση ανοιχτού κώδικα του RStudio χρησιμοποιώντας μια αυτο-φιλοξενούμενη εγκατάσταση χρησιμοποιώντας το Amazon EC2. Επίσης, δείξαμε πώς να ενσωματώσετε το RStudio στις αρχιτεκτονικές λιμνών δεδομένων σας και να εφαρμόσετε λεπτομερή έλεγχο πρόσβασης σε έναν πίνακα λιμνών δεδομένων χρησιμοποιώντας τη δυνατότητα ασφάλειας σε επίπεδο γραμμής και κυψέλης του Lake Formation.

Στην επόμενη ανάρτησή μας, θα δείξουμε πώς να δημιουργούμε σενάρια R σε κοντέινερ και να τα εκτελούμε χρησιμοποιώντας AWS Lambda.

Σχετικά με τους συγγραφείς

Βενκάτα Καμπάνα είναι Senior Solutions Architect στην ομάδα AWS Health and Human Services και εδρεύει στο Sacramento, CA. Σε αυτόν τον ρόλο, βοηθά τους πελάτες του δημόσιου τομέα να επιτύχουν τους στόχους της αποστολής τους με καλά σχεδιασμένες λύσεις στο AWS.

Δρ Dawn Heisey-Grove είναι ο ηγέτης αναλύσεων δημόσιας υγείας για την κρατική και τοπική κυβερνητική ομάδα της Amazon Web Services. Σε αυτό το ρόλο, είναι υπεύθυνη να βοηθά τις κρατικές και τοπικές υπηρεσίες δημόσιας υγείας να σκεφτούν δημιουργικά πώς να επιτύχουν τις προκλήσεις και τους μακροπρόθεσμους στόχους τους όσον αφορά την ανάλυση. Πέρασε την καριέρα της βρίσκοντας νέους τρόπους για να χρησιμοποιήσει υπάρχοντα ή νέα δεδομένα για την υποστήριξη της επιτήρησης και της έρευνας της δημόσιας υγείας.