Εκτελέστε σημειωματάρια ως ομαδικές εργασίες στο Amazon SageMaker Studio Lab

Πρόσφατα, το Στούντιο Amazon SageMaker λανσάρισε έναν εύκολο τρόπο εκτέλεσης φορητών υπολογιστών ως ομαδικών εργασιών που μπορούν να εκτελούνται σε επαναλαμβανόμενο χρονοδιάγραμμα. Amazon SageMaker Studio Lab υποστηρίζει επίσης αυτή τη δυνατότητα, επιτρέποντάς σας να εκτελείτε σημειωματάρια που αναπτύσσετε στο SageMaker Studio Lab στον λογαριασμό σας AWS. Αυτό σας δίνει τη δυνατότητα να κλιμακώσετε γρήγορα τα πειράματά σας μηχανικής εκμάθησης (ML) με μεγαλύτερα σύνολα δεδομένων και πιο ισχυρές παρουσίες, χωρίς να χρειάζεται να μάθετε κάτι νέο ή να αλλάξετε μια γραμμή κώδικα.

Σε αυτήν την ανάρτηση, σας καθοδηγούμε στη μοναδική προϋπόθεση για να συνδέσετε το περιβάλλον του Studio Lab με έναν λογαριασμό AWS. Μετά από αυτό, σας καθοδηγούμε στα βήματα για την εκτέλεση των notebook ως ομαδική εργασία από το Studio Lab.

Επισκόπηση λύσεων

Το Studio Lab ενσωμάτωσε την ίδια επέκταση με το Studio, η οποία βασίζεται στην επέκταση ανοιχτού κώδικα Jupyter για προγραμματισμένα σημειωματάρια. Αυτή η επέκταση έχει πρόσθετες παραμέτρους ειδικές για το AWS, όπως τον τύπο υπολογισμού. Στο Studio Lab, ένα προγραμματισμένο σημειωματάριο αντιγράφεται πρώτα σε ένα Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) στον κάδο σας στο AWS και, στη συνέχεια, εκτελέστε την προγραμματισμένη ώρα με τον επιλεγμένο τύπο υπολογισμού. Όταν ολοκληρωθεί η εργασία, η έξοδος γράφεται σε έναν κάδο S3 και ο υπολογισμός AWS διακόπτεται εντελώς, αποτρέποντας το τρέχον κόστος.

Προϋποθέσεις

Για να χρησιμοποιήσετε τις εργασίες σημειωματάριου Studio Lab, χρειάζεστε πρόσβαση διαχειριστή στον λογαριασμό AWS με τον οποίο πρόκειται να συνδεθείτε (ή βοήθεια από κάποιον με αυτήν την πρόσβαση). Στο υπόλοιπο αυτής της ανάρτησης, υποθέτουμε ότι είστε ο διαχειριστής του AWS. Εάν δεν συμβαίνει αυτό, ζητήστε από τον διαχειριστή ή τον κάτοχο του λογαριασμού σας να ελέγξει αυτά τα βήματα μαζί σας.

Δημιουργήστε έναν ρόλο εκτέλεσης του SageMaker

Πρέπει να διασφαλίσουμε ότι ο λογαριασμός AWS έχει ένα Διαχείριση ταυτότητας και πρόσβασης AWS (IAM) Ρόλος εκτέλεσης του SageMaker. Αυτός ο ρόλος χρησιμοποιείται από πόρους του SageMaker εντός του λογαριασμού και παρέχει πρόσβαση από το SageMaker σε άλλους πόρους στον λογαριασμό AWS. Στην περίπτωσή μας, οι εργασίες του φορητού υπολογιστή μας εκτελούνται με αυτά τα δικαιώματα. Εάν το SageMaker έχει χρησιμοποιηθεί στο παρελθόν σε αυτόν τον λογαριασμό, τότε ένας ρόλος μπορεί να υπάρχει ήδη, αλλά μπορεί να μην έχει όλα τα απαιτούμενα δικαιώματα. Ας προχωρήσουμε λοιπόν και ας φτιάξουμε ένα νέο.

Τα παρακάτω βήματα πρέπει να γίνουν μόνο μία φορά, ανεξάρτητα από το πόσα περιβάλλοντα του SageMaker Studio Lab θα έχουν πρόσβαση σε αυτόν τον λογαριασμό AWS.

1. Στην κονσόλα IAM, επιλέξτε ρόλους στο παράθυρο πλοήγησης.
2. Επιλέξτε Δημιουργήστε ρόλο.
3. Για Τύπος αξιόπιστης οντότητας, Επιλέξτε Υπηρεσία AWS.
4. Για Χρησιμοποιήστε θήκες για άλλες Υπηρεσίες AWS, επιλέξτε SageMaker.
5. Αγορά SageMaker – Εκτέλεση.
6. Επιλέξτε Επόμενο.
7. Ελέγξτε τα δικαιώματα και, στη συνέχεια, επιλέξτε Επόμενο.
8. Για Όνομα ρόλου, εισαγάγετε ένα όνομα (για αυτήν την ανάρτηση, χρησιμοποιούμε sagemaker-execution-role-notebook-jobs).
9. Επιλέξτε Δημιουργήστε ρόλο.
10. Σημειώστε τον ρόλο ARN.

Ο ρόλος ARN θα έχει τη μορφή του arn:aws:iam::[account-number]:role/service-role/[role-name] και απαιτείται στη ρύθμιση του Studio Lab.

Δημιουργήστε έναν χρήστη IAM

Προκειμένου ένα περιβάλλον Studio Lab να έχει πρόσβαση στο AWS, πρέπει να δημιουργήσουμε έναν χρήστη IAM μέσα στο AWS και να του εκχωρήσουμε τα απαραίτητα δικαιώματα. Στη συνέχεια, πρέπει να δημιουργήσουμε ένα σύνολο κλειδιών πρόσβασης για αυτόν τον χρήστη και να τα παρέχουμε στο περιβάλλον του Studio Lab.

Αυτό το βήμα θα πρέπει να επαναληφθεί για κάθε περιβάλλον SageMaker Studio Lab που θα έχει πρόσβαση σε αυτόν τον λογαριασμό AWS.

Λάβετε υπόψη ότι οι διαχειριστές και οι κάτοχοι λογαριασμών AWS θα πρέπει να διασφαλίζουν ότι, στον μέγιστο δυνατό βαθμό, ακολουθούνται καλά σχεδιασμένες πρακτικές ασφαλείας. Για παράδειγμα, τα δικαιώματα χρήστη θα πρέπει πάντα να περιορίζονται και τα κλειδιά πρόσβασης θα πρέπει να περιστρέφονται τακτικά για να ελαχιστοποιηθεί ο αντίκτυπος της παραβίασης διαπιστευτηρίων.

Σε αυτό το ιστολόγιο δείχνουμε πώς να χρησιμοποιήσετε το AmazonSageMakerFullAccess διαχειριζόμενη πολιτική. Αυτή η πολιτική παρέχει ευρεία πρόσβαση στο Amazon SageMaker που μπορεί να υπερβαίνει τα απαιτούμενα. Λεπτομέρειες για AmazonSageMakerFullAccess μπορεί να βρεθεί εδώ.

Αν και το Studio Lab χρησιμοποιεί εταιρική ασφάλεια, θα πρέπει να σημειωθεί ότι τα διαπιστευτήρια χρήστη του Studio Lab δεν αποτελούν μέρος του λογαριασμού σας AWS και επομένως, για παράδειγμα, δεν υπόκεινται στον κωδικό πρόσβασης AWS ή στις πολιτικές MFA.

Για να περιορίσουμε όσο το δυνατόν περισσότερο τα δικαιώματα, δημιουργούμε ένα προφίλ χρήστη ειδικά για αυτήν την πρόσβαση.

1. Στην κονσόλα IAM, επιλέξτε Χρήστες στο παράθυρο πλοήγησης.
2. Επιλέξτε Προσθήκη χρηστών.
3. Για όνομα χρήστη, πληκτρολογήστε ένα όνομα. Είναι καλή πρακτική να χρησιμοποιείτε ένα όνομα που συνδέεται με ένα μεμονωμένο άτομο που θα χρησιμοποιεί αυτόν τον λογαριασμό. Αυτό βοηθάει κατά τον έλεγχο των αρχείων καταγραφής ελέγχου.
4. Για Επιλέξτε τύπο πρόσβασης AWS, Επιλέξτε Κλειδί πρόσβασης – Πρόσβαση μέσω προγραμματισμού.
5. Επιλέξτε Επόμενο: Δικαιώματα.
6. Επιλέξτε Συνδέστε τις υπάρχουσες πολιτικές απευθείας.
7. Αναζητήστε και επιλέξτε AmazonSageMakerFullAccess.
8. Αναζητήστε και επιλέξτε AmazonEventBridgeFullAccess.
9. Επιλέξτε Επόμενο: Ετικέτες.
10. Επιλέξτε Επόμενο: Ανασκόπηση.
11. Επιβεβαιώστε τις πολιτικές σας και μετά επιλέξτε Δημιουργία χρήστη.Η τελική σελίδα της διαδικασίας δημιουργίας χρήστη θα πρέπει να σας δείχνει τα κλειδιά πρόσβασης του χρήστη. Αφήστε αυτήν την καρτέλα ανοιχτή, γιατί δεν μπορούμε να επιστρέψουμε εδώ και χρειαζόμαστε αυτές τις λεπτομέρειες.
12. Ανοίξτε μια νέα καρτέλα προγράμματος περιήγησης στο Studio Lab.
13. Στις Αρχεία μενού, επιλέξτε Νέος εκτοξευτής, κατόπιν επιλέξτε τερματικό.
14. Στη γραμμή εντολών, πληκτρολογήστε τον ακόλουθο κωδικό:

    aws configure

15. Εισαγάγετε τον ακόλουθο κωδικό:
    1. Εισαγάγετε τις τιμές από τη σελίδα της κονσόλας IAM για το αναγνωριστικό του κλειδιού πρόσβασης και το μυστικό κλειδί πρόσβασης.
    2. Για Default region name, εισαγω us-west-2.
    3. Άδεια Default output format as text.

       (studiolab) studio-lab-user@default:~$ aws configure 
       AWS Access Key ID []: 01234567890
       AWS Secret Access Key []: ABCDEFG1234567890ABCDEFG
       Default region name []: us-west-2
       Default output format [text]: 
       
       (studiolab) studio-lab-user@default:~$

Συγχαρητήρια, το περιβάλλον του Studio Lab θα πρέπει τώρα να διαμορφωθεί για πρόσβαση στον λογαριασμό AWS. Για να ελέγξετε τη σύνδεση, εκτελέστε την ακόλουθη εντολή:

aws sts get-caller-identity

Αυτή η εντολή θα πρέπει να επιστρέψει λεπτομέρειες σχετικά με τον χρήστη IAM που έχετε ρυθμίσει να χρησιμοποιείτε.

Δημιουργήστε μια εργασία σημειωματάριου

Οι θέσεις εργασίας σημειωματάριου δημιουργούνται χρησιμοποιώντας σημειωματάρια Jupyter στο Studio Lab. Εάν ο φορητός υπολογιστής σας εκτελείται στο Studio Lab, τότε μπορεί να εκτελεστεί ως εργασία σημειωματάριου (με περισσότερους πόρους και πρόσβαση σε υπηρεσίες AWS). Ωστόσο, υπάρχουν μερικά πράγματα που πρέπει να προσέξετε.

Εάν έχετε εγκαταστήσει πακέτα για να λειτουργεί ο φορητός υπολογιστής σας, προσθέστε εντολές για να φορτώσετε αυτά τα πακέτα σε ένα κελί στο επάνω μέρος του φορητού υπολογιστή σας. Χρησιμοποιώντας ένα σύμβολο & στην αρχή κάθε γραμμής, ο κώδικας θα σταλεί στη γραμμή εντολών για εκτέλεση. Στο ακόλουθο παράδειγμα, το πρώτο κελί χρησιμοποιεί pip για την εγκατάσταση βιβλιοθηκών PyTorch:

%%capture
%pip install torch
%pip install torchvision

Το σημειωματάριό μας θα δημιουργήσει ένα εκπαιδευμένο μοντέλο PyTorch. Με τον κανονικό μας κώδικα, αποθηκεύουμε το μοντέλο στο σύστημα αρχείων στο Studio Labs.

Όταν εκτελούμε αυτήν την εργασία ως σημειωματάριο, πρέπει να αποθηκεύσουμε το μοντέλο κάπου όπου μπορούμε να το έχουμε πρόσβαση μετά. Ο ευκολότερος τρόπος για να το κάνετε αυτό είναι να αποθηκεύσετε το μοντέλο στο Amazon S3. Δημιουργήσαμε έναν κάδο S3 για να αποθηκεύσουμε τα μοντέλα μας και χρησιμοποιήσαμε ένα άλλο κελί γραμμής εντολών για να αντιγράψουμε το αντικείμενο στον κάδο.

Χρησιμοποιούμε το Διεπαφή γραμμής εντολών AWS (AWS CLI) εδώ για να αντιγράψετε το αντικείμενο. Θα μπορούσαμε επίσης να χρησιμοποιήσουμε το AWS SDK για Python (Boto3) εάν θέλαμε να έχουμε έναν πιο εξελιγμένο ή αυτοματοποιημένο έλεγχο του ονόματος αρχείου. Προς το παρόν, θα διασφαλίσουμε ότι αλλάζουμε το όνομα του αρχείου κάθε φορά που εκτελούμε το σημειωματάριο, ώστε τα μοντέλα να μην αντικαθίστανται.

Τώρα είμαστε έτοιμοι να δημιουργήσουμε την εργασία του σημειωματάριου.

1. Επιλέξτε (κάντε δεξί κλικ) το όνομα του σημειωματάριου και, στη συνέχεια, επιλέξτε Δημιουργία εργασίας σημειωματάριου.
   Εάν αυτή η επιλογή μενού λείπει, ίσως χρειαστεί να ανανεώσετε το περιβάλλον του Studio Lab. Για να το κάνετε αυτό, ανοίξτε το Terminal από το πρόγραμμα εκκίνησης και εκτελέστε τον ακόλουθο κώδικα:

   conda deactivate && conda env remove —name studiolab

2. Στη συνέχεια, επανεκκινήστε την παρουσία του JupyterLab επιλέγοντας Amazon SageMaker Studio Lab από το επάνω μενού και, στη συνέχεια, επιλέξτε Επανεκκινήστε το JupyterLab.Εναλλακτικά, μεταβείτε στη σελίδα του έργου και κλείστε και επανεκκινήστε το χρόνο εκτέλεσης.
3. Στις Δημιουργήστε εργασία σελίδα, για Υπολογισμός τύπου, επιλέξτε τον τύπο υπολογισμού που ταιριάζει στην εργασία σας.

   Για περισσότερες πληροφορίες σχετικά με τους διαφορετικούς τύπους υπολογιστικής χωρητικότητας, συμπεριλαμβανομένου του κόστους, βλ Τιμολόγηση του Amazon SageMaker (επιλέγω Τιμολόγηση κατ' απαίτηση και περιηγηθείτε στο Εκπαίδευση αυτί. Μπορεί επίσης να χρειαστεί να ελέγξετε τη διαθεσιμότητα ορίου του τύπου υπολογισμού στον λογαριασμό σας AWS. Για περισσότερες πληροφορίες σχετικά με τις ποσοστώσεις υπηρεσιών, δείτε: ποσοστώσεις υπηρεσιών AWS.Για αυτό το παράδειγμα, επιλέξαμε μια παρουσία ml.p3.2xlarge, η οποία προσφέρει 8 vCPU, 61 GB μνήμης και GPU Tesla V100.

   Εάν δεν υπάρχουν προειδοποιήσεις σε αυτήν τη σελίδα, θα πρέπει να είστε έτοιμοι να ξεκινήσετε. Εάν υπάρχουν προειδοποιήσεις, ελέγξτε για να βεβαιωθείτε ότι έχει καθοριστεί ο σωστός ρόλος ARN Επιπλέον επιλογές. Αυτός ο ρόλος πρέπει να ταιριάζει με το ARN του ρόλου εκτέλεσης του SageMaker που δημιουργήσαμε νωρίτερα. Το ARN έχει τη μορφή arn:aws:iam::[account-number]:role/service-role/[role-name].

   Υπάρχουν και άλλες διαθέσιμες επιλογές μέσα Επιπλέον επιλογές; για παράδειγμα, μπορείτε να επιλέξετε μια συγκεκριμένη εικόνα και πυρήνα που μπορεί να έχει ήδη τη διαμόρφωση που χρειάζεστε χωρίς να χρειάζεται να εγκαταστήσετε πρόσθετες βιβλιοθήκες.

4. Εάν θέλετε να εκτελέσετε αυτό το σημειωματάριο με χρονοδιάγραμμα, επιλέξτε Τρέξτε με πρόγραμμα και καθορίστε πόσο συχνά θέλετε να εκτελείται η εργασία.Θέλουμε αυτό το σημειωματάριο να τρέχει μία φορά, γι' αυτό επιλέγουμε Τρέξε τώρα.
5. Επιλέξτε Δημιουργία.
   

Λίστα εργασιών σημειωματάριου

Η Εργασίες σημειωματάριου Η σελίδα παραθέτει όλες τις εργασίες που εκτελούνται αυτήν τη στιγμή και αυτές που εκτελούνταν στο παρελθόν. Μπορείτε να βρείτε αυτήν τη λίστα από το Launcher (επιλέξτε, Αρχεία, Νέος εκτοξευτής), Στη συνέχεια, επιλέξτε Εργασίες σημειωματάριου στο ΑΛΛΑ τμήμα.

Όταν ολοκληρωθεί η εργασία του σημειωματαρίου, θα δείτε την κατάσταση να αλλάζει σε Completed (Χρησιμοποιήστε το Φορτώνω πάλι επιλογή εάν απαιτείται). Στη συνέχεια, μπορείτε να επιλέξετε το εικονίδιο λήψης για πρόσβαση στα αρχεία εξόδου.

Όταν ολοκληρωθεί η λήψη των αρχείων, μπορείτε να ελέγξετε το σημειωματάριο μαζί με την έξοδο κώδικα και το αρχείο καταγραφής εξόδου. Στην περίπτωσή μας, επειδή προσθέσαμε κώδικα στον χρόνο εκτέλεσης του κελιού εκπαίδευσης, μπορούμε να δούμε πόσο χρόνο κράτησε η εργασία εκπαίδευσης—16 λεπτά και 21 δευτερόλεπτα, που είναι πολύ πιο γρήγορο από ό,τι αν ο κωδικός είχε τρέξει μέσα στο Studio Lab (1 ώρα , 38 λεπτά, 55 δευτερόλεπτα). Στην πραγματικότητα, ολόκληρο το σημειωματάριο έτρεξε σε 1,231 δευτερόλεπτα (λίγο πάνω από 20 λεπτά) με κόστος κάτω από 1.30 $ (USD).

Το W μπορεί τώρα να αυξήσει τον αριθμό των εποχών και να προσαρμόσει τις υπερπαραμέτρους για να βελτιώσει την τιμή απώλειας του μοντέλου και να υποβάλει μια άλλη εργασία σημειωματάριου.

Συμπέρασμα

Σε αυτήν την ανάρτηση, δείξαμε πώς να χρησιμοποιείτε τις εργασίες σημειωματάριου Studio Lab για να περιορίσετε τον κώδικα που αναπτύξαμε στο Studio Lab και να τον εκτελέσετε με περισσότερους πόρους σε έναν λογαριασμό AWS.

Προσθέτοντας διαπιστευτήρια AWS στο περιβάλλον του Studio Lab, όχι μόνο μπορούμε να έχουμε πρόσβαση σε εργασίες σημειωματαρίου, αλλά μπορούμε επίσης να έχουμε πρόσβαση σε άλλους πόρους από έναν λογαριασμό AWS απευθείας από τα σημειωματάρια μας στο Studio Lab. Ρίξτε μια ματιά στο AWS SDK για Python.

Αυτή η επιπλέον δυνατότητα του Studio Lab αίρει τα όρια των ειδών και των μεγεθών των έργων που μπορείτε να επιτύχετε. Πείτε μας τι κατασκευάζετε με αυτή τη νέα δυνατότητα!

Σχετικά με τους συγγραφείς

Μάικ Τσάμπερς είναι Υπεύθυνος Προγραμματιστή για AI και ML στο AWS. Έχει περάσει τα τελευταία 7 χρόνια βοηθώντας τους κατασκευαστές να μάθουν cloud, ασφάλεια και ML. Με καταγωγή από το Ηνωμένο Βασίλειο, ο Mike είναι παθιασμένος πότης τσαγιού και κατασκευαστής Lego.

Μικέλε Μονκλόβα είναι κύριος διευθυντής προϊόντων στην AWS στην ομάδα SageMaker. Είναι γηγενής Νεοϋορκέζος και βετεράνος της Silicon Valley. Είναι παθιασμένη με τις καινοτομίες που βελτιώνουν την ποιότητα της ζωής μας.