Host Code-server στο Amazon SageMaker

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Οι ομάδες μηχανικής μάθησης (ML) χρειάζονται την ευελιξία για να επιλέξουν το ολοκληρωμένο περιβάλλον ανάπτυξης (IDE) όταν εργάζονται σε ένα έργο. Σας επιτρέπει να έχετε μια παραγωγική εμπειρία προγραμματιστή και να καινοτομείτε με ταχύτητα. Μπορείτε ακόμη και να χρησιμοποιήσετε πολλαπλά IDE σε ένα έργο. Amazon Sage Maker επιτρέπει στις ομάδες ML να επιλέξουν να εργάζονται από πλήρως διαχειριζόμενα περιβάλλοντα που βασίζονται σε cloud Στούντιο Amazon SageMaker, Παρουσίες Notebook SageMaker, ή από το τοπικό σας μηχάνημα χρησιμοποιώντας τοπική λειτουργία.

Το SageMaker παρέχει μια εμπειρία με ένα κλικ στο Jupyter και το RStudio για δημιουργία, εκπαίδευση, εντοπισμό σφαλμάτων, ανάπτυξη και παρακολούθηση μοντέλων ML. Σε αυτήν την ανάρτηση, θα μοιραστούμε επίσης ένα λύση για φιλοξενία διακομιστής κωδικών στο SageMaker.

Με τον διακομιστή κώδικα, οι χρήστες μπορούν να τρέξουν Κωδικός VS σε απομακρυσμένα μηχανήματα και πρόσβαση σε αυτό σε ένα πρόγραμμα περιήγησης ιστού. Για τις ομάδες ML, η φιλοξενία διακομιστή κώδικα στο SageMaker παρέχει ελάχιστες αλλαγές σε μια τοπική εμπειρία ανάπτυξης και σας επιτρέπει να κωδικοποιείτε από οπουδήποτε, σε κλιμακωτό υπολογιστικό νέφος. Με το VS Code, μπορείτε επίσης να χρησιμοποιήσετε ενσωματωμένα περιβάλλοντα Conda με βελτιστοποιημένα για AWS TensorFlow και PyTorch, διαχειριζόμενα αποθετήρια Git, τοπική λειτουργία και άλλες δυνατότητες που παρέχονται από το SageMaker για να επιταχύνετε την παράδοσή σας. Για τους διαχειριστές IT, σας επιτρέπει να τυποποιήσετε και να επιταχύνετε την παροχή διαχειριζόμενων, ασφαλών IDE στο cloud, για να ενσωματώσετε γρήγορα και να ενεργοποιήσετε τις ομάδες ML στα έργα τους.

Επισκόπηση λύσεων

Σε αυτήν την ανάρτηση, καλύπτουμε την εγκατάσταση τόσο για περιβάλλοντα Studio (Επιλογή Α) όσο και για περιπτώσεις φορητών υπολογιστών (Επιλογή Β). Για κάθε επιλογή, ακολουθούμε μια διαδικασία μη αυτόματης εγκατάστασης που μπορούν να εκτελέσουν οι ομάδες ML στο περιβάλλον τους και μια αυτοματοποιημένη εγκατάσταση που μπορούν να ρυθμίσουν οι διαχειριστές IT για αυτές μέσω του Διεπαφή γραμμής εντολών AWS (AWS CLI).

Το παρακάτω διάγραμμα απεικονίζει την επισκόπηση αρχιτεκτονικής για τη φιλοξενία διακομιστή κώδικα στο SageMaker.

Η λύση μας επιταχύνει την εγκατάσταση και τη ρύθμιση του διακομιστή κώδικα στο περιβάλλον σας. Λειτουργεί τόσο για το JupyterLab 3 (συνιστάται) όσο και για το JupyterLab 1 που εκτελούνται σε περιπτώσεις φορητών υπολογιστών Studio και SageMaker. Είναι κατασκευασμένο από σενάρια κελύφους που κάνουν τα εξής με βάση την επιλογή.

Για το Studio (Επιλογή Α), το σενάριο του κελύφους κάνει τα εξής:

Για περιπτώσεις φορητών υπολογιστών SageMaker (Επιλογή Β), το σενάριο του κελύφους κάνει τα εξής:

Εγκαθιστά κώδικα-διακομιστή.
Προσθέτει μια συντόμευση διακομιστή κώδικα στο μενού αρχείων του σημειωματάριου Jupyter και στο πρόγραμμα εκκίνησης JupyterLab για γρήγορη πρόσβαση στο IDE.
Δημιουργεί ένα αποκλειστικό περιβάλλον Conda για τη διαχείριση εξαρτήσεων.
Εγκαθιστά το Python και Λιμενεργάτης επεκτάσεις στο IDE.

Στις επόμενες ενότητες, περιγράφουμε τη διαδικασία εγκατάστασης λύσης για την Επιλογή Α και την Επιλογή Β. Βεβαιωθείτε ότι έχετε πρόσβαση στο Studio ή σε μια παρουσία σημειωματάριου.

Επιλογή Α: Φιλοξενία διακομιστή κώδικα στο Studio

Για να φιλοξενήσετε διακομιστή κώδικα στο Studio, ολοκληρώστε τα παρακάτω βήματα:

Επιλέξτε Τερματικό συστήματος στο Studio εκκίνησης σας.

Για να εγκαταστήσετε τη λύση διακομιστή κώδικα, εκτελέστε τις ακόλουθες εντολές στο τερματικό του συστήματός σας:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/studio
 
chmod +x install-codeserver.sh
./install-codeserver.sh

# Note: when installing on JL1, please prepend the nohup command to the install command above and run as follows: 
# nohup ./install-codeserver.sh

Οι εντολές θα χρειαστούν μερικά δευτερόλεπτα για να ολοκληρωθούν.

Φορτώστε ξανά τη σελίδα του προγράμματος περιήγησης, όπου μπορείτε να δείτε α Διακομιστής κώδικα κουμπί στο πρόγραμμα εκκίνησης του Studio.
Επιλέξτε Διακομιστής κώδικα για να ανοίξετε μια νέα καρτέλα προγράμματος περιήγησης, επιτρέποντάς σας να έχετε πρόσβαση στον διακομιστή κώδικα από το πρόγραμμα περιήγησής σας.
Η επέκταση Python είναι ήδη εγκατεστημένη και μπορείτε να αρχίσετε να εργάζεστε στο έργο ML σας.

Μπορείτε να ανοίξετε το φάκελο του έργου σας στο VS Code και να επιλέξετε το προ-χτισμένο περιβάλλον Conda για να εκτελέσετε τα σενάρια Python σας.

ml-10244-vscode-conda

Αυτοματοποιήστε την εγκατάσταση του διακομιστή κώδικα για χρήστες σε τομέα Studio

Ως διαχειριστής IT, μπορείτε να αυτοματοποιήσετε την εγκατάσταση για τους χρήστες του Studio χρησιμοποιώντας α διαμόρφωση κύκλου ζωής. Μπορεί να γίνει για τα προφίλ όλων των χρηστών σε έναν τομέα Studio ή για συγκεκριμένα. Βλέπω Προσαρμόστε το Amazon SageMaker Studio χρησιμοποιώντας τις διαμορφώσεις κύκλου ζωής Για περισσότερες πληροφορίες.

Για αυτήν την ανάρτηση, δημιουργούμε μια διαμόρφωση κύκλου ζωής από το εγκατάσταση-κωδικοποιητή script και επισυνάψτε το σε έναν υπάρχοντα τομέα Studio. Η εγκατάσταση πραγματοποιείται για όλα τα προφίλ χρηστών στον τομέα.

Από ένα τερματικό που έχει ρυθμιστεί με το AWS CLI και τα κατάλληλα δικαιώματα, εκτελέστε τις ακόλουθες εντολές:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/studio

LCC_CONTENT=`openssl base64 -A -in install-codeserver.sh`

aws sagemaker create-studio-lifecycle-config 
    --studio-lifecycle-config-name install-codeserver-on-jupyterserver 
    --studio-lifecycle-config-content $LCC_CONTENT 
    --studio-lifecycle-config-app-type JupyterServer 
    --query 'StudioLifecycleConfigArn'

aws sagemaker update-domain 
    --region  
    --domain-id  
    --default-user-settings 
    '{
    "JupyterServerAppSettings": {
    "DefaultResourceSpec": {
    "LifecycleConfigArn": "arn:aws:sagemaker:::studio-lifecycle-config/install-codeserver-on-jupyterserver",
    "InstanceType": "system"
    },
    "LifecycleConfigArns": [
    "arn:aws:sagemaker:::studio-lifecycle-config/install-codeserver-on-jupyterserver"
    ]
    }}'

# Make sure to replace ,  and  in the previous commands with
# the Studio domain ID, the AWS region and AWS Account ID you are using respectively.

Μετά την επανεκκίνηση του διακομιστή Jupyter, το Διακομιστής κώδικα το κουμπί εμφανίζεται στη λειτουργία εκκίνησης του Studio.

Επιλογή Β: Φιλοξενία διακομιστή κώδικα σε μια παρουσία φορητού υπολογιστή SageMaker

Για να φιλοξενήσετε διακομιστή κώδικα σε μια παρουσία φορητού υπολογιστή SageMaker, ολοκληρώστε τα ακόλουθα βήματα:

Εκκινήστε ένα τερματικό μέσω του Jupyter ή του JupyterLab για την περίπτωση του φορητού υπολογιστή σας.
Εάν χρησιμοποιείτε το Jupyter, επιλέξτε τερματικό σχετικά με την Νέα μενού.
Για να εγκαταστήσετε τη λύση διακομιστή κώδικα, εκτελέστε τις ακόλουθες εντολές στο τερματικό σας:
```
curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/notebook-instances
 
chmod +x install-codeserver.sh
chmod +x setup-codeserver.sh
sudo ./install-codeserver.sh
sudo ./setup-codeserver.sh
```
Οι εγκαταστάσεις του διακομιστή κώδικα και των επεκτάσεων είναι επίμονες στην παρουσία του φορητού υπολογιστή. Ωστόσο, εάν διακόψετε ή επανεκκινήσετε την παρουσία, πρέπει να εκτελέσετε την ακόλουθη εντολή για να ρυθμίσετε εκ νέου τις παραμέτρους του διακομιστή κώδικα:

sudo ./setup-codeserver.sh

Οι εντολές πρέπει να διαρκέσουν μερικά δευτερόλεπτα για να εκτελεστούν. Μπορείτε να κλείσετε την καρτέλα τερματικού όταν δείτε τα ακόλουθα.
Τώρα φορτώστε ξανά τη σελίδα Jupyter και ελέγξτε το Νέα μενού ξανά.
Η Διακομιστής κώδικα η επιλογή θα πρέπει να είναι τώρα διαθέσιμη.

Μπορείτε επίσης να εκκινήσετε τον διακομιστή κώδικα από το JupyterLab χρησιμοποιώντας ένα αποκλειστικό κουμπί εκκίνησης, όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης.

ml-10244-jupyterlab-code-server-button

Επιλέγοντας Διακομιστής κώδικα θα ανοίξει μια νέα καρτέλα του προγράμματος περιήγησης, επιτρέποντάς σας να αποκτήσετε πρόσβαση στον διακομιστή κώδικα από το πρόγραμμα περιήγησής σας. Οι επεκτάσεις Python και Docker είναι ήδη εγκατεστημένες και μπορείτε να αρχίσετε να εργάζεστε στο έργο ML σας.

ml-10244-notebook-vscode

Αυτοματοποιήστε την εγκατάσταση του διακομιστή κώδικα σε μια παρουσία φορητού υπολογιστή

Ως διαχειριστής IT, μπορείτε να αυτοματοποιήσετε την εγκατάσταση του διακομιστή κώδικα με ένα διαμόρφωση κύκλου ζωής εκτελείται κατά τη δημιουργία παρουσίας και αυτοματοποιήστε τη ρύθμιση με ένα που εκτελείται κατά την έναρξη της παρουσίας.

Εδώ, δημιουργούμε ένα παράδειγμα στιγμιότυπου σημειωματάριου και διαμόρφωσης κύκλου ζωής χρησιμοποιώντας το AWS CLI. ο on-create config τρέχει εγκατάσταση-κωδικοποιητή, να on-start τρέχει εγκατάσταση-κωδικοποιητή.

Από ένα τερματικό που έχει ρυθμιστεί με το AWS CLI και τα κατάλληλα δικαιώματα, εκτελέστε τις ακόλουθες εντολές:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/notebook-instances

aws sagemaker create-notebook-instance-lifecycle-config 
    --notebook-instance-lifecycle-config-name install-codeserver 
    --on-start Content=$((cat setup-codeserver.sh || echo "")| base64) 
    --on-create Content=$((cat install-codeserver.sh || echo "")| base64)

aws sagemaker create-notebook-instance 
    --notebook-instance-name  
    --instance-type  
    --role-arn  
    --lifecycle-config-name install-codeserver

# Make sure to replace , ,
# and  in the previous commands with the appropriate values.

Η εγκατάσταση του διακομιστή κώδικα είναι πλέον αυτοματοποιημένη για την περίπτωση του φορητού υπολογιστή.

Συμπέρασμα

Με διακομιστής κωδικών που φιλοξενούνται στο SageMaker, οι ομάδες ML μπορούν να εκτελέσουν τον Κώδικα VS σε κλιμακωτό υπολογιστικό νέφος, κώδικα από οπουδήποτε και να επιταχύνουν την παράδοση του έργου ML. Για τους διαχειριστές IT, τους επιτρέπει να τυποποιούν και να επιταχύνουν την παροχή διαχειριζόμενων, ασφαλών IDE στο cloud, για να ενσωματωθούν γρήγορα και να ενεργοποιήσουν τις ομάδες ML στα έργα τους.

Σε αυτήν την ανάρτηση, μοιραστήκαμε μια λύση που μπορείτε να χρησιμοποιήσετε για να εγκαταστήσετε γρήγορα τον διακομιστή κώδικα τόσο σε περιπτώσεις Studio όσο και φορητών υπολογιστών. Μοιραστήκαμε μια διαδικασία μη αυτόματης εγκατάστασης που οι ομάδες ML μπορούν να εκτελέσουν μόνες τους και μια αυτοματοποιημένη εγκατάσταση που μπορούν να ρυθμίσουν οι διαχειριστές IT για αυτές.

Για να προχωρήσετε περαιτέρω στις γνώσεις σας, επισκεφθείτε AWSome SageMaker στο GitHub για να βρείτε όλους τους σχετικούς και ενημερωμένους πόρους που απαιτούνται για την εργασία με το SageMaker.

Σχετικά με τους Συγγραφείς

Φιλοξενεί διακομιστή κώδικα στο Amazon SageMaker PlatoBlockchain Data Intelligence. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται. Giuseppe Angelo Porcelli είναι Κύριος Αρχιτέκτονας Λύσεων Specialist Machine Learning για τις Υπηρεσίες Ιστού της Amazon. Με πολλά χρόνια μηχανικής λογισμικού με υπόβαθρο ML, συνεργάζεται με πελάτες οποιουδήποτε μεγέθους για να κατανοήσει σε βάθος τις επιχειρηματικές και τεχνικές τους ανάγκες και να σχεδιάσει λύσεις AI και Machine Learning που αξιοποιούν καλύτερα το AWS Cloud και τη στοίβα Machine Learning της Amazon. Έχει εργαστεί σε έργα σε διαφορετικούς τομείς, όπως MLOps, Computer Vision, NLP, και περιλαμβάνει ένα ευρύ σύνολο υπηρεσιών AWS. Στον ελεύθερο χρόνο του, ο Τζουζέπε απολαμβάνει το ποδόσφαιρο.

Φιλοξενεί διακομιστή κώδικα στο Amazon SageMaker PlatoBlockchain Data Intelligence. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται. Σοφιανή Χαμίτη είναι εξειδικευμένος αρχιτέκτονας λύσεων AI / ML στο AWS. Βοηθά τους πελάτες σε όλες τις βιομηχανίες να επιταχύνουν το ταξίδι AI / ML βοηθώντας τους να δημιουργήσουν και να λειτουργήσουν λύσεις μηχανικής μάθησης από άκρο σε άκρο.

Έρικ Πένα είναι Ανώτερος Τεχνικός Διευθυντής Προϊόντων στην ομάδα AWS Artificial Intelligence Platforms, που εργάζεται στο Amazon SageMaker Interactive Machine Learning. Επί του παρόντος εστιάζει στις ενσωματώσεις IDE στο SageMaker Studio. Είναι κάτοχος πτυχίου MBA από το MIT Sloan και εκτός δουλειάς του αρέσει να παίζει μπάσκετ και ποδόσφαιρο.