Amazon SageMaker'da ana bilgisayar kod sunucusu

Makine öğrenimi (ML) ekipleri, bir proje üzerinde çalışırken entegre geliştirme ortamlarını (IDE) seçme esnekliğine ihtiyaç duyar. Verimli bir geliştirici deneyimi yaşamanıza ve hızla yenilik yapmanıza olanak tanır. Bir proje içinde birden fazla IDE bile kullanabilirsiniz. Amazon Adaçayı Yapıcı makine öğrenimi ekiplerinin kendi içinde tam olarak yönetilen, bulut tabanlı ortamlardan çalışmayı seçmesine olanak tanır. Amazon SageMaker Stüdyosu, SageMaker Dizüstü Bilgisayar Örnekleriveya kullanarak yerel makinenizden yerel mod.

SageMaker, ML modellerini oluşturmak, eğitmek, hata ayıklamak, dağıtmak ve izlemek için Jupyter ve RStudio'ya tek tıklamalı bir deneyim sunar. Bu gönderide ayrıca bir paylaşım yapacağız. çözüm barındırma için kod sunucusu SageMaker'da.

Kod sunucusu ile kullanıcılar çalıştırabilir VS Kodu uzak makinelerde ve bir web tarayıcısında erişin. Makine öğrenimi ekipleri için, SageMaker'da kod sunucusu barındırma, yerel geliştirme deneyiminde minimum düzeyde değişiklik sağlar ve ölçeklenebilir bulut bilgi işlem üzerinde her yerden kod yazmanıza olanak tanır. VS Code ile, teslimatınızı hızlandırmak için AWS için optimize edilmiş TensorFlow ve PyTorch ile yerleşik Conda ortamlarını, yönetilen Git depolarını, yerel modu ve SageMaker tarafından sağlanan diğer özellikleri de kullanabilirsiniz. BT yöneticileri için, bulutta yönetilen, güvenli IDE'lerin sağlanmasını standartlaştırmanıza ve hızlandırmanıza, projelerinde ML ekiplerini hızla devreye sokmanıza ve etkinleştirmenize olanak tanır.

Çözüme genel bakış

Bu gönderide, hem Studio ortamları (Seçenek A) hem de dizüstü bilgisayar örnekleri (Seçenek B) için yüklemeyi ele alıyoruz. Her seçenek için, makine öğrenimi ekiplerinin kendi ortamlarında çalıştırabilecekleri manuel bir kurulum sürecinden ve BT yöneticilerinin kendileri için ayarlayabilecekleri otomatik bir kurulumdan geçiyoruz. AWS Komut Satırı Arayüzü (AWS CLI'si).

Aşağıdaki şema, SageMaker'da kod sunucusu barındırmaya yönelik mimariye genel bakışı göstermektedir.

Çözümümüz, ortamınızda kod sunucusunun kurulumunu ve kurulumunu hızlandırır. Studio ve SageMaker not defteri örneklerinde çalışan JupyterLab 3 (önerilir) ve JupyterLab 1 için çalışır. Seçeneğe göre aşağıdakileri yapan kabuk komut dosyalarından yapılmıştır.

Studio için (Seçenek A), kabuk betiği aşağıdakileri yapar:

SageMaker not defteri örnekleri için (Seçenek B), kabuk betiği aşağıdakileri yapar:

• Kod sunucusunu kurar.
• IDE'ye hızlı erişim için Jupyter notebook dosya menüsüne ve JupyterLab başlatıcısına bir kod sunucusu kısayolu ekler.
• Bağımlılıkları yönetmek için özel bir Conda ortamı oluşturur.
• yükler Python ve liman işçisi IDE'deki uzantılar.

Aşağıdaki bölümlerde, Seçenek A ve Seçenek B için çözüm yükleme sürecini anlatacağız. Studio'ya veya bir dizüstü bilgisayar örneğine erişiminiz olduğundan emin olun.

A Seçeneği: Studio'da ana kod sunucusu

Studio'da kod sunucusu barındırmak için aşağıdaki adımları tamamlayın:

1. Klinik Sistem terminali Studio başlatıcınızda.
   
2. Kod sunucusu çözümünü kurmak için sistem terminalinizde aşağıdaki komutları çalıştırın:

   curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
   tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz
   
   cd amazon-sagemaker-codeserver/install-scripts/studio
    
   chmod +x install-codeserver.sh
   ./install-codeserver.sh
   
   # Note: when installing on JL1, please prepend the nohup command to the install command above and run as follows: 
   # nohup ./install-codeserver.sh

   Komutların tamamlanması birkaç saniye sürmelidir.

3. görebileceğiniz tarayıcı sayfasını yeniden yükleyin. Kod Sunucusu Studio başlatıcınızdaki düğmesine basın.
   
4. Klinik Kod Sunucusu tarayıcınızdan kod sunucusuna erişmenizi sağlayan yeni bir tarayıcı sekmesi açmak için.
   Python uzantısı zaten kuruludur ve ML projenizde çalışmaya başlayabilirsiniz.

Proje klasörünüzü VS Code'da açabilir ve Python komut dosyalarınızı çalıştırmak için önceden oluşturulmuş Conda ortamını seçebilirsiniz.

Studio etki alanındaki kullanıcılar için kod sunucusu yüklemesini otomatikleştirin

BT yöneticisi olarak, Studio kullanıcıları için yüklemeyi bir yaşam döngüsü yapılandırması. Bir Studio alanı altındaki tüm kullanıcıların profilleri veya belirli profiller için yapılabilir. Görmek Amazon SageMaker Studio'yu Yaşam Döngüsü Yapılandırmalarını kullanarak özelleştirin daha fazla ayrıntı için.

Bu gönderi için, şuradan bir yaşam döngüsü yapılandırması oluşturuyoruz: kurulum-kod sunucusu komut dosyası oluşturun ve mevcut bir Studio etki alanına ekleyin. Yükleme, etki alanındaki tüm kullanıcı profilleri için yapılır.

AWS CLI ve uygun izinlerle yapılandırılmış bir terminalden aşağıdaki komutları çalıştırın:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/studio

LCC_CONTENT=`openssl base64 -A -in install-codeserver.sh`

aws sagemaker create-studio-lifecycle-config 
    --studio-lifecycle-config-name install-codeserver-on-jupyterserver 
    --studio-lifecycle-config-content $LCC_CONTENT 
    --studio-lifecycle-config-app-type JupyterServer 
    --query 'StudioLifecycleConfigArn'

aws sagemaker update-domain 
    --region  
    --domain-id  
    --default-user-settings 
    '{
    "JupyterServerAppSettings": {
    "DefaultResourceSpec": {
    "LifecycleConfigArn": "arn:aws:sagemaker:::studio-lifecycle-config/install-codeserver-on-jupyterserver",
    "InstanceType": "system"
    },
    "LifecycleConfigArns": [
    "arn:aws:sagemaker:::studio-lifecycle-config/install-codeserver-on-jupyterserver"
    ]
    }}'

# Make sure to replace ,  and  in the previous commands with
# the Studio domain ID, the AWS region and AWS Account ID you are using respectively.

Jupyter Server yeniden başlatıldıktan sonra, Kod Sunucusu düğmesi, Studio başlatıcınızda görünür.

B Seçeneği: Bir SageMaker not defteri örneğinde ana kod sunucusu

Bir SageMaker not defteri örneğinde kod sunucusu barındırmak için aşağıdaki adımları tamamlayın:

1. Not defteri örneğiniz için Jupyter veya JupyterLab aracılığıyla bir terminal başlatın.
   Jupyter kullanıyorsanız, seçin terminal üzerinde yeni menüsü.
   
2.  Kod sunucusu çözümünü kurmak için terminalinizde aşağıdaki komutları çalıştırın:

   curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
   tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz
   
   cd amazon-sagemaker-codeserver/install-scripts/notebook-instances
    
   chmod +x install-codeserver.sh
   chmod +x setup-codeserver.sh
   sudo ./install-codeserver.sh
   sudo ./setup-codeserver.sh

   Kod sunucusu ve uzantı yüklemeleri, dizüstü bilgisayar örneğinde kalıcıdır. Ancak örneği durdurur veya yeniden başlatırsanız, kod sunucusunu yeniden yapılandırmak için aşağıdaki komutu çalıştırmanız gerekir:

   sudo ./setup-codeserver.sh

   Komutların çalışması birkaç saniye sürmelidir. Aşağıdakileri gördüğünüzde terminal sekmesini kapatabilirsiniz.

   

3. Şimdi Jupyter sayfasını yeniden yükleyin ve yeni tekrar menü.
   The Kod Sunucusu seçeneği artık mevcut olmalıdır.
   

Ayrıca, aşağıdaki ekran görüntüsünde gösterildiği gibi, özel bir başlatıcı düğmesi kullanarak JupyterLab'dan kod sunucusunu da başlatabilirsiniz.

Seçme Kod Sunucusu tarayıcınızdan kod sunucusuna erişmenizi sağlayan yeni bir tarayıcı sekmesi açar. Python ve Docker uzantıları zaten kuruludur ve makine öğrenimi projenizde çalışmaya başlayabilirsiniz.

Bir dizüstü bilgisayar örneğinde kod sunucusu yüklemesini otomatikleştirin

BT yöneticisi olarak, kod sunucusu kurulumunu bir yaşam döngüsü yapılandırması örnek oluşturma üzerinde çalışır ve kurulumu, örnek başlangıcında çalışan biriyle otomatik hale getirir.

Burada, aşağıdakileri kullanarak örnek bir not defteri örneği ve yaşam döngüsü yapılandırması oluşturuyoruz: AWS CLI'si. on-create yapılandırma çalıştırmaları kurulum-kod sunucusu, ve on-start ishal kurulum-kod sunucusu.

AWS CLI ve uygun izinlerle yapılandırılmış bir terminalden aşağıdaki komutları çalıştırın:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/notebook-instances

aws sagemaker create-notebook-instance-lifecycle-config 
    --notebook-instance-lifecycle-config-name install-codeserver 
    --on-start Content=$((cat setup-codeserver.sh || echo "")| base64) 
    --on-create Content=$((cat install-codeserver.sh || echo "")| base64)

aws sagemaker create-notebook-instance 
    --notebook-instance-name  
    --instance-type  
    --role-arn  
    --lifecycle-config-name install-codeserver

# Make sure to replace , ,
# and  in the previous commands with the appropriate values.

Kod sunucusu yüklemesi artık dizüstü bilgisayar örneği için otomatikleştirilmiştir.

Sonuç

İle kod sunucusu SageMaker'da barındırılan ML ekipleri, VS Code'u ölçeklenebilir bulut bilişimde çalıştırabilir, herhangi bir yerden kod yazabilir ve ML proje teslimini hızlandırabilir. BT yöneticileri için bulutta yönetilen, güvenli IDE'lerin sağlanmasını standartlaştırmalarına ve hızlandırmalarına, projelerinde ML ekiplerini hızla devreye almalarına ve etkinleştirmelerine olanak tanır.

Bu gönderide, hem Studio hem de notebook bulut sunucularına hızlı bir şekilde kod sunucusu yüklemek için kullanabileceğiniz bir çözüm paylaştık. Makine öğrenimi ekiplerinin kendi başlarına çalıştırabileceği manuel bir kurulum sürecini ve BT yöneticilerinin onlar için ayarlayabileceği otomatik bir kurulumu paylaştık.

Öğrenimlerinizde daha ileri gitmek için şu adresi ziyaret edin: AWbazı Adaçayı Yapıcı SageMaker ile çalışmak için gereken tüm ilgili ve güncel kaynakları bulmak için GitHub'da.

Yazarlar Hakkında

Giuseppe Angelo Porcelli Amazon Web Servisleri için Baş Makine Öğrenimi Uzmanı Çözüm Mimarıdır. Birkaç yıllık yazılım mühendisliği ve makine öğrenimi geçmişiyle, her büyüklükteki müşteriyle iş ve teknik ihtiyaçlarını derinlemesine anlamak ve AWS Cloud ve Amazon Machine Learning yığınından en iyi şekilde yararlanan Yapay Zeka ve Makine Öğrenimi çözümleri tasarlamak için çalışır. MLOps, Computer Vision, NLP dahil olmak üzere farklı alanlarda ve çok çeşitli AWS hizmetlerini içeren projelerde çalıştı. Giuseppe boş zamanlarında futbol oynamayı sever.

Sofya Hamiti AWS'de bir AI / ML uzmanı Çözüm Mimarıdır. Sektörlerdeki müşterilerin uçtan uca makine öğrenimi çözümleri oluşturmalarına ve çalıştırmalarına yardımcı olarak AI / ML yolculuklarını hızlandırmalarına yardımcı oluyor.

Eric Pena AWS Yapay Zeka Platformları ekibinde Amazon SageMaker Etkileşimli Makine Öğrenimi üzerinde çalışan Kıdemli Teknik Ürün Yöneticisidir. Şu anda SageMaker Studio'da IDE entegrasyonlarına odaklanıyor. MIT Sloan'dan MBA derecesine sahiptir ve iş dışında basketbol ve futbol oynamayı sever.