Isäntäkoodipalvelin Amazon SageMakerissa

Koneoppimisen (ML) tiimit tarvitsevat joustavuutta integroidun kehitysympäristönsä (IDE) valinnassa työskennellessään projektin parissa. Sen avulla voit saada tuottavan kehittäjäkokemuksen ja innovoida nopeasti. Voit jopa käyttää useita IDE:itä projektin sisällä. Amazon Sage Maker antaa ML-tiimille valita työskennellä täysin hallituissa, pilvipohjaisissa ympäristöissä Amazon SageMaker Studio, SageMaker-muistikirjan esiintymät, tai paikalliselta koneeltasi paikallinen tila.

SageMaker tarjoaa yhden napsautuksen kokemuksen Jupyteriin ja RStudioon ML-mallien rakentamiseen, kouluttamiseen, virheenkorjaukseen, käyttöönottoon ja seurantaan. Tässä postauksessa jaamme myös a ratkaisu isännöintiä varten koodipalvelin SageMakerissa.

Koodipalvelimen avulla käyttäjät voivat käyttää VS-koodi etäkoneilla ja käytä sitä verkkoselaimella. ML-tiimeille SageMakerin isännöivä koodipalvelin tarjoaa minimaaliset muutokset paikalliseen kehityskokemukseen ja mahdollistaa koodaamisen mistä tahansa, skaalautuvassa pilvilaskennassa. VS Coden avulla voit myös käyttää sisäänrakennettuja Conda-ympäristöjä, joissa on AWS-optimoitu TensorFlow ja PyTorch, hallitut Git-varastot, paikallinen tila ja muut SageMakerin tarjoamat ominaisuudet nopeuttamaan toimitusta. IT-järjestelmänvalvojille sen avulla voit standardoida ja nopeuttaa hallittujen, suojattujen IDE:iden käyttöönottoa pilvessä, jotta ML-tiimit voivat nopeasti ottaa käyttöön ja ottaa ne käyttöön projekteissaan.

Ratkaisun yleiskatsaus

Tässä viestissä käsittelemme asennusta sekä Studio-ympäristöihin (vaihtoehto A) että kannettavan tietokoneen esiintymiin (vaihtoehto B). Jokaiselle vaihtoehdolle käymme läpi manuaalisen asennusprosessin, jonka ML-tiimit voivat suorittaa ympäristössään, ja automaattisen asennuksen, jonka IT-järjestelmänvalvojat voivat määrittää heille AWS-komentoriviliitäntä (AWS CLI).

Seuraava kaavio havainnollistaa arkkitehtuurin yleiskatsauksen koodipalvelimen isännöimiseksi SageMakerissa.

Ratkaisumme nopeuttaa koodipalvelimen asennusta ja asennusta ympäristöösi. Se toimii sekä JupyterLab 3:ssa (suositus) että JupyterLab 1:ssä, jotka toimivat Studio- ja SageMaker-muistikirjaesiintymissä. Se on tehty shell-skripteistä, jotka tekevät seuraavat vaihtoehdon perusteella.

Studiossa (vaihtoehto A) komentotulkkikomentosarja toimii seuraavasti:

SageMaker-muistikirjan esiintymissä (vaihtoehto B) komentotulkkikomentosarja toimii seuraavasti:

• Asentaa koodipalvelimen.
• Lisää koodipalvelimen pikakuvakkeen Jupyterin muistikirjan tiedostovalikkoon ja JupyterLab-käynnistysohjelman IDE:n nopeaa käyttöä varten.
• Luo erillisen Conda-ympäristön riippuvuuksien hallintaan.
• Asenna Python ja Satamatyöläinen laajennuksia IDE:ssä.

Seuraavissa osioissa käymme läpi vaihtoehdon A ja vaihtoehdon B ratkaisun asennusprosessin. Varmista, että sinulla on pääsy Studioon tai kannettavan tietokoneen ilmentymään.

Vaihtoehto A: Isäntäkoodipalvelin Studiossa

Voit isännöidä koodipalvelinta Studiossa suorittamalla seuraavat vaiheet:

1. Valita Järjestelmän pääte Studion käynnistysohjelmassa.
   
2. Asenna koodipalvelinratkaisu suorittamalla seuraavat komennot järjestelmäpäätteessäsi:

   curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
   tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz
   
   cd amazon-sagemaker-codeserver/install-scripts/studio
    
   chmod +x install-codeserver.sh
   ./install-codeserver.sh
   
   # Note: when installing on JL1, please prepend the nohup command to the install command above and run as follows: 
   # nohup ./install-codeserver.sh

   Komentojen suorittaminen kestää muutaman sekunnin.

3. Lataa selainsivu uudelleen, jossa näet a Koodipalvelin -painiketta Studion käynnistysohjelmassa.
   
4. Valita Koodipalvelin avataksesi uuden selaimen välilehden, jonka avulla voit käyttää koodipalvelinta selaimestasi.
   Python-laajennus on jo asennettu, ja voit ryhtyä työhön ML-projektissasi.

Voit avata projektikansiosi VS Codessa ja valita valmiiksi rakennetun Conda-ympäristön Python-skriptien suorittamista varten.

Automatisoi koodipalvelimen asennus Studio-verkkotunnuksen käyttäjille

IT-järjestelmänvalvojana voit automatisoida asennuksen Studion käyttäjille käyttämällä a elinkaaren kokoonpano. Se voidaan tehdä kaikille Studio-verkkotunnuksen käyttäjien profiileille tai tietyille profiileille. Katso Räätälöi Amazon SageMaker Studio käyttämällä Lifecycle Configurations -asetuksia lisätietoja.

Tätä viestiä varten luomme elinkaarimäärityksen install-codeserver komentosarja ja liitä se olemassa olevaan Studio-verkkotunnukseen. Asennus tehdään kaikille verkkotunnuksen käyttäjäprofiileille.

Suorita seuraavat komennot AWS CLI:llä ja asianmukaisilla käyttöoikeuksilla varustetusta päätteestä:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/studio

LCC_CONTENT=`openssl base64 -A -in install-codeserver.sh`

aws sagemaker create-studio-lifecycle-config 
    --studio-lifecycle-config-name install-codeserver-on-jupyterserver 
    --studio-lifecycle-config-content $LCC_CONTENT 
    --studio-lifecycle-config-app-type JupyterServer 
    --query 'StudioLifecycleConfigArn'

aws sagemaker update-domain 
    --region  
    --domain-id  
    --default-user-settings 
    '{
    "JupyterServerAppSettings": {
    "DefaultResourceSpec": {
    "LifecycleConfigArn": "arn:aws:sagemaker:::studio-lifecycle-config/install-codeserver-on-jupyterserver",
    "InstanceType": "system"
    },
    "LifecycleConfigArns": [
    "arn:aws:sagemaker:::studio-lifecycle-config/install-codeserver-on-jupyterserver"
    ]
    }}'

# Make sure to replace ,  and  in the previous commands with
# the Studio domain ID, the AWS region and AWS Account ID you are using respectively.

Kun Jupyter Server käynnistyy uudelleen, Koodipalvelin -painike tulee näkyviin Studion käynnistysohjelmaan.

Vaihtoehto B: Isäntäkoodipalvelin SageMaker-muistikirjan ilmentymässä

Jos haluat isännöidä koodipalvelinta SageMaker-muistikirjan ilmentymässä, suorita seuraavat vaiheet:

1. Käynnistä pääte Jupyterin tai JupyterLabin kautta kannettavan tietokoneen ilmentymää varten.
   Jos käytät Jupyteria, valitse terminaali på den Uusi valikosta.
   
2.  Asenna koodipalvelinratkaisu suorittamalla seuraavat komennot päätteessäsi:

   curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
   tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz
   
   cd amazon-sagemaker-codeserver/install-scripts/notebook-instances
    
   chmod +x install-codeserver.sh
   chmod +x setup-codeserver.sh
   sudo ./install-codeserver.sh
   sudo ./setup-codeserver.sh

   Koodipalvelin- ja laajennusasennukset ovat pysyviä kannettavan tietokoneen ilmentymässä. Jos kuitenkin pysäytät tai käynnistät ilmentymän uudelleen, sinun on suoritettava seuraava komento määrittääksesi koodipalvelimen uudelleen:

   sudo ./setup-codeserver.sh

   Komentojen suorittaminen kestää muutaman sekunnin. Voit sulkea päätevälilehden, kun näet seuraavan.

   

3. Lataa nyt Jupyter-sivu uudelleen ja tarkista Uusi valikosta uudelleen.
   - Koodipalvelin vaihtoehdon pitäisi nyt olla käytettävissä.
   

Voit myös käynnistää koodipalvelimen JupyterLabista käyttämällä erillistä käynnistyspainiketta, kuten seuraavassa kuvakaappauksessa näkyy.

Valitseminen Koodipalvelin avaa uuden selaimen välilehden, jonka avulla voit käyttää koodipalvelinta selaimestasi. Python- ja Docker-laajennukset on jo asennettu, ja voit aloittaa työskentelyn ML-projektissasi.

Automatisoi koodipalvelimen asennus kannettavan tietokoneen ilmentymään

IT-järjestelmänvalvojana voit automatisoida koodipalvelimen asennuksen a elinkaaren kokoonpano käynnissä ilmentymän luomisen yhteydessä, ja automatisoida asennuksen yhdellä, joka on käynnissä ilmentymän käynnistyksen yhteydessä.

Tässä luomme esimerkkimuistikirjan ilmentymän ja elinkaarikokoonpanon käyttämällä AWS CLI. on-create konfiguraatio toimii install-codeserverja on-start toimii setup-koodipalvelin.

Suorita seuraavat komennot AWS CLI:llä ja asianmukaisilla käyttöoikeuksilla varustetusta päätteestä:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/notebook-instances

aws sagemaker create-notebook-instance-lifecycle-config 
    --notebook-instance-lifecycle-config-name install-codeserver 
    --on-start Content=$((cat setup-codeserver.sh || echo "")| base64) 
    --on-create Content=$((cat install-codeserver.sh || echo "")| base64)

aws sagemaker create-notebook-instance 
    --notebook-instance-name  
    --instance-type  
    --role-arn  
    --lifecycle-config-name install-codeserver

# Make sure to replace , ,
# and  in the previous commands with the appropriate values.

Koodipalvelimen asennus on nyt automaattinen kannettavan tietokoneen ilmentymälle.

Yhteenveto

Kanssa koodipalvelin SageMakerissa isännöitynä ML-tiimit voivat käyttää VS-koodia skaalautuvassa pilvilaskennassa, koodata mistä tahansa ja nopeuttaa ML-projektiensa toimitusta. IT-järjestelmänvalvojille sen avulla he voivat standardoida ja nopeuttaa hallittujen, suojattujen IDE:iden käyttöönottoa pilvessä, jotta he voivat nopeasti ottaa käyttöön ja ottaa ML-tiimit käyttöön projekteissaan.

Tässä viestissä jaoimme ratkaisun, jonka avulla voit asentaa koodipalvelimen nopeasti sekä Studio- että muistikirja-esiintymiin. Jaoimme manuaalisen asennusprosessin, jonka ML-tiimit voivat suorittaa itsenäisesti, ja automaattisen asennuksen, jonka IT-järjestelmänvalvojat voivat määrittää heille.

Jos haluat jatkaa oppimistasi, vieraile osoitteessa AWSome SageMaker GitHubista löytääksesi kaikki olennaiset ja ajantasaiset resurssit, joita tarvitaan työskentelyyn SageMakerin kanssa.

Tietoja Tekijät

Giuseppe Angelo Porcelli on koneoppimisen asiantuntijaratkaisujen pääarkkitehti Amazon Web Servicesille. Hänellä on useiden vuosien ohjelmistokehitys ja ML-tausta. Hän työskentelee kaikenkokoisten asiakkaiden kanssa ymmärtääkseen syvällisesti heidän liiketoimintaansa ja teknisiä tarpeitaan sekä suunnitellakseen tekoäly- ja koneoppimisratkaisuja, jotka hyödyntävät AWS-pilviä ja Amazon Machine Learning -pinoa parhaalla mahdollisella tavalla. Hän on työskennellyt projekteissa eri aloilla, mukaan lukien MLOps, Computer Vision, NLP, ja mukana on laaja valikoima AWS-palveluita. Vapaa-ajallaan Giuseppe pelaa jalkapalloa.

Sofian Hamiti on AI / ML-asiantuntijaratkaisuarkkitehti AWS: llä. Hän auttaa asiakkaita kaikilla toimialoilla nopeuttamaan tekoälyn / ML-matkansa auttamalla heitä rakentamaan ja operoimaan kokonaisvaltaisia ​​koneoppimisratkaisuja.

Eric Pena on vanhempi tekninen tuotepäällikkö AWS Artificial Intelligence Platforms -tiimissä, joka työskentelee Amazon SageMaker Interactive Machine Learningin parissa. Tällä hetkellä hän keskittyy IDE-integraatioihin SageMaker Studiossa. Hän on suorittanut MBA-tutkinnon MIT Sloanista, ja työnsä ulkopuolella hän nauttii koripallon ja jalkapallon pelaamisesta.