Amazon SageMaker -verkkotunnus vain VPC-tilassa SageMaker Studion automaattisen sammutuksen elinkaaren kokoonpanon ja SageMaker Canvasin tukemiseksi Terraformilla

Julkaissut Platon

seuraajia: 0

Amazon SageMaker -verkkotunnus tukee SageMaker-koneoppimisympäristöjä (ML), mukaan lukien SageMaker Studio ja SageMaker Canvas. SageMaker Studio on täysin integroitu kehitysympäristö (IDE), joka tarjoaa yhden web-pohjaisen visuaalisen käyttöliittymän, jossa voit käyttää tarkoitukseen rakennettuja työkaluja suorittaaksesi kaikki ML-kehitysvaiheet tietojen valmistelusta ML-mallien rakentamiseen, koulutukseen ja käyttöönottoon sekä datatieteen parantamiseen. tiimin tuottavuus jopa 10x. SageMaker Canvas laajentaa pääsyä koneoppimiseen tarjoamalla yritysanalyytikoille visuaalisen käyttöliittymän, jonka avulla he voivat luoda tarkkoja ML-ennusteita itse – ilman ML-kokemusta tai yhden koodirivin kirjoittamista.

HashiCorp Terraform on infrastruktuuri koodina (IaC) -työkalu, jonka avulla voit järjestää infrastruktuurisi uudelleenkäytettäviin koodimoduuleihin. AWS-asiakkaat luottavat IaC:hen pilviinfrastruktuurinsa, kuten SageMaker Domainsin, suunnittelussa, kehittämisessä ja hallinnassa. IaC varmistaa, että asiakkaiden infrastruktuuri ja palvelut ovat johdonmukaisia, skaalautuvia ja toistettavia noudattaen samalla kehitystoiminnan (DevOps) parhaita käytäntöjä. Terraformin avulla voit kehittää ja hallita SageMaker-verkkotunnustasi ja sitä tukevaa infrastruktuuria johdonmukaisella ja toistettavalla tavalla.

Tässä viestissä esittelemme Terraform-toteutuksen SageMaker-verkkotunnuksen käyttöönottamiseksi ja Amazonin virtuaalinen yksityinen pilvi (Amazon VPC), johon se liittyy. Ratkaisu käyttää Terraformia luomaan:

VPC, jossa on aliverkkoja, suojausryhmiä ja VPC-päätepisteitä, jotka tukevat vain VPC-tilaa SageMaker-verkkotunnuksessa.
SageMaker-verkkotunnus vain VPC-tilassa käyttäjäprofiilin kanssa.
AWS Key Management Service (AWS KMS) -avain SageMaker Studion Amazon EFS (Amazon EFS) -taltion salaamiseen.
SageMaker-verkkotunnukseen liitetty elinkaaren määritys, joka sammuttaa automaattisesti käyttämättömät Studio-muistikirjan esiintymät.
SageMaker Domain -suoritusrooli ja IAM-käytännöt SageMaker Studio- ja Canvas-toimintojen mahdollistamiseksi.

Tässä viestissä kuvattu ratkaisu on saatavilla tästä GitHub repo.

Ratkaisun yleiskatsaus

Seuraava kuva näyttää SageMaker-verkkotunnuksen vain VPC-tilassa.

Käynnistämällä SageMaker Domainin VPC:ssäsi, voit hallita SageMaker Studio- ja Canvas-ympäristöjen tietovirtaa. Tämän avulla voit rajoittaa Internet-yhteyttä, seurata ja tarkastaa liikennettä käyttämällä tavallisia AWS-verkko- ja suojausominaisuuksia ja muodostaa yhteyden muihin AWS-resursseihin VPC-päätepisteiden kautta.

VPC-vaatimukset vain VPC-tilan käyttämiselle

SageMaker-verkkotunnuksen luominen vain VPC-tilassa vaatii VPC:n, jossa on seuraavat kokoonpanot:

Vähintään kaksi yksityistä aliverkkoa, kukin eri Saatavuusvyöhykkeellä korkean käytettävyyden varmistamiseksi.
Varmista, että aliverkoissasi on tarvittava määrä IP-osoitteita. Suosittelemme kahdesta neljään IP-osoitetta käyttäjää kohden. Studio-toimialueen IP-osoitteiden kokonaiskapasiteetti on kunkin aliverkon käytettävissä olevien IP-osoitteiden summa, joka annetaan toimialueen luomisen yhteydessä.
Määritä yksi tai useampi suojausryhmä saapuvan ja lähtevän liikenteen säännöillä, jotka yhdessä sallivat seuraavan liikenteen:
- NFS-liikenne TCP:n kautta portissa 2049 toimialueen ja Amazon EFS -taltion välillä.
- TCP-liikenne suojausryhmän sisällä. Tämä tarvitaan JupyterServer-sovelluksen ja KernelGateway-sovellusten väliseen yhteyteen. Sinun on sallittava pääsy vähintään portteihin alueella 8192–65535.
Luo yhdyskäytäväpäätepiste Amazon Simple Storage Servicelle (Amazon S3). SageMaker Studion on käytettävä Amazon S3:a VPC:ltäsi Gateway VPC -päätepisteiden avulla. Kun olet luonut yhdyskäytävän päätepisteen, sinun on lisättävä se VPC:stä Amazon S3:een suuntautuvan liikenteen kohteeksi reittitaulukkoosi.
Luo käyttöliittymän VPC-päätepisteitä (AWS PrivateLink), jotta Studio voi käyttää seuraavia palveluita vastaavilla palvelunimilla. Sinun on myös liitettävä suojausryhmä VPC:llesi näihin päätepisteisiin salliaksesi kaiken saapuvan liikenteen portista 443:
- SageMaker API: com.amazonaws.region.sagemaker.api. Tämä vaaditaan kommunikointiin SageMaker API:n kanssa.
- SageMaker-ajoaika: com.amazonaws.region.sagemaker.runtime. Tämä tarvitaan Studio-kannettavien käyttämiseen sekä mallien kouluttamiseen ja isännöimiseen.
- SageMaker-ominaisuuskauppa: com.amazonaws.region.sagemaker.featurestore-runtime. Tämä vaaditaan SageMaker Feature Storen käyttämiseen.
- SageMaker-projektit: com.amazonaws.region.servicecatalog. Tämä vaaditaan SageMaker-projektien käyttämiseen.

Muita VPC-päätepisteitä SageMaker Canvasin käyttöä varten

Aiemmin mainittujen VPC-päätepisteiden lisäksi, jotta voit käyttää SageMaker Canvasia, sinun on luotava myös seuraavat käyttöliittymän VPC-päätepisteet:

Amazon Forecast ja Amazon Forecast Query: com.amazonaws.region.forecast ja com.amazonaws.region.forecastquery. Näitä tarvitaan Amazon Forecastin käyttämiseen.
Amazonin tunnustus: com.amazonaws.region.rekognition. Tämä tarvitaan Amazon Rekognitionin käyttämiseen.
Amazonin teksti: com.amazonaws.region.textract. Tämä vaaditaan Amazon Textractin käyttöön.
Amazon ymmärtää: com.amazonaws.region.comprehend. Tämä vaaditaan Amazon Comprehendin käyttöön.
AWS Security Token Service (AWS STS): com.amazonaws.region.sts. Tämä on tarpeen, koska SageMaker Canvas käyttää AWS STS:ää yhteyden muodostamiseen tietolähteisiin.
Amazon Athena ja AWS Glue: com.amazonaws.region.athena ja com.amazonaws.region.glue. Tämä vaaditaan yhteyden muodostamiseksi AWS Glue Data Catalogiin Amazon Athenan kautta.
Amazon Redshift: com.amazonaws.region.redshift-data. Tämä tarvitaan yhteyden muodostamiseksi Amazon Redshift -tietolähteeseen.

Jos haluat tarkastella kaikkia VPC-päätepisteitä jokaiselle palvelulle, jota voit käyttää SageMaker Canvasin kanssa, siirry osoitteeseen Määritä Amazon SageMaker Canvas VPC:ssä ilman Internet-yhteyttä.

AWS KMS -salaus SageMaker Studion EFS-taltiolle

Kun tiimisi käyttäjä siirtyy ensimmäisen kerran SageMaker Studioon, SageMaker luo EFS-taltion tiimille. Taltioon luodaan kotihakemisto jokaiselle käyttäjälle, joka liittyy Studioon osana tiimiäsi. Muistikirjan tiedostot ja datatiedostot tallennetaan näihin hakemistoihin.

Voit salata SageMaker Studion EFS-taltion KMS-avaimella, jotta kotihakemistojesi tiedot salataan lepotilassa. Tämä Terraform-ratkaisu luo KMS-avaimen ja käyttää sitä SageMaker Studion EFS-taltion salaamiseen.

SageMaker Domain Lifecycle Configuration sammuttaa automaattisesti käyttämättömät Studio-kannettavat

Elinkaarimääritykset ovat Amazon SageMaker Studion elinkaaritapahtumien, kuten uuden Studio-muistikirjan käynnistämisen, käynnistämiä shell-skriptejä. Voit käyttää Lifecycle Configurations -asetuksia Studio-ympäristösi mukauttamiseen.

Tämä Terraform-ratkaisu luo SageMaker Lifecycle -konfiguraation tunnistamaan ja pysäyttämään käyttämättömät resurssit, joista aiheutuu kustannuksia Studiossa automaattisesti sammuvan Jupyter-laajennuksen avulla. Konepellin alla luodaan tai määritetään seuraavat resurssit halutun tuloksen saavuttamiseksi:

Luo S3-säilö ja lataa uusin versio automaattisen sammutuksen laajennuksesta sagemaker_studio_autoshutdown-0.1.5.tar.gz. Myöhemmin automaattinen sammutuskomentosarja suorittaa s3 cp -komento ladataksesi laajennustiedoston S3-alustasta Jupyter-palvelimen käynnistyksissä. Katso seuraavista GitHub-reposista lisätietoja koskien automaattisen sammutuksen laajennus ja automaattisen sammutuksen komentosarja.
Luo aws_sagemaker_studio_lifecycle_config resurssi "auto_shutdown”. Tämä resurssi koodaa autoshutdown-script.sh base 64:llä ja luo SageMaker-toimialueelle elinkaaren määritys.
Määritä SageMaker Domain -oletusasetuksissa Lifecycle Configuration -arn ja aseta se oletukseksi.

SageMaker-suoritusroolin IAM-oikeudet

Hallittuna palveluna SageMaker suorittaa toimintoja puolestasi SageMakerin hallinnoimalla AWS-laitteistolla. SageMaker voi suorittaa vain käyttäjän sallimia toimintoja.

SageMaker-käyttäjä voi myöntää nämä oikeudet IAM-roolilla (jota kutsutaan suoritusrooliksi). Kun luot SageMaker Studio -toimialueen, SageMaker antaa sinun luoda suoritusroolin oletuksena. Voit rajoittaa pääsyä käyttäjäprofiileihin muuttamalla SageMaker-käyttäjäprofiilin roolia. Tämä Terraform-ratkaisu liittää seuraavat IAM-käytännöt SageMaker-suoritusrooliin:

SageMaker hallinnoi AmazonSageMakerFullAccess käytäntö. Tämä käytäntö antaa suoritusroolille täydet SageMaker Studion käyttöoikeudet.
Asiakkaan hallinnoima IAM-käytäntö käyttää KMS-avainta, jota käytetään SageMaker Studion EFS-taltion salaamiseen.
SageMaker hallinnoi AmazonSageMakerCanvasFullAccess ja AmazonSageMakerCanvasAIServicesAccess politiikkaa. Nämä käytännöt antavat suoritusroolille täyden käyttöoikeuden SageMaker Canvasin käyttöön.
Jotta voit ottaa aikasarjaanalyysin käyttöön SageMaker Canvasissa, sinun on myös lisättävä Amazon Forecastin IAM-luottamuskäytäntö.

Ratkaisun läpikäynti

Tässä blogikirjoituksessa näytämme, kuinka Terraform-ratkaisu otetaan käyttöön. Varmista ennen käyttöönottoa, että seuraavat edellytykset täyttyvät:

Edellytykset

AWS-tili
IAM-käyttäjä, jolla on järjestelmänvalvojan käyttöoikeudet

Käyttöönottovaiheet

Jotta tätä opasta seuraaville käyttäjille voitaisiin tarjota yhtenäinen käyttöönottokokemus, esittelemme käyttöönottoprosessin AWS CloudShellillä. Selainpohjaisen CloudShellin avulla voit nopeasti ajaa komentosarjoja AWS-komentoriviliittymällä (AWS CLI), kokeilla palvelusovellusliittymiä AWS CLI:n avulla ja käyttää muita työkaluja tuottavuuden lisäämiseen.

Ota Terraform-ratkaisu käyttöön seuraavasti:

CloudShellin käynnistysasetukset

Kirjaudu sisään AWS-hallintakonsoliin ja valitse CloudShell-palvelu.
Valitse navigointipalkin Aluevalitsimesta Yhdysvaltojen itä (N. Virginia).

Selaimesi avaa CloudShell-päätelaitteen.

Asenna Terraform

Seuraavat vaiheet tulee suorittaa CloudShell-päätteessä.

Tarkistaa tämä Hashicorp-opas saadaksesi ajantasaiset ohjeet Terraformin asentamiseen Amazon Linuxille:

install yum-config-manager hallita arkistojasi.

sudo yum install -y yum-utils

Käyttää yum-config-manager lisätäksesi virallisen HashiCorp Linux -tietovaraston.

sudo yum-config-manager --add-repo https://rpm.releases.hashicorp.com/AmazonLinux/hashicorp.repo

Asenna Terraform uudesta arkistosta.

sudo yum -y install terraform

Varmista, että asennus toimi luettelemalla Terraformin käytettävissä olevat alikomennot.

terraform -help

Odotettu tulos:

Usage: terraform [-version] [-help] <command> [args] The available commands for execution are listed below. The most common, useful commands are shown first, followed by less common or more advanced commands. If you’re just getting started with Terraform, stick with the common commands. For the other commands, please read the help and docs before usage. …

Kloonaa koodivarasto

Suorita seuraavat vaiheet CloudShell-päätteessä.

Kloonaa repo ja siirry kansioon sagemaker-domain-vpconly-canvas-with-terraform:

git clone https://github.com/aws-samples/sagemaker-domain-vpconly-canvas-with-terraform.git cd sagemaker-domain-vpconly-canvas-with-terraform

Lataa automaattisen sammutuksen laajennus ja aseta se assets/auto_shutdown_template kansio:

wget https://github.com/aws-samples/sagemaker-studio-auto-shutdown-extension/raw/main/sagemaker_studio_autoshutdown-0.1.5.tar.gz -P assets/auto_shutdown_template

Ota Terraform-ratkaisu käyttöön

Suorita seuraavat Terraform-komennot CloudShell-päätteessä:

terraform init

Sinun pitäisi nähdä menestysviesti, kuten:

Terraform has been successfully initialized! You may now begin working with Terraform. Try running "terraform plan" to see any changes that are required for your infrastructure. All Terraform commands should now work...

Nyt voit juosta:

terraform plan

Kun olet tyytyväinen luotavassa suunnitelmassa hahmoteltuihin resursseihin, voit suorittaa:

terraform apply

Tulla sisään "Joo" kun sinua kehotetaan vahvistamaan käyttöönotto.

Jos käyttöönotto onnistui, sinun pitäisi nähdä tulos, joka näyttää tältä:

Apply complete! Resources: X added, 0 changed, 0 destroyed.

SageMaker Studion ja Canvasin käyttö

Meillä on nyt VPC:hen liitetty Studio-verkkotunnus ja käyttäjäprofiili tässä verkkotunnuksessa.

Jos haluat käyttää SageMaker Studio -konsolia, etsi Studion ohjauspaneelista käyttäjänimesi (sen pitäisi olla defaultuser) ja valitse Avaa Studio.

Me teimme sen! Nyt voit käyttää selaimesi muodostaaksesi yhteyden SageMaker Studio -ympäristöön. Muutaman minuutin kuluttua Studio lopettaa ympäristösi luomisen, ja sinua tervehditään käynnistysnäytössä.

Jos haluat käyttää SageMaker Canvas -konsolia, etsi Canvas-ohjauspaneelista käyttäjänimesi (pitäisi olla defaultuser) ja valitse Avaa kangas.

Nyt voit käyttää selaimesi muodostaaksesi yhteyden SageMaker Canvas -ympäristöön. Muutaman minuutin kuluttua Canvas lopettaa ympäristösi luomisen, ja sinua tervehditään käynnistysnäytössä.

Tutustu SageMaker Studion ja Canvasin kaikkiin toimintoihin! Katso Johtopäätös-osiosta lisätyöpajoja ja opetusohjelmia, joiden avulla voit oppia lisää SageMakerista.

Puhdistaa

Suorita seuraava komento puhdistaaksesi resurssit:

terraform destroy

Kärki: Jos asetat Amazon EFS -säilytyskäytännöksi "Retain" (oletus), kohtaat ongelmia aikana "terraform destroy", koska Terraform yrittää poistaa aliverkot ja VPC:n, kun EFS-taltio ja siihen liittyvät suojausryhmät (SageMakerin luomat) ovat edelleen olemassa. Korjaa tämä poistamalla ensin EFS-taltio manuaalisesti ja poistamalla sitten aliverkot ja VPC manuaalisesti AWS-konsolissa.

Yhteenveto

Tämän viestin ratkaisu tarjoaa sinulle mahdollisuuden luoda SageMaker-verkkotunnuksen tukemaan ML-ympäristöjä, mukaan lukien SageMaker Studio ja SageMaker Canvas Terraformilla. SageMaker Studio tarjoaa täysin hallitun IDE:n, joka poistaa ML-prosessin raskaan nostamisen. SageMaker Canvasin avulla yrityskäyttäjämme voivat helposti tutkia ja rakentaa ML-malleja tehdäkseen tarkkoja ennusteita ilman koodin kirjoittamista. Asiakkaat voivat käyttää SageMaker ML -ympäristöjä tehostetulla suojauksella, koska ne voivat käynnistää Studion ja Canvasin VPC:n sisällä ja käyttää KMS-avainta EFS-taltion salaamiseen. Automaattinen sammutus Lifecycle Configure auttaa asiakkaita säästämään kustannuksia käyttämättömien Studio-kannettavien ilmentymien osalta.

Käy testaamassa tätä ratkaisua ja kerro meille mielipiteesi. Lisätietoja SageMaker Studion ja Sagemaker Canvasin käytöstä on seuraavassa:

kirjailijasta

Chen Yang on koneoppimisinsinööri Amazon Web Servicesissä. Hän on osa AWS Professional Services -tiimiä ja on keskittynyt turvallisten koneoppimisympäristöjen rakentamiseen asiakkaille. Vapaa-ajallaan hän nauttii juoksemisesta ja patikoinnista Tyynenmeren luoteisosassa.