Amazon SageMakeri domeen ainult VPC-režiimis, et toetada SageMaker Studio automaatse väljalülitamise elutsükli konfiguratsiooni ja SageMakeri lõuendit koos Terraformiga

Taasavaldanud Platon

järgijaid: 0

Amazon SageMakeri domeen toetab SageMakeri masinõppe (ML) keskkondi, sealhulgas SageMaker Studio ja SageMaker Canvas. SageMakeri stuudio on täielikult integreeritud arenduskeskkond (IDE), mis pakub ühtset veebipõhist visuaalset liidest, kus pääsete juurde spetsiaalselt loodud tööriistadele, et sooritada kõiki ML-i arendusetappe alates andmete ettevalmistamisest kuni ML-mudelite loomise, koolitamise ja juurutamiseni ning andmeteaduse täiustamiseni. meeskonna tootlikkus kuni 10 korda. SageMakeri lõuend laiendab juurdepääsu masinõppele, pakkudes ärianalüütikutele visuaalset liidest, mis võimaldab neil iseseisvalt luua täpseid ML-prognoose, ilma et oleks vaja ML-i kogemust või kirjutada ühte koodirida.

HashiCorp Terraform on infrastruktuuri kui koodi (IaC) tööriist, mis võimaldab teil korraldada oma infrastruktuuri korduvkasutatavates koodimoodulites. AWS-i kliendid loodavad oma pilveinfrastruktuuri (nt SageMaker Domains) kavandamisel, arendamisel ja haldamisel IaC-le. IaC tagab, et klientide infrastruktuur ja teenused on järjepidevad, skaleeritavad ja reprodutseeritavad, järgides samal ajal arendustegevuse (DevOps) valdkonna parimaid tavasid. Terraformi abil saate arendada ja hallata oma SageMakeri domeeni ja seda toetavat infrastruktuuri järjepidevalt ja korrataval viisil.

Selles postituses demonstreerime Terraformi rakendamist SageMakeri domeeni juurutamiseks ja Amazoni virtuaalne privaatpilv (Amazon VPC), millega see seostub. Lahendus kasutab Terraformi, et luua:

VPC koos alamvõrkude, turberühmade ja VPC lõpp-punktidega, et toetada ainult VPC režiimi SageMakeri domeeni jaoks.
SageMakeri domeen ainult VPC-režiimis koos kasutajaprofiiliga.
AWS-i võtmehaldusteenuse (AWS KMS) võti SageMaker Studio Amazoni elastse failisüsteemi (Amazon EFS) köite krüptimiseks.
SageMakeri domeenile lisatud elutsükli konfiguratsioon, et automaatselt sulgeda jõudeolevad Studio sülearvuti eksemplarid.
SageMakeri domeeni täitmisroll ja IAM-poliitikad, mis võimaldavad SageMaker Studio ja Canvas funktsioone.

Selles postituses kirjeldatud lahendus on saadaval siin GitHub repo.

Lahenduse ülevaade

Järgmisel pildil on SageMakeri domeen ainult VPC režiimis.

Käivitades oma VPC-s SageMakeri domeeni, saate juhtida andmevoogu oma SageMaker Studio ja Canvas keskkondadest. See võimaldab teil piirata Interneti-juurdepääsu, jälgida ja kontrollida liiklust, kasutades standardseid AWS-i võrgu- ja turbevõimalusi, ning luua ühenduse muude AWS-i ressurssidega VPC lõpp-punktide kaudu.

VPC nõuded ainult VPC režiimi kasutamiseks

SageMakeri domeeni loomiseks ainult VPC-režiimis on vaja järgmiste konfiguratsioonidega VPC-d:

Kõrge kättesaadavuse tagamiseks vähemalt kaks privaatset alamvõrku, millest igaüks asub erinevas saadavuse tsoonis.
Veenduge, et teie alamvõrkudel oleks vajalik arv IP-aadresse. Soovitame kasutaja kohta kasutada kahte kuni nelja IP-aadressi. Studio domeeni IP-aadressi kogumaht on iga domeeni loomisel antud alamvõrgu saadaolevate IP-aadresside summa.
Seadistage üks või mitu turvarühma sissetulevate ja väljaminevate reeglitega, mis koos võimaldavad järgmist liiklust.
- NFS-liiklus TCP kaudu pordis 2049 domeeni ja Amazon EFS-i mahu vahel.
- TCP-liiklus turvagrupis. See on vajalik JupyterServeri rakenduse ja KernelGateway rakenduste vahelise ühenduvuse jaoks. Peate lubama juurdepääsu vähemalt portidele vahemikus 8192–65535.
Looge Amazon Simple Storage Service'i (Amazon S3) jaoks lüüsi lõpp-punkt. SageMaker Studio vajab teie VPC-st juurdepääsu Amazon S3-le, kasutades Gateway VPC lõpp-punkte. Pärast lüüsi lõpp-punkti loomist peate selle lisama oma marsruuditabelisse sihtmärgina liikluse jaoks, mis on suunatud teie VPC-st Amazon S3-le.
Looge liidese VPC lõpp-punktid (AWS PrivateLink), et võimaldada Studiol juurdepääsu järgmistele teenustele vastavate teenusenimedega. Samuti peate siduma oma VPC turvarühma nende lõpp-punktidega, et lubada kogu sissetulev liiklus pordist 443:
- SageMaker API: com.amazonaws.region.sagemaker.api. See on vajalik SageMaker API-ga suhtlemiseks.
- SageMakeri käitusaeg: com.amazonaws.region.sagemaker.runtime. See on vajalik Studio sülearvutite käitamiseks ning mudelite koolitamiseks ja hostimiseks.
- SageMakeri funktsioonide pood: com.amazonaws.region.sagemaker.featurestore-runtime. See on vajalik SageMakeri funktsioonipoe kasutamiseks.
- SageMakeri projektid: com.amazonaws.region.servicecatalog. See on vajalik SageMakeri projektide kasutamiseks.

Täiendavad VPC lõpp-punktid SageMaker Canvase kasutamiseks

Lisaks eelnevalt mainitud VPC lõpp-punktidele peate SageMaker Canvase kasutamiseks looma ka järgmised liidese VPC lõpp-punktid:

Amazon Forecast ja Amazon Forecast päring: com.amazonaws.region.forecast ja com.amazonaws.region.forecastquery. Need on Amazon Forecasti kasutamiseks vajalikud.
Amazoni äratundmine: com.amazonaws.region.rekognition. See on Amazon Rekognitioni kasutamiseks vajalik.
Amazoni tekst: com.amazonaws.region.textract. See on vajalik Amazon Textracti kasutamiseks.
Amazon mõista: com.amazonaws.region.comprehend. See on vajalik Amazon Comprehendi kasutamiseks.
AWS-i turvamärgi teenus (AWS STS): com.amazonaws.region.sts. See on vajalik, kuna SageMaker Canvas kasutab andmeallikatega ühenduse loomiseks AWS STS-i.
Amazon Athena ja AWS-liim: com.amazonaws.region.athena ja com.amazonaws.region.glue. See on vajalik Amazon Athena kaudu AWS-i liimiandmete kataloogiga ühenduse loomiseks.
Amazoni punanihe: com.amazonaws.region.redshift-data. See on vajalik Amazon Redshifti andmeallikaga ühenduse loomiseks.

Kõigi SageMaker Canvasega kasutatavate teenuste VPC lõpp-punktide vaatamiseks minge aadressile Seadistage Amazon SageMaker Canvas VPC-s ilma Interneti-ühenduseta.

AWS KMS-i krüptimine SageMaker Studio EFS-i köite jaoks

Kui teie meeskonna kasutaja esimest korda SageMaker Studiosse siseneb, loob SageMaker meeskonna jaoks EFS-köite. Iga kasutaja jaoks, kes liitub teie meeskonnaga Studios, luuakse köites kodukataloog. Märkmiku failid ja andmefailid salvestatakse nendesse kataloogidesse.

Saate oma SageMaker Studio EFS-i köite krüptida KMS-võtmega, nii et teie kodukataloogide andmed krüpteeritakse puhkeolekus. See Terraformi lahendus loob KMS-võtme ja kasutab seda SageMaker Studio EFS-i köite krüptimiseks.

SageMakeri domeeni elutsükli konfiguratsioon jõudeolevate Studio sülearvutite automaatseks sulgemiseks

Elutsükli konfiguratsioonid on kestaskriptid, mille käivitavad Amazon SageMaker Studio elutsükli sündmused, näiteks uue Studio sülearvuti käivitamine. Saate kasutada elutsükli konfiguratsioone, et automatiseerida oma Studio keskkonna kohandamist.

See Terraformi lahendus loob SageMakeri elutsükli konfiguratsiooni, et tuvastada ja peatada jõudeolevad ressursid, mis Studios kulusid tekitavad, kasutades Jupyteri automaatse väljalülitamise laiendust. Kapoti all luuakse või konfigureeritakse soovitud tulemuse saavutamiseks järgmised ressursid:

Looge S3-salv ja laadige üles automaatse väljalülitamise laienduse uusim versioon sagemaker_studio_autoshutdown-0.1.5.tar.gz. Hiljem käivitab automaatse väljalülitamise skript s3 cp käsk laiendusfaili allalaadimiseks S3 ämbrist Jupyter Serveri käivitamisel. Selle kohta lisateabe saamiseks vaadake järgmisi GitHubi reposid automaatse väljalülitamise laiendus ja automaatse väljalülitamise skript.
Loo aws_sagemaker_studio_lifecycle_config ressurss"auto_shutdown”. See ressurss kodeerib autoshutdown-script.sh baasiga 64 ja looge SageMakeri domeeni elutsükli konfiguratsioon.
SageMakeri domeeni kasutaja vaikeseadete jaoks määrake elutsükli konfiguratsiooni arn ja määrake see vaikeseadeks.

SageMakeri täitmisrolli IAM-i õigused

Hallatava teenusena teostab SageMaker teie nimel toiminguid AWS-i riistvaraga, mida haldab SageMaker. SageMaker saab teha ainult toiminguid, mida kasutaja lubab.

SageMakeri kasutaja saab anda need õigused IAM-i rolliga (mida nimetatakse täitmisrolliks). Kui loote SageMaker Studio domeeni, võimaldab SageMaker teil vaikimisi luua täitmisrolli. Saate piirata juurdepääsu kasutajaprofiilidele, muutes SageMakeri kasutajaprofiili rolli. See Terraformi lahendus lisab SageMakeri täitmisrollile järgmised IAM-poliitikad:

SageMaker sai hakkama AmazonSageMakerFullAccess poliitika. See reegel annab täitmisrollile täieliku juurdepääsu SageMaker Studio kasutamiseks.
Kliendi hallatav IAM-poliitika juurdepääsuks KMS-võtmele, mida kasutatakse SageMaker Studio EFS-i köite krüptimiseks.
SageMaker sai hakkama AmazonSageMakerCanvasFullAccess ja AmazonSageMakerCanvasAIServicesAccess poliitikat. Need eeskirjad annavad täitmisrollile täieliku juurdepääsu SageMaker Canvase kasutamiseks.
SageMaker Canvas aegridade analüüsi lubamiseks peate lisama ka Amazon Forecasti IAM-i usalduspoliitika.

Lahenduse ülevaade

Selles ajaveebi postituses näitame, kuidas Terraformi lahendust juurutada. Enne juurutamist veenduge, et täidetud on järgmised eeltingimused:

Eeldused

AWS-i konto
Administraatorijuurdepääsuga IAM-kasutaja

Juurutamise etapid

Et anda seda juhendit järgivatele kasutajatele ühtne juurutamiskogemus, demonstreerime juurutamisprotsessi AWS CloudShelliga. Brauseripõhist kesta CloudShelli kasutades saate kiiresti käitada skripte AWS-i käsurea liidesega (AWS CLI), katsetada teenuse API-dega, kasutades AWS-i CLI-d, ja kasutada oma tootlikkuse suurendamiseks muid tööriistu.

Terraformi lahenduse juurutamiseks toimige järgmiselt.

CloudShelli käivitusseaded

Logige sisse AWS-i halduskonsooli ja valige teenus CloudShell.
Valige navigeerimisribal piirkonna valijas USA idaosa (N. Virginia).

Teie brauser avab CloudShelli terminali.

Installige Terraform

Järgmised sammud tuleks läbi viia CloudShelli terminalis.

Vaata see Hashicorpi juhend Ajakohased juhised Terraformi installimiseks Amazon Linuxi jaoks:

paigaldama yum-config-manager hoidlate haldamiseks.

sudo yum install -y yum-utils

Kasutama yum-config-manager ametliku HashiCorp Linuxi hoidla lisamiseks.

sudo yum-config-manager --add-repo https://rpm.releases.hashicorp.com/AmazonLinux/hashicorp.repo

Installige Terraform uuest hoidlast.

sudo yum -y install terraform

Kontrollige, kas installimine toimis, loetledes Terraformi saadaolevad alamkäsud.

terraform -help

Eeldatav väljund:

Usage: terraform [-version] [-help] <command> [args] The available commands for execution are listed below. The most common, useful commands are shown first, followed by less common or more advanced commands. If you’re just getting started with Terraform, stick with the common commands. For the other commands, please read the help and docs before usage. …

Kloonige koodi repo

Tehke CloudShelli terminalis järgmised toimingud.

Kloonige repo ja liikuge kausta sagemaker-domain-vpconly-canvas-with-terraform:

git clone https://github.com/aws-samples/sagemaker-domain-vpconly-canvas-with-terraform.git cd sagemaker-domain-vpconly-canvas-with-terraform

Laadige alla automaatse väljalülitamise laiendus ja asetage see kausta assets/auto_shutdown_template kausta:

wget https://github.com/aws-samples/sagemaker-studio-auto-shutdown-extension/raw/main/sagemaker_studio_autoshutdown-0.1.5.tar.gz -P assets/auto_shutdown_template

Rakendage Terraformi lahendus

Käivitage CloudShelli terminalis järgmised Terraformi käsud:

terraform init

Peaksite nägema eduteadet, näiteks:

Terraform has been successfully initialized! You may now begin working with Terraform. Try running "terraform plan" to see any changes that are required for your infrastructure. All Terraform commands should now work...

Nüüd saate joosta:

terraform plan

Kui olete loodava plaani ressurssidega rahul, võite käivitada:

terraform apply

Sisenema "jah“, kui teil palutakse juurutamist kinnitada.

Kui juurutamine õnnestub, peaksite nägema väljundit, mis näeb välja järgmine:

Apply complete! Resources: X added, 0 changed, 0 destroyed.

Juurdepääs SageMaker Studiole ja Canvasele

Meil on nüüd meie VPC-ga seotud Studio domeen ja selles domeenis kasutajaprofiil.

SageMaker Studio konsooli kasutamiseks leidke Studio juhtpaneelil oma kasutajanimi (see peaks olema defaultuser) ja valige Avage Studio.

Saime hakkama! Nüüd saate kasutada oma brauserit SageMaker Studio keskkonnaga ühenduse loomiseks. Mõne minuti pärast lõpetab Studio teie keskkonna loomise ja teid tervitatakse käivituskuvaga.

SageMaker Canvas konsooli kasutamiseks leidke Canvas juhtpaneelil oma kasutajanimi (peaks olema defaultuser) ja valige Ava lõuend.

Nüüd saate kasutada oma brauserit SageMaker Canvas keskkonnaga ühenduse loomiseks. Mõne minuti pärast lõpetab Canvas teie keskkonna loomise ja teid tervitatakse käivituskuvaga.

Tutvuge SageMaker Studio ja Canvase kõigi funktsioonidega! Täiendavate töötubade ja õpetuste kohta, mida saate SageMakeri kohta lisateabe saamiseks kasutada, vaadake jaotisest Kokkuvõte.

Koristage

Ressursside puhastamiseks käivitage järgmine käsk:

terraform destroy

tüüp: kui määrate Amazon EFS-i säilitamisreegliks "Retain” (vaikeseade), tekib ajal „terraform destroy”, kuna Terraform üritab kustutada alamvõrke ja VPC-d, kui EFS-i köide ja sellega seotud turberühmad (loodud SageMaker) on endiselt olemas. Selle parandamiseks kustutage esmalt käsitsi EFS-i köide ja seejärel AWS-konsoolis alamvõrgud ja VPC käsitsi.

Järeldus

Selle postituse lahendus annab teile võimaluse luua SageMakeri domeen, et toetada ML-i keskkondi, sealhulgas SageMaker Studio ja SageMaker Canvas koos Terraformiga. SageMaker Studio pakub täielikult hallatavat IDE-d, mis eemaldab ML-protsessi raskused. SageMaker Canvase abil saavad meie ärikasutajad hõlpsalt uurida ja luua ML-mudeleid, et teha täpseid ennustusi ilma koodi kirjutamata. Tänu võimalusele käivitada Studio ja Canvas VPC-s ning kasutada EFS-i köite krüptimiseks KMS-võtit, saavad kliendid kasutada täiustatud turvalisusega SageMaker ML keskkondi. Automaatse väljalülitamise elutsükli konfiguratsioon aitab klientidel säästa kulusid jõudeolevate Studio sülearvuti eksemplaride puhul.

Minge testige seda lahendust ja andke meile teada, mida arvate. Lisateavet SageMaker Studio ja Sagemaker Canvase kasutamise kohta leiate järgmiselt.

Teave Autor

Chen Yang on Amazon Web Servicesi masinõppeinsener. Ta on osa AWS Professional Services meeskonnast ja on keskendunud klientidele turvaliste masinõppekeskkondade loomisele. Vabal ajal naudib ta Vaikse ookeani loodeosas jooksmist ja matkamist.