Amazon SageMaker Studio este primul mediu de dezvoltare complet integrat (IDE) pentru învățarea automată (ML). Studio oferă o interfață vizuală unică bazată pe web, unde puteți efectua toți pașii de dezvoltare ML necesari pentru a pregăti datele, precum și pentru a construi, antrena și implementa modele. Configurări ale ciclului de viață sunt scripturi shell declanșate de evenimentele ciclului de viață Studio, cum ar fi pornirea unui nou blocnotes Studio. Puteți utiliza configurațiile ciclului de viață pentru a automatiza personalizarea pentru mediul dvs. Studio. Această personalizare include instalarea pachetelor personalizate, configurarea extensiilor pentru notebook, preîncărcarea seturilor de date și configurarea depozitelor de cod sursă. De exemplu, în calitate de administrator pentru un domeniu Studio, poate doriți economisiți costuri prin închiderea automată a aplicațiilor pentru notebook după perioade lungi de inactivitate.
Kit AWS Cloud Development (AWS CDK) este un cadru pentru definirea infrastructurii cloud prin cod și furnizarea acesteia Formarea AWS Cloud stive. O stivă este o colecție de resurse AWS care pot fi actualizate, mutate sau șterse în mod programatic. AWS CDK construcții sunt elementele de bază ale aplicațiilor AWS CDK, reprezentând planul pentru definirea arhitecturilor cloud.
În această postare, arătăm cum să utilizați AWS CDK pentru a configura Studio, a utiliza configurațiile ciclului de viață Studio și a permite accesul acestuia pentru oamenii de știință și dezvoltatorii de date din organizația dvs.
Prezentare generală a soluțiilor
Modularitatea configurațiilor ciclului de viață vă permite să le aplicați tuturor utilizatorilor dintr-un domeniu sau anumitor utilizatori. În acest fel, puteți configura configurațiile ciclului de viață și le puteți face referire în Studio gateway-ul kernelului sau serverul Jupyter rapid și consecvent. Gateway-ul kernelului este punctul de intrare pentru a interacționa cu o instanță de notebook, în timp ce serverul Jupyter reprezintă instanța Studio. Acest lucru vă permite să aplicați cele mai bune practici DevOps și să îndepliniți standardele de siguranță, conformitate și configurare în toate conturile și regiunile AWS. Pentru această postare, folosim Python ca limbă principală, dar codul poate fi schimbat cu ușurință în alte limbi acceptate de AWS CDK. Pentru mai multe informații, consultați Lucrul cu AWS CDK.
Cerințe preliminare
Pentru a începe, asigurați-vă că aveți următoarele cerințe preliminare:
Clonează depozitul GitHub
În primul rând, clona il GitHub depozit.
Pe măsură ce clonați depozitul, puteți observa că avem un proiect AWS CDK clasic cu directorul studio-lifecycle-config-construct
, care conține construcția și resursele necesare pentru a crea configurații ciclului de viață.
Construcții AWS CDK
Dosarul pe care vrem să-l inspectăm este aws_sagemaker_lifecycle.py
. Acest fișier conține SageMakerStudioLifeCycleConfig
construcția pe care o folosim pentru a configura și crea configurații pentru ciclul de viață.
SageMakerStudioLifeCycleConfig
construct oferă cadrul pentru construirea configurațiilor ciclului de viață utilizând un personalizat AWS Lambdas funcția și codul shell citit dintr-un fișier. Construcția conține următorii parametri:
- ID – Numele proiectului curent.
- studio_lifecycle_content - base64 conținut codificat.
- studio_lifecycle_tags – Etichete pe care le atribuiți pentru a organiza resursele Amazon. Acestea sunt introduse ca perechi cheie-valoare și sunt opționale pentru această configurație.
- studio_lifecycle_config_app_type -
JupyterServer
este pentru serverul unic în sine șiKernelGateway
aplicația corespunde unui container de imagini SageMaker care rulează.
Pentru mai multe informații despre arhitectura notebook-ului Studio, consultați Aprofundați în arhitectura Amazon SageMaker Studio Notebooks.
Următorul este un fragment de cod al construcției de configurare a ciclului de viață Studio (aws_sagemaker_lifecycle.py
):
După ce importați și instalați constructul, îl puteți utiliza. Următorul fragment de cod arată cum să creați o configurare a ciclului de viață folosind construcția într-o stivă fie în app.py
sau alt construct:
Implementați constructe AWS CDK
Pentru a vă implementa stiva AWS CDK, executați următoarele comenzi în locația în care ați clonat depozitul.
Comanda poate fi python
în loc de python3
în funcție de configurația căii dvs.
- Creați un mediu virtual:
- Pentru macOS/Linux, utilizați
python3 -m venv .cdk-venv
. - Pentru Windows, utilizați
python3 -m venv .cdk-venv
.
- Pentru macOS/Linux, utilizați
- Activați mediul virtual:
- Pentru macOS/Linux, utilizați
source .cdk-venvbinactivate
. - Pentru Windows, utilizați
.cdk-venv/Scripts/activate.bat
. - Pentru PowerShell, utilizați
.cdk-venv/Scripts/activate.ps1
.
- Pentru macOS/Linux, utilizați
- Instalați dependențele necesare:
pip install -r requirements.txt
pip install -r requirements-dev.txt
- În acest moment, puteți, opțional, să sintetizați șablonul CloudFormation pentru acest cod:
- Implementați soluția cu următoarele comenzi:
aws configure
cdk bootstrap
cdk deploy
Când stiva este implementată cu succes, ar trebui să puteți vizualiza stiva pe consola CloudFormation.
De asemenea, veți putea vizualiza configurația ciclului de viață pe consola SageMaker.
Alegeți configurația ciclului de viață pentru a vedea codul shell care rulează, precum și orice etichete pe care le-ați atribuit.
Atașați configurația ciclului de viață Studio
Există mai multe moduri de a atașa o configurație de ciclu de viață. În această secțiune, prezentăm două metode: utilizarea Consola de administrare AWS, și utilizând programatic infrastructura furnizată.
Atașați configurația ciclului de viață folosind consola
Pentru a utiliza consola, parcurgeți următorii pași:
- Pe consola SageMaker, alegeți domenii în panoul de navigare.
- Alegeți numele de domeniu pe care îl utilizați și profilul de utilizator curent, apoi alegeți Editati.
- Selectați configurația ciclului de viață pe care doriți să o utilizați și alegeți Atașa.
De aici, îl puteți seta și ca implicit.
Atașați configurația ciclului de viață în mod programatic
De asemenea, puteți prelua ARN-ul configurației ciclului de viață Studio creat de constructii și îl puteți atașa la construcția Studio în mod programatic. Următorul cod arată ARN-ul de configurare a ciclului de viață transmis unui construct Studio:
A curăța
Parcurgeți pașii din această secțiune pentru a vă curăța resursele.
Ștergeți configurația ciclului de viață Studio
Pentru a șterge configurația ciclului de viață, parcurgeți următorii pași:
- Pe consola SageMaker, alegeți Configurații ciclului de viață Studio în panoul de navigare.
- Selectați configurația ciclului de viață, apoi alegeți Șterge.
Ștergeți stiva AWS CDK
Când ați terminat cu resursele pe care le-ați creat, vă puteți distruge stiva AWS CDK rulând următoarea comandă în locația în care ați clonat depozitul:
Când vi se cere să confirmați ștergerea stivei, introduceți yes
.
De asemenea, puteți șterge stiva de pe consola AWS CloudFormation urmând următorii pași:
- În consola AWS CloudFormation, alegeți Stive în panoul de navigare.
- Alegeți stiva pe care doriți să o ștergeți.
- În panoul de detalii ale stivei, alegeți Șterge.
- Alege Șterge stiva când vi se solicită.
Dacă întâmpinați erori, poate fi necesar să ștergeți manual unele resurse, în funcție de configurația contului dvs.
Concluzie
În această postare, am discutat despre modul în care Studio servește ca IDE pentru sarcinile de lucru ML. Studio oferă suport pentru configurarea ciclului de viață, care vă permite să configurați scripturi shell personalizate pentru a efectua sarcini automate sau să configurați medii de dezvoltare la lansare. Am folosit constructii AWS CDK pentru a construi infrastructura pentru resursa personalizată și configurația ciclului de viață. Construcțiile sunt sintetizate în stive CloudFormation care sunt apoi implementate pentru a crea resursa personalizată și scriptul ciclului de viață care este utilizat în Studio și kernel-ul notebook-ului.
Pentru mai multe informații, vizitați Amazon SageMaker Studio.
Despre Autori
Cory Hairston este inginer software cu Amazon ML Solutions Lab. În prezent lucrează la furnizarea de soluții software reutilizabile.
Alex Chirayath este inginer senior de învățare automată la Amazon ML Solutions Lab. El conduce echipe de cercetători și ingineri de date pentru a construi aplicații AI pentru a răspunde nevoilor afacerii.
Gouri Pandeshwar este manager inginer la Amazon ML Solutions Lab. El și echipa sa de ingineri lucrează pentru a construi soluții și cadre reutilizabile care ajută la accelerarea adoptării serviciilor AWS AI/ML pentru cazurile de utilizare în afaceri ale clienților.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- EVM Finance. Interfață unificată pentru finanțare descentralizată. Accesați Aici.
- Grupul Quantum Media. IR/PR amplificat. Accesați Aici.
- PlatoAiStream. Web3 Data Intelligence. Cunoștințe amplificate. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/use-the-aws-cdk-to-deploy-amazon-sagemaker-studio-lifecycle-configurations/
- :este
- :Unde
- $UP
- 100
- 12
- 14
- 7
- a
- Capabil
- accelera
- acces
- Cont
- Conturi
- peste
- adresa
- Adoptare
- După
- AI
- AI / ML
- TOATE
- permite
- de asemenea
- Amazon
- Laboratorul Amazon ML Solutions
- Amazon SageMaker
- Amazon SageMaker Studio
- Amazon Web Services
- an
- și
- O alta
- Orice
- aplicaţia
- aplicatii
- Aplică
- Apps
- arhitectură
- SUNT
- AS
- alocate
- At
- atașa
- automatizarea
- Automata
- în mod automat
- AWS
- Formarea AWS Cloud
- BE
- fiind
- CEL MAI BUN
- Cele mai bune practici
- Blocuri
- construi
- Clădire
- afaceri
- dar
- by
- CAN
- cazuri
- si-a schimbat hainele;
- Alege
- clasic
- Cloud
- infrastructura cloud
- cod
- colectare
- COM
- Completă
- conformitate
- Configuraţie
- Confirma
- Consoleze
- construi
- Recipient
- conține
- conţinut
- corespunde
- Cheltuieli
- crea
- a creat
- Curent
- În prezent
- personalizat
- personalizare
- de date
- seturi de date
- adânc
- Mod implicit
- definire
- În funcție
- implementa
- dislocate
- distruge
- detalii
- Dezvoltatorii
- Dezvoltare
- discutat
- domeniu
- Domain Name
- făcut
- jos
- cu ușurință
- oricare
- permite
- permite
- inginer
- inginerii
- Intrați
- intrare
- Mediu inconjurator
- medii
- Erori
- evenimente
- exemplu
- extensii
- Fișier
- First
- următor
- Pentru
- Cadru
- cadre
- din
- complet
- funcţie
- poartă
- obține
- GitHub
- Avea
- având în
- he
- ajutor
- aici
- lui
- Cum
- Cum Pentru a
- HTML
- http
- HTTPS
- ID
- imagine
- import
- in
- include
- informații
- Infrastructură
- instala
- Instalarea
- instanță
- in schimb
- integrate
- interacţiona
- interfaţă
- în
- IT
- ESTE
- în sine
- jpg
- de laborator
- etichete
- limbă
- Limbă
- lansa
- Conduce
- învăţare
- ciclu de viață
- locaţie
- Lung
- maşină
- masina de învățare
- Principal
- face
- administrare
- manager
- manual
- Mai..
- Întâlni
- Metode
- ML
- Modele
- mai mult
- mutat
- multiplu
- nume
- Navigare
- nevoilor
- Nou
- caiet
- observa
- of
- promoții
- on
- or
- organizație
- Altele
- ofertele
- perechi
- pâine
- parametrii
- Trecut
- cale
- Efectua
- perioadele
- Plato
- Informații despre date Platon
- PlatoData
- Punct
- Post
- PowerShell
- practicile
- Pregăti
- premise
- prezenta
- Profil
- proiect
- prevăzut
- furnizează
- furnizarea
- Piton
- repede
- Citeste
- regiuni
- depozit
- reprezentând
- reprezintă
- necesar
- Cerinţe
- resursă
- Resurse
- reutilizabile
- Alerga
- funcţionare
- Siguranţă
- sagemaker
- oamenii de stiinta
- domeniu
- script-uri
- Secțiune
- SELF
- senior
- servește
- Servicii
- set
- instalare
- Coajă
- să
- Arăta
- Emisiuni
- Închide
- singur
- Software
- Inginer Software
- soluţie
- soluţii
- unele
- Sursă
- cod sursă
- specific
- stivui
- Stive
- standarde
- început
- Pornire
- paşi
- studio
- Reușit
- astfel de
- a sustine
- Suportat
- sistem
- sarcini
- echipă
- echipe
- șablon
- acea
- Lor
- apoi
- ei
- acest
- Prin
- la
- Tren
- a declanșat
- Două
- unic
- actualizat
- utilizare
- utilizat
- Utilizator
- utilizatorii
- folosind
- Vizualizare
- Virtual
- Vizita
- vrea
- Cale..
- modalități de
- we
- web
- servicii web
- bazat pe web
- BINE
- cand
- întrucât
- care
- voi
- ferestre
- cu
- de lucru
- fabrică
- Tu
- Ta
- zephyrnet