Organizați dezvoltarea învățării automate folosind spații partajate în SageMaker Studio pentru colaborare în timp real

Amazon SageMaker Studio este primul mediu de dezvoltare complet integrat (IDE) pentru învățarea automată (ML). Oferă o interfață vizuală unică, bazată pe web, unde puteți efectua toți pașii de dezvoltare ML, inclusiv pregătirea datelor și construirea, instruirea și implementarea modelelor.

În cadrul unui Domeniul Amazon SageMaker, utilizatorii pot furniza o aplicație personală Amazon SageMaker Studio IDE, care rulează un JupyterServer gratuit cu integrări încorporate pentru a examina Amazon Experimentele SageMaker, orchestrează Pipelines Amazon SageMaker, și mult mai mult. Utilizatorii plătesc doar pentru calculul flexibil pe nucleele lor de notebook. Aceste aplicații personale montează automat personalitatea privată a unui utilizator respectiv Sistem de fișiere elastice Amazon directorul principal (Amazon EFS), astfel încât să poată păstra codul, datele și alte fișiere izolate de alți utilizatori. Amazon SageMaker Studio acceptă deja partajarea notebook-urilor între aplicații private, dar mecanismul asincron poate încetini procesul de iterație.

Acum cu spații partajate în Amazon SageMaker Studio, utilizatorii pot organiza eforturi și inițiative ML de colaborare prin crearea unei aplicații IDE partajate pe care utilizatorii o folosesc cu propriul profil de utilizator Amazon SageMaker. Lucrătorii de date care colaborează într-un spațiu partajat au acces la un mediu Amazon SageMaker Studio unde își pot accesa, citi, edita și partaja notebook-urile în timp real, ceea ce le oferă cea mai rapidă cale de a începe să repete idei noi cu colegii lor. Lucrătorii de date pot chiar colabora pe același notebook în același timp, folosind capabilități de colaborare în timp real. Notebook-ul indică fiecare utilizator de coeditare cu un cursor diferit care arată numele profilului de utilizator respectiv.

Spațiile partajate din SageMaker Studio etichetează automat resurse, cum ar fi joburi de instruire, joburi de procesare, experimente, conducte și intrări din registrul de modele create în cadrul unui spațiu de lucru cu respectivele lor sagemaker:space-arn. Spațiul filtrează acele resurse în interfața de utilizator (UI) Amazon SageMaker Studio, astfel încât utilizatorilor să li se prezinte doar Experimentele SageMaker, Pipelines și alte resurse care sunt relevante pentru demersul lor de ML.

Prezentare generală a soluțiilor

Deoarece spațiile partajate etichetează automat resursele, administratorii pot monitoriza cu ușurință costurile asociate cu un demers de ML și pot planifica bugete folosind instrumente precum Bugetele AWS și AWS Cost Explorer. În calitate de administrator, va trebui doar să atașați un eticheta de alocare a costurilor pentru sagemaker:space-arn.

Odată ce este finalizat, puteți utiliza AWS Cost Explorer pentru a identifica cât costă proiectele individuale ML organizației dvs.

Începeți cu spațiile partajate în Amazon SageMaker Studio

În această secțiune, vom analiza fluxul de lucru tipic pentru crearea și utilizarea spațiilor partajate în Amazon SageMaker Studio.

Creați un spațiu comun în Amazon SageMaker Studio

Puteți utiliza Consola Amazon SageMaker sau Interfața liniei de comandă AWS (AWS CLI) pentru a adăuga suport pentru spații la un domeniu existent. Pentru cele mai actualizate informații, vă rugăm să verificați Creați un spațiu comun. Spațiile partajate funcționează numai cu o imagine JupyterLab 3 SageMaker Studio și pentru domeniile SageMaker folosind autentificarea AWS Identity and Access Management (AWS IAM).

Crearea consolei

Pentru a crea un spațiu într-un domeniu desemnat Amazon SageMaker, mai întâi va trebui să setați un rol de execuție implicit al spațiului desemnat. De la Detalii domeniului pagina, selectați Setări de domeniu Și selectați Editati. Apoi puteți seta un rol de execuție implicit de spațiu, care trebuie completat o singură dată pe domeniu, așa cum se arată în următoarea diagramă:

În continuare, puteți merge la Managementul spațiului fila din domeniul dvs. și selectați Crea butonul, așa cum se arată în diagrama următoare:

Crearea AWS CLI

De asemenea, puteți seta un rol implicit de execuție a spațiului de domeniu din AWS CLI. Pentru a determina ARN-ul imaginii JupyterLab3 din regiunea dvs., verificați Setarea unei versiuni implicite JupyterLab.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

Odată ce a fost finalizat pentru domeniul dvs., puteți crea un spațiu partajat din CLI.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

Lansați un spațiu partajat în Amazon SageMaker Studio

Utilizatorii pot lansa un spațiu partajat selectând Lansa butonul de lângă profilul de utilizator din Consola AWS pentru domeniul lor Amazon SageMaker.

După selectare Spatii în secțiunea Colaborare, apoi selectați ce spațiu să lansați:

Alternativ, utilizatorii pot genera o adresă URL presemnată pentru a lansa un spațiu prin AWS CLI:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

Colaborare în timp real

Odată ce IDE-ul de spațiu partajat Amazon SageMaker Studio a fost încărcat, utilizatorii pot selecta colaboratori din panoul din stânga pentru a vedea ce utilizatori lucrează activ în spațiul dvs. și pe ce notebook. Dacă mai multe persoane lucrează pe același blocnotes, atunci veți vedea un cursor cu numele profilului celuilalt utilizator unde editează:

În următoarea captură de ecran, puteți vedea diferitele experiențe ale utilizatorului pentru cineva care editează și vizualizează același blocnotes:

Concluzie

În această postare, v-am arătat cum spațiile partajate din SageMaker Studio adaugă o experiență IDE colaborativă în timp real Amazon SageMaker Studio. Etichetarea automată îi ajută pe utilizatori să-și descopere și să își filtreze resursele Amazon SageMaker, care includ: experimente, conducte și intrări de registru de model pentru a maximiza productivitatea utilizatorului. În plus, administratorii pot folosi aceste etichete aplicate pentru a monitoriza costurile asociate cu un anumit spațiu și pentru a stabili bugete adecvate folosind AWS Cost Explorer și AWS Budgets.

Accelerează colaborarea echipei tale astăzi, creând spații comune în Amazon SageMaker Studio pentru eforturile tale specifice de învățare automată!

Despre autori

Sean Morgan este arhitect de soluții AI/ML la AWS. Are experiență în domeniul semiconductorilor și al cercetării academice și își folosește experiența pentru a ajuta clienții să-și atingă obiectivele pe AWS. În timpul său liber, Sean este un colaborator/menținător activ open-source și este liderul grupului de interes special pentru suplimentele TensorFlow.

Han Zhang este inginer software senior la Amazon Web Services. Face parte din echipa de lansare pentru Amazon SageMaker Notebooks și Amazon SageMaker Studio și s-a concentrat pe construirea de medii sigure de învățare automată pentru clienți. În timpul liber, îi place drumețiile și schiul în nord-vestul Pacificului.

Arkaprava De este inginer software senior la AWS. El este la Amazon de peste 7 ani și în prezent lucrează la îmbunătățirea experienței Amazon SageMaker Studio IDE. Îl poți găsi pe LinkedIn.

Kunal Jha este Senior Product Manager la AWS. El se concentrează pe construirea Amazon SageMaker Studio ca IDE de alegere pentru toți pașii de dezvoltare ML. În timpul său liber, lui Kunal îi place să schieze și să exploreze nord-vestul Pacificului. Îl poți găsi pe LinkedIn.