Organizza lo sviluppo del machine learning utilizzando gli spazi condivisi in SageMaker Studio per la collaborazione in tempo reale

Amazon Sage Maker Studio è il primo ambiente di sviluppo completamente integrato (IDE) per l'apprendimento automatico (ML). Fornisce un'unica interfaccia visiva basata sul Web in cui è possibile eseguire tutte le fasi di sviluppo del ML, inclusa la preparazione dei dati e la creazione, l'addestramento e la distribuzione di modelli.

All'interno di un file Dominio Amazon SageMaker, gli utenti possono eseguire il provisioning di un'applicazione IDE Amazon SageMaker Studio personale, che esegue un JupyterServer gratuito con integrazioni integrate per esaminare Amazon Esperimenti di SageMaker, orchestrare Pipeline di Amazon SageMaker, e altro ancora. Gli utenti pagano solo per l'elaborazione flessibile sui kernel dei loro notebook. Queste applicazioni personali montano automaticamente il privato di un rispettivo utente File system elastico Amazon (Amazon EFS) in modo che possano mantenere codice, dati e altri file isolati dagli altri utenti. Amazon SageMaker Studio supporta già la condivisione di notebook tra applicazioni private, ma il meccanismo asincrono può rallentare il processo di iterazione.

Ora con spazi condivisi in Amazon SageMaker Studio, gli utenti possono organizzare attività e iniziative di ML collaborative creando un'applicazione IDE condivisa che gli utenti utilizzano con il proprio profilo utente Amazon SageMaker. I data worker che collaborano in uno spazio condiviso ottengono l'accesso a un ambiente Amazon SageMaker Studio in cui possono accedere, leggere, modificare e condividere i propri taccuini in tempo reale, il che offre loro il percorso più rapido per iniziare a iterare con i colleghi su nuove idee. I data worker possono persino collaborare contemporaneamente sullo stesso notebook utilizzando funzionalità di collaborazione in tempo reale. Il notebook indica ogni utente in co-editing con un cursore diverso che mostra il rispettivo nome del profilo utente.

Gli spazi condivisi in SageMaker Studio contrassegnano automaticamente le risorse, come i lavori di addestramento, i lavori di elaborazione, gli esperimenti, le pipeline e le voci del registro dei modelli create nell'ambito di un'area di lavoro con i rispettivi sagemaker:space-arn. Lo spazio filtra tali risorse all'interno dell'interfaccia utente (UI) di Amazon SageMaker Studio in modo che agli utenti vengano presentati solo SageMaker Experiments, Pipeline e altre risorse pertinenti alla loro attività di ML.

Panoramica della soluzione

Poiché gli spazi condivisi contrassegnano automaticamente le risorse, gli amministratori possono facilmente monitorare i costi associati a un'attività di machine learning e pianificare i budget utilizzando strumenti come Budget AWS ed Esplora costi AWS. In qualità di amministratore dovrai solo allegare un file tag di allocazione dei costi per sagemaker:space-arn.

Al termine, puoi utilizzare AWS Cost Explorer per identificare il costo dei singoli progetti ML per la tua organizzazione.

Inizia con gli spazi condivisi in Amazon SageMaker Studio

In questa sezione analizzeremo il flusso di lavoro tipico per la creazione e l'utilizzo di spazi condivisi in Amazon SageMaker Studio.

Crea uno spazio condiviso in Amazon SageMaker Studio

Puoi utilizzare la console Amazon SageMaker o il Interfaccia della riga di comando di AWS (AWS CLI) per aggiungere il supporto per gli spazi a un dominio esistente. Per le informazioni più aggiornate, controlla Crea uno spazio condiviso. Gli spazi condivisi funzionano solo con un'immagine JupyterLab 3 SageMaker Studio e per i domini SageMaker che utilizzano l'autenticazione AWS Identity and Access Management (AWS IAM).

Creazione consolle

Per creare uno spazio all'interno di un dominio Amazon SageMaker designato, devi prima impostare un ruolo di esecuzione predefinito dello spazio designato. Dal Dettagli del dominio pagina, selezionare il impostazioni dominio Scheda e seleziona Modifica. Quindi puoi impostare un ruolo di esecuzione predefinito dello spazio, che deve essere completato solo una volta per dominio, come mostrato nel diagramma seguente:

Successivamente, puoi andare al Gestione dello spazio scheda all'interno del tuo dominio e seleziona il Creare pulsante, come mostrato nello schema seguente:

Creazione dell'AWS CLI

Puoi anche impostare un ruolo di esecuzione dello spazio di dominio predefinito dall'AWS CLI. Per determinare l'ARN dell'immagine JupyterLab3 della tua regione, controlla Impostazione di una versione predefinita di JupyterLab.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

Una volta completato per il tuo dominio, puoi creare uno spazio condiviso dalla CLI.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

Avvia uno spazio condiviso in Amazon SageMaker Studio

Gli utenti possono avviare uno spazio condiviso selezionando il file Lancio pulsante accanto al profilo utente all'interno della console AWS per il proprio dominio Amazon SageMaker.

Dopo aver selezionato Spazi nella sezione Collaborativo, quindi seleziona lo spazio da avviare:

In alternativa, gli utenti possono generare un URL prefirmato per avviare uno spazio tramite l'AWS CLI:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

Collaborazione in tempo reale

Una volta caricato l'IDE dello spazio condiviso di Amazon SageMaker Studio, gli utenti possono selezionare il file Collaboratori scheda nel pannello di sinistra per vedere quali utenti stanno lavorando attivamente nel tuo spazio e su quale notebook. Se più di una persona sta lavorando sullo stesso taccuino, vedrai un cursore con il nome del profilo dell'altro utente nel punto in cui sta modificando:

Nello screenshot seguente, puoi vedere le diverse esperienze utente per qualcuno che modifica e visualizza lo stesso taccuino:

Conclusione

In questo post, ti abbiamo mostrato come gli spazi condivisi in SageMaker Studio aggiungano un'esperienza IDE collaborativa in tempo reale ad Amazon SageMaker Studio. La codifica automatizzata aiuta gli utenti a delimitare e filtrare le proprie risorse Amazon SageMaker, che include: esperimenti, pipeline e voci di registro del modello per massimizzare la produttività degli utenti. Inoltre, gli amministratori possono utilizzare questi tag applicati per monitorare i costi associati a un determinato spazio e impostare budget appropriati utilizzando AWS Cost Explorer e AWS Budgets.

Accelera oggi la collaborazione del tuo team configurando spazi condivisi in Amazon SageMaker Studio per le tue specifiche attività di machine learning!

Circa gli autori

Sean Morgan è un AI/ML Solutions Architect presso AWS. Ha esperienza nel campo dei semiconduttori e della ricerca accademica e usa la sua esperienza per aiutare i clienti a raggiungere i loro obiettivi su AWS. Nel suo tempo libero, Sean è un attivo collaboratore/mantenitore dell'open source ed è il capo di un gruppo di interesse speciale per i componenti aggiuntivi di TensorFlow.

Han Zhang è Senior Software Engineer presso Amazon Web Services. Fa parte del team di lancio di Amazon SageMaker Notebooks e Amazon SageMaker Studio e si è concentrata sulla creazione di ambienti di machine learning sicuri per i clienti. Nel tempo libero ama fare escursioni e sciare nel nord-ovest del Pacifico.

Arkaprava De è Senior Software Engineer presso AWS. È in Amazon da oltre 7 anni e attualmente sta lavorando per migliorare l'esperienza IDE di Amazon SageMaker Studio. Lo trovi su LinkedIn.

Kunal Jha è Senior Product Manager presso AWS. È concentrato sulla creazione di Amazon SageMaker Studio come IDE preferito per tutte le fasi di sviluppo di ML. Nel tempo libero, Kunal ama sciare ed esplorare il Pacifico nord-occidentale. Puoi trovarlo addosso LinkedIn.