Organisez le développement de l'apprentissage automatique à l'aide d'espaces partagés dans SageMaker Studio pour une collaboration en temps réel

Amazon SageMakerStudio est le premier environnement de développement entièrement intégré (IDE) pour l'apprentissage automatique (ML). Il fournit une interface visuelle Web unique dans laquelle vous pouvez effectuer toutes les étapes de développement ML, y compris la préparation des données et la création, la formation et le déploiement de modèles.

Dans un Domaine Amazon SageMaker, les utilisateurs peuvent provisionner une application IDE Amazon SageMaker Studio personnelle, qui exécute un JupyterServer gratuit avec des intégrations intégrées pour examiner Amazon Expériences SageMaker, orchestrer Pipelines Amazon SageMaker, et beaucoup plus. Les utilisateurs ne paient que pour le calcul flexible sur leurs noyaux d'ordinateurs portables. Ces applications personnelles montent automatiquement le compte privé d'un utilisateur respectif. Système de fichiers Amazon Elastic (Amazon EFS) afin qu'ils puissent garder le code, les données et d'autres fichiers isolés des autres utilisateurs. Amazon SageMakerStudio prend déjà en charge le partage de blocs-notes entre applications privées, mais le mécanisme asynchrone peut ralentir le processus d'itération.

maintenant, avec espaces partagés dans Amazon SageMaker Studio, les utilisateurs peuvent organiser des efforts et des initiatives de ML collaboratifs en créant une application IDE partagée que les utilisateurs utilisent avec leur propre profil d'utilisateur Amazon SageMaker. Les travailleurs des données qui collaborent dans un espace partagé ont accès à un environnement Amazon SageMaker Studio où ils peuvent accéder, lire, modifier et partager leurs blocs-notes en temps réel, ce qui leur donne le chemin le plus rapide pour commencer à itérer avec leurs pairs sur de nouvelles idées. Les travailleurs des données peuvent même collaborer simultanément sur le même ordinateur portable en utilisant des fonctionnalités de collaboration en temps réel. Le bloc-notes indique chaque utilisateur de co-édition avec un curseur différent qui affiche le nom de son profil d'utilisateur respectif.

Les espaces partagés dans SageMaker Studio balisent automatiquement les ressources, telles que les tâches de formation, les tâches de traitement, les expériences, les pipelines et les entrées de registre de modèles créées dans le cadre d'un espace de travail avec leurs sagemaker:space-arn. L'espace filtre ces ressources dans l'interface utilisateur (UI) d'Amazon SageMaker Studio afin que les utilisateurs ne voient que les expériences SageMaker, les pipelines et d'autres ressources pertinentes pour leur effort de ML.

Vue d'ensemble de la solution

Étant donné que les espaces partagés balisent automatiquement les ressources, les administrateurs peuvent facilement surveiller les coûts associés à une entreprise de ML et planifier des budgets à l'aide d'outils tels que Budgets AWS ainsi que Explorateur de coûts AWS. En tant qu'administrateur, vous n'aurez qu'à joindre un balise de répartition des coûts en sagemaker:space-arn.

Une fois cette opération terminée, vous pouvez utiliser AWS Cost Explorer pour identifier le coût des projets ML individuels pour votre organisation.

Premiers pas avec les espaces partagés dans Amazon SageMaker Studio

Dans cette section, nous analyserons le flux de travail typique pour créer et utiliser des espaces partagés dans Amazon SageMaker Studio.

Créer un espace partagé dans Amazon SageMaker Studio

Vous pouvez utiliser la console Amazon SageMaker ou le Interface de ligne de commande AWS (AWS CLI) pour ajouter la prise en charge des espaces à un domaine existant. Pour obtenir les informations les plus récentes, veuillez consulter Créer un espace partagé. Les espaces partagés fonctionnent uniquement avec une image JupyterLab 3 SageMaker Studio et pour les domaines SageMaker utilisant l'authentification AWS Identity and Access Management (AWS IAM).

Création de consoles

Pour créer un espace dans un domaine Amazon SageMaker désigné, vous devez d'abord définir un rôle d'exécution par défaut de l'espace désigné. Du Détails du domaine page, sélectionnez Paramètres du domaine onglet et sélectionnez Modifier. Ensuite, vous pouvez définir un rôle d'exécution par défaut de l'espace, qui ne doit être rempli qu'une seule fois par domaine, comme illustré dans le schéma suivant :

Ensuite, vous pouvez aller au Gestion de l'espace dans votre domaine et sélectionnez l'onglet Création bouton, comme indiqué dans le schéma suivant :

Création de l'AWS CLI

Vous pouvez également définir un rôle d'exécution d'espace de domaine par défaut à partir de l'AWS CLI. Afin de déterminer l'ARN de l'image JupyterLab3 de votre région, vérifiez Définir une version par défaut de JupyterLab.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

Une fois cette étape terminée pour votre domaine, vous pouvez créer un espace partagé à partir de la CLI.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

Lancer un espace partagé dans Amazon SageMaker Studio

Les utilisateurs peuvent lancer un espace partagé en sélectionnant le Lancement à côté de leur profil utilisateur dans la console AWS pour leur domaine Amazon SageMaker.

Après avoir sélectionné Les espaces sous la rubrique Collaboratif, puis sélectionnez l'Espace à lancer :

Les utilisateurs peuvent également générer une URL pré-signée pour lancer un espace via l'AWS CLI :

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

Collaboration en temps réel

Une fois l'IDE d'espace partagé Amazon SageMaker Studio chargé, les utilisateurs peuvent sélectionner le Partenaires sur le panneau de gauche pour voir quels utilisateurs travaillent activement dans votre espace et sur quel ordinateur portable. Si plusieurs personnes travaillent sur le même bloc-notes, vous verrez un curseur avec le nom du profil de l'autre utilisateur à l'endroit où il est en train de modifier :

Dans la capture d'écran suivante, vous pouvez voir les différentes expériences utilisateur pour quelqu'un qui modifie et affiche le même bloc-notes :

Conclusion

Dans cet article, nous vous avons montré comment les espaces partagés de SageMaker Studio ajoutent une expérience IDE collaborative en temps réel à Amazon SageMaker Studio. Le balisage automatisé aide les utilisateurs à étendre et à filtrer leurs ressources Amazon SageMaker, qui incluent : des expériences, des pipelines et des entrées de registre de modèles pour maximiser la productivité des utilisateurs. De plus, les administrateurs peuvent utiliser ces balises appliquées pour surveiller les coûts associés à un espace donné et définir des budgets appropriés à l'aide d'AWS Cost Explorer et d'AWS Budgets.

Accélérez la collaboration de votre équipe dès aujourd'hui en configurant des espaces partagés dans Amazon SageMaker Studio pour vos efforts spécifiques d'apprentissage automatique !

À propos des auteurs

Sean Morgan est architecte de solutions AI/ML chez AWS. Il a de l'expérience dans les domaines des semi-conducteurs et de la recherche universitaire, et utilise son expérience pour aider les clients à atteindre leurs objectifs sur AWS. Pendant son temps libre, Sean est un contributeur/mainteneur open source actif et est le responsable du groupe d'intérêt spécial pour les modules complémentaires TensorFlow.

Han Zhang est ingénieur logiciel senior chez Amazon Web Services. Elle fait partie de l'équipe de lancement d'Amazon SageMaker Notebooks et d'Amazon SageMaker Studio, et s'est concentrée sur la création d'environnements d'apprentissage automatique sécurisés pour les clients. Dans ses temps libres, elle aime faire de la randonnée et du ski dans le nord-ouest du Pacifique.

Arkaprava De est ingénieur logiciel senior chez AWS. Il travaille chez Amazon depuis plus de 7 ans et travaille actuellement à l'amélioration de l'expérience Amazon SageMaker Studio IDE. Vous pouvez le retrouver sur LinkedIn.

Kunal Jha est chef de produit senior chez AWS. Il se concentre sur la création d'Amazon SageMaker Studio en tant qu'IDE de choix pour toutes les étapes de développement ML. Dans ses temps libres, Kunal aime skier et explorer le nord-ouest du Pacifique. Vous pouvez le retrouver sur LinkedIn.