Organice el desarrollo del aprendizaje automático utilizando espacios compartidos en SageMaker Studio para la colaboración en tiempo real

Estudio Amazon SageMaker es el primer entorno de desarrollo totalmente integrado (IDE) para el aprendizaje automático (ML). Proporciona una única interfaz visual basada en la web donde puede realizar todos los pasos de desarrollo de ML, incluida la preparación de datos y la creación, capacitación e implementación de modelos.

Dentro de un Dominio de Amazon SageMaker, los usuarios pueden aprovisionar una aplicación IDE personal de Amazon SageMaker Studio, que ejecuta un JupyterServer gratuito con integraciones integradas para examinar Amazon Experimentos de SageMakerorquestar Canalizaciones de Amazon SageMaker, y mucho más. Los usuarios solo pagan por el cómputo flexible en los núcleos de sus portátiles. Estas aplicaciones personales montan automáticamente la información privada de un usuario respectivo. Sistema de archivos elástico de Amazon (Amazon EFS) para que puedan mantener el código, los datos y otros archivos aislados de otros usuarios. Estudio Amazon SageMaker ya admite compartir cuadernos entre aplicaciones privadas, pero el mecanismo asíncrono puede ralentizar el proceso de iteración.

Ahora con espacios compartidos en Amazon SageMaker Studio, los usuarios pueden organizar esfuerzos e iniciativas colaborativas de aprendizaje automático mediante la creación de una aplicación IDE compartida que los usuarios utilizan con su propio perfil de usuario de Amazon SageMaker. Los trabajadores de datos que colaboran en un espacio compartido obtienen acceso a un entorno de Amazon SageMaker Studio donde pueden acceder, leer, editar y compartir sus cuadernos en tiempo real, lo que les brinda la ruta más rápida para comenzar a iterar con sus pares sobre nuevas ideas. Los trabajadores de datos pueden incluso colaborar en el mismo portátil al mismo tiempo utilizando capacidades de colaboración en tiempo real. El cuaderno indica a cada usuario coeditor con un cursor diferente que muestra su respectivo nombre de perfil de usuario.

Los espacios compartidos en SageMaker Studio etiquetan automáticamente los recursos, como los trabajos de capacitación, los trabajos de procesamiento, los experimentos, las canalizaciones y las entradas del Registro de modelos creadas dentro del ámbito de un espacio de trabajo con sus respectivas sagemaker:space-arn. El espacio filtra esos recursos dentro de la interfaz de usuario (IU) de Amazon SageMaker Studio para que a los usuarios solo se les presenten experimentos, canalizaciones y otros recursos de SageMaker que sean pertinentes para su esfuerzo de aprendizaje automático.

Resumen de la solución

Dado que los espacios compartidos etiquetan automáticamente los recursos, los administradores pueden monitorear fácilmente los costos asociados con un esfuerzo de ML y planificar presupuestos utilizando herramientas como Presupuestos de AWS y Explorador de costos de AWS. Como administrador solo necesitarás adjuntar un etiqueta de asignación de costos para sagemaker:space-arn.

Una vez que esté completo, puede usar AWS Cost Explorer para identificar cuánto le cuestan a su organización los proyectos de aprendizaje automático individuales.

Comience con espacios compartidos en Amazon SageMaker Studio

En esta sección, analizaremos el flujo de trabajo típico para crear y utilizar espacios compartidos en Amazon SageMaker Studio.

Cree un espacio compartido en Amazon SageMaker Studio

Puede utilizar la Consola de Amazon SageMaker o la Interfaz de línea de comandos de AWS (AWS CLI) para agregar compatibilidad con espacios a un dominio existente. Para obtener la información más actualizada, consulte Crear un espacio compartido. Los espacios compartidos solo funcionan con una imagen de JupyterLab 3 SageMaker Studio y para dominios de SageMaker que utilizan la autenticación de AWS Identity and Access Management (AWS IAM).

Creación de consola

Para crear un espacio dentro de un dominio de Amazon SageMaker designado, primero deberá establecer un rol de ejecución predeterminado de espacio designado. Desde el Detalles del dominio página, seleccione la Configuraciones de dominio pestaña y seleccione Editar. Luego, puede establecer un rol de ejecución predeterminado de espacio, que solo debe completarse una vez por Dominio, como se muestra en el siguiente diagrama:

A continuación, puedes ir al Administracion del espacio dentro de su dominio y seleccione la Crear como se muestra en el siguiente diagrama:

Creación de CLI de AWS

También puede establecer un rol de ejecución de espacio de dominio predeterminado desde la CLI de AWS. Para determinar el ARN de la imagen JupyterLab3 de su región, verifique Configuración de una versión predeterminada de JupyterLab.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

Una vez que se haya completado para su dominio, puede crear un espacio compartido desde la CLI.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

Inicie un espacio compartido en Amazon SageMaker Studio

Los usuarios pueden iniciar un espacio compartido seleccionando el Más información junto a su perfil de usuario dentro de la consola de AWS para su dominio de Amazon SageMaker.

Después de seleccionar espacios en la sección Colaborativa, luego seleccione qué espacio lanzar:

Como alternativa, los usuarios pueden generar una URL prefirmada para lanzar un espacio a través de la CLI de AWS:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

Colaboración en tiempo real

Una vez que se ha cargado el IDE de espacio compartido de Amazon SageMaker Studio, los usuarios pueden seleccionar el Colaboradores en el panel izquierdo para ver qué usuarios están trabajando activamente en su espacio y en qué notebook. Si más de una persona está trabajando en el mismo cuaderno, verá un cursor con el nombre de perfil del otro usuario donde están editando:

En la siguiente captura de pantalla, puede ver las diferentes experiencias de usuario para alguien que edita y ve el mismo bloc de notas:

Conclusión

En esta publicación, le mostramos cómo los espacios compartidos en SageMaker Studio agregan una experiencia IDE colaborativa en tiempo real a Amazon SageMaker Studio. El etiquetado automatizado ayuda a los usuarios a definir y filtrar sus recursos de Amazon SageMaker, lo que incluye: experimentos, canalizaciones y entradas de registro modelo para maximizar la productividad del usuario. Además, los administradores pueden usar estas etiquetas aplicadas para monitorear los costos asociados con un espacio determinado y establecer presupuestos apropiados usando AWS Cost Explorer y AWS Budgets.

¡Acelere la colaboración de su equipo hoy configurando espacios compartidos en Amazon SageMaker Studio para sus esfuerzos específicos de aprendizaje automático!

Sobre los autores

Sean Morgan es arquitecto de soluciones de IA/ML en AWS. Tiene experiencia en los campos de investigación académica y de semiconductores, y utiliza su experiencia para ayudar a los clientes a alcanzar sus objetivos en AWS. En su tiempo libre, Sean es un colaborador/mantenedor activo de código abierto y es el líder del grupo de interés especial para complementos de TensorFlow.

han zhang es ingeniero de software sénior en Amazon Web Services. Forma parte del equipo de lanzamiento de Amazon SageMaker Notebooks y Amazon SageMaker Studio, y se ha centrado en crear entornos de aprendizaje automático seguros para los clientes. En su tiempo libre, disfruta del senderismo y el esquí en el noroeste del Pacífico.

Arkaprava de es ingeniero de software sénior en AWS. Ha estado en Amazon durante más de 7 años y actualmente está trabajando para mejorar la experiencia del IDE de Amazon SageMaker Studio. Puedes encontrarlo en Etiqueta LinkedIn.

Kunal Jha es gerente sénior de productos en AWS. Está enfocado en construir Amazon SageMaker Studio como el IDE elegido para todos los pasos de desarrollo de ML. En su tiempo libre, a Kunal le gusta esquiar y explorar el noroeste del Pacífico. Puedes encontrarlo en Etiqueta LinkedIn.