Separar líneas de negocio o equipos con varios dominios de Amazon SageMaker

Estudio Amazon SageMaker es un entorno de desarrollo completamente integrado (IDE) para el aprendizaje automático (ML) que permite a los científicos y desarrolladores de datos realizar cada paso del flujo de trabajo de ML, desde la preparación de datos hasta la creación, capacitación, ajuste e implementación de modelos.

Para acceder a SageMaker Studio, Lienzo de Amazon SageMaker, u otro Entornos de Amazon ML como RStudio en Amazon SageMaker, primero debe aprovisionar un dominio de SageMaker. Un dominio de SageMaker incluye un dominio asociado Sistema de archivos elástico de Amazon (Amazon EFS) volumen; una lista de usuarios autorizados; y una variedad de seguridad, aplicación, política y Nube privada virtual de Amazon (Amazon VPC) configuraciones.

Los administradores ahora pueden aprovisionar múltiples dominios de SageMaker para separar diferentes líneas de negocios o equipos dentro de una sola cuenta de AWS. Esto crea una separación lógica entre los usuarios, el almacenamiento de archivos y las opciones de configuración para varios grupos de su organización. Por ejemplo, es posible que su organización desee separar su línea de negocios financiera de la división de investigación de sustentabilidad, como se muestra en la siguiente consola multidominio.

La creación de varios dominios de SageMaker también le permite establecer configuraciones detalladas a nivel de dominio, como Configuraciones de VPC con el fin de permitir el acceso público a Internet para la investigación de algunos grupos, mientras se hace cumplir que el tráfico pasa por una VPC específica para las unidades de negocios con mayor restricción.

Etiquetado automatizado

Además de separar usuarios, almacenamiento de archivos y configuraciones de dominio, los administradores también pueden separar los recursos de SageMaker que se crean dentro de su dominio. De forma predeterminada, SageMaker ahora etiqueta automáticamente los nuevos recursos de SageMaker, como trabajos de capacitación, trabajos de procesamiento, experimentos, canalizaciones y entradas de registro de modelos con sus respectivas sagemaker:domain-arn. SageMaker también etiqueta el recurso con el sagemaker:user-profile-arn or sagemaker:space-arn para designar la creación de recursos en un nivel aún más granular.

Asignación de costos

Los administradores pueden usar el etiquetado automático para monitorear fácilmente los costos asociados con su línea de negocios, equipos, usuarios individuales o problemas comerciales individuales mediante el uso de herramientas como Presupuestos de AWS y Explorador de costos de AWS. Por ejemplo, un administrador puede adjuntar un etiqueta de asignación de costos para sagemaker:domain-arn etiqueta.

Esto les permite utilizar Cost Explorer para visualizar el gasto de portátiles para un dominio determinado.

Aislamiento de recursos a nivel de dominio

Los administradores pueden adjuntar Gestión de identidades y accesos de AWS (IAM) que garantizan que el usuario de un dominio solo pueda crear y abrir recursos de SageMaker que se originen en su dominio respectivo. El siguiente código es un ejemplo de dicha política:

{
    "Version": "2012-10-17",
    "Statement":
    [
        {
            "Sid": "CreateRequireDomainTag",
            "Effect": "Allow",
            "Action":
            [
                "SageMaker:Create*",
                "SageMaker:Update*"
            ],
            "Resource": "*",
            "Condition":
            {
                "ForAllValues:StringEquals":
                {
                    "aws:TagKeys":
                    [
                        "sagemaker:domain-arn"
                    ]
                }
            }
        },
        {
            "Sid": "ResourceAccessRequireDomainTag",
            "Effect": "Allow",
            "Action":
            [
                "SageMaker:Update*",
                "SageMaker:Delete*",
                "SageMaker:Describe*"
            ],
            "Resource": "*",
            "Condition":
            {
                "StringEquals":
                {
                    "aws:ResourceTag/sagemaker:domain-arn": "arn:aws:sagemaker:::domain/"
                }
            }
        }
    ]
}

Para más información, consulte la Descripción general de varios dominios.

Reposición de recursos existentes con etiquetas de dominio

Desde el lanzamiento de la capacidad multidominio, los nuevos recursos se etiquetan automáticamente con aws:ResourceTag/sagemaker:domain-arn. Sin embargo, si desea actualizar los recursos existentes para facilitar el aislamiento de recursos, las administraciones pueden utilizar el add-tag Llamada a la API de SageMaker en un script. El siguiente ejemplo muestra cómo etiquetar todos los experimentos existentes en un dominio:

domain_arn=arn:aws:sagemaker:::domain/
experiments=`aws --region $REGION 
sagemaker list-experiments`
for row in $(echo "${experiments}" | jq -r '.ExperimentSummaries[] | @base64'); do
    _jq() {
     echo ${row} | base64 --decode | jq -r ${1}
    }

    exp_name=$(_jq '.ExperimentName')
    exp_arn=$(_jq '.ExperimentArn')

    echo "Tagging resource name: $exp_name and arn: $exp_arn with "sagemaker:domain-arn=$domain_arn""
    echo `aws sagemaker 
        add-tags 
        --resource-arn $exp_arn 
        --tags "Key=sagemaker:domain-arn,Value=$domain_arn" 
        --region $REGION`
    echo "Tagging done for: $exp_name"
    sleep 1
done

Puede verificar que cualquier recurso individual se haya etiquetado correctamente con el siguiente ejemplo de código:

aws sagemaker 
list-tags 
--resource-arn  
--region  

Resumen de la solución

En esta sección, describimos cómo puede configurar varios dominios de SageMaker en su propia cuenta de AWS. Puedes usar el Interfaz de línea de comandos de AWS (AWS CLI) o la consola de SageMaker. Referirse a Incorporación al dominio de Amazon SageMaker para obtener las instrucciones más actualizadas sobre cómo crear un dominio.

Cree un dominio utilizando la CLI de AWS

No hay cambios de API necesarios con respecto a la anterior aws sagemaker create-domain llamada CLI, pero ahora hay soporte para --default-space-settings si tiene la intención de utilizar espacios compartidos en SageMaker Studio. Para más información, ver espacios compartidos en Amazon SageMaker Studio.

Cree un nuevo dominio con sus configuraciones especificadas usando aws sagemaker create-domainy luego estará listo para llenarlo con usuarios.

Cree un dominio usando la consola de SageMaker

En la consola de SageMaker actualizada, puede administrar sus dominios a través de la nueva opción llamada Dominios de SageMaker en el panel de navegación.

Aquí se le presentarán las opciones para abrir dominios existentes o crear uno nuevo usando la interfaz gráfica.

Conclusión

El uso de varios dominios de SageMaker brinda flexibilidad para satisfacer las necesidades de su organización. Ya sea que necesite aislar a los usuarios y sus grupos comerciales, o si desea ejecutar dominios separados debido a las diferencias de configuración, lo alentamos a que utilice varios dominios de SageMaker dentro de una sola cuenta de AWS.

Acerca de los autores

Sean Morgan es arquitecto de soluciones de IA/ML en AWS. Tiene experiencia en los campos de investigación académica y de semiconductores, y utiliza su experiencia para ayudar a los clientes a alcanzar sus objetivos en AWS. En su tiempo libre, Sean es un colaborador/mantenedor activo de código abierto y es el líder del grupo de interés especial para complementos de TensorFlow.

Arkaprava de es ingeniero de software sénior en AWS. Ha estado en Amazon durante más de 7 años y actualmente está trabajando para mejorar la experiencia del IDE de Amazon SageMaker Studio. Puedes encontrarlo en Etiqueta LinkedIn.

Kunal Jha es gerente sénior de productos en AWS. Está enfocado en construir Amazon SageMaker Studio como el IDE elegido para todos los pasos de desarrollo de ML. En su tiempo libre, a Kunal le gusta esquiar y explorar el noroeste del Pacífico. Puedes encontrarlo en Etiqueta LinkedIn.

han zhang es ingeniero de software sénior en Amazon Web Services. Forma parte del equipo de lanzamiento de Amazon SageMaker Notebooks y Amazon SageMaker Studio, y se ha centrado en crear entornos de aprendizaje automático seguros para los clientes. En su tiempo libre, disfruta del senderismo y el esquí en el noroeste del Pacífico.