Organize o desenvolvimento de aprendizado de máquina usando espaços compartilhados no SageMaker Studio para colaboração em tempo real

Estúdio Amazon SageMaker é o primeiro ambiente de desenvolvimento totalmente integrado (IDE) para aprendizado de máquina (ML). Ele fornece uma única interface visual baseada na Web, na qual você pode executar todas as etapas de desenvolvimento de ML, incluindo preparação de dados e construção, treinamento e implantação de modelos.

Dentro de um Domínio Amazon SageMaker, os usuários podem provisionar um aplicativo IDE pessoal do Amazon SageMaker Studio, que executa um JupyterServer gratuito com integrações integradas para examinar o Amazon Experimentos SageMaker, orquestrar Pipelines Amazon SageMaker, e muito mais. Os usuários pagam apenas pela computação flexível em seus núcleos de notebook. Esses aplicativos pessoais montam automaticamente a privacidade de um respectivo usuário Sistema de arquivos elástico da Amazon (Amazon EFS) para que possam manter código, dados e outros arquivos isolados de outros usuários. Amazon SageMaker Studio já suporta compartilhamento de notebooks entre aplicativos privados, mas o mecanismo assíncrono pode retardar o processo de iteração.

Agora com espaços compartilhados no Amazon SageMaker Studio, os usuários podem organizar empreendimentos e iniciativas colaborativas de ML criando um aplicativo IDE compartilhado que os usuários utilizam com seu próprio perfil de usuário do Amazon SageMaker. Os trabalhadores de dados que colaboram em um espaço compartilhado obtêm acesso a um ambiente Amazon SageMaker Studio onde podem acessar, ler, editar e compartilhar seus blocos de anotações em tempo real, o que lhes dá o caminho mais rápido para começar a interagir com seus colegas em novas ideias. Os trabalhadores de dados podem até colaborar no mesmo notebook simultaneamente usando recursos de colaboração em tempo real. O notebook indica cada usuário de coedição com um cursor diferente que mostra o nome do perfil do usuário respectivo.

Espaços compartilhados no SageMaker Studio marcam recursos automaticamente, como trabalhos de treinamento, trabalhos de processamento, experimentos, pipelines e entradas de registro de modelo criadas no escopo de um espaço de trabalho com seus respectivos sagemaker:space-arn. O espaço filtra esses recursos na interface do usuário (IU) do Amazon SageMaker Studio para que os usuários recebam apenas experimentos, pipelines e outros recursos do SageMaker pertinentes ao seu empreendimento de ML.

Visão geral da solução

Como os espaços compartilhados marcam automaticamente os recursos, os administradores podem monitorar facilmente os custos associados a um esforço de ML e planejar orçamentos usando ferramentas como Orçamentos da AWS e Explorador de custos da AWS. Como administrador, você só precisará anexar um etiqueta de alocação de custo para sagemaker:space-arn.

Depois de concluído, você pode usar o AWS Cost Explorer para identificar quanto os projetos individuais de ML estão custando à sua organização.

Comece a usar espaços compartilhados no Amazon SageMaker Studio

Nesta seção, analisaremos o fluxo de trabalho típico para criar e utilizar espaços compartilhados no Amazon SageMaker Studio.

Crie um espaço compartilhado no Amazon SageMaker Studio

Você pode usar o console do Amazon SageMaker ou o Interface de linha de comando da AWS (AWS CLI) para adicionar suporte para espaços a um domínio existente. Para obter as informações mais atualizadas, consulte Crie um espaço compartilhado. Espaços compartilhados funcionam apenas com uma imagem JupyterLab 3 SageMaker Studio e para domínios SageMaker usando a autenticação do AWS Identity and Access Management (AWS IAM).

Criação de console

Para criar um espaço em um domínio designado do Amazon SageMaker, primeiro você precisará definir uma função de execução padrão de espaço designado. De Detalhes de domínio página, selecione o Configurações de domínio Guia e selecione Editar. Em seguida, você pode definir uma função de execução padrão do espaço, que precisa ser concluída apenas uma vez por Domínio, conforme mostrado no diagrama a seguir:

Em seguida, você pode ir para o Gerenciamento de espaço guia dentro do seu domínio e selecione o Crie botão, conforme mostrado no diagrama a seguir:

Criação da AWS CLI

Você também pode definir uma função de execução de espaço de domínio padrão na AWS CLI. Para determinar o ARN da imagem JupyterLab3 da sua região, verifique Definindo uma versão padrão do JupyterLab.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

Depois de concluído para o seu domínio, você pode criar um espaço compartilhado a partir da CLI.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

Inicie um espaço compartilhado no Amazon SageMaker Studio

Os usuários podem iniciar um espaço compartilhado selecionando o Apresentação livro botão ao lado de seu perfil de usuário no Console AWS para seu domínio Amazon SageMaker.

Depois de selecionar Espaços na seção Colaborativo e selecione qual espaço iniciar:

Como alternativa, os usuários podem gerar um URL pré-assinado para iniciar um espaço por meio da AWS CLI:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

Colaboração em tempo real

Depois que o IDE de espaço compartilhado do Amazon SageMaker Studio for carregado, os usuários poderão selecionar o colaboradores guia no painel esquerdo para ver quais usuários estão trabalhando ativamente em seu espaço e em qual notebook. Se mais de uma pessoa estiver trabalhando no mesmo notebook, você verá um cursor com o nome do perfil do outro usuário onde eles estão editando:

Na captura de tela a seguir, você pode ver as diferentes experiências de usuário para alguém editando e visualizando o mesmo notebook:

Conclusão

Nesta postagem, mostramos como os espaços compartilhados no SageMaker Studio adicionam uma experiência IDE colaborativa em tempo real ao Amazon SageMaker Studio. A marcação automatizada ajuda os usuários a definir e filtrar seus recursos do Amazon SageMaker, que incluem: experimentos, pipelines e entradas de registro de modelo para maximizar a produtividade do usuário. Além disso, os administradores podem usar essas tags aplicadas para monitorar os custos associados a um determinado espaço e definir orçamentos apropriados usando o AWS Cost Explorer e o AWS Budgets.

Acelere a colaboração de sua equipe hoje mesmo configurando espaços compartilhados no Amazon SageMaker Studio para seus empreendimentos específicos de aprendizado de máquina!

Sobre os autores

Sean Morgan é arquiteto de soluções de IA/ML na AWS. Ele tem experiência nas áreas de semicondutores e pesquisa acadêmica e usa sua experiência para ajudar os clientes a atingirem seus objetivos na AWS. Em seu tempo livre, Sean é um colaborador/mantenedor ativo de código aberto e é o líder do grupo de interesse especial para complementos do TensorFlow.

Han Zhang é engenheiro de software sênior da Amazon Web Services. Ela faz parte da equipe de lançamento do Amazon SageMaker Notebooks e do Amazon SageMaker Studio e tem se concentrado na criação de ambientes seguros de aprendizado de máquina para clientes. Em seu tempo livre, ela gosta de fazer caminhadas e esquiar no noroeste do Pacífico.

Arkaprava De é engenheiro de software sênior da AWS. Ele está na Amazon há mais de 7 anos e atualmente está trabalhando para melhorar a experiência do Amazon SageMaker Studio IDE. Você pode encontrá-lo em LinkedIn.

Kunal Jha é Gerente de Produto Sênior na AWS. Ele está focado em criar o Amazon SageMaker Studio como o IDE de escolha para todas as etapas de desenvolvimento de ML. Em seu tempo livre, Kunal gosta de esquiar e explorar o noroeste do Pacífico. Você pode encontrá-lo em LinkedIn.