Estúdio Amazon SageMaker é o primeiro ambiente de desenvolvimento totalmente integrado (IDE) para aprendizado de máquina (ML). O Studio fornece uma única interface visual baseada na Web na qual você pode executar todas as etapas de desenvolvimento de ML necessárias para preparar dados, bem como criar, treinar e implantar modelos. Configurações de ciclo de vida são scripts de shell acionados por eventos de ciclo de vida do Studio, como iniciar um novo bloco de anotações do Studio. Você pode usar configurações de ciclo de vida para automatizar a customização para seu ambiente Studio. Essa personalização inclui a instalação de pacotes personalizados, configuração de extensões de notebook, pré-carregamento de conjuntos de dados e configuração de repositórios de código-fonte. Por exemplo, como administrador de um domínio do Studio, você pode querer economize custos fazendo com que os aplicativos de notebook sejam desligados automaticamente após longos períodos de inatividade.
A Kit de desenvolvimento em nuvem da AWS (AWS CDK) é uma estrutura para definir a infraestrutura de nuvem por meio de código e provisioná-la por meio de Formação da Nuvem AWS pilhas. Uma pilha é uma coleção de recursos da AWS que podem ser atualizados, movidos ou excluídos programaticamente. AWS CDK construções são os blocos de construção dos aplicativos AWS CDK, representando o projeto para definir arquiteturas de nuvem.
Nesta postagem, mostramos como usar o AWS CDK para configurar o Studio, usar as configurações do ciclo de vida do Studio e habilitar seu acesso para cientistas de dados e desenvolvedores em sua organização.
Visão geral da solução
A modularidade das configurações do ciclo de vida permite aplicá-las a todos os usuários em um domínio ou a usuários específicos. Dessa forma, você pode definir as configurações do ciclo de vida e referenciá-las no Studio gateway do kernel ou servidor Jupyter rápida e consistentemente. O gateway do kernel é o ponto de entrada para interagir com uma instância de notebook, enquanto o servidor Jupyter representa a instância do Studio. Isso permite que você aplique as melhores práticas de DevOps e atenda aos padrões de segurança, conformidade e configuração em todas as contas e regiões da AWS. Para esta postagem, usamos o Python como linguagem principal, mas o código pode ser facilmente alterado para outras linguagens suportadas pelo AWS CDK. Para mais informações, consulte Trabalhar com o AWS CDK.
Pré-requisitos
Para começar, certifique-se de ter os seguintes pré-requisitos:
Clone o repositório do GitHub
Primeiro, clonar que o Repositório GitHub.
Ao clonar o repositório, você pode observar que temos um projeto clássico do AWS CDK com o diretório studio-lifecycle-config-construct
, que contém a construção e os recursos necessários para criar configurações de ciclo de vida.
Construções do AWS CDK
O arquivo que queremos inspecionar é aws_sagemaker_lifecycle.py
. Este arquivo contém o SageMakerStudioLifeCycleConfig
construção que usamos para definir e criar configurações de ciclo de vida.
A SageMakerStudioLifeCycleConfig
construct fornece a estrutura para criar configurações de ciclo de vida usando um AWS Lambda função e código shell lidos de um arquivo. A construção contém os seguintes parâmetros:
- ID – O nome do projeto atual.
- studio_lifecycle_content - A base64 conteúdo codificado.
- studio_lifecycle_tags – Rótulos que você atribui para organizar os recursos da Amazon. Eles são inseridos como pares chave-valor e são opcionais para esta configuração.
- studio_lifecycle_config_app_type -
JupyterServer
é para o próprio servidor exclusivo, e oKernelGateway
app corresponde a um contêiner de imagem do SageMaker em execução.
Para obter mais informações sobre a arquitetura do notebook Studio, consulte Mergulhe na arquitetura de notebooks do Amazon SageMaker Studio.
A seguir está um snippet de código da construção de configuração do ciclo de vida do Studio (aws_sagemaker_lifecycle.py
):
Depois de importar e instalar a construção, você pode usá-la. O trecho de código a seguir mostra como criar uma configuração de ciclo de vida usando a construção em uma pilha em app.py
ou outra construção:
Implantar construções do AWS CDK
Para implantar sua pilha do AWS CDK, execute os seguintes comandos no local onde você clonou o repositório.
O comando pode ser python
em vez de python3
dependendo de suas configurações de caminho.
- Crie um ambiente virtual:
- Para macOS/Linux, use
python3 -m venv .cdk-venv
. - Para Windows, use
python3 -m venv .cdk-venv
.
- Para macOS/Linux, use
- Ative o ambiente virtual:
- Para macOS/Linux, use
source .cdk-venvbinactivate
. - Para Windows, use
.cdk-venv/Scripts/activate.bat
. - Para o PowerShell, use
.cdk-venv/Scripts/activate.ps1
.
- Para macOS/Linux, use
- Instale as dependências necessárias:
pip install -r requirements.txt
pip install -r requirements-dev.txt
- Neste ponto, você pode, opcionalmente, sintetizar o modelo CloudFormation para este código:
- Implante a solução com os seguintes comandos:
aws configure
cdk bootstrap
cdk deploy
Quando a pilha for implantada com sucesso, você poderá visualizá-la no console do CloudFormation.
Você também poderá visualizar a configuração do ciclo de vida no console do SageMaker.
Escolha a configuração do ciclo de vida para visualizar o código shell que é executado, bem como quaisquer tags que você atribuiu.
Anexe a configuração do ciclo de vida do Studio
Existem várias maneiras de anexar uma configuração de ciclo de vida. Nesta seção, apresentamos dois métodos: usando o Console de gerenciamento da AWS, e programaticamente usando a infraestrutura fornecida.
Anexe a configuração do ciclo de vida usando o console
Para usar o console, conclua as seguintes etapas:
- No console SageMaker, escolha domínios no painel de navegação.
- Escolha o nome de domínio que você está usando e o perfil de usuário atual e escolha Editar.
- Selecione a configuração de ciclo de vida que deseja usar e escolha Anexar.
A partir daqui, você também pode defini-lo como padrão.
Anexe a configuração do ciclo de vida programaticamente
Você também pode recuperar o ARN da configuração do ciclo de vida do Studio criado pela construção e anexá-lo à construção do Studio programaticamente. O código a seguir mostra o ARN de configuração do ciclo de vida sendo passado para uma construção do Studio:
limpar
Conclua as etapas nesta seção para limpar seus recursos.
Exclua a configuração do ciclo de vida do Studio
Para excluir sua configuração de ciclo de vida, conclua as seguintes etapas:
- No console SageMaker, escolha Configurações do ciclo de vida do Studio no painel de navegação.
- Selecione a configuração do ciclo de vida e escolha Apagar.
Excluir a pilha do AWS CDK
Quando terminar de usar os recursos que você criou, você pode destruir sua pilha do AWS CDK executando o seguinte comando no local onde você clonou o repositório:
Quando solicitado a confirmar a exclusão da pilha, digite yes
.
Você também pode excluir a pilha no console do AWS CloudFormation com as seguintes etapas:
- No console do AWS CloudFormation, escolha Pilhas no painel de navegação.
- Escolha a pilha que deseja excluir.
- No painel de detalhes da pilha, escolha Apagar.
- Escolha Excluir pilha quando solicitado.
Se você encontrar algum erro, talvez seja necessário excluir manualmente alguns recursos, dependendo da configuração da sua conta.
Conclusão
Nesta postagem, discutimos como o Studio funciona como um IDE para cargas de trabalho de ML. O Studio oferece suporte à configuração do ciclo de vida, que permite configurar scripts de shell personalizados para executar tarefas automatizadas ou configurar ambientes de desenvolvimento na inicialização. Usamos construções do AWS CDK para criar a infraestrutura para o recurso personalizado e a configuração do ciclo de vida. As construções são sintetizadas em pilhas do CloudFormation que são implantadas para criar o recurso personalizado e o script de ciclo de vida usado no Studio e no kernel do notebook.
Para mais informações, visite Estúdio Amazon SageMaker.
Sobre os autores
Cory Hairston é um engenheiro de software do Amazon ML Solutions Lab. Ele atualmente trabalha no fornecimento de soluções de software reutilizáveis.
Alex Chirayath é engenheiro sênior de aprendizado de máquina no laboratório de soluções do Amazon ML. Ele lidera equipes de cientistas de dados e engenheiros para criar aplicativos de IA para atender às necessidades de negócios.
Gouri Pandeshwar é gerente de engenharia no laboratório de soluções do Amazon ML. Ele e sua equipe de engenheiros estão trabalhando para criar soluções e estruturas reutilizáveis que ajudem a acelerar a adoção de serviços AWS AI/ML para casos de uso de negócios dos clientes.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- EVM Finanças. Interface unificada para finanças descentralizadas. Acesse aqui.
- Grupo de Mídia Quântica. IR/PR Amplificado. Acesse aqui.
- PlatoAiStream. Inteligência de Dados Web3. Conhecimento Amplificado. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/use-the-aws-cdk-to-deploy-amazon-sagemaker-studio-lifecycle-configurations/
- :é
- :onde
- $UP
- 100
- 12
- 14
- 7
- a
- Capaz
- acelerar
- Acesso
- Conta
- Contas
- em
- endereço
- Adoção
- Depois de
- AI
- AI / ML
- Todos os Produtos
- permite
- tb
- Amazon
- Laboratório de soluções de ML da Amazon
- Amazon Sage Maker
- Estúdio Amazon SageMaker
- Amazon Web Services
- an
- e
- Outro
- qualquer
- app
- aplicações
- Aplicar
- Aplicativos
- arquitetura
- SOMOS
- AS
- atribuído
- At
- anexar
- automatizar
- Automatizado
- automaticamente
- AWS
- Formação da Nuvem AWS
- BE
- ser
- MELHOR
- melhores práticas
- Blocos
- construir
- Prédio
- negócio
- mas a
- by
- CAN
- casos
- mudado
- Escolha
- clássico
- Na nuvem
- infraestrutura de nuvem
- código
- coleção
- COM
- completar
- compliance
- Configuração
- Confirmar
- cônsul
- construir
- Recipiente
- contém
- conteúdo
- corresponde
- custos
- crio
- criado
- Atual
- Atualmente
- personalizadas
- personalização
- dados,
- conjuntos de dados
- profundo
- Padrão
- definição
- Dependendo
- implantar
- implantado
- destruir
- detalhes
- desenvolvedores
- Desenvolvimento
- discutido
- domínio
- Nome de domínio
- feito
- down
- facilmente
- ou
- permitir
- permite
- engenheiro
- Engenheiros
- Entrar
- entrada
- Meio Ambiente
- ambientes
- erros
- eventos
- exemplo
- extensões
- Envie o
- Primeiro nome
- seguinte
- Escolha
- Quadro
- enquadramentos
- da
- totalmente
- função
- porta de entrada
- ter
- GitHub
- Ter
- ter
- he
- ajudar
- SUA PARTICIPAÇÃO FAZ A DIFERENÇA
- sua
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTML
- http
- HTTPS
- ID
- imagem
- importar
- in
- inclui
- INFORMAÇÕES
- Infraestrutura
- instalar
- instalando
- instância
- em vez disso
- integrado
- interagir
- Interface
- para dentro
- IT
- ESTÁ
- se
- jpg
- laboratório
- Rótulos
- língua
- Idiomas
- lançamento
- Leads
- aprendizagem
- wifecycwe
- localização
- longo
- máquina
- aprendizado de máquina
- a Principal
- fazer
- de grupos
- Gerente
- manualmente
- Posso..
- Conheça
- métodos
- ML
- modelos
- mais
- movido
- múltiplo
- nome
- Navegação
- Cria
- Novo
- caderno
- observar
- of
- Oferece
- on
- or
- organização
- Outros
- pacotes
- pares
- pão
- parâmetros
- passou
- caminho
- Realizar
- períodos
- platão
- Inteligência de Dados Platão
- PlatãoData
- ponto
- Publique
- PowerShell
- práticas
- Preparar
- pré-requisitos
- presente
- Perfil
- projeto
- fornecido
- fornece
- fornecendo
- Python
- rapidamente
- Leia
- regiões
- repositório
- representando
- representa
- requeridos
- Requisitos
- recurso
- Recursos
- reutilizável
- Execute
- corrida
- Segurança
- sábio
- cientistas
- escopo
- Scripts
- Seção
- AUTO
- senior
- serve
- Serviços
- conjunto
- contexto
- concha
- rede de apoio social
- mostrar
- Shows
- Encerre
- solteiro
- Software
- Engenheiro de Software
- solução
- Soluções
- alguns
- fonte
- código fonte
- específico
- pilha
- Pilhas
- padrões
- começado
- Comece
- Passos
- estudo
- entraram com sucesso
- tal
- ajuda
- Suportado
- .
- tarefas
- Profissionais
- equipes
- modelo
- que
- A
- Eles
- então
- deles
- isto
- Através da
- para
- Trem
- desencadeado
- dois
- único
- Atualizada
- usar
- usava
- Utilizador
- usuários
- utilização
- Ver
- Virtual
- Visite a
- queremos
- Caminho..
- maneiras
- we
- web
- serviços web
- Web-Based
- BEM
- quando
- enquanto que
- qual
- precisarão
- Windows
- de
- trabalhar
- trabalho
- Vocês
- investimentos
- zefirnet