Provisione e gerencie ambientes de ML com o Amazon SageMaker Canvas usando o AWS CDK e o AWS Service Catalog

A proliferação do aprendizado de máquina (ML) em uma ampla variedade de casos de uso está se tornando predominante em todos os setores. No entanto, isso supera o aumento no número de profissionais de ML que tradicionalmente são responsáveis ​​pela implementação dessas soluções técnicas para obter resultados de negócios.

Nas empresas de hoje, é necessário que o aprendizado de máquina seja usado por não profissionais de ML que sejam proficientes em dados, que é a base do ML. Para tornar isso realidade, o valor do ML está sendo percebido em toda a empresa por meio de plataformas de ML sem código. Essas plataformas permitem que diferentes pessoas, por exemplo, analistas de negócios, usem ML sem escrever uma única linha de código e forneçam soluções para problemas de negócios de maneira rápida, simples e intuitiva. Tela do Amazon SageMaker é um serviço visual de apontar e clicar que permite que analistas de negócios usem ML para resolver problemas de negócios gerando previsões precisas por conta própria, sem exigir nenhuma experiência em ML ou ter que escrever uma única linha de código. O Canvas expandiu o uso de ML na empresa com uma interface intuitiva simples de usar que ajuda as empresas a implementar soluções rapidamente.

Embora o Canvas tenha permitido a democratização do ML, o desafio de provisionar e implantar ambientes de ML de maneira segura ainda permanece. Normalmente, isso é responsabilidade das equipes centrais de TI na maioria das grandes empresas. Nesta postagem, discutimos como as equipes de TI podem administrar, provisionar e gerenciar ambientes de ML seguros usando Tela do Amazon SageMaker, Kit de desenvolvimento em nuvem da AWS (AWS CDK) e Catálogo de serviços da AWS. A postagem apresenta um guia passo a passo para que os administradores de TI consigam isso de forma rápida e em escala.

Visão geral do AWS CDK e do AWS Service Catalog

O AWS CDK é uma estrutura de desenvolvimento de software de código aberto para definir seus recursos de aplicativos em nuvem. Ele usa a familiaridade e o poder expressivo das linguagens de programação para modelar seus aplicativos, enquanto provisiona recursos de maneira segura e repetível.

O AWS Service Catalog permite gerenciar centralmente serviços de TI, aplicativos, recursos e metadados implantados. Com o AWS Service Catalog, você pode criar, compartilhar, organizar e controlar recursos de nuvem com modelos de infraestrutura como código (IaC) e habilitar o provisionamento rápido e direto.

Visão geral da solução

Habilitamos o provisionamento de ambientes de ML usando o Canvas em três etapas:

1. Primeiro, compartilhamos como você pode gerenciar um portfólio de recursos necessários para o uso aprovado do Canvas usando o AWS Service Catalog.
2. Em seguida, implantamos um exemplo de portfólio do AWS Service Catalog para Canvas usando o AWS CDK.
3. Por fim, demonstramos como você pode provisionar ambientes Canvas sob demanda em minutos.

Pré-requisitos

Para provisionar ambientes de ML com Canvas, AWS CDK e AWS Service Catalog, você precisa fazer o seguinte:

1. Tenha acesso à conta da AWS onde o portfólio do Catálogo de Serviços será implantado. Certifique-se de ter as credenciais e permissões para implantar a pilha do AWS CDK em sua conta. o Workshop de CDK da AWS é um recurso útil que você pode consultar se precisar de suporte.
2. Recomendamos seguir algumas práticas recomendadas que são destacadas por meio dos conceitos detalhados nos seguintes recursos:
3. clone este repositório do GitHub em seu ambiente.

Provisione ambientes de ML aprovados com o Amazon SageMaker Canvas usando o AWS Service Catalog

Em setores regulamentados e na maioria das grandes empresas, você precisa cumprir os requisitos exigidos pelas equipes de TI para provisionar e gerenciar ambientes de ML. Isso pode incluir uma rede segura e privada, criptografia de dados, controles para permitir apenas usuários autorizados e autenticados, como Gerenciamento de acesso e identidade da AWS (IAM) para acessar soluções como Canvas e registro e monitoramento rigorosos para fins de auditoria.

Como administrador de TI, você pode usar o AWS Service Catalog para criar e organizar ambientes de ML seguros e reproduzíveis com o SageMaker Canvas em um portfólio de produtos. Isso é gerenciado usando controles IaC incorporados para atender aos requisitos mencionados anteriormente e podem ser provisionados sob demanda em minutos. Você também pode manter o controle de quem pode acessar esse portfólio para lançar produtos.

O diagrama a seguir ilustra essa arquitetura.

Fluxo de exemplo

Nesta seção, demonstramos um exemplo de portfólio do AWS Service Catalog com o SageMaker Canvas. O portfólio é composto por diferentes aspectos do ambiente Canvas que fazem parte do portfólio do Catálogo de Serviços:

• Domínio do estúdio – Canvas é uma aplicação que roda dentro Domínios do Studio. O domínio consiste em um Sistema de arquivos elástico da Amazon (Amazon EFS), uma lista de usuários autorizados e uma variedade de segurança, aplicativo, política e Nuvem virtual privada da Amazon (VPC). Uma conta da AWS está vinculada a um domínio por região.
• Bucket Amazon S3 – Após a criação do domínio Studio, um Serviço de armazenamento simples da Amazon (Amazon S3) é provisionado para o Canvas para permitir a importação de conjuntos de dados de arquivos locais, também conhecido como upload de arquivo local. Esse bucket está na conta do cliente e é provisionado uma vez.
• Usuário de tela – O SageMaker Canvas é um aplicativo no qual você pode adicionar perfis de usuário no domínio do Studio para cada usuário do Canvas, que pode importar conjuntos de dados, construir e treinar modelos de ML sem escrever código e executar previsões no modelo.
• Encerramento programado de sessões do Canvas – Os usuários do Canvas podem sair da interface do Canvas quando terminarem suas tarefas. Alternativamente, os administradores podem encerrar as sessões do Canvas do Console de gerenciamento da AWS como parte do gerenciamento das sessões do Canvas. Nesta parte do portfólio do AWS Service Catalog, um AWS Lambda função é criado e provisionado para encerrar automaticamente as sessões do Canvas em intervalos programados definidos. Isso ajuda a gerenciar sessões abertas e desligá-las quando não estiverem em uso.

Este fluxo de exemplo pode ser encontrado no Repositório GitHub para referência rápida.

Implante o fluxo com o AWS CDK

Nesta seção, implantamos o fluxo descrito anteriormente usando o AWS CDK. Depois de implantado, você também pode fazer o rastreamento de versão e gerenciar o portfólio.

A pilha de portfólio pode ser encontrada em app.py e o produto empilha sob o products/ pasta. Você pode iterar nas funções do IAM, Serviço de gerenciamento de chaves AWS (AWS KMS) e configuração da VPC no studio_constructs/ pasta. Antes de implantar a pilha em sua conta, você pode editar as seguintes linhas em app.py e conceda acesso ao portfólio a uma função do IAM de sua escolha.

Você pode gerenciar o acesso ao portfólio para usuários, grupos e funções relevantes do IAM. Ver Concedendo acesso aos usuários para mais detalhes.

Implante o portfólio em sua conta

Agora você pode executar os seguintes comandos para instalar o AWS CDK e certificar-se de ter as dependências corretas para implantar o portfólio:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Execute os seguintes comandos para implantar o portfólio em sua conta:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

Os dois primeiros comandos obtêm o ID da sua conta e a região atual usando o Interface de linha de comando da AWS (AWS CLI) em seu computador. Seguindo isto, cdk bootstrap e cdk deploy crie ativos localmente e implante a pilha em alguns minutos.

O portfólio agora pode ser encontrado no AWS Service Catalog, conforme mostrado na captura de tela a seguir.

Provisionamento sob demanda

Os produtos do portfólio podem ser lançados de forma rápida e fácil sob demanda do Provisioning menu no console do AWS Service Catalog. Um fluxo típico é iniciar o domínio do Studio e o desligamento automático do Canvas primeiro, porque isso geralmente é uma ação única. Você pode adicionar usuários do Canvas ao domínio. O ID do domínio e o ARN da função do IAM do usuário são salvos em Gerente de Sistemas AWS e são preenchidos automaticamente com os parâmetros do usuário, conforme mostrado na captura de tela a seguir.

Você também pode usar tags de alocação de custos anexadas a cada usuário. Por exemplo, UserCostCenter é uma tag de exemplo onde você pode adicionar o nome de cada usuário.

Principais considerações para governar ambientes de ML usando o Canvas

Agora que provisionamos e implantamos um portfólio do AWS Service Catalog focado no Canvas, gostaríamos de destacar algumas considerações para controlar os ambientes de ML baseados em Canvas com foco no domínio e no perfil do usuário.

Veja a seguir algumas considerações sobre o domínio do Studio:

• A rede para Canvas é gerenciada no nível de domínio do Studio, onde o domínio é implantado em uma sub-rede VPC privada para conectividade segura. Ver Protegendo a conectividade do Amazon SageMaker Studio usando um VPC privado para saber mais.
• Uma função de execução padrão do IAM é definida no nível do domínio. Essa função padrão é atribuída a todos os usuários do Canvas no domínio.
• A criptografia é feita usando o AWS KMS criptografando o volume EFS no domínio. Para controles adicionais, você pode especificar sua própria chave gerenciada, também conhecida como chave gerenciada pelo cliente (CMK). Ver Proteja os dados em repouso usando criptografia para saber mais.
• A capacidade de fazer upload de arquivos de seu disco local é feita anexando uma política de compartilhamento de recursos entre origens (CORS) ao bucket do S3 usado pelo Canvas. Ver Dê a seus usuários permissões para fazer upload de arquivos locais para saber mais.

Seguem algumas considerações sobre o perfil do usuário:

• A autenticação no Studio pode ser feita por meio de logon único (SSO) e IAM. Se você tiver um provedor de identidade existente para federar usuários para acessar o console, poderá atribuir um perfil de usuário do Studio a cada identidade federada usando o IAM. Veja a seção Atribuindo a política aos usuários do Studio in Configurando o Amazon SageMaker Studio para equipes e grupos com isolamento completo de recursos para saber mais.
• Você pode atribuir funções de execução do IAM a cada perfil de usuário. Ao usar o Studio, um usuário assume a função mapeada para seu perfil de usuário que substitui a função de execução padrão. Você pode usar isso para controles de acesso refinados em uma equipe.
• Você pode obter o isolamento usando controles de acesso baseados em atributos (ABAC) para garantir que os usuários só possam acessar os recursos de sua equipe. Ver Configurando o Amazon SageMaker Studio para equipes e grupos com isolamento completo de recursos para saber mais.
• Você pode realizar um rastreamento de custos refinado aplicando tags de alocação de custos aos perfis de usuário.

limpar

Para limpar os recursos criados pela pilha do AWS CDK acima, navegue até a página de pilhas do AWS CloudFormation e exclua as pilhas do Canvas. Você também pode executar cdk destroy de dentro da pasta do repositório, para fazer o mesmo.

Conclusão

Nesta postagem, compartilhamos como você pode provisionar ambientes de ML de maneira rápida e fácil com o Canvas usando o AWS Service Catalog e o AWS CDK. Discutimos como você pode criar um portfólio no AWS Service Catalog, provisionar o portfólio e implantá-lo em sua conta. Os administradores de TI podem usar esse método para implantar e gerenciar usuários, sessões e custos associados ao provisionar o Canvas.

Saiba mais sobre o Canvas no página do produto FlexSim e os votos de Guia do desenvolvedor. Para ler mais, você pode aprender como permitir que analistas de negócios acessem o SageMaker Canvas usando o AWS SSO sem o console. Você também pode aprender como analistas de negócios e cientistas de dados podem colaborar mais rapidamente usando o Canvas e o Studio.

Sobre os autores

Davide Gallitelli é um Arquiteto de Soluções Especialista para AI/ML na região EMEA. Ele está baseado em Bruxelas e trabalha em estreita colaboração com clientes em todo o Benelux. Ele é desenvolvedor desde muito jovem, começando a codificar aos 7 anos de idade. Ele começou a aprender IA/ML na universidade e se apaixonou por isso desde então.

Sofian Hamiti é um arquiteto de soluções especialista em IA/ML na AWS. Ele ajuda clientes de todos os setores a acelerar sua jornada de IA/ML, ajudando-os a criar e operacionalizar soluções de aprendizado de máquina de ponta a ponta.

Shyam Srinivasan é gerente de produto principal da equipe de AI/ML da AWS, líder em gerenciamento de produtos para o Amazon SageMaker Canvas. Shyam se preocupa em tornar o mundo um lugar melhor por meio da tecnologia e é apaixonado por como IA e ML podem ser um catalisador nessa jornada.

Avi Patel trabalha como engenheiro de software na equipe Amazon SageMaker Canvas. Sua formação consiste em trabalhar full stack com foco no frontend. Em seu tempo livre, ele gosta de contribuir para projetos de código aberto no espaço criptográfico e aprender sobre novos protocolos DeFi.

Jared Heywood é gerente sênior de desenvolvimento de negócios da AWS. Ele é um especialista global em IA/ML que ajuda os clientes com aprendizado de máquina sem código. Ele trabalhou no espaço AutoML nos últimos 5 anos e lançou produtos na Amazon como Amazon SageMaker JumpStart e Amazon SageMaker Canvas.