Os avanços na inteligência artificial (IA) e no aprendizado de máquina (ML) estão revolucionando o setor financeiro para casos de uso como detecção de fraudes, avaliação de solvabilidade e otimização de estratégias de negociação. Para desenvolver modelos para tais casos de uso, os cientistas de dados precisam de acesso a vários conjuntos de dados, como mecanismos de decisão de crédito, transações de clientes, apetite ao risco e testes de estresse. Gerenciar o controle de acesso adequado para esses conjuntos de dados entre os cientistas de dados que trabalham neles é crucial para atender aos rigorosos requisitos regulatórios e de conformidade. Normalmente, esses conjuntos de dados são agregados em um sistema centralizado Serviço de armazenamento simples da Amazon (Amazon S3) localização de vários aplicativos de negócios e sistemas corporativos. Cientistas de dados em unidades de negócios trabalhando no desenvolvimento de modelos usando Amazon Sage Maker recebem acesso a dados relevantes, o que pode levar à necessidade de gerenciar prefixocontroles de acesso de nível. Com um aumento nos casos de uso e conjuntos de dados usando política de balde declarações, o gerenciamento do acesso entre contas por aplicativo é muito complexo e demorado para ser acomodado por uma política de bucket.
Pontos de acesso Amazon S3 simplifique o gerenciamento e a proteção do acesso a dados em escala para aplicativos que usam conjuntos de dados compartilhados no Amazon S3. Você pode criar nomes de host exclusivos usando pontos de acesso para impor permissões e controles de rede distintos e seguros para qualquer solicitação feita por meio do ponto de acesso.
Os pontos de acesso S3 simplificam o gerenciamento de permissões de acesso específicas para cada aplicativo que acessa um conjunto de dados compartilhado. Ele permite cópia de dados segura e de alta velocidade entre pontos de acesso da mesma região usando redes internas da AWS e VPCs. Os pontos de acesso S3 podem restringir o acesso a VPCs, permitindo que você faça firewall de dados em redes privadas, teste novas políticas de controle de acesso sem afetar os pontos de acesso existentes e configure políticas de endpoint de VPC para restringir o acesso a buckets S3 de propriedade de ID de conta específicos.
Esta postagem aborda as etapas envolvidas na configuração de pontos de acesso S3 para permitir o acesso entre contas a partir de uma instância de notebook SageMaker.
Visão geral da solução
Para nosso caso de uso, temos duas contas em uma organização: Conta A (111111111111), que é usada por cientistas de dados para desenvolver modelos usando uma instância de notebook SageMaker, e Conta B (222222222222), que requer conjuntos de dados no bucket S3 test-bucket-1
. O diagrama a seguir ilustra a arquitetura da solução.
Para implementar a solução, conclua as seguintes etapas de alto nível:
- Configure a conta A, incluindo VPC, grupo de segurança de sub-rede, endpoint de gateway VPC e notebook SageMaker.
- Configure a conta B, incluindo bucket S3, ponto de acesso e política de bucket.
- configurar Gerenciamento de acesso e identidade da AWS (IAM) e políticas na Conta A.
Você deve repetir essas etapas para cada conta do SageMaker que precise de acesso ao conjunto de dados compartilhado da Conta B.
Os nomes de cada recurso mencionado nesta postagem são exemplos; você pode substituí-los por outros nomes de acordo com seu caso de uso.
Configurar conta A
Conclua as etapas a seguir para configurar a conta A:
- Criar uma VPC chamado
DemoVPC
. - Crie uma sub-rede chamado
DemoSubnet
na VPCDemoVPC
. - Crie um grupo de segurança chamado
DemoSG
. - Crie uma Endpoint do gateway VPC S3 chamado
DemoS3GatewayEndpoint
. - Criar o Função de execução do SageMaker.
- Crie uma instância do notebook chamado
DemoNotebookInstance
e as diretrizes de segurança, conforme descrito em Como configurar a segurança no Amazon SageMaker.- Especifique a função de execução do Sagemaker que você criou.
- Para as configurações de rede do notebook, especifique a VPC, a sub-rede e o grupo de segurança que você criou.
- Certifique-se de que Acesso direto à Internet está desabilitado.
Você atribui permissões à função nas etapas subsequentes após criar as dependências necessárias.
Configurar conta B
Para configurar a conta B, execute as seguintes etapas:
- Na conta B, criar um balde S3 chamado
test-bucket-1
seguinte Orientações de segurança do Amazon S3. - Carregue seu arquivo para o balde S3.
- Crie um ponto de acesso chamado
test-ap-1
na conta B.- Não altere ou edite nenhum Bloquear configurações de acesso público para este ponto de acesso (todo o acesso público deve ser bloqueado).
- Anexe a seguinte política ao seu ponto de acesso:
As ações definidas no código anterior são exemplos de ações para fins de demonstração. Você pode definir as ações de acordo com seus requisitos ou caso de uso.
- Adicione as seguintes permissões de política de bucket para acessar o ponto de acesso:
As ações anteriores são exemplos. Você pode definir as ações de acordo com suas necessidades.
Configurar permissões e políticas do IAM
Conclua as seguintes etapas na Conta A:
- Confirme se a função de execução do SageMaker tem o AmazonSagemakerFullAccess política in-line personalizada do IAM, que se parece com o seguinte código:
As ações no código de política são exemplos de ações para fins de demonstração.
- Vou ao
DemoS3GatewayEndpoint
endpoint que você criou e adicione as seguintes permissões:
- Para obter uma lista de prefixos, execute o Interface de linha de comando da AWS (AWS CLI) descrever listas de prefixos comando:
- Na conta A, vá para o grupo de segurança
DemoSG
para a instância de notebook SageMaker de destino - Debaixo Regras de saída, crie uma regra de saída com Todo o tráfego or Tudo TCPe especifique o destino como o ID da lista de prefixos recuperado.
Isso conclui a configuração em ambas as contas.
Teste a solução
Para validar a solução, acesse o terminal da instância do notebook SageMaker e digite os seguintes comandos para listar os objetos por meio do ponto de acesso:
- Para listar os objetos com sucesso por meio do ponto de acesso S3
test-ap-1
:
- Para obter os objetos com sucesso através do ponto de acesso S3
test-ap-1
:
limpar
Quando terminar o teste, exclua qualquer Pontos de acesso S3 e Baldes S3. Além disso, exclua qualquer Instâncias de notebook Sagemaker para parar de incorrer em cobranças.
Conclusão
Nesta postagem, mostramos como os pontos de acesso S3 permitem acesso entre contas a grandes conjuntos de dados compartilhados de instâncias de notebook SageMaker, ignorando restrições de tamanho impostas por políticas de bucket e configurando o gerenciamento de acesso em escala em conjuntos de dados compartilhados.
Para saber mais, consulte Gerencie facilmente conjuntos de dados compartilhados com pontos de acesso do Amazon S3.
Sobre os autores
Kiran Khambete está trabalhando como gerente técnico sênior de contas na Amazon Web Services (AWS). Como TAM, Kiran desempenha o papel de especialista técnico e guia estratégico para ajudar os clientes empresariais a atingirem seus objetivos de negócios.
Ankit Soni com experiência total de 14 anos ocupa o cargo de Engenheiro Principal no NatWest Group, onde atuou como Arquiteto de Infraestrutura em Nuvem nos últimos seis anos.
Kesaraju Sai Sandeep é engenheiro de nuvem especializado em serviços de Big Data na AWS.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/set-up-cross-account-amazon-s3-access-for-amazon-sagemaker-notebooks-in-vpc-only-mode-using-amazon-s3-access-points/
- :tem
- :é
- :onde
- $UP
- 100
- 14
- 16
- 17
- 20
- 7
- 8
- a
- Acesso
- acessando
- acomodar
- Conta
- Contas
- alcançar
- em
- Açao Social
- ações
- adicionar
- Depois de
- agregado
- AI
- Todos os Produtos
- permitir
- tb
- Amazon
- Amazon Sage Maker
- Amazon Web Services
- Amazon Web Services (AWS)
- entre
- an
- e
- qualquer
- apetite
- Aplicação
- aplicações
- apropriado
- arquitetura
- SOMOS
- artificial
- inteligência artificial
- Inteligência artificial (AI)
- AS
- avaliação
- At
- AWS
- BE
- entre
- Grande
- Big Data
- bloqueado
- ambos
- negócio
- Aplicações de Negócio
- by
- chamado
- CAN
- casas
- casos
- centralizada
- alterar
- acusações
- cli
- Na nuvem
- infraestrutura de nuvem
- código
- completar
- Completa
- integrações
- compliance
- condição
- configurando
- restrições
- ao controle
- controles
- cópia
- crio
- criado
- crédito
- crucial
- cliente
- Clientes
- dados,
- acesso a dados
- conjuntos de dados
- conjuntos de dados
- decisão
- definir
- definido
- demonstração
- dependências
- destino
- Detecção
- desenvolver
- Desenvolvimento
- diagrama
- inválido
- distinto
- feito
- cada
- efeito
- permitir
- permite
- permitindo
- Ponto final
- aplicar
- engenheiro
- Motores
- Entrar
- Empreendimento
- exemplos
- execução
- existente
- vasta experiência
- especialista
- financeiro
- firewall
- seguinte
- Escolha
- fraude
- detecção de fraude
- da
- porta de entrada
- ter
- Go
- Objetivos
- concedido
- Grupo
- guia
- orientações
- Ter
- he
- ajuda
- de alto nível
- detém
- Como funciona o dobrador de carta de canal
- HTML
- http
- HTTPS
- ID
- Identidade
- ilustra
- impactando
- executar
- Imposta
- in
- Incluindo
- Crescimento
- indústria
- Infraestrutura
- instância
- Inteligência
- interno
- Internet
- envolvido
- IT
- jpg
- grande
- conduzir
- APRENDER
- aprendizagem
- como
- Line
- Lista
- localização
- longo
- OLHARES
- máquina
- aprendizado de máquina
- moldadas
- gerencia
- de grupos
- Gerente
- gestão
- Conheça
- mencionado
- ML
- Moda
- modelo
- modelos
- mais
- nomes
- NatWest
- você merece...
- Cria
- rede
- Configurações da rede
- redes
- Novo
- Novo acesso
- caderno
- objetos
- of
- on
- otimização
- or
- organização
- Outros
- A Nossa
- delineado
- passado
- para
- permissões
- platão
- Inteligência de Dados Platão
- PlatãoData
- desempenha
- ponto
- pontos
- políticas
- Privacidade
- posição
- Publique
- precedente
- Diretor
- privado
- público
- fins
- referir
- reguladores
- relevante
- repetir
- substituir
- solicitar
- requeridos
- requerimento
- Requisitos
- recurso
- restringir
- Revolucionando
- Risco
- apetite de risco
- Tipo
- Regra
- Execute
- sábio
- amostra
- Escala
- cientistas
- seguro
- assegurando
- segurança
- senior
- servido
- Serviços
- conjunto
- Conjuntos
- Configurações
- instalação
- compartilhado
- rede de apoio social
- mostrou
- simples
- simplifica
- simplificar
- SIX
- Tamanho
- solução
- especializando
- específico
- Declaração
- declarações
- Passos
- Dê um basta
- armazenamento
- Estratégico
- Estratégia
- estresse
- rigoroso
- sub-rede
- subseqüente
- entraram com sucesso
- tal
- certo
- sistemas
- Target
- Dados Técnicos:
- terminal
- teste
- ensaio
- que
- A
- deles
- Eles
- então
- Este
- isto
- Através da
- para
- também
- Total
- Trading
- estratégia de negociação
- Transações
- dois
- tipicamente
- único
- unidades
- usar
- caso de uso
- usava
- utilização
- VALIDAR
- vário
- versão
- anda
- we
- web
- serviços web
- qual
- enquanto
- de
- dentro
- sem
- trabalhar
- anos
- Vocês
- investimentos
- zefirnet