Amazon Sage Maker os clientes podem visualizar e gerenciar seus limites de cota por meio Cotas de serviço. Além disso, eles podem visualizar métricas de utilização quase em tempo real e criar Amazon CloudWatch métrica para visualizar e consultar cotas do SageMaker de forma programática.
O SageMaker ajuda você a criar, treinar e implantar modelos de aprendizado de máquina (ML) com facilidade. Para saber mais, consulte Introdução ao Amazon SageMaker. As cotas de serviço simplificam o gerenciamento de limites, permitindo que você visualize e gerencie suas cotas do SageMaker a partir de um local central.
Com Cotas de serviço, você pode visualizar o número máximo de recursos, ações ou itens em sua conta ou região da AWS da AWS. Você também pode usar cotas de serviço para solicitar um aumento de cotas ajustáveis.
Com o uso crescente de práticas de MLOps e, portanto, a demanda por recursos designados para a experimentação e retreinamento do modelo de ML, mais clientes precisam executar várias instâncias, geralmente do mesmo tipo de instância ao mesmo tempo.
Muitas equipes de ciência de dados geralmente trabalham em paralelo, usando várias instâncias para processamento, treinamento e ajuste simultaneamente. Anteriormente, os usuários às vezes atingiam um limite de conta ajustável para algum tipo de instância específico e precisavam solicitar manualmente um aumento de limite da AWS.
Para solicitar aumentos de cota manualmente do IU de cotas de serviço, você pode escolher a cota na lista e escolher Solicitar aumento de cota. Para obter mais informações, consulte Solicitando um aumento de cota.
Neste post, mostramos como você pode usar os novos recursos para solicitar aumentos de limite automaticamente quando um alto nível de instâncias é atingido.
Visão geral da solução
O diagrama a seguir ilustra a arquitetura da solução.
Essa arquitetura inclui o seguinte fluxo de trabalho:
- Uma métrica do CloudWatch monitora o uso do recurso. Um alarme do CloudWatch é acionado quando o uso do recurso ultrapassa um determinado limite pré-configurado.
- Uma mensagem é enviada para Serviço de notificação simples da Amazon (Amazônia SNS).
- A mensagem é recebida por um AWS Lambda função.
- A função Lambda solicita o aumento de cota.
Além de solicitar um aumento de cota para a conta específica, a função Lambda também pode adicionar o aumento de cota ao modelo de organização (até 10 cotas). Dessa forma, qualquer nova conta criada em uma determinada organização da AWS terá as solicitações de cota aumentadas por padrão.
Pré-requisitos
Conclua as seguintes etapas de pré-requisito:
- Configure um Conta da AWS e criar um Gerenciamento de acesso e identidade da AWS (IAM) usuário. Para obter instruções, consulte Proteja sua conta da AWS.
- Instale o CLI do AWS SAM.
Implantar usando o modelo de aplicativo sem servidor da AWS
Para implantar o aplicativo usando o GitHub repo, execute o seguinte comando no terminal:
Após a implantação da solução, você deverá ter um novo alarme no console do CloudWatch. Este alarme monitora o uso de instâncias de notebook SageMaker para a instância ml.t3.medium.
Se o uso de recursos atingir mais de 50%, o alarme dispara e a função Lambda solicita um aumento.
Se a conta que você possui fizer parte de uma organização da AWS e você tiver o modelo de solicitação de cota ativado, você também deve ver esses aumentos no modelo, se o modelo tiver slots disponíveis. Dessa forma, novas contas dessa organização também têm os aumentos configurados na criação.
Implantar usando o console do CloudWatch
Para implantar o aplicativo usando o console do CloudWatch, conclua as seguintes etapas:
- No console do CloudWatch, escolha Todos os alarmes no painel de navegação.
- Escolha Criar alarme.
- Escolha Selecionar métrica.
- Escolha Uso.
- Selecione a métrica que deseja monitorar.
- Selecione a condição de quando você gostaria que o alarme disparasse.
Para mais configurações possíveis ao configurar o alarme, consulte Crie um alarme do CloudWatch com base em um limite estático.
- Configure o tópico do SNS para ser notificado sobre o alarme.
Você também pode usar o Amazon SNS para acionar uma função do Lambda quando o alarme for acionado. Ver Usando AWS Lambda com Amazon SNS para obter mais informações.
- Escolha Nome do alarme, Insira o nome.
- Escolha Próximo.
- Escolha Criar alarme.
limpar
Para limpar os recursos criados como parte desta postagem, exclua todas as pilhas criadas. Para fazer isso, execute o seguinte comando:
Conclusão
Neste post, mostramos como você pode usar a nova integração do SageMaker com Service Quotas para automatizar as solicitações de aumento de cota para recursos do SageMaker. Dessa forma, as equipes de ciência de dados podem efetivamente trabalhar em paralelo e reduzir problemas relacionados à indisponibilidade de instâncias.
Você pode saber mais sobre as cotas do Amazon SageMaker acessando o documentação. Você também pode aprender mais sobre cotas de serviço SUA PARTICIPAÇÃO FAZ A DIFERENÇA.
Sobre os autores
Bruno Klein é um engenheiro de aprendizado de máquina na equipe AWS ProServe. Ele gosta particularmente de criar automações e melhorar o ciclo de vida dos modelos em produção. Em seu tempo livre, ele gosta de passar o tempo ao ar livre e fazer caminhadas.
Paras Mehra é gerente de produto sênior da AWS. Ele está focado em ajudar a criar o Amazon SageMaker Training and Processing. Em seu tempo livre, Paras gosta de passar o tempo com sua família e andar de bicicleta pela Bay Area. Você pode encontrá-lo em LinkedIn.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/best-practices-for-viewing-and-querying-amazon-sagemaker-service-quota-usage/
- :é
- $UP
- 10
- 100
- 7
- 8
- a
- Sobre
- Acesso
- acessando
- Conta
- Contas
- ações
- Adição
- ajustável
- alarme
- Todos os Produtos
- Permitindo
- Amazon
- Amazon Sage Maker
- e
- Aplicação
- arquitetura
- ÁREA
- por aí
- AS
- At
- automatizar
- automaticamente
- disponível
- AWS
- AWS Lambda
- baseado
- Bay
- BE
- MELHOR
- melhores práticas
- Pós
- construir
- by
- CAN
- CD
- central
- certo
- Escolha
- completar
- condição
- cônsul
- crio
- criado
- Criar
- criação
- Clientes
- dados,
- ciência de dados
- Padrão
- Demanda
- implantar
- implantado
- designado
- efetivamente
- habilitado
- engenheiro
- Entrar
- família
- Funcionalidades
- Encontre
- focado
- seguinte
- Escolha
- Gratuito
- da
- função
- Git
- dado
- vai
- Ter
- ajuda
- ajuda
- Alta
- Como funciona o dobrador de carta de canal
- HTML
- http
- HTTPS
- Identidade
- melhorar
- in
- inclui
- Crescimento
- aumentou
- Aumenta
- aumentando
- INFORMAÇÕES
- instância
- instruções
- integração
- questões
- Unid
- jpg
- APRENDER
- aprendizagem
- Nível
- wifecycwe
- como
- LIMITE
- limites
- Lista
- localização
- máquina
- aprendizado de máquina
- fazer
- gerencia
- de grupos
- Gerente
- manualmente
- máximo
- média
- mensagem
- métrico
- Métrica
- ML
- MLOps
- modelo
- modelos
- Monitore
- monitores
- mais
- múltiplo
- nome
- Navegação
- Perto
- você merece...
- Novo
- Novos Recursos
- Próximo
- caderno
- notificação
- número
- of
- on
- organização
- ao ar livre
- pão
- Paralelo
- parte
- particular
- particularmente
- platão
- Inteligência de Dados Platão
- PlatãoData
- possível
- Publique
- práticas
- anteriormente
- em processamento
- Produto
- gerente de produto
- Produção
- alcançar
- alcançado
- Chega
- em tempo real
- recebido
- reduzir
- região
- relacionado
- solicitar
- pedidos
- recurso
- Recursos
- estrada
- Execute
- sábio
- Sam
- mesmo
- Ciência
- senior
- Serverless
- serviço
- vários
- rede de apoio social
- mostrar
- simples
- caça-níqueis
- solução
- alguns
- específico
- gastar
- Passar
- Pilhas
- começado
- Passos
- Profissionais
- equipes
- modelo
- terminal
- que
- A
- deles
- assim sendo
- limiar
- Através da
- tempo
- para
- tópico
- Trem
- Training
- desencadear
- desencadeado
- verdadeiro
- para
- Uso
- usar
- Utilizador
- usuários
- Ver
- Caminho..
- de
- Atividades:
- seria
- Vocês
- investimentos
- zefirnet