Amazon Sage Maker tem anunciou o suporte de três novos critérios de conclusão para o Amazon SageMaker ajuste automático do modelo, fornecendo a você um conjunto adicional de alavancas para controlar os critérios de parada do trabalho de ajuste ao localizar a melhor configuração de hiperparâmetro para seu modelo.
Neste post, discutimos esses novos critérios de conclusão, quando usá-los e alguns dos benefícios que eles trazem.
SageMaker ajuste automático do modelo
Ajuste automático do modelo, também chamado ajuste de hiperparâmetro, localiza a melhor versão de um modelo medido pela métrica que escolhemos. Ele gera muitos trabalhos de treinamento no conjunto de dados fornecido, usando o algoritmo escolhido e os intervalos de hiperparâmetros especificados. Cada trabalho de treinamento pode ser concluído antecipadamente quando a métrica objetiva não está melhorando significativamente, o que é conhecido como parada antecipada.
Até agora, havia formas limitadas de controlar o trabalho de ajuste geral, como especificar o número máximo de trabalhos de treinamento. No entanto, a seleção desse valor de parâmetro é, na melhor das hipóteses, heurística. Um valor maior aumenta os custos de ajuste e um valor menor pode não render a melhor versão do modelo em todos os momentos.
O ajuste automático de modelo do SageMaker resolve esses desafios, fornecendo vários critérios de conclusão para o trabalho de ajuste. Ele é aplicado no nível de ajuste e não em cada nível de trabalho de treinamento individual, o que significa que ele opera em uma camada de abstração mais alta.
Benefícios de ajustar os critérios de conclusão do trabalho
Com melhor controle sobre quando o trabalho de ajuste será interrompido, você obtém o benefício da economia de custos por não ter o trabalho executado por longos períodos e ser computacionalmente caro. Isso também significa que você pode garantir que o trabalho não pare muito cedo e obtenha um modelo de qualidade suficientemente boa que atenda aos seus objetivos. Você pode optar por interromper o trabalho de ajuste quando os modelos não estiverem mais melhorando após um conjunto de iterações ou quando a melhoria residual estimada não justificar os recursos e o tempo de computação.
Além do número máximo existente de critérios de conclusão do trabalho de treinamento MaxNumberOfTrainingJobs, o ajuste automático do modelo apresenta a opção de interromper o ajuste com base em um tempo máximo de ajuste, monitoramento de melhoria e detecção de convergência.
Vamos explorar cada um desses critérios.
Tempo máximo de sintonia
Anteriormente, você tinha a opção de definir um número máximo de trabalhos de treinamento como uma configuração de limite de recursos para controlar o orçamento de ajuste em termos de recurso de computação. No entanto, isso pode levar a tempos de treinamento desnecessários mais longos ou mais curtos do que o necessário ou desejado.
Com a adição dos critérios de tempo máximo de ajuste, agora você pode alocar seu orçamento de treinamento em termos de quantidade de tempo para executar o trabalho de ajuste e encerrar automaticamente o trabalho após um período de tempo especificado definido em segundos.
Como visto acima, usamos o MaxRuntimeInSeconds
para definir o tempo de sintonia em segundos. Definir o limite de tempo de ajuste ajuda a limitar a duração do trabalho de ajuste e também o custo projetado do experimento.
O custo total antes de qualquer desconto contratual pode ser estimado com a seguinte fórmula:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
O tempo de execução máximo em segundos pode ser usado para limitar o custo e o tempo de execução. Em outras palavras, é um critério de conclusão do controle orçamentário.
Este recurso faz parte de um critério de controle de recursos e não leva em consideração a convergência dos modelos. Como veremos mais adiante neste post, esse critério pode ser usado em combinação com outros critérios de parada para obter controle de custos sem sacrificar a precisão.
Métrica de destino desejada
Outro critério introduzido anteriormente é definir antecipadamente o objetivo-alvo. O critério monitora o desempenho do melhor modelo com base em uma métrica objetiva específica e interrompe o ajuste quando os modelos atingem o limite definido em relação a uma métrica objetiva especificada.
Com o TargetObjectiveMetricValue
critérios, podemos instruir o SageMaker a parar de ajustar o modelo depois que a métrica objetiva do melhor modelo atingir o valor especificado:
Neste exemplo, somos instruídos ao SageMaker a parar de ajustar o modelo quando a métrica objetiva do melhor modelo atingir 0.95.
Esse método é útil quando você tem um destino específico que deseja que seu modelo alcance, como um determinado nível de exatidão, precisão, rechamada, pontuação F1, AUC, perda de log e assim por diante.
Um caso de uso típico para este critério seria para um usuário que já está familiarizado com o desempenho do modelo em determinados limites. Um usuário na fase de exploração pode primeiro ajustar o modelo com um pequeno subconjunto de um conjunto de dados maior para identificar um limite de métrica de avaliação satisfatório para direcionar ao treinar com o conjunto de dados completo.
Monitoramento de melhoria
Esse critério monitora a convergência dos modelos após cada iteração e interrompe o ajuste se os modelos não melhorarem após um número definido de trabalhos de treinamento. Veja a seguinte configuração:
Neste caso, definimos o MaxNumberOfTrainingJobsNotImproving
para 10, o que significa que se a métrica objetiva parar de melhorar após 10 trabalhos de treinamento, o ajuste será interrompido e o melhor modelo e métrica relatados.
O monitoramento de melhoria deve ser usado para ajustar uma compensação entre a qualidade do modelo e a duração geral do fluxo de trabalho de uma forma que seja provavelmente transferível entre diferentes problemas de otimização.
Detecção de convergência
A detecção de convergência é um critério de conclusão que permite que o ajuste automático do modelo decida quando parar o ajuste. Geralmente, o ajuste automático do modelo parará o ajuste quando estimar que nenhuma melhoria significativa pode ser alcançada. Veja a seguinte configuração:
O critério é mais adequado quando você inicialmente não sabe quais configurações de parada selecionar.
Também é útil se você não souber qual métrica de objetivo de destino é razoável para uma boa previsão, considerando o problema e o conjunto de dados em mãos, e preferir concluir o trabalho de ajuste quando não estiver mais melhorando.
Experimente uma comparação de critérios de conclusão
Neste experimento, dada uma tarefa de regressão, executamos 3 experimentos de ajuste para encontrar o modelo ideal dentro de um espaço de busca de 2 hiperparâmetros com 200 configurações de hiperparâmetros no total usando o método conjunto de dados de marketing direto.
Tudo o mais sendo igual, o primeiro modelo foi ajustado com o BestObjectiveNotImproving
critérios de conclusão, o segundo modelo foi ajustado com o CompleteOnConvergence
e o terceiro modelo foi ajustado sem critérios de conclusão definidos.
Ao descrever cada trabalho, podemos observar que definir o BestObjectiveNotImproving
critérios levou ao recurso e tempo mais ideais em relação à métrica objetiva com significativamente menos trabalhos executados.
A CompleteOnConvergence
critérios também foi capaz de parar o ajuste no meio do experimento, resultando em menos trabalhos de treinamento e menor tempo de treinamento em comparação com a não definição de um critério.
Embora não definir um critério de conclusão resultasse em um experimento caro, definir o MaxRuntimeInSeconds
como parte do limite de recursos seria uma forma de minimizar o custo.
Os resultados acima mostram que, ao definir um critério de conclusão, o Amazon SageMaker é capaz de interromper o processo de ajuste de forma inteligente quando detecta que o modelo tem menos probabilidade de melhorar além do resultado atual.
Observe que os critérios de conclusão com suporte no ajuste automático de modelo do SageMaker não são mutuamente exclusivos e podem ser usados simultaneamente ao ajustar um modelo.
Quando mais de um critério de conclusão é definido, a tarefa de ajuste é concluída quando qualquer um dos critérios é atendido.
Por exemplo, uma combinação de critérios de limite de recursos, como tempo máximo de ajuste, com critérios de convergência, como monitoramento de melhoria ou detecção de convergência, pode produzir um controle de custo ideal e uma métrica objetiva ideal.
Conclusão
Nesta postagem, discutimos como agora você pode interromper seu trabalho de ajuste de forma inteligente, selecionando um conjunto de critérios de conclusão recém-introduzidos no SageMaker, como tempo máximo de ajuste, monitoramento de melhoria ou detecção de convergência.
Demonstramos com um experimento que a parada inteligente com base na observação de melhorias ao longo da iteração pode levar a um orçamento e gerenciamento de tempo significativamente otimizados em comparação com a não definição de um critério de conclusão.
Também mostramos que esses critérios não são mutuamente exclusivos e podem ser usados simultaneamente ao ajustar um modelo, para aproveitar o controle orçamentário e a convergência ótima.
Para obter mais detalhes sobre como configurar e executar o ajuste automático do modelo, consulte Especificar as configurações do trabalho de ajuste de hiperparâmetro.
Sobre os autores
Doug Mbaya é um arquiteto de soluções de parceiro sênior com foco em dados e análises. Doug trabalha em estreita colaboração com os parceiros da AWS, ajudando-os a integrar soluções de dados e análises na nuvem.
Chaitra Mathur é um arquiteto de soluções principal na AWS. Ela orienta clientes e parceiros na criação de soluções altamente escaláveis, confiáveis, seguras e econômicas na AWS. Ela é apaixonada por Machine Learning e ajuda os clientes a traduzir suas necessidades de ML em soluções usando os serviços de IA/ML da AWS. Ela possui 5 certificações, incluindo a certificação ML Specialty. Em seu tempo livre, ela gosta de ler, fazer ioga e passar tempo com suas filhas.
Iaroslav Shcherbatyi é um engenheiro de aprendizado de máquina na AWS. Ele trabalha principalmente em melhorias para a plataforma Amazon SageMaker e ajuda os clientes a usar melhor seus recursos. Em seu tempo livre, ele gosta de ir à academia, praticar esportes ao ar livre, como patinação no gelo ou caminhadas, e se atualizar em novas pesquisas de IA.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- Capaz
- Sobre
- acima
- Conta
- precisão
- Alcançar
- alcançado
- em
- Adição
- Adicional
- Vantagem
- Depois de
- AI
- ai pesquisa
- AI / ML
- algoritmo
- Todos os Produtos
- já
- Amazon
- Amazon Sage Maker
- quantidade
- analítica
- e
- aplicado
- Automático
- automaticamente
- AWS
- baseado
- antes
- ser
- beneficiar
- Benefícios
- MELHOR
- Melhor
- entre
- Pós
- Bound
- trazer
- orçamento
- Prédio
- chamado
- casas
- luta
- certo
- FDA
- certificações
- desafios
- Escolha
- escolhido
- de perto
- Na nuvem
- combinação
- comparado
- comparação
- completar
- Efetuado
- Completa
- realização
- Computar
- Configuração
- ao controle
- Convergência
- Custo
- economia de custos
- relação custo-benefício
- custos
- poderia
- critérios
- Atual
- Clientes
- dados,
- definido
- definição
- demonstraram
- desejado
- detalhes
- Detecção
- diferente
- Desconto
- discutir
- discutido
- Não faz
- não
- cada
- Cedo
- habilitado
- engenheiro
- garantir
- estimado
- estimativas
- avaliação
- tudo
- exemplo
- Exclusivo
- existente
- caro
- experimentar
- exploração
- explorar
- familiar
- Característica
- Funcionalidades
- Encontre
- descoberta
- encontra
- Primeiro nome
- Foco
- seguinte
- Fórmula
- cheio
- geralmente
- ter
- dado
- Dando
- Go
- meta
- Bom estado, com sinais de uso
- Guias
- ginásio
- ter
- ajuda
- ajuda
- superior
- altamente
- detém
- Como funciona o dobrador de carta de canal
- Como Negociar
- Contudo
- HTML
- HTTPS
- Otimização de hiperparâmetros
- Ajuste de hiperparâmetros
- ICE
- identificar
- melhorar
- melhoria
- melhorias
- melhorar
- in
- Em outra
- Incluindo
- Aumenta
- Individual
- inicialmente
- integrar
- Inteligente
- introduzido
- Introduz
- IT
- iteração
- iterações
- Trabalho
- Empregos
- Saber
- conhecido
- Maior
- camada
- conduzir
- aprendizagem
- levou
- Permite
- Nível
- Provável
- LIMITE
- Limitado
- mais
- máquina
- aprendizado de máquina
- de grupos
- muitos
- Marketing
- max
- Maximizar
- máximo
- significa
- atende
- método
- métrico
- Métrica
- minimizando
- ML
- modelo
- modelos
- monitoração
- monitores
- mais
- a maioria
- múltiplo
- mutuamente
- Cria
- Novo
- número
- objetivo
- objetivos
- observar
- ONE
- opera
- ideal
- otimização
- otimizado
- Opção
- Outros
- global
- parâmetro
- parte
- parceiro
- Parceiros
- apaixonado
- atuação
- períodos
- fase
- plataforma
- platão
- Inteligência de Dados Platão
- PlatãoData
- Publique
- Precisão
- predição
- anteriormente
- Diretor
- Problema
- problemas
- processo
- produzir
- projetado
- fornecido
- fornecendo
- qualidade
- alcançar
- alcançado
- Leitura
- razoável
- relação
- confiável
- Informou
- pesquisa
- recurso
- Recursos
- resultar
- resultando
- Resultados
- Execute
- sacrificando
- sábio
- Ajuste automático de modelos do SageMaker
- Poupança
- escalável
- Pesquisar
- Segundo
- segundo
- seguro
- selecionando
- doadores,
- senior
- Serviços
- conjunto
- contexto
- Configurações
- rede de apoio social
- mostrar
- periodo
- de forma considerável
- pequeno
- menor
- So
- solução
- Soluções
- Resolve
- alguns
- Espaço
- Especialidade
- específico
- especificada
- Passar
- spins
- Esportes
- Dê um basta
- parou
- paragem
- Pára
- tal
- ajuda
- Suportado
- suportes
- Tire
- Target
- Tarefa
- condições
- A
- deles
- Terceiro
- três
- limiar
- Através da
- tempo
- vezes
- para
- também
- Total
- Training
- traduzir
- típico
- usar
- caso de uso
- Utilizador
- validação
- valor
- versão
- maneiras
- O Quê
- qual
- QUEM
- precisarão
- dentro
- sem
- palavras
- trabalho
- seria
- Produção
- Ioga
- Vocês
- investimentos
- zefirnet