O ajuste automático de modelo do Amazon SageMaker agora oferece suporte à pesquisa em grade

Agora Amazon Sage Maker anunciou o suporte do Grid search para ajuste automático do modelo, fornecendo aos usuários uma estratégia adicional para encontrar a melhor configuração de hiperparâmetros para seu modelo.

O ajuste automático de modelo do Amazon SageMaker encontra a melhor versão de um modelo executando muitos trabalhos de treinamento em seu conjunto de dados usando um alcance de hiperparâmetros que você especifica. Em seguida, ele escolhe os valores dos hiperparâmetros que resultam em um modelo com melhor desempenho, conforme medido por um métrico da sua escolha.

Para encontrar os melhores valores de hiperparâmetros para seu modelo, o ajuste automático de modelo do Amazon SageMaker oferece suporte a diversas estratégias, incluindo Bayesiano (Padrão) Aleatória pesquisar e Hiperbanda.

Pesquisa de grade

A pesquisa de grade explora exaustivamente as configurações na grade de hiperparâmetros que você define, o que permite obter insights sobre as configurações de hiperparâmetros mais promissoras em sua grade e reproduzir deterministicamente seus resultados em diferentes execuções de ajuste. A pesquisa em grade oferece mais confiança de que todo o espaço de pesquisa de hiperparâmetros foi explorado. Esse benefício tem uma compensação porque é computacionalmente mais caro do que a pesquisa bayesiana e aleatória se seu objetivo principal for encontrar a melhor configuração de hiperparâmetro.

Pesquisa em grade com Amazon SageMaker

No Amazon SageMaker, você usa a pesquisa em grade quando o problema exige que você tenha a combinação ideal de hiperparâmetros que maximize ou minimize sua métrica objetiva. Um caso de uso comum em que o cliente usa o Grid Search é quando a precisão e a reprodutibilidade do modelo são mais importantes para o seu negócio do que o custo de treinamento necessário para obtê-lo.

Para ativar o Grid Search no Amazon SageMaker, defina o Strategy campo para Grid ao criar uma tarefa de ajuste, da seguinte maneira:

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

Além disso, a pesquisa em grade exige que você defina seu espaço de pesquisa (grade cartesiana) como um intervalo categórico de valores discretos em sua definição de trabalho usando o método CategoricalParameterRanges chave sob o ParameterRanges parâmetro, como segue:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

Observe que não especificamos MaxNumberOfTrainingJobs para pesquisa de grade na definição de trabalho porque isso é determinado a partir do número de combinações de categorias. Ao usar a pesquisa aleatória e bayesiana, você especifica o MaxNumberOfTrainingJobs parâmetro como uma forma de controlar o custo do trabalho de ajuste, definindo um limite superior para computação. Com a pesquisa em grade, o valor de MaxNumberOfTrainingJobs (agora opcional) é automaticamente definido como o número de candidatos para a pesquisa em grade no DescreverHyperParameterTuningJob forma. Isso permite que você explore exaustivamente a grade desejada de hiperparâmetros. Além disso, a definição do trabalho de pesquisa em grade aceita apenas intervalos categóricos discretos e não requer uma definição de intervalos contínuos ou inteiros porque cada valor na grade é considerado discreto.

Experimento de pesquisa em grade

Neste experimento, dada uma tarefa de regressão, buscamos os hiperparâmetros ideais dentro de um espaço de busca de 200 hiperparâmetros, 20 eta e 10 alpha variando de 0.1 a 1. Usamos o conjunto de dados de marketing direto para ajustar um modelo de regressão.

• eta: redução do tamanho da etapa usada em atualizações para evitar ajuste excessivo. Após cada etapa de reforço, você pode obter diretamente os pesos dos novos recursos. O eta na verdade, reduz os pesos dos recursos para tornar o processo de reforço mais conservador.
• alfa: Termo de regularização L1 em ​​pesos. Aumentar esse valor torna os modelos mais conservadores.

O gráfico à esquerda mostra uma análise do eta hiperparâmetro em relação à métrica objetivo e demonstra como a busca em grade esgotou todo o espaço de busca (grade) nos eixos X antes de retornar o melhor modelo. Da mesma forma, o gráfico à direita analisa os dois hiperparâmetros em um único espaço cartesiano para demonstrar que todos os pontos da grade foram escolhidos durante o ajuste.

O experimento acima demonstra que a natureza exaustiva da busca em Grid garante uma seleção ideal de hiperparâmetros dado o espaço de busca definido. Ele também demonstra que você pode reproduzir o resultado da pesquisa em iterações de ajuste, sendo todos os outros fatores iguais.

Fluxos de trabalho de ajuste automático de modelo (AMT) do Amazon SageMaker

Com o ajuste automático de modelo do Amazon SageMaker, você pode encontrar a melhor versão do seu modelo executando trabalhos de treinamento em seu conjunto de dados com diversas estratégias de pesquisa, como bayesiana, pesquisa aleatória, pesquisa em grade e hiperbanda. O ajuste automático do modelo permite reduzir o tempo de ajuste de um modelo pesquisando automaticamente a melhor configuração de hiperparâmetros dentro dos intervalos de hiperparâmetros especificados.

Agora que analisamos a vantagem de usar a pesquisa em grade no Amazon SageMaker AMT, vamos dar uma olhada nos fluxos de trabalho do AMT e entender como tudo se encaixa no SageMaker.

Conclusão

Nesta postagem, discutimos como agora você pode usar a estratégia de pesquisa Grid para encontrar o melhor modelo e sua capacidade de reproduzir resultados de forma determinística em diferentes trabalhos de ajuste. Discutimos a compensação ao usar a pesquisa em grade em comparação com outras estratégias e como ela permite explorar quais regiões dos espaços de hiperparâmetros são mais promissoras e reproduzir seus resultados de forma determinística.

Para saber mais sobre o ajuste automático de modelo, visite o página do produto FlexSim e documentação técnica.

Sobre o autor

Doug Mbaya é um arquiteto de soluções de parceiro sênior com foco em dados e análises. Doug trabalha em estreita colaboração com os parceiros da AWS, ajudando-os a integrar soluções de dados e análises na nuvem.