Crie e avalie modelos de aprendizado de máquina com configurações avançadas usando o placar de modelo do SageMaker Canvas | Amazon Web Services

Tela do Amazon SageMaker é um espaço de trabalho sem código que permite que analistas e cientistas de dados cidadãos gerem previsões precisas de aprendizado de máquina (ML) para suas necessidades de negócios. A partir de hoje, o SageMaker Canvas oferece suporte a configurações avançadas de construção de modelo, como seleção de um método de treinamento (otimização de conjunto ou hiperparâmetro) e algoritmos, personalização da proporção de divisão de dados de treinamento e validação e definição de limites para iterações de autoML e tempo de execução de trabalho, permitindo assim que os usuários personalizem configurações de construção de modelo sem ter que escrever uma única linha de código. Essa flexibilidade pode fornecer um desenvolvimento de modelo mais robusto e criterioso. As partes interessadas não técnicas podem usar os recursos sem código com configurações padrão, enquanto os cientistas de dados cidadãos podem experimentar vários algoritmos e técnicas de ML, ajudando-os a entender quais métodos funcionam melhor para seus dados e otimizar para garantir a qualidade e o desempenho do modelo.

Além das configurações de construção de modelos, o SageMaker Canvas agora também fornece um placar de modelos. Um placar permite comparar as principais métricas de desempenho (por exemplo, exatidão, precisão, recall e pontuação F1) para configurações de diferentes modelos para identificar o melhor modelo para seus dados, melhorando assim a transparência na construção do modelo e ajudando você a tomar decisões informadas sobre escolhas de modelos. Você também pode visualizar todo o fluxo de trabalho de construção de modelo, incluindo etapas de pré-processamento sugeridas, algoritmos e intervalos de hiperparâmetros em um notebook. Para acessar essas funcionalidades, saia e faça login novamente no SageMaker Canvas e escolha Configurar modelo ao construir modelos.

Nesta postagem, orientamos você no processo de uso das novas configurações de construção de modelo avançado do SageMaker Canvas para iniciar um treinamento de conjunto e otimização de hiperparâmetros (HPO).

Visão geral da solução

Nesta seção, mostramos instruções passo a passo para as novas configurações avançadas de construção de modelo do SageMaker Canvas para iniciar um treinamento de conjunto e otimização de hiperparâmetros (HPO) para analisar nosso conjunto de dados, construir modelos de ML de alta qualidade e ver a tabela de classificação do modelo para decidir qual modelo publicar para inferência. O SageMaker Canvas pode selecionar automaticamente o método de treinamento com base no tamanho do conjunto de dados ou você pode selecioná-lo manualmente. As opções são:

• Junto: Usa o AutoGlúon biblioteca para treinar vários modelos básicos. Para encontrar a melhor combinação para o seu conjunto de dados, o modo conjunto executa 10 testes com diferentes configurações de modelo e metaparâmetros. Em seguida, combina esses modelos usando um método de conjunto de empilhamento para criar um modelo preditivo ideal. No modo conjunto, o SageMaker Canvas oferece suporte aos seguintes tipos de algoritmos de aprendizado de máquina:
  • GBM leve: Uma estrutura otimizada que usa algoritmos baseados em árvore com aumento de gradiente. Este algoritmo usa árvores que crescem em largura em vez de profundidade e é altamente otimizado para velocidade.
  • CatBoost: Uma estrutura que usa algoritmos baseados em árvore com aumento de gradiente. Otimizado para lidar com variáveis ​​​​categóricas.
  • XGBoost: Uma estrutura que usa algoritmos baseados em árvore com aumento de gradiente que cresce em profundidade em vez de largura.
  • Floresta aleatória: Um algoritmo baseado em árvore que usa várias árvores de decisão em subamostras aleatórias de dados com reposição. As árvores são divididas em nós ideais em cada nível. As decisões de cada árvore são calculadas em média para evitar overfitting e melhorar as previsões.
  • Árvores extras: Um algoritmo baseado em árvore que utiliza diversas árvores de decisão em todo o conjunto de dados. As árvores são divididas aleatoriamente em cada nível. As decisões de cada árvore são médias para evitar overfitting e melhorar as previsões. Árvores extras adicionam um grau de randomização em comparação ao algoritmo de floresta aleatória.
  • Modelos lineares: Uma estrutura que usa uma equação linear para modelar a relação entre duas variáveis ​​em dados observados.
  • Tocha de rede neural: Um modelo de rede neural implementado usando Pytorch.
  • Rede neural rápida.ai: Um modelo de rede neural implementado usando fast.ai.
• Otimização de hiperparâmetros (HPO): O SageMaker Canvas encontra a melhor versão de um modelo ajustando hiperparâmetros usando otimização bayesiana ou otimização multifidelidade enquanto executa trabalhos de treinamento em seu conjunto de dados. O modo HPO seleciona os algoritmos mais relevantes para o seu conjunto de dados e seleciona a melhor gama de hiperparâmetros para ajustar seus modelos. Para ajustar seus modelos, o modo HPO executa até 100 tentativas (padrão) para encontrar as configurações ideais de hiperparâmetros dentro do intervalo selecionado. Se o tamanho do seu conjunto de dados for inferior a 100 MB, o SageMaker Canvas usará a otimização bayesiana. O SageMaker Canvas escolhe a otimização multifidelidade se o seu conjunto de dados for maior que 100 MB. Na otimização multifidelidade, as métricas são emitidas continuamente dos contêineres de treinamento. Um teste com desempenho insatisfatório em relação a uma métrica objetiva selecionada é interrompido antecipadamente. Um teste com bom desempenho recebe mais recursos. No modo HPO, o SageMaker Canvas oferece suporte aos seguintes tipos de algoritmos de aprendizado de máquina:
• Aprendiz linear: Um algoritmo de aprendizagem supervisionada que pode resolver problemas de classificação ou regressão.
• XGBoost: Um algoritmo de aprendizado supervisionado que tenta prever com precisão uma variável alvo combinando um conjunto de estimativas de um conjunto de modelos mais simples e mais fracos.
• Algoritmo de aprendizagem profunda: Um perceptron multicamadas (MLP) e uma rede neural artificial feedforward. Este algoritmo pode lidar com dados que não são linearmente separáveis.
• Automóvel: O SageMaker Canvas escolhe automaticamente o modo conjunto ou o modo HPO com base no tamanho do conjunto de dados. Se o seu conjunto de dados for maior que 100 MB, o SageMaker Canvas escolherá HPO. Caso contrário, escolhe o modo conjunto.

Pré-requisitos

Para esta postagem, você deve preencher os seguintes pré-requisitos:

1. Já possui uma Conta da AWS.
2. Configure o SageMaker Canvas. Ver Pré-requisitos para configurar o Amazon SageMaker Canvas.
3. Baixe o clássico Conjunto de dados do Titanic para o seu computador local.

Crie um modelo

Orientamos você usando o conjunto de dados do Titanic e o SageMaker Canvas para criar um modelo que prevê quais passageiros sobreviveram ao naufrágio do Titanic. Este é um problema de classificação binária. Nós nos concentramos na criação de um experimento Canvas usando o modo de treinamento conjunto e comparamos os resultados da pontuação F1 e do tempo de execução geral com um experimento SageMaker Canvas usando o modo de treinamento HPO (100 testes).

Nome da coluna	Descrição
ID do passageiro	Número de identificação
Sobreviveu	Sobrevivência
Classe P	Classe de ingresso
Nome	Nome do passageiro
Sexo	Sexo
Idade	Idade em anos
sibsp	Número de irmãos ou cônjuges a bordo do Titanic
Correção	Número de pais ou filhos a bordo do Titanic
Bilhete	Número do bilhete
Tarifa	Feira de passageiros
Cabine	Número da cabine
Marcado	Porto de embarcação

A Conjunto de dados do Titanic tem 890 linhas e 12 colunas. Ele contém informações demográficas sobre os passageiros (idade, sexo, classe da passagem e assim por diante) e a coluna de destino Sobreviventes (sim/não).

1. Comece importando o conjunto de dados para o SageMaker Canvas. Nomeie o conjunto de dados Titânico.
   
2. Selecione o conjunto de dados do Titanic e escolha Criar novo modelo. Insira um nome para o modelo, selecione Análise Preditiva como o tipo de problema e escolha Crie.
   
3. Debaixo Selecione uma coluna para prever, Utilize o Coluna de destino menu suspenso para selecionar Sobreviveu. A coluna de destino Sobreviveu é um tipo de dados binário com valores de 0 (não sobreviveu) e 1 (sobreviveu).

Configurar e executar o modelo

No primeiro experimento, você configura o SageMaker Canvas para executar um treinamento conjunto no conjunto de dados com precisão como sua métrica objetiva. Uma pontuação de precisão mais alta indica que o modelo está fazendo previsões mais corretas, enquanto uma pontuação de precisão mais baixa sugere que o modelo está cometendo mais erros. A precisão funciona bem para conjuntos de dados balanceados. Para treinamento de conjunto, selecione XGBoost, Random Forest, CatBoost e Linear Models como seus algoritmos. Deixe a divisão de dados no padrão 80/20 para treinamento e validação. E, por fim, configure o trabalho de treinamento para ser executado por um tempo de execução máximo de 1 hora.

1. Comece escolhendo Configurar modelo.
   
2. Isso abre uma janela modal para Configurar modelo. Selecionar Avançado no painel de navegação.
   
3. Comece a configurar seu modelo selecionando Métrica objetiva. Para este experimento, selecione Precisão. A pontuação de precisão informa com que frequência as previsões do modelo estão corretas em geral.
   
4. Selecionar Método de treinamento e algoritmos e selecione Telefone Ensemble. Os métodos de conjunto no aprendizado de máquina envolvem a criação de vários modelos e sua combinação para produzir melhores resultados. Esta técnica é usada para aumentar a precisão da previsão, aproveitando os pontos fortes de diferentes algoritmos. Sabe-se que os métodos de conjunto produzem soluções mais precisas do que um único modelo, conforme demonstrado em várias competições de aprendizado de máquina e aplicações do mundo real.
   
5. Selecione os vários algoritmos a serem usados ​​para o conjunto. Para este experimento, selecione XGBoostName, Linear, Cat Boost e Floresta Aleatória. Limpe todos os outros algoritmos.
   
6. Selecionar Divisão de dados no painel de navegação. Para este experimento, deixe a divisão padrão de treinamento e validação como 80/20. A próxima iteração do experimento usa uma divisão diferente para ver se resulta em melhor desempenho do modelo.
   
7. Selecionar Máximo de candidatos e tempo de execução no painel de navegação e defina o Tempo máximo de execução do trabalho a 1 hora e escolha Salvar.
   
8. Escolha Versão padrão para iniciar a construção.
   

Neste ponto, o SageMaker Canvas está invocando o treinamento do modelo com base na configuração que você forneceu. Como você especificou um tempo de execução máximo de 1 hora para o trabalho de treinamento, o SageMaker Canvas levará até uma hora para executar o trabalho de treinamento.

Reveja os resultados

Após a conclusão do trabalho de treinamento, o SageMaker Canvas traz você automaticamente de volta à visualização Analisar e mostra os resultados das métricas objetivas que você configurou para o experimento de treinamento do modelo. Nesse caso, você vê que a precisão do modelo é de 86.034%.

1. Escolha o botão de seta para recolher ao lado de Tabela de classificação do modelo para revisar os dados de desempenho do modelo.
   
2. Selecione os Marcar para se aprofundar nos insights de precisão do modelo. O modelo treinado relata que pode prever corretamente os passageiros que não sobreviveram em 89.72% das vezes.
   
3. Selecione os Métricas avançadas para avaliar detalhes adicionais de desempenho do modelo. Comece selecionando Tabela de métricas para revisar detalhes de métricas, como F1, Precisão, Recordar e AUC.
   
4. O SageMaker Canvas também ajuda a visualizar o Matriz de confusão para o modelo treinado.
   
5. E visualiza o Curva de recall de precisão. Um AUPRC de 0.86 sinaliza alta precisão de classificação, o que é bom.
   
6. Escolha Tabela de classificação do modelo para comparar as principais métricas de desempenho (como exatidão, precisão, recall e pontuação F1) para diferentes modelos avaliados pelo SageMaker Canvas para determinar o melhor modelo para os dados, com base na configuração definida para este experimento. O modelo padrão com melhor desempenho é destacado com o modelo padrão rótulo na tabela de classificação do modelo.
   
7. Você pode usar o menu de contexto ao lado para se aprofundar nos detalhes de qualquer um dos modelos ou para tornar um modelo o modelo padrão. Selecione Ver detalhes do modelo no segundo modelo na tabela de classificação para ver os detalhes.
   
8. O SageMaker Canvas altera a visualização para mostrar detalhes do modelo candidato selecionado. Embora os detalhes do modelo padrão já estejam disponíveis, a visualização de detalhes do modelo alternativo leva de 10 a 15 minutos para pintar os detalhes.
   

Crie um segundo modelo

Agora que você construiu, executou e revisou um modelo, vamos construir um segundo modelo para comparação.

1. Retorne à visualização padrão do modelo escolhendo X no canto superior. Agora, escolha Adicionar versão para criar uma nova versão do modelo.
   
2. Selecione o conjunto de dados do Titanic que você criou inicialmente e escolha Selecione o conjunto de dados.
   

O SageMaker Canvas carrega automaticamente o modelo com a coluna de destino já selecionada. Neste segundo experimento, você muda para o treinamento HPO para ver se ele produz melhores resultados para o conjunto de dados. Para este modelo, você mantém as mesmas métricas objetivas (Precisão) para comparação com o primeiro experimento e utiliza o algoritmo XGBoost para treinamento HPO. Você altera a divisão de dados para treinamento e validação para 70/30 e configura o máximo de candidatos e valores de tempo de execução para o trabalho HPO para 20 candidatos e o tempo máximo de execução do trabalho como 1 hora.

Configurar e executar o modelo

1. Comece o segundo experimento escolhendo Configurar modelo para configurar os detalhes de treinamento do seu modelo.
   
2. No Configurar modelo janela, selecione Métrica objetiva no painel de navegação. Para o Métrica objetiva, use o menu suspenso para selecionar Precisão, isso permite ver e comparar todas as saídas de versão lado a lado.
   
3. Selecionar Método de treinamento e algoritmos. Selecionar Otimização de hiperparâmetros para o método de treinamento. Em seguida, role para baixo para selecionar os algoritmos.
   
4. Selecionar XGBoostName para o algoritmo. O XGBoost fornece aumento de árvore paralela que resolve muitos problemas de ciência de dados com rapidez e precisão e oferece uma grande variedade de hiperparâmetros que podem ser ajustados para melhorar e aproveitar ao máximo o modelo XGBoost.
   
5. Selecionar Divisão de dados. Para este modelo, defina a divisão de dados de treinamento e validação como 70/30.
   
6. Selecionar Máximo de candidatos e tempo de execução e defina os valores do trabalho HPO como 20 para o Máximo de candidatos e 1 hora para o Tempo máximo de execução do trabalho. Escolher Salvar para terminar de configurar o segundo modelo.
   
7. Agora que você configurou o segundo modelo, escolha Versão padrão para iniciar o treinamento.
   

O SageMaker Canvas usa a configuração para iniciar o trabalho HPO. Assim como o primeiro trabalho, este trabalho de treinamento levará até uma hora para ser concluído.

Reveja os resultados

Quando o trabalho de treinamento HPO for concluído (ou o tempo de execução máximo expirar), o SageMaker Canvas exibirá a saída do trabalho de treinamento com base no modelo padrão e mostrando a pontuação de precisão do modelo.

1. Escolha Tabela de classificação do modelo para ver a lista de todos os 20 modelos candidatos da execução de treinamento HPO. O melhor modelo, baseado no objetivo de encontrar a melhor precisão, é marcado como padrão.
   

Embora a precisão do omissão modelo for o melhor, outro modelo da execução do trabalho HPO terá uma pontuação de área sob a curva ROC (AUC) mais alta. A pontuação AUC é usada para avaliar o desempenho de um modelo de classificação binária. Uma AUC mais alta indica que o modelo é melhor na distinção entre as duas classes, sendo 1 uma pontuação perfeita e 0.5 indicando uma estimativa aleatória.

2. Use o menu de contexto para tornar o modelo com a AUC mais alta o modelo padrão. Selecione o menu de contexto para esse modelo e selecione Mudar para o modelo padrão opção no menu de linha conforme mostrado na Figura 31 a seguir.
   

O SageMaker Canvas leva alguns minutos para alterar o modelo selecionado para o novo modelo padrão da versão 2 do experimento e movê-lo para o topo da lista de modelos.

Compare os modelos

Neste ponto, você tem duas versões do seu modelo e pode visualizá-las lado a lado acessando Meus modelos no SageMaker Canvas.

1. Selecionar Preveja a sobrevivência no Titanic para ver as versões dos modelos disponíveis.
   
2. Existem duas versões e seu desempenho é exibido em formato tabular para comparação lado a lado.
   
3. Você pode ver que a versão 1 do modelo (que foi treinada usando algoritmos de conjunto) tem melhor precisão. Agora você pode usar o SageMaker Canvas para gerar um bloco de notas do SageMaker — com código, comentários e instruções — para personalizar o AutoGlúon testes e execute o fluxo de trabalho do SageMaker Canvas sem escrever uma única linha de código. Você pode gerar o notebook SageMaker escolhendo o menu de contexto e selecionando Ver bloco de notas.
   
4. O bloco de notas do SageMaker aparece em uma janela pop-up. O notebook ajuda a inspecionar e modificar os parâmetros propostos pelo SageMaker Canvas. Você pode selecionar interativamente uma das configurações propostas pelo SageMaker Canvas, modificá-la e executar um trabalho de processamento para treinar modelos com base na configuração selecionada no ambiente do SageMaker Studio.
   

Inferência

Agora que você identificou o melhor modelo, você pode usar o menu de contexto para implantá-lo em um endpoint para inferência em tempo real.

Ou use o menu de contexto para operacionalizar seu modelo de ML em produção, registrando o modelo de aprendizado de máquina (ML) no registro do modelo SageMaker.

Limpar

Para evitar cobranças futuras, exclua os recursos que você criou ao seguir esta postagem. O SageMaker Canvas cobra pela duração da sessão e recomendamos sair do SageMaker Canvas quando não estiver usando-o.

See Sair do Amazon SageMaker Canvas para mais detalhes.

Conclusão

O SageMaker Canvas é uma ferramenta poderosa que democratiza o aprendizado de máquina, atendendo tanto às partes interessadas não técnicas quanto aos cientistas de dados cidadãos. Os recursos recém-introduzidos, incluindo configurações avançadas de construção de modelos e a tabela de classificação de modelos, elevam a flexibilidade e a transparência da plataforma. Isso permite que você adapte seus modelos de aprendizado de máquina às necessidades específicas do negócio sem se aprofundar no código. A capacidade de personalizar métodos de treinamento, algoritmos, divisões de dados e outros parâmetros permite que você experimente várias técnicas de ML, promovendo uma compreensão mais profunda do desempenho do modelo.

A introdução do placar do modelo é um aprimoramento significativo, fornecendo uma visão geral clara das principais métricas de desempenho para diferentes configurações. Essa transparência permite que os usuários tomem decisões informadas sobre escolhas e otimizações de modelos. Ao exibir todo o fluxo de trabalho de construção de modelo, incluindo etapas de pré-processamento sugeridas, algoritmos e intervalos de hiperparâmetros em um notebook, o SageMaker Canvas facilita uma compreensão abrangente do processo de desenvolvimento de modelo.

Para iniciar sua jornada de ML com pouco código/sem código, consulte Tela Amazon SageMaker.

Agradecimentos especiais a todos que contribuíram para o lançamento:

Esha Dutta, Ed Cheung, Max Kondrashov, Allan Johnson, Ridhim Rastogi, Ranga Reddy Pallelra, Ruochen Wen, Ruinong Tian, ​​Sandipan Manna, Renu Rozera, Vikash Garg, Ramesh Sekaran e Gunjan Garg

---

Sobre os autores

Janisha Anand é gerente de produto sênior da equipe SageMaker Low/No Code ML, que inclui o SageMaker Canvas e o SageMaker Autopilot. Ela gosta de café, de se manter ativa e de passar tempo com a família.

Indy Sawhney é líder sênior de soluções para clientes da Amazon Web Services. Sempre trabalhando de trás para frente a partir dos problemas dos clientes, Indy aconselha executivos de clientes corporativos da AWS em sua jornada exclusiva de transformação na nuvem. Ele tem mais de 25 anos de experiência ajudando organizações empresariais a adotar tecnologias e soluções de negócios emergentes. Indy é especialista de área da AWS Technical Field Community para inteligência artificial e aprendizado de máquina (AI/ML), com especialização em IA generativa e soluções SageMaker de baixo código/sem código (LCNC).

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/build-and-evaluate-machine-learning-models-with-advanced-configurations-using-the-sagemaker-canvas-model-leaderboard/