Aumentando a produtividade do desenvolvedor: como a Deloitte usa o Amazon SageMaker Canvas para aprendizado de máquina sem código/low-code | Amazon Web Services

A capacidade de criar e implantar rapidamente modelos de aprendizado de máquina (ML) está se tornando cada vez mais importante no mundo atual, orientado por dados. No entanto, construir modelos de ML requer muito tempo, esforço e conhecimento especializado. Desde a coleta e limpeza de dados até a engenharia de recursos, construção de modelos, ajuste e implantação, os projetos de ML geralmente levam meses para serem concluídos pelos desenvolvedores. E pode ser difícil encontrar cientistas de dados experientes.

É aqui que o conjunto AWS de serviços de ML com e sem código se torna uma ferramenta essencial. Com apenas alguns cliques usando Tela do Amazon SageMaker, você pode aproveitar o poder do ML sem precisar escrever nenhum código.

Como integradora de sistemas estratégicos com profunda experiência em ML, a Deloitte utiliza as ferramentas de ML sem e com baixo código da AWS para construir e implantar com eficiência modelos de ML para clientes da Deloitte e para ativos internos. Essas ferramentas permitem que a Deloitte desenvolva soluções de ML sem a necessidade de codificar modelos e pipelines manualmente. Isso pode ajudar a acelerar os prazos de entrega do projeto e permitir que a Deloitte assuma mais trabalho com os clientes.

A seguir estão alguns motivos específicos pelos quais a Deloitte usa essas ferramentas:

• Acessibilidade para não programadores – Ferramentas sem código abrem a construção de modelos de ML para não programadores. Membros da equipe com apenas conhecimento de domínio e pouquíssimas habilidades de codificação podem desenvolver modelos de ML.
• Adoção rápida de novas tecnologias – Disponibilidade e melhoria constante em modelos prontos para uso e AutoML ajudam a garantir que os usuários usem constantemente tecnologia de ponta.
• Desenvolvimento econômico – As ferramentas sem código ajudam a reduzir o custo e o tempo necessários para o desenvolvimento do modelo de ML, tornando-o mais acessível aos clientes, o que pode ajudá-los a obter um maior retorno do investimento.

Além disso, essas ferramentas fornecem uma solução abrangente para fluxos de trabalho mais rápidos, permitindo o seguinte:

• Preparação de dados mais rápida – O SageMaker Canvas possui mais de 300 transformações integradas e a capacidade de usar linguagem natural que pode acelerar a preparação de dados e prepará-los para a construção de modelos.
• Construção de modelo mais rápida – SageMaker Canvas oferece modelos prontos para uso ou Amazon AutoML tecnologia que permite criar modelos personalizados em dados corporativos com apenas alguns cliques. Isso ajuda a acelerar o processo em comparação com modelos de codificação desde o início.
• Implantação mais fácil – O SageMaker Canvas oferece a capacidade de implantar modelos prontos para produção em um Amazon Sagmaker endpoint em alguns cliques e ao mesmo tempo registrá-lo em Registro de modelos do Amazon SageMaker.

Vishveshwara Vasa, CTO de nuvem da Deloitte, diz:

“Por meio dos serviços de ML sem código da AWS, como o SageMaker Canvas e o SageMaker Data Wrangler, nós da Deloitte Consulting desbloqueamos novas eficiências, aumentando a velocidade de desenvolvimento e a produtividade de implantação em 30 a 40% em nossos projetos internos e voltados para o cliente.”

Nesta postagem, demonstramos o poder de construir um modelo de ML ponta a ponta sem código usando o SageMaker Canvas, mostrando como construir um modelo de classificação para prever se um cliente deixará de pagar um empréstimo. Ao prever a inadimplência de empréstimos com mais precisão, o modelo pode ajudar uma empresa de serviços financeiros a gerenciar riscos, precificar os empréstimos de maneira adequada, melhorar as operações, fornecer serviços adicionais e obter uma vantagem competitiva. Demonstramos como o SageMaker Canvas pode ajudá-lo a passar rapidamente de dados brutos para um modelo de classificação binária implantado para previsão de inadimplência de empréstimos.

O SageMaker Canvas oferece recursos abrangentes de preparação de dados com tecnologia Gerenciador de dados do Amazon SageMaker na área de trabalho do SageMaker Canvas. Isso permite que você passe por todas as fases de um fluxo de trabalho de ML padrão, desde a preparação de dados até a construção e implantação de modelos, em uma única plataforma.

A preparação de dados normalmente é a fase mais demorada do fluxo de trabalho de ML. Para reduzir o tempo gasto na preparação de dados, o SageMaker Canvas permite preparar seus dados usando mais de 300 transformações integradas. Alternativamente, você pode escrever instruções em linguagem natural, como “eliminar as linhas da coluna c que são discrepantes” e receber o snippet de código necessário para esta etapa de preparação de dados. Você pode então adicionar isso ao seu fluxo de trabalho de preparação de dados com apenas alguns cliques. Mostramos como usar isso neste post também.

Visão geral da solução

O diagrama a seguir descreve a arquitetura de um modelo de classificação de inadimplência de empréstimo usando ferramentas SageMaker de baixo código e sem código.

Começando com um conjunto de dados que contém detalhes sobre dados de inadimplência de empréstimos em Serviço de armazenamento simples da Amazon (Amazon S3), usamos o SageMaker Canvas para obter insights sobre os dados. Em seguida, realizamos engenharia de recursos para aplicar transformações, como codificação de recursos categóricos, eliminação de recursos desnecessários e muito mais. Em seguida, armazenamos os dados limpos no Amazon S3. Usamos o conjunto de dados limpo para criar um modelo de classificação para prever inadimplência de empréstimos. Então temos um modelo pronto para produção para inferência.

Pré-requisitos

Certifique-se de que o seguinte pré-requisitos estão completos e que você ativou o Modelos de tela prontos para uso opção ao configurar o domínio SageMaker. Se você já configurou seu domínio, edite as configurações do seu domínio e vai para Configurações de tela para habilitar o Ativar modelos prontos para uso do Canvas opção. Além disso, configure e crie o aplicativo SageMaker Canvas, solicite e ative Acesso ao modelo Antrópico Claude on Rocha Amazônica.

Conjunto de dados

Usamos um conjunto de dados público de cagar que contém informações sobre empréstimos financeiros. Cada linha do conjunto de dados representa um único empréstimo e as colunas fornecem detalhes sobre cada transação. Baixe este conjunto de dados e armazene-o em um bucket S3 de sua escolha. A tabela a seguir lista os campos no conjunto de dados.

Nome da coluna	Tipo de dados	Descrição
Person_age	Número inteiro	Idade da pessoa que fez o empréstimo
Person_income	Número inteiro	Renda do mutuário
Person_home_ownership	Tanga	Status de propriedade de casa própria (própria ou alugada)
Person_emp_length	Decimal	Número de anos em que estão empregados
Loan_intent	Tanga	Motivo do empréstimo (pessoal, médico, educacional e assim por diante)
Loan_grade	Tanga	Grau de empréstimo (A – E)
Loan_int_rate	Decimal	Taxa de juro
Loan_amnt	Número inteiro	Valor total do empréstimo
Loan_status	Número inteiro	Alvo (seja inadimplente ou não)
Loan_percent_income	Decimal	Valor do empréstimo em comparação com o percentual da receita
Cb_person_default_on_file	Número inteiro	Padrões anteriores (se houver)
Cb_person_credit_history_length	Tanga	Comprimento do seu histórico de crédito

Simplifique a preparação de dados com SageMaker Canvas

A preparação de dados pode consumir até 80% do esforço em projetos de ML. A preparação adequada dos dados leva a um melhor desempenho do modelo e previsões mais precisas. O SageMaker Canvas permite a exploração, transformação e preparação interativa de dados sem escrever nenhum código SQL ou Python.

Conclua as etapas a seguir para preparar seus dados:

1. No console do SageMaker Canvas, escolha Preparação de dados no painel de navegação.
2. No Crie menu, escolha ISO.
3. Escolha Nome do conjunto de dados, insira um nome para o seu conjunto de dados.
4. Escolha Crie.
   
5. Escolha Amazon S3 como fonte de dados e conecte-o ao conjunto de dados.
6. Depois que o conjunto de dados for carregado, crie um fluxo de dados usando esse conjunto de dados.
   
7. Mude para a guia análises e crie um Relatório de insights e qualidade de dados.

Esta é uma etapa recomendada para analisar a qualidade do conjunto de dados de entrada. O resultado deste relatório produz insights instantâneos baseados em ML, como distorção de dados, duplicatas nos dados, valores ausentes e muito mais. A captura de tela a seguir mostra um exemplo do relatório gerado para o conjunto de dados de empréstimo.

Ao gerar esses insights em seu nome, o SageMaker Canvas fornece um conjunto de problemas nos dados que precisam de correção na fase de preparação dos dados. Para escolher os dois principais problemas identificados pelo SageMaker Canvas, você precisa codificar os recursos categóricos e remover as linhas duplicadas para que a qualidade do seu modelo seja alta. Você pode fazer isso e muito mais em um fluxo de trabalho visual com o SageMaker Canvas.

1. Primeiro, codifique one-hot o loan_intent, loan_grade e person_home_ownership
2. Você pode largar o cb_person_cred_history_length coluna porque essa coluna tem o menor poder de previsão, conforme mostrado no Relatório de qualidade de dados e insights.
   
   SageMaker Canvas adicionou recentemente um Converse com dados opção. Este recurso usa o poder dos modelos básicos para interpretar consultas em linguagem natural e gerar código baseado em Python para aplicar transformações de engenharia de recursos. Esse recurso é desenvolvido pelo Amazon Bedrock e pode ser configurado para ser executado inteiramente em sua VPC, para que os dados nunca saiam de seu ambiente.
3. Para usar esse recurso para remover linhas duplicadas, escolha o sinal de mais ao lado do Coluna de queda transformar, então escolha Converse com dados.
   
4. Insira sua consulta em linguagem natural (por exemplo, “Remover linhas duplicadas do conjunto de dados”).
5. Revise a transformação gerada e escolha Adicionar às etapas para adicionar a transformação ao fluxo.
   
6. Por fim, exporte a saída dessas transformações para o Amazon S3 ou opcionalmente Loja de recursos Amazon SageMaker para usar esses recursos em vários projetos.

Você também pode adicionar outra etapa para criar um destino do Amazon S3 para o conjunto de dados para dimensionar o fluxo de trabalho para um conjunto de dados grande. O diagrama a seguir mostra o fluxo de dados do SageMaker Canvas após adicionar transformações visuais.

Você concluiu toda a etapa de processamento de dados e engenharia de recursos usando fluxos de trabalho visuais no SageMaker Canvas. Isso ajuda a reduzir de semanas para dias o tempo que um engenheiro de dados gasta limpando e preparando os dados para o desenvolvimento do modelo. A próxima etapa é construir o modelo de ML.

Construa um modelo com SageMaker Canvas

O Amazon SageMaker Canvas fornece um fluxo de trabalho completo e sem código para criar, analisar, testar e implantar esse modelo de classificação binária. Conclua as seguintes etapas:

1. Crie um conjunto de dados no SageMaker Canvas.
2. Especifique o local do S3 que foi usado para exportar os dados ou o local do S3 que está no destino do trabalho do SageMaker Canvas.
   
   Agora você está pronto para construir o modelo.
3. Escolha Modelos no painel de navegação e escolha novo modelo.
4. Nomeie o modelo e selecione Análise preditiva como o tipo de modelo.
5. Escolha o conjunto de dados criado na etapa anterior.
   
   A próxima etapa é configurar o tipo de modelo.
6. Escolha a coluna de destino e o tipo de modelo será automaticamente definido como Previsão de 2 categorias.
7. Escolha o seu tipo de construção, Versão padrão or Construção rápida.
   
   O SageMaker Canvas exibe o tempo de construção esperado assim que você começa a construir o modelo. A construção padrão geralmente leva de 2 a 4 horas; você pode usar a opção Criação rápida para conjuntos de dados menores, o que leva apenas de 2 a 15 minutos. Para este conjunto de dados específico, a construção do modelo deve levar cerca de 45 minutos. O SageMaker Canvas mantém você informado sobre o andamento do processo de construção.
8. Depois que o modelo for construído, você poderá observar o desempenho do modelo.
   
   SageMaker Canvas fornece várias métricas como exatidão, precisão e pontuação F1 dependendo do tipo de modelo. A captura de tela a seguir mostra a precisão e algumas outras métricas avançadas para este modelo de classificação binária.
9. A próxima etapa é fazer previsões de teste.
   O SageMaker Canvas permite fazer previsões em lote em múltiplas entradas ou em uma única previsão para verificar rapidamente a qualidade do modelo. A captura de tela a seguir mostra um exemplo de inferência.
   
10. A última etapa é implantar o modelo treinado.
    O SageMaker Canvas implanta o modelo em endpoints do SageMaker e agora você tem um modelo de produção pronto para inferência. A captura de tela a seguir mostra o endpoint implantado.
    

Depois que o modelo for implantado, você poderá chamá-lo por meio do SDK da AWS ou Interface de linha de comando da AWS (AWS CLI) ou faça chamadas de API para qualquer aplicativo de sua escolha para prever com segurança o risco de um potencial mutuário. Para obter mais informações sobre como testar seu modelo, consulte Invoque endpoints em tempo real.

limpar

Para evitar incorrer em custos adicionais, sair do SageMaker Canvas or exclua o domínio SageMaker que foi criado. Adicionalmente, exclua o endpoint do modelo SageMaker e exclua o conjunto de dados que foi carregado no Amazon S3.

Conclusão

O ML sem código acelera o desenvolvimento, simplifica a implantação, não requer habilidades de programação, aumenta a padronização e reduz custos. Esses benefícios tornaram o ML sem código atraente para a Deloitte melhorar suas ofertas de serviços de ML, e eles reduziram os prazos de construção do modelo de ML em 30–40%.

A Deloitte é uma integradora estratégica de sistemas globais com mais de 17,000 profissionais certificados em AWS em todo o mundo. Ela continua a elevar o padrão por meio da participação no Programa de Competências da AWS com 25 competências, incluindo aprendizado de máquina. Conecte-se com a Deloitte para começar a usar soluções AWS no-code e low-code em sua empresa.

---

Sobre os autores

Chida Sadayappan lidera a prática de Cloud AI/Machine Learning da Deloitte. Ele traz uma forte experiência de liderança inovadora para compromissos e prospera no apoio às partes interessadas executivas para alcançar metas de melhoria de desempenho e modernização em todos os setores que usam IA/ML. Chida é um empreendedor de tecnologia em série e um ávido construtor de comunidades nos ecossistemas de startups e desenvolvedores.

Kuldeep Singh, principal líder global de IA/ML na AWS com mais de 20 anos em tecnologia, combina habilmente sua experiência em vendas e empreendedorismo com um profundo conhecimento de IA, ML e segurança cibernética. Ele se destaca na criação de parcerias globais estratégicas, impulsionando soluções e estratégias transformadoras em vários setores, com foco em IA generativa e GSIs.

Kasi Muthu é arquiteto de soluções parceiro sênior com foco em dados e IA/ML na AWS, com sede em Houston, TX. Ele adora ajudar parceiros e clientes a acelerar sua jornada de dados na nuvem. Ele é um consultor confiável nessa área e tem muita experiência em arquitetura e construção de cargas de trabalho escalonáveis, resilientes e de alto desempenho na nuvem. Fora do trabalho, ele gosta de passar tempo com a família.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/boosting-developer-productivity-how-deloitte-uses-amazon-sagemaker-canvas-for-no-code-low-code-machine-learning/