Este é um post de blog convidado co-escrito com Vik Pant e Kyle Bassett da PwC.
Com as organizações investindo cada vez mais em aprendizado de máquina (ML), a adoção de ML tornou-se parte integrante das estratégias de transformação dos negócios. Um recente CEO da PwC vistoria revelou que 84% dos CEOs canadenses concordam que a inteligência artificial (IA) mudará significativamente seus negócios nos próximos 5 anos, tornando essa tecnologia mais crítica do que nunca. No entanto, a implementação do ML na produção envolve várias considerações, principalmente a capacidade de navegar no mundo da IA com segurança, estratégia e responsabilidade. Um dos primeiros passos e, principalmente, um grande desafio para tornar-se alimentado por IA é desenvolver efetivamente pipelines de ML que podem ser dimensionados de forma sustentável na nuvem. Pensar no ML em termos de pipelines que geram e mantêm modelos em vez de modelos por si só ajuda a criar sistemas de previsão versáteis e resilientes que são mais capazes de resistir a mudanças significativas em dados relevantes ao longo do tempo.
Muitas organizações iniciam sua jornada no mundo do ML com um ponto de vista centrado no modelo. Nos estágios iniciais da construção de uma prática de ML, o foco está no treinamento de modelos de ML supervisionados, que são representações matemáticas de relacionamentos entre entradas (variáveis independentes) e saídas (variáveis dependentes) que são aprendidas a partir de dados (normalmente históricos). Modelos são artefatos matemáticos que recebem dados de entrada, realizam cálculos e computações neles e geram previsões ou inferências.
Embora essa abordagem seja um ponto de partida razoável e relativamente simples, ela não é inerentemente escalável ou intrinsecamente sustentável devido à natureza manual e ad hoc das atividades de treinamento, ajuste, teste e teste de modelo. As organizações com maior maturidade no domínio ML adotam um paradigma de operações ML (MLOps) que incorpora integração contínua, entrega contínua, implantação contínua e treinamento contínuo. O ponto central desse paradigma é um ponto de vista centrado no pipeline para desenvolver e operar sistemas de ML de força industrial.
Nesta postagem, começamos com uma visão geral do MLOps e seus benefícios, descrevemos uma solução para simplificar suas implementações e fornecemos detalhes sobre a arquitetura. Terminamos com um estudo de caso destacando os benefícios percebidos por um grande cliente AWS e PwC que implementou esta solução.
BACKGROUND
Um pipeline MLOps é um conjunto de sequências inter-relacionadas de etapas usadas para criar, implantar, operar e gerenciar um ou mais modelos de ML em produção. Esse pipeline abrange os estágios envolvidos na criação, teste, ajuste e implantação de modelos de ML, incluindo, entre outros, preparação de dados, engenharia de recursos, treinamento de modelo, avaliação, implantação e monitoramento. Assim, um modelo de ML é o produto de um pipeline de MLOps, e um pipeline é um fluxo de trabalho para criar um ou mais modelos de ML. Esses pipelines oferecem suporte a processos estruturados e sistemáticos para criar, calibrar, avaliar e implementar modelos de ML, e os próprios modelos geram previsões e inferências. Ao automatizar o desenvolvimento e a operacionalização dos estágios dos pipelines, as organizações podem reduzir o tempo de entrega dos modelos, aumentar a estabilidade dos modelos em produção e melhorar a colaboração entre equipes de cientistas de dados, engenheiros de software e administradores de TI.
Visão geral da solução
A AWS oferece um portfólio abrangente de serviços nativos da nuvem para desenvolver e executar pipelines MLOps de maneira escalável e sustentável. Amazon Sage Maker compreende um portfólio abrangente de recursos como um serviço MLOps totalmente gerenciado para permitir que os desenvolvedores criem, treinem, implantem, operem e gerenciem modelos de ML na nuvem. O SageMaker abrange todo o fluxo de trabalho de MLOps, desde a coleta até a preparação e o treinamento dos dados com algoritmos integrados de alto desempenho e sofisticados experimentos automatizados de ML (AutoML), para que as empresas possam escolher modelos específicos que atendam às suas prioridades e preferências de negócios. O SageMaker permite que as organizações automatizem de forma colaborativa a maior parte do ciclo de vida de MLOps para que possam se concentrar nos resultados de negócios sem correr o risco de atrasos no projeto ou custos crescentes. Dessa forma, o SageMaker permite que as empresas se concentrem nos resultados sem se preocupar com infraestrutura, desenvolvimento e manutenção associados aos serviços de previsão de potência industrial.
O SageMaker inclui JumpStart do Amazon SageMaker, que oferece padrões de solução prontos para uso para organizações que buscam acelerar sua jornada de MLOps. As organizações podem começar com modelos pré-treinados e de código aberto que podem ser ajustados para atender às suas necessidades específicas por meio de retreinamento e aprendizado de transferência. Além disso, o JumpStart fornece modelos de solução projetados para lidar com casos de uso comuns, bem como notebooks Jupyter de exemplo com código inicial pré-escrito. Esses recursos podem ser acessados simplesmente visitando a página inicial do JumpStart em Estúdio Amazon SageMaker.
A PwC criou um acelerador MLOps pré-configurado que acelera ainda mais o tempo de valorização e aumenta o retorno do investimento para organizações que usam o SageMaker. Este acelerador MLOps aprimora os recursos nativos do JumpStart integrando serviços complementares da AWS. Com um conjunto abrangente de artefatos técnicos, incluindo scripts de infraestrutura como código (IaC), fluxos de trabalho de processamento de dados, código de integração de serviço e modelos de configuração de pipeline, o acelerador MLOps da PwC simplifica o processo de desenvolvimento e operação de sistemas de previsão de classe de produção.
Visão geral da arquitetura
A inclusão de serviços sem servidor nativos da nuvem da AWS é priorizada na arquitetura do acelerador PwC MLOps. O ponto de entrada desse acelerador é qualquer ferramenta de colaboração, como o Slack, que um cientista ou engenheiro de dados pode usar para solicitar um ambiente da AWS para MLOps. Essa solicitação é analisada e, em seguida, totalmente ou semiautomáticamente aprovada usando recursos de fluxo de trabalho nessa ferramenta de colaboração. Após a aprovação de uma requisição, seus detalhes são utilizados para parametrização dos templates IaC. O código-fonte desses modelos IaC é gerenciado em AWS CodeCommit. Esses modelos IaC parametrizados são enviados para Formação da Nuvem AWS para modelagem, provisionamento e gerenciamento de pilhas de recursos da AWS e de terceiros.
O diagrama a seguir ilustra o fluxo de trabalho.
Depois que o AWS CloudFormation provisiona um ambiente para MLOps na AWS, o ambiente está pronto para uso por cientistas de dados, engenheiros de dados e seus colaboradores. O acelerador PWC inclui funções predefinidas em Gerenciamento de acesso e identidade da AWS (IAM) que estão relacionados às atividades e tarefas do MLOps. Essas funções especificam os serviços e recursos no ambiente MLOps que podem ser acessados por vários usuários com base em seus perfis de trabalho. Após acessar o ambiente MLOps, o usuário pode acessar qualquer uma das modalidades no SageMaker para realizar suas funções. Isso inclui instâncias de notebook SageMaker, Piloto automático do Amazon SageMaker experimentos e Studio. Você pode se beneficiar de todos os recursos e funções do SageMaker, incluindo treinamento de modelo, ajuste, avaliação, implantação e monitoramento.
O acelerador também inclui conexões com Zona de dados da Amazon para compartilhar, pesquisar e descobrir dados em escala através dos limites organizacionais para gerar e enriquecer modelos. Da mesma forma, os dados para treinamento, teste, validação e detecção de variação do modelo podem fornecer uma variedade de serviços, incluindo Amazon RedShift, Serviço de banco de dados relacional da Amazon (Amazônia RDS), Sistema de arquivos elástico da Amazon (Amazon EFS), e Serviço de armazenamento simples da Amazon (Amazônia S3). Os sistemas de previsão podem ser implantados de várias maneiras, inclusive como endpoints do SageMaker diretamente, endpoints do SageMaker agrupados em AWS Lambda funções e endpoints do SageMaker invocados por meio de código personalizado em Serviço Amazon Elastic Kubernetes (Amazon EKS) ou Amazon Elastic Compute Nuvem (Amazônia EC2). Amazon CloudWatch é usado para monitorar o ambiente para MLOps na AWS de maneira abrangente para observar alarmes, logs e dados de eventos em toda a pilha (aplicativos, infraestrutura, rede e serviços).
O diagrama a seguir ilustra essa arquitetura.
Estudo de caso
Nesta seção, compartilhamos um estudo de caso ilustrativo de uma grande seguradora no Canadá. Ele se concentra no impacto transformador da implementação do acelerador MLOps e dos modelos JumpStart da PwC Canadá.
Esse cliente fez parceria com a PwC Canada e a AWS para enfrentar os desafios de desenvolvimento de modelos ineficientes e processos de implantação ineficazes, falta de consistência e colaboração e dificuldade em dimensionar modelos de ML. A implementação deste acelerador MLOps em conjunto com os modelos JumpStart alcançou o seguinte:
- Automação ponta a ponta – A automação reduziu quase pela metade a quantidade de tempo para pré-processamento de dados, treinamento de modelo, ajuste de hiperparâmetros e implantação e monitoramento de modelo
- Colaboração e padronização – Ferramentas e estruturas padronizadas para promover a consistência em toda a organização quase dobraram a taxa de inovação do modelo
- Modelo de governança e conformidade – Eles implementaram uma estrutura de governança modelo para garantir que todos os modelos de ML atendessem aos requisitos regulatórios e aderissem às diretrizes éticas da empresa, o que reduziu os custos de gerenciamento de riscos em 40%
- Infraestrutura de nuvem escalável – Eles investiram em infraestrutura escalável para gerenciar com eficiência grandes volumes de dados e implantar vários modelos de ML simultaneamente, reduzindo os custos de infraestrutura e plataforma em 50%
- Desenvolvimento rápido – A solução pré-embalada reduziu o tempo de produção em 70%
Ao fornecer as melhores práticas de MLOps por meio de pacotes de implantação rápida, nosso cliente conseguiu reduzir o risco de sua implementação de MLOps e liberar todo o potencial do ML para uma variedade de funções de negócios, como previsão de risco e precificação de ativos. No geral, a sinergia entre o acelerador PwC MLOps e o JumpStart permitiu que nosso cliente simplificasse, dimensionasse, protegesse e sustentasse suas atividades de ciência e engenharia de dados.
Deve-se observar que a solução PwC e AWS não é específica da indústria e é relevante em todas as indústrias e setores.
Conclusão
O SageMaker e seus aceleradores permitem que as organizações melhorem a produtividade de seu programa de ML. Há muitos benefícios, incluindo, entre outros, os seguintes:
- Crie de forma colaborativa casos de uso de IaC, MLOps e AutoML para obter os benefícios comerciais da padronização
- Habilite a prototipagem experimental eficiente, com e sem código, para turbinar a IA do desenvolvimento à implantação com IaC, MLOps e AutoML
- Automatize tarefas tediosas e demoradas, como engenharia de recursos e ajuste de hiperparâmetros com o AutoML
- Empregue um paradigma de monitoramento de modelo contínuo para alinhar o risco do uso do modelo de ML com o apetite de risco da empresa
Entre em contato com os autores deste post, AWS Advisory Canadáou PwC Canadá para saber mais sobre o Jumpstart e o acelerador MLOps da PwC.
Sobre os autores
Vik é sócio da prática de nuvem e dados da PwC Canadá. Ele obteve um PhD em Ciência da Informação pela Universidade de Toronto. Ele está convencido de que existe uma conexão telepática entre sua rede neural biológica e as redes neurais artificiais que ele treina no SageMaker. Conecte-se com ele em LinkedIn.
Kyle é um parceiro na prática de nuvem e dados da PwC Canadá, junto com sua equipe de alquimistas da tecnologia, eles tecem soluções MLOPs encantadoras que hipnotizam os clientes com valor de negócios acelerado. Armado com o poder da inteligência artificial e uma pitada de magia, Kyle transforma desafios complexos em contos de fadas digitais, tornando o impossível possível. Conecte-se com ele em LinkedIn.
François é consultor principal de consultoria da AWS Professional Services Canada e líder de prática canadense em consultoria de dados e inovação. Ele orienta os clientes a estabelecer e implementar sua jornada geral na nuvem e seus programas de dados, com foco em visão, estratégia, impulsionadores de negócios, governança, modelos operacionais de destino e roteiros. Conecte-se com ele em LinkedIn.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoAiStream. Inteligência de Dados Web3. Conhecimento Amplificado. Acesse aqui.
- Cunhando o Futuro com Adryenn Ashley. Acesse aqui.
- Compre e venda ações em empresas PRE-IPO com PREIPO®. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/accelerate-machine-learning-time-to-value-with-amazon-sagemaker-jumpstart-and-pwcs-mlops-accelerator/
- :tem
- :é
- :não
- $UP
- 100
- 7
- a
- Capaz
- Sobre
- acelerar
- acelerado
- acelerador
- aceleradores
- Acesso
- acessadas
- acessando
- alcançado
- em
- atividades
- Ad
- Adicionalmente
- endereço
- administradores
- adotar
- Adoção
- consultivo
- Depois de
- AI
- algoritmos
- alinhar
- Todos os Produtos
- permitir
- permite
- juntamente
- tb
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Sage Maker
- JumpStart do Amazon SageMaker
- Amazon Web Services
- quantidade
- an
- e
- qualquer
- aplicações
- abordagem
- aprovou
- arquitetura
- SOMOS
- armado
- artificial
- inteligência artificial
- Inteligência artificial (AI)
- AS
- Avaliando
- ativo
- associado
- At
- autores
- automatizar
- Automatizado
- automatizando
- Automação
- AutoML
- AWS
- Formação da Nuvem AWS
- Serviços Profissionais AWS
- baseado
- BE
- tornam-se
- tornando-se
- ser
- beneficiar
- Benefícios
- MELHOR
- melhores práticas
- Melhor
- entre
- Blog
- limites
- construir
- Prédio
- construído
- construídas em
- negócio
- funções empresariais
- Transformação de negócios
- negócios
- mas a
- by
- cálculos
- CAN
- Localização: Canadá
- canadense
- capacidades
- casas
- estudo de caso
- casos
- central
- Chefe executivo
- CEOs
- desafiar
- desafios
- alterar
- Alterações
- Escolha
- cliente
- clientes
- Na nuvem
- infraestrutura de nuvem
- código
- colaboração
- Coleta
- COM
- vem
- comum
- Empresas
- Empresa
- Empresa
- complementar
- completar
- integrações
- compreensivo
- compreende
- cálculos
- Computar
- concerto
- Configuração
- Contato
- da conexão
- Coneções
- Considerações
- consultor
- Contacto
- contínuo
- custos
- Covers
- fenda
- crio
- Criar
- crítico
- personalizadas
- cliente
- Clientes
- dados,
- Preparação de dados
- informática
- ciência de dados
- cientista de dados
- banco de dados
- atrasos
- entregando
- Entrega
- dependente
- implantar
- implantado
- Implantação
- desenvolvimento
- descreve
- projetado
- detalhes
- desenvolvedores
- em desenvolvimento
- Desenvolvimento
- Dificuldade
- digital
- diretamente
- descobrindo
- domínio
- duplicou
- Drivers
- dois
- Cedo
- ganhou
- efetivamente
- eficiente
- permitir
- habilitado
- permite
- engloba
- engenheiro
- Engenharia
- Engenheiros
- aumentar
- Melhora
- enriquecer
- garantir
- Empreendimento
- Todo
- entrada
- Meio Ambiente
- estabelecer
- considerações éticas
- avaliação
- eventos
- SEMPRE
- exemplo
- experimentos
- Característica
- Funcionalidades
- Envie o
- acabamento
- Primeiro nome
- primeiros passos
- caber
- Foco
- concentra-se
- focando
- seguinte
- Escolha
- Quadro
- enquadramentos
- da
- cheio
- totalmente
- funções
- mais distante
- gerar
- governo
- ótimo
- maior
- Locatário
- orientações
- Guias
- reduziu para metade
- he
- ajuda
- alta performance
- Destacando
- ele
- sua
- histórico
- Contudo
- HTML
- http
- HTTPS
- Ajuste de hiperparâmetros
- Identidade
- ilustra
- Impacto
- executar
- implementação
- implementado
- implementação
- impossível
- melhorar
- in
- incluir
- inclui
- Incluindo
- inclusão
- Crescimento
- Aumenta
- cada vez mais
- de treinadores em Entrevista Motivacional
- indústrias
- indústria
- ineficiente
- info
- INFORMAÇÕES
- Infraestrutura
- Inovação
- entrada
- inputs
- com seguro
- integral
- Integração
- integração
- Inteligência
- para dentro
- intrinsecamente
- investido
- investir
- investimento
- invocado
- envolvido
- IT
- ESTÁ
- Trabalho
- viagem
- jpg
- Falta
- aterrissagem
- grande
- conduzir
- APRENDER
- aprendido
- aprendizagem
- wifecycwe
- Limitado
- máquina
- aprendizado de máquina
- a manter
- manutenção
- Maioria
- Fazendo
- gerencia
- gerenciados
- de grupos
- gestão
- maneira
- manual
- muitos
- maciço
- matemático
- maturidade
- significativo
- Conheça
- ML
- MLOps
- modelo
- modelos
- Monitore
- monitoração
- mais
- múltiplo
- nativo
- Natureza
- Navegar
- quase
- Cria
- rede
- redes
- rede neural
- redes neurais
- Próximo
- notavelmente
- caderno
- notado
- observar
- of
- Oferece
- on
- ONE
- open source
- operar
- operando
- Operações
- or
- organização
- organizacional
- organizações
- A Nossa
- Acima de
- global
- Visão geral
- pacotes
- página
- paradigma
- parte
- parceiro
- parceria
- padrões
- Realizar
- oleoduto
- plataforma
- platão
- Inteligência de Dados Platão
- PlatãoData
- ponto
- pasta
- possível
- Publique
- potencial
- poder
- alimentado
- Powering
- prática
- práticas
- predição
- Previsões
- preferências
- preparação
- preços
- Diretor
- priorizado
- processo
- processos
- em processamento
- Produto
- Produção
- produtividade
- profissional
- Perfis
- Agenda
- Programas
- projeto
- a promover
- prototipagem
- fornecer
- fornece
- PWC
- alcance
- rápido
- Taxa
- em vez
- pronto
- perceber
- razoável
- recentemente
- reduzir
- Reduzido
- redução
- reguladores
- relacionado
- Relacionamentos
- relativamente
- relevante
- solicitar
- Requisitos
- resiliente
- Recursos
- Resultados
- retorno
- Risco
- gestão de risco
- arriscando
- roteiros
- papéis
- corrida
- seguramente
- sábio
- escalável
- Escala
- dimensionamento
- Ciência
- Cientista
- cientistas
- Scripts
- pesquisar
- Seção
- Setores
- seguro
- busca
- Serverless
- serviço
- Serviços
- conjunto
- Partilhar
- compartilhando
- rede de apoio social
- de forma considerável
- Similarmente
- simples
- simplificar
- simplesmente
- simultaneamente
- folga
- So
- Software
- solução
- Soluções
- sofisticado
- fonte
- código fonte
- específico
- velocidades
- Estabilidade
- pilha
- Pilhas
- Estágio
- começo
- Comece
- Passos
- armazenamento
- Estrategicamente
- estratégias
- Estratégia
- simplificar
- estruturada
- estudo
- Estudo
- apresentado
- tal
- suíte
- ajuda
- sustentável
- sinergia
- sistemas
- equipamento
- Tire
- Target
- tarefas
- Profissionais
- equipes
- tecnologia
- Dados Técnicos:
- Tecnologia
- modelos
- condições
- ensaio
- do que
- que
- A
- A fonte
- o mundo
- deles
- Eles
- si mesmos
- então
- Lá.
- Este
- deles
- Pensando
- De terceiros
- isto
- Através da
- tempo
- demorado
- para
- ferramenta
- ferramentas
- Toronto
- Trem
- Training
- trens
- transferência
- Transformação
- transformadora
- voltas
- tipicamente
- universidade
- destravar
- revelou
- Uso
- usar
- usava
- usuários
- utilização
- valor
- variedade
- vário
- versátil
- visão
- volumes
- foi
- Caminho..
- maneiras
- we
- Tecer
- web
- serviços web
- BEM
- qual
- QUEM
- precisarão
- de
- dentro
- sem
- fluxos de trabalho
- mundo
- Envolvido
- anos
- Vocês
- zefirnet