Este post foi coescrito por Zdenko Estok, Cloud Architect da Accenture e Sakar Selimcan, DeepRacer SME da Accenture.
Com o uso crescente de inteligência artificial (IA) e aprendizado de máquina (ML) para a grande maioria dos setores (desde saúde a seguros, de manufatura a marketing), o foco principal muda para a eficiência ao construir e treinar modelos em escala. A criação de um ambiente de ciência de dados escalável e descomplicado é fundamental. Pode levar um tempo considerável para iniciar e configurar um ambiente personalizado para um caso de uso específico e ainda mais difícil integrar colegas para colaborar.
De acordo com o Accenture, as empresas que conseguem dimensionar com eficiência a IA e o ML podem obter quase o triplo do retorno de seus investimentos. Ainda assim, nem todas as empresas atingem os retornos esperados em sua jornada AI/ML. Os kits de ferramentas para automatizar a infraestrutura tornam-se essenciais para o dimensionamento horizontal dos esforços de AI/ML dentro de uma corporação.
AWS Deep Racer é uma maneira simples e divertida de começar com o aprendizado por reforço (RL), uma técnica de ML em que um agente descobre as ações ideais a serem executadas em um determinado ambiente. Em nosso caso, seria um veículo do AWS DeepRacer, tentando correr rapidamente em uma pista. Você pode começar a usar o RL rapidamente com tutoriais práticos que o guiam pelos fundamentos do treinamento de modelos de RL e testá-los de uma maneira empolgante e experiência de corrida de carros autônomos.
Este post mostra como as empresas podem usar a infraestrutura como código (IaC) com o Kit de desenvolvimento em nuvem da AWS (AWS CDK) para acelerar a criação e replicação de infraestrutura altamente transferível e competir facilmente por eventos do AWS DeepRacer em escala.
“A IaC combinada com um ambiente Jupyter gerenciado nos deu o melhor dos dois mundos: ambientes de ciência de dados repetíveis e altamente transferíveis para integrarmos nossos concorrentes do AWS DeepRacer para focar no que eles fazem de melhor: treinar modelos rápidos rapidamente.”
– Selimcan Sakar, AWS DeepRacer SME na Accenture.
Visão geral da solução
Orquestrar todos os serviços necessários leva um tempo considerável quando se trata de criar um modelo escalável que pode ser aplicado para vários casos de uso. No passado, Formação da Nuvem AWS modelos foram criados para automatizar a criação desses serviços. Com os avanços na automação e configuração com níveis crescentes de abstração para configurar diferentes ambientes com ferramentas IaC, o AWS CDK está sendo amplamente adotado em várias empresas. O AWS CDK é uma estrutura de desenvolvimento de software de código aberto para definir seus recursos de aplicativos em nuvem. Ele usa a familiaridade e o poder expressivo das linguagens de programação para modelar seus aplicativos, enquanto provisiona recursos de maneira segura e repetível.
Nesta postagem, habilitamos o provisionamento de diferentes componentes necessários para realizar a análise de log usando Amazon Sage Maker no AWS DeepRacer via AWS CDK construções.
Embora o gráfico de análise fornecido no console do DeepRacer seja eficaz e direto em relação às recompensas concedidas e ao progresso alcançado, ele não fornece informações sobre a velocidade com que o carro se move pelos pontos de referência ou que tipo de linha o carro prefere na pista . É aqui que a análise de log avançada entra em ação. Nossa análise avançada de log visa trazer eficiência no treinamento retrospectivamente para entender quais funções de recompensa e espaços de ação funcionam melhor que os outros ao treinar vários modelos e se um modelo está superajustado, para que os pilotos possam treinar de maneira mais inteligente e obter melhores resultados com menos treinamento.
Nossa solução descreve uma configuração de ambiente do AWS DeepRacer usando o AWS CDK para acelerar a jornada dos usuários que experimentam a análise de log do SageMaker e o aprendizado de reforço na AWS para um evento do AWS DeepRacer.
Um administrador pode executar o script do AWS CDK fornecido no GitHub repo via Console de gerenciamento da AWS ou no terminal após carregar o código em seu ambiente. As etapas são as seguintes:
- Abra Nuvem AWS9 no console.
- Carregue o módulo AWS CDK do GitHub no ambiente AWS Cloud9.
- Configure o módulo AWS CDK conforme descrito nesta postagem.
- Abra o arquivo cdk.context.json e inspecione todos os parâmetros.
- Modifique os parâmetros conforme necessário e execute o comando AWS CDK com a persona pretendida para iniciar o ambiente configurado adequado para essa persona.
O diagrama a seguir ilustra a arquitetura da solução.
Com a ajuda do AWS CDK, podemos controlar a versão de nossos recursos provisionados e ter um ambiente altamente transportável em conformidade com as práticas recomendadas de nível empresarial.
Pré-requisitos
Para provisionar ambientes de ML com o AWS CDK, preencha os seguintes pré-requisitos:
- Tenha acesso a uma conta da AWS e permissões dentro da região para implantar os recursos necessários para diferentes personas. Certifique-se de ter as credenciais e permissões para implantar a pilha do AWS CDK em sua conta.
- Recomendamos seguir algumas práticas recomendadas que são destacadas por meio dos conceitos detalhados nos seguintes recursos:
- Clone o GitHub repo em seu ambiente.
Implante o portfólio em sua conta
Nesta implantação, usamos o AWS Cloud9 para criar um ambiente de ciência de dados usando o AWS CDK.
- Navegue até o console do AWS Cloud9.
- Especifique seu tipo de ambiente, tipo de instância e plataforma.
- Especifique o seu Gerenciamento de acesso e identidade da AWS (IAM), VPC e sub-rede.
- Em seu ambiente AWS Cloud9, crie uma nova pasta chamada DeepRacer.
- Execute o seguinte comando para instalar o AWS CDK e certifique-se de ter as dependências corretas para implantar o portfólio:
- Para verificar se o AWS CDK foi instalado e acessar os documentos, execute o seguinte comando em seu terminal (ele deve redirecioná-lo para a documentação do AWS CDK):
- Agora podemos clonar o repositório AWS DeepRacer de GitHub.
- Abra o repositório clonado no AWS Cloud9:
Depois de revisar o conteúdo do DeepRacer_cdk
diretório, haverá um arquivo chamado package.json
com todos os módulos necessários e dependências definidas. É aqui que você pode definir seus recursos em um módulo.
- Em seguida, instale todos os módulos e dependências necessários para o aplicativo AWS CDK:
Isso sintetizará o modelo CloudFormation correspondente.
- Para executar a implantação, altere o arquivo context.json com nomes de parâmetro ou defina-os explicitamente durante o tempo de execução:
Os seguintes componentes são criados para análise de log do AWS DeepRacer com base na execução do script:
- An Papel do IAM para o notebook SageMaker com uma política gerenciada
- A Instância de notebook SageMaker com o tipo de instância adicionado explicitamente como um parâmetro de contexto cdk ou valor padrão armazenado no arquivo context.json
- Uma VPC com CIDR conforme especificado no arquivo context.json junto com quatro sub-redes públicas configuradas
- Um novo grupo de segurança para a instância de notebook Sagemaker permitindo a comunicação dentro do VPC
- Uma política de ciclo de vida do SageMaker com um script bash que está pré-carregando o conteúdo de outro Repositório GitHub, que contém os arquivos que usamos para executar a análise de log nos modelos do AWS DeepRacer
- Você pode executar a pilha do AWS CDK da seguinte maneira:
- Acesse o console do AWS CloudFormation na região em que a pilha está implantada para verificar os recursos.
Agora os usuários podem começar a usar esses serviços para trabalhar com análise de log e treinamento profundo de modelo RL no SageMaker para AWS DeepRacer.
teste de módulo
Você também pode executar alguns testes de unidade antes de implantar a pilha para verificar se não removeu acidentalmente nenhum recurso necessário. Os testes de unidade estão localizados em DeepRacer/test/deep_racer.test.ts
e pode ser executado com o seguinte código:
Gerar diagramas usando cdk-dia
Para gerar diagramas, conclua as seguintes etapas:
- Instale
graphviz
usando as ferramentas do sistema operacional:
Isso instala o aplicativo cdk-dia.
- Agora execute o seguinte código:
Uma representação gráfica de sua pilha do AWS CDK será armazenada no formato .png.
Depois de executar as etapas anteriores, você poderá ver o processo de criação da instância de notebook com status Pendente. Quando o status da instância do notebook é Em serviço (conforme mostrado na captura de tela a seguir), você pode prosseguir com as próximas etapas.
- Escolha Abra o Jupyter para iniciar a execução do script Python para realizar a análise de log.
Para obter detalhes adicionais sobre análise de log usando o AWS DeepRacer e visualizações associadas, consulte Usar a análise de log para conduzir experimentos e vencer o AWS DeepRacer F1 ProAm Race.
limpar
Para evitar cobranças contínuas, conclua as seguintes etapas:
- Use cdk destroy para excluir os recursos criados por meio do AWS CDK.
- No console do AWS CloudFormation, exclua a pilha do CloudFormation.
Conclusão
Os eventos do AWS DeepRacer são uma ótima maneira de aumentar o interesse e aumentar o conhecimento de ML em todos os pilares e níveis de uma organização. Nesta postagem, compartilhamos como você pode configurar um ambiente dinâmico do AWS DeepRacer e configurar serviços seletivos para acelerar a jornada dos usuários na plataforma AWS. Discutimos como criar serviços Amazon SageMaker Notebook Instance, funções IAM, configuração do ciclo de vida do notebook SageMaker com práticas recomendadas, uma VPC e Amazon Elastic Compute Nuvem (Amazon EC2) com base na identificação do contexto usando o AWS CDK e dimensionamento para diferentes usuários usando o AWS DeepRacer.
Configure o ambiente CDK e execute o notebook de análise de log avançada para obter eficiência na execução do módulo. Ajude os pilotos a obter melhores resultados em menos tempo e obtenha insights granulares sobre funções e ações de recompensa.
Referências
Mais informações estão disponíveis nos seguintes recursos:
- Automatize a configuração do Amazon SageMaker Studio usando AWS CDK
- Referência da API do AWS SageMaker CDK
Sobre os autores
Zdenko Estok trabalha como arquiteto de nuvem e engenheiro de DevOps na Accenture. Ele trabalha com a AABG para desenvolver e implementar soluções inovadoras em nuvem e é especializado em infraestrutura como código e segurança em nuvem. Zdenko gosta de ir de bicicleta para o escritório e gosta de caminhadas agradáveis na natureza.
Selimcan “Can” Sakar é o primeiro desenvolvedor de nuvem e arquiteto de soluções da Accenture com foco em inteligência artificial e uma paixão por observar a convergência de modelos.
Shikhar Kwatra é um arquiteto de soluções especializado em IA/ML da Amazon Web Services, que trabalha com um integrador de sistemas global líder. Shikhar auxilia na arquitetura, construção e manutenção de ambientes de nuvem escaláveis e econômicos para a organização e oferece suporte ao parceiro GSI na criação de soluções estratégicas do setor na AWS. Shikhar gosta de tocar violão, compor música e praticar mindfulness em seu tempo livre.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
- 10
- 100
- 11
- 7
- 9
- a
- Capaz
- acelerar
- Accenture
- Acesso
- acidentalmente
- Conta
- Alcançar
- alcançado
- em
- Açao Social
- ações
- adicionado
- Adicional
- adotado
- avançado
- avanços
- Depois de
- Agente
- AI
- AI / ML
- SIDA
- visa
- Todos os Produtos
- Permitindo
- Amazon
- Amazon EC2
- Amazon Sage Maker
- Estúdio Amazon SageMaker
- Amazon Web Services
- quantidade
- análise
- e
- Outro
- api
- app
- Aplicação
- aplicações
- aplicado
- arquitetura
- por aí
- artificial
- inteligência artificial
- Inteligência artificial (AI)
- auxiliar
- associado
- automatizar
- Automação
- disponível
- AWS
- Nuvem AWS9
- Formação da Nuvem AWS
- AWS Deep Racer
- baseado
- bater
- fundamentos básicos
- tornam-se
- antes
- ser
- MELHOR
- melhores práticas
- Melhor
- trazer
- Prédio
- chamado
- Pode obter
- carro
- casas
- casos
- certo
- alterar
- acusações
- Na nuvem
- Cloud Security
- Cloud9
- código
- colaborar
- colegas
- combinado
- Comunicação
- Empresas
- competir
- concorrentes
- completar
- componentes
- Computar
- conceitos
- Configuração
- considerável
- cônsul
- contém
- conteúdo
- contexto
- ao controle
- Convergem
- CORPORAÇÃO
- Correspondente
- crio
- criado
- Criar
- criação
- Credenciais
- dados,
- ciência de dados
- profundo
- Padrão
- definido
- implantar
- implantado
- Implantação
- desenvolvimento
- descrito
- destruir
- detalhado
- detalhes
- desenvolver
- Developer
- Desenvolvimento
- diagramas
- diferente
- Descobre
- discutido
- documentação
- Não faz
- distância
- durante
- dinâmico
- facilmente
- Eficaz
- eficiência
- eficientemente
- esforços
- ou
- permitir
- engenheiro
- no âmbito da empresa
- empresas
- Meio Ambiente
- ambientes
- essencial
- Mesmo
- Evento
- eventos
- emocionante
- esperado
- expressivo
- f1
- Familiaridade
- RÁPIDO
- Envie o
- Arquivos
- Primeiro nome
- Foco
- seguinte
- segue
- formato
- Quadro
- da
- Diversão
- funções
- Ganho
- gerar
- ter
- GitHub
- OFERTE
- dado
- Global
- concedido
- gráfico
- ótimo
- Grupo
- guia
- mãos em
- saúde
- ajudar
- Destaque
- altamente
- Horizontal
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTML
- HTTPS
- identificar
- Identidade
- executar
- in
- Crescimento
- aumentando
- indústrias
- indústria
- INFORMAÇÕES
- Infraestrutura
- inovadores
- introspecção
- insights
- instalar
- instalado
- instância
- com seguro
- Inteligência
- interesse
- Investimentos
- IT
- viagem
- json
- Chave
- Tipo
- Conhecimento
- Idiomas
- lançamento
- principal
- aprendizagem
- níveis
- Line
- carregamento
- localizado
- máquina
- aprendizado de máquina
- Maioria
- fazer
- gerencia
- gerenciados
- de grupos
- maneira
- fabrica
- Marketing
- Conheça
- Mindfulness
- ML
- modelo
- modelos
- Módulo
- Módulos
- movimentos
- múltiplo
- Música
- nomes
- Natureza
- quase
- necessário
- Novo
- Próximo
- caderno
- Office
- A bordo
- contínuo
- open source
- Software livre
- operando
- sistema operativo
- ideal
- ordem
- organização
- Outros
- parâmetro
- parâmetros
- parceiro
- paixão
- passado
- realização
- permissões
- plataforma
- platão
- Inteligência de Dados Platão
- PlatãoData
- Jogar
- jogar
- Privacidade
- pasta
- Publique
- poder
- práticas
- pré-requisitos
- primário
- processo
- Programação
- linguagens de programação
- Progresso
- fornecido
- provisão
- público
- Python
- rapidamente
- Corrida
- racers
- corrida
- aumentar
- variando
- recomendar
- redirecionar
- em relação a
- região
- remover
- Repetivel
- réplica
- repositório
- representação
- requeridos
- Recursos
- Resultados
- retorno
- Retorna
- rever
- Recompensa
- Recompensas
- Tipo
- papéis
- Execute
- corrida
- seguro
- sábio
- escalável
- Escala
- escala ai
- dimensionamento
- Ciência
- segurança
- seletivo
- Serviços
- conjunto
- instalação
- compartilhado
- Turnos
- rede de apoio social
- mostrando
- Shows
- simples
- mais inteligente
- EMS
- So
- Software
- desenvolvimento de software
- solução
- Soluções
- alguns
- espaços
- especialista
- especializada
- específico
- especificada
- pilha
- começo
- começado
- Status
- Passos
- Ainda
- armazenadas
- franco
- Estratégico
- estudo
- sub-rede
- sub-redes
- suportes
- .
- adaptados
- Tire
- toma
- modelo
- modelos
- terminal
- teste
- testes
- A
- O Básico
- deles
- Através da
- tempo
- para
- ferramentas
- pista
- Trem
- Training
- triplo
- tutoriais
- compreender
- unidade
- us
- usar
- caso de uso
- usuários
- valor
- vário
- Grande
- veículo
- verificar
- versão
- via
- assistindo
- web
- serviços web
- O Quê
- se
- qual
- enquanto
- largamente
- precisarão
- ganhar
- dentro
- Atividades:
- trabalhar
- trabalho
- do mundo
- seria
- Vocês
- investimentos
- zefirnet