Cet article est co-écrit par Zdenko Estok, Cloud Architect chez Accenture et Sakar Selimcan, DeepRacer SME chez Accenture.
Avec l'utilisation croissante de l'intelligence artificielle (IA) et de l'apprentissage automatique (ML) pour une grande majorité d'industries (allant des soins de santé à l'assurance, de la fabrication au marketing), l'accent principal est mis sur l'efficacité lors de la création et de la formation de modèles à grande échelle. La création d'un environnement de science des données évolutif et sans tracas est essentielle. Le lancement et la configuration d'un environnement adapté à un cas d'utilisation spécifique peuvent prendre un temps considérable, et encore plus difficile d'intégrer des collègues pour collaborer.
Selon Accenture, les entreprises qui parviennent à faire évoluer efficacement l'IA et le ML peuvent tripler presque le retour sur leurs investissements. Pourtant, toutes les entreprises n'atteignent pas les rendements attendus de leur parcours IA/ML. Les boîtes à outils pour automatiser l'infrastructure deviennent essentielles pour la mise à l'échelle horizontale des efforts d'IA/ML au sein d'une entreprise.
AWS Deep Racer est une façon simple et amusante de se lancer dans l'apprentissage par renforcement (RL), une technique de ML où un agent découvre les actions optimales à entreprendre dans un environnement donné. Dans notre cas, ce serait un véhicule AWS DeepRacer, essayant de courir vite sur une piste. Vous pouvez démarrer rapidement avec RL grâce à des didacticiels pratiques qui vous guident à travers les bases de la formation des modèles RL et les testent dans un cadre passionnant, expérience de course automobile autonome.
Cet article montre comment les entreprises peuvent utiliser l'infrastructure en tant que code (IaC) avec le Kit de développement AWS Cloud (AWS CDK) pour accélérer la création et la réplication d'une infrastructure hautement transférable et concourir facilement pour les événements AWS DeepRacer à grande échelle.
« IaC, combiné à un environnement Jupyter géré, nous a offert le meilleur des deux mondes : des environnements de science des données reproductibles et hautement transférables pour que nous puissions intégrer nos concurrents AWS DeepRacer afin de nous concentrer sur ce qu'ils font le mieux : former rapidement des modèles rapides. »
– Selimcan Sakar, PME AWS DeepRacer chez Accenture.
Vue d'ensemble de la solution
L'orchestration de tous les services nécessaires prend un temps considérable lorsqu'il s'agit de créer un modèle évolutif pouvant être appliqué à plusieurs cas d'utilisation. Dans le passé, AWS CloudFormation des modèles ont été créés pour automatiser la création de ces services. Avec les progrès de l'automatisation et de la configuration avec des niveaux d'abstraction croissants pour configurer différents environnements avec les outils IaC, le CDK AWS est largement adopté dans diverses entreprises. AWS CDK est une infrastructure de développement de logiciels open source pour définir vos ressources d'application cloud. Il utilise la familiarité et la puissance expressive des langages de programmation pour modéliser vos applications, tout en provisionnant les ressources de manière sûre et reproductible.
Dans cet article, nous activons le provisionnement des différents composants requis pour effectuer l'analyse des journaux à l'aide de Amazon Sage Maker sur AWS DeepRacer via AWS CDK constructions.
Bien que le graphique d'analyse fourni dans la console DeepRacer soit efficace et simple en ce qui concerne les récompenses accordées et les progrès réalisés, il ne donne pas un aperçu de la vitesse à laquelle la voiture se déplace à travers les waypoints, ou du type de ligne que la voiture préfère autour de la piste . C'est là que l'analyse avancée des journaux entre en jeu. Notre analyse avancée des journaux vise à apporter de l'efficacité dans l'entraînement rétrospectivement pour comprendre quelles fonctions de récompense et quels espaces d'action fonctionnent mieux que les autres lors de l'entraînement de plusieurs modèles, et si un modèle est surajusté, afin que les coureurs puissent s'entraîner plus intelligemment et obtenir de meilleurs résultats avec moins d'entraînement.
Notre solution décrit une configuration d'environnement AWS DeepRacer utilisant AWS CDK pour accélérer le parcours des utilisateurs expérimentant l'analyse de journaux SageMaker et l'apprentissage par renforcement sur AWS pour un événement AWS DeepRacer.
Un administrateur peut exécuter le script AWS CDK fourni dans le GitHub repo via le Console de gestion AWS ou dans le terminal après chargement du code dans leur environnement. Les étapes sont les suivantes:
- Ouvert AWSCloud9 sur la console.
- Chargez le module AWS CDK depuis GitHub dans l'environnement AWS Cloud9.
- Configurez le module AWS CDK comme décrit dans cet article.
- Ouvrez le fichier cdk.context.json et inspectez tous les paramètres.
- Modifiez les paramètres selon vos besoins et exécutez la commande AWS CDK avec la personne souhaitée pour lancer l'environnement configuré adapté à cette personne.
Le diagramme suivant illustre l'architecture de la solution.
Avec l'aide d'AWS CDK, nous pouvons contrôler la version de nos ressources provisionnées et disposer d'un environnement hautement transportable conforme aux meilleures pratiques au niveau de l'entreprise.
Pré-requis
Afin de provisionner des environnements ML avec AWS CDK, remplissez les conditions préalables suivantes :
- Avoir accès à un compte AWS et à des autorisations dans la région pour déployer les ressources nécessaires pour différentes personnes. Assurez-vous que vous disposez des informations d'identification et des autorisations pour déployer la pile AWS CDK dans votre compte.
- Nous vous recommandons de suivre certaines bonnes pratiques qui sont mises en évidence à travers les concepts détaillés dans les ressources suivantes :
- Cloner le GitHub repo dans votre environnement.
Déployez le portefeuille dans votre compte
Dans ce déploiement, nous utilisons AWS Cloud9 pour créer un environnement de science des données à l'aide d'AWS CDK.
- Accédez à la console AWS Cloud9.
- Spécifiez votre type d'environnement, le type d'instance et la plate-forme.
- Précisez votre Gestion des identités et des accès AWS (IAM), VPC et sous-réseau.
- Dans votre environnement AWS Cloud9, créez un nouveau dossier appelé DeepRacer.
- Exécutez la commande suivante pour installer AWS CDK et assurez-vous que vous disposez des bonnes dépendances pour déployer le portefeuille :
- Pour vérifier que l'AWS CDK a été installé et accéder à la documentation, exécutez la commande suivante dans votre terminal (elle devrait vous rediriger vers la documentation d'AWS CDK) :
- Nous pouvons désormais cloner le référentiel AWS DeepRacer à partir de GitHub.
- Ouvrez le référentiel cloné dans AWS Cloud9 :
Après avoir examiné le contenu du DeepRacer_cdk
répertoire, il y aura un fichier appelé package.json
avec tous les modules requis et les dépendances définies. C'est ici que vous pouvez définir vos ressources dans un module.
- Ensuite, installez tous les modules et dépendances requis pour l'application AWS CDK :
Cela synthétisera le modèle CloudFormation correspondant.
- Pour exécuter le déploiement, modifiez le fichier context.json avec les noms des paramètres ou définissez-les explicitement lors de l'exécution :
Les composants suivants sont créés pour l'analyse des journaux AWS DeepRacer en fonction de l'exécution du script :
- An Rôle IAM pour le bloc-notes SageMaker avec une stratégie gérée
- A Instance de notebook SageMaker avec le type d'instance ajouté explicitement en tant que paramètre de contexte cdk ou valeur par défaut stockée dans le fichier context.json
- Un VPC avec CIDR comme spécifié dans le fichier context.json avec quatre sous-réseaux publics configurés
- Un nouveau groupe de sécurité pour l'instance de notebook Sagemaker permettant la communication au sein du VPC
- Une politique de cycle de vie SageMaker avec un script bash qui précharge le contenu d'un autre GitHub référentiel, qui contient les fichiers que nous utilisons pour exécuter l'analyse des journaux sur les modèles AWS DeepRacer
- Vous pouvez exécuter la pile AWS CDK comme suit :
- Accédez à la console AWS CloudFormation dans la région où la pile est déployée pour vérifier les ressources.
Désormais, les utilisateurs peuvent commencer à utiliser ces services pour travailler avec l'analyse des journaux et la formation approfondie du modèle RL sur SageMaker pour AWS DeepRacer.
Tests de modules
Vous pouvez également exécuter des tests unitaires avant de déployer la pile pour vérifier que vous n'avez accidentellement pas supprimé les ressources requises. Les tests unitaires se trouvent dans DeepRacer/test/deep_racer.test.ts
et peut être exécuté avec le code suivant :
Générer des diagrammes à l'aide de cdk-dia
Pour générer des diagrammes, procédez comme suit :
- Installer
graphviz
à l'aide des outils de votre système d'exploitation :
Cela installe l'application cdk-dia.
- Exécutez maintenant le code suivant :
Une représentation graphique de votre pile AWS CDK sera stockée au format .png.
Après avoir exécuté les étapes précédentes, vous devriez voir le processus de création de l'instance de bloc-notes avec le statut En Attente. Lorsque l'état de l'instance de bloc-notes est En service (comme indiqué dans la capture d'écran suivante), vous pouvez passer aux étapes suivantes.
- Selectionnez Ouvrez Jupyter pour commencer à exécuter le script Python pour effectuer l'analyse du journal.
Pour plus de détails sur l'analyse des journaux à l'aide d'AWS DeepRacer et des visualisations associées, consultez Utilisation de l'analyse des journaux pour mener des expériences et remporter la course AWS DeepRacer F1 ProAm.
Nettoyer
Pour éviter les frais courants, procédez comme suit :
- Utilisez cdk destroy pour supprimer les ressources créées via AWS CDK.
- Sur la console AWS CloudFormation, supprimez la pile CloudFormation.
Conclusion
Les événements AWS DeepRacer sont un excellent moyen de susciter l'intérêt et d'accroître les connaissances en ML dans tous les piliers et niveaux d'une organisation. Dans cet article, nous avons expliqué comment vous pouvez configurer un environnement AWS DeepRacer dynamique et mettre en place des services sélectifs pour accélérer le parcours des utilisateurs sur la plateforme AWS. Nous avons discuté de la création de services Amazon SageMaker Notebook Instance, des rôles IAM, de la configuration du cycle de vie du notebook SageMaker avec les meilleures pratiques, d'un VPC et Cloud de calcul élastique Amazon (Amazon EC2) basées sur l'identification du contexte à l'aide d'AWS CDK et la mise à l'échelle pour différents utilisateurs à l'aide d'AWS DeepRacer.
Configurez l'environnement CDK et exécutez le bloc-notes d'analyse avancée des journaux pour améliorer l'efficacité de l'exécution du module. Aidez les coureurs à obtenir de meilleurs résultats en moins de temps et obtenez des informations détaillées sur les fonctions et les actions de récompense.
Bibliographie
Plus d'informations sont disponibles sur les ressources suivantes :
- Automatisez la configuration d'Amazon SageMaker Studio à l'aide d'AWS CDK
- Référence de l'API AWS SageMaker CDK
À propos des auteurs
Zdenko Estok travaille comme architecte cloud et ingénieur DevOps chez Accenture. Il travaille avec AABG pour développer et mettre en œuvre des solutions cloud innovantes et se spécialise dans l'infrastructure en tant que code et la sécurité du cloud. Zdenko aime se rendre au bureau à vélo et aime faire d'agréables promenades dans la nature.
Selimcan "Can" Sakar est un premier développeur cloud et architecte de solutions chez Accenture, spécialisé dans l'intelligence artificielle et passionné par la convergence des modèles.
Shikhar Kwatra est un architecte de solutions spécialisé en IA/ML chez Amazon Web Services, travaillant avec un intégrateur de systèmes mondial de premier plan. Shikhar aide à l'architecture, à la création et à la maintenance d'environnements cloud rentables et évolutifs pour l'organisation, et aide le partenaire GSI à créer des solutions sectorielles stratégiques sur AWS. Shikhar aime jouer de la guitare, composer de la musique et pratiquer la pleine conscience pendant son temps libre.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- Platoblockchain. Intelligence métaverse Web3. Connaissance Amplifiée. Accéder ici.
- La source: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
- 10
- 100
- 11
- 7
- 9
- a
- Capable
- accélérer
- Accenture
- accès
- accidentellement
- Compte
- atteindre
- atteint
- à travers
- Action
- actes
- ajoutée
- Supplémentaire
- adopté
- Avancée
- progrès
- Après
- Agent
- AI
- AI / ML
- SIDA
- vise
- Tous
- Permettre
- Amazon
- Amazon EC2
- Amazon Sage Maker
- Amazon SageMakerStudio
- Amazon Web Services
- montant
- selon une analyse de l’Université de Princeton
- ainsi que
- Une autre
- api
- appli
- Application
- applications
- appliqué
- architecture
- autour
- artificiel
- intelligence artificielle
- Intelligence artificielle (AI)
- aider
- associé
- automatiser
- Automation
- disponibles
- AWS
- AWSCloud9
- AWS CloudFormation
- AWS Deep Racer
- basé
- bash
- Basics
- devenez
- before
- va
- LES MEILLEURS
- les meilleures pratiques
- Améliorée
- apporter
- Développement
- appelé
- Peut obtenir
- fournisseur
- maisons
- cas
- certaines
- Change
- des charges
- le cloud
- Cloud Security
- Cloud9
- code
- collaborons
- collègues
- combiné
- Communication
- Sociétés
- rivaliser
- concurrents
- complet
- composants électriques
- calcul
- concepts
- configuration
- considérable
- Console
- contient
- contenu
- contexte
- des bactéries
- converger
- SOCIÉTÉ
- Correspondant
- engendrent
- créée
- La création
- création
- Lettres de créance
- données
- science des données
- profond
- Réglage par défaut
- défini
- déployer
- déployé
- déployer
- déploiement
- décrit
- détruire
- détaillé
- détails
- développer
- Développeur
- Développement
- diagrammes
- différent
- Découvre
- discuté
- Documentation
- Ne fait pas
- motivation
- pendant
- Dynamic
- même
- Efficace
- efficace
- efficacement
- efforts
- non plus
- permettre
- ingénieur
- niveau entreprise
- entreprises
- Environment
- environnements
- essential
- Pourtant, la
- événement
- événements
- passionnant
- attendu
- expressif
- f1
- Familiarité
- RAPIDE
- Déposez votre dernière attestation
- Fichiers
- Prénom
- Focus
- Abonnement
- suit
- le format
- Framework
- De
- amusement
- fonctions
- Gain
- générer
- obtenez
- GitHub
- Donner
- donné
- Global
- accordée
- graphique
- l'
- Réservation de groupe
- guide
- hands-on
- la médecine
- vous aider
- Surbrillance
- très
- Horizontal
- Comment
- How To
- HTML
- HTTPS
- identifier
- Identite
- Mettre en oeuvre
- in
- Améliore
- croissant
- secteurs
- industrie
- d'information
- Infrastructure
- technologie innovante
- perspicacité
- idées.
- installer
- Installé
- instance
- Assurance
- Intelligence
- intérêt
- Investissements
- IT
- chemin
- json
- ACTIVITES
- Genre
- spécialisées
- Langues
- lancer
- conduisant
- apprentissage
- niveaux
- Gamme
- chargement
- situé
- click
- machine learning
- Majorité
- a prendre une
- gérer
- gérés
- gestion
- manière
- fabrication
- Stratégie
- Découvrez
- Pleine conscience
- ML
- modèle
- numériques jumeaux (digital twin models)
- Module
- Modules
- se déplace
- plusieurs
- Musique
- noms
- Nature
- presque
- nécessaire
- Nouveauté
- next
- cahier
- Bureaux
- Débuter
- en cours
- open source
- Logiciels open source
- d'exploitation
- le système d'exploitation
- optimaux
- de commander
- organisation
- Autres
- paramètre
- paramètres
- les partenaires
- passion
- passé
- effectuer
- autorisations
- plateforme
- Platon
- Intelligence des données Platon
- PlatonDonnées
- Jouez
- jouer
- politique
- portefeuille
- Post
- power
- pratiques
- conditions préalables
- primaire
- processus
- Programmation
- langages de programmation
- Progrès
- à condition de
- disposition
- public
- Python
- vite.
- Race
- coureurs
- course
- augmenter
- allant
- recommander
- réorienter
- en ce qui concerne
- région
- supprimez
- répétable
- réplication
- dépôt
- représentation
- conditions
- Resources
- Résultats
- retourner
- Retours
- Avis
- Récompenser
- Programme de fidélité
- Rôle
- rôle
- Courir
- pour le running
- des
- sagemaker
- évolutive
- Escaliers intérieurs
- échelle ai
- mise à l'échelle
- Sciences
- sécurité
- sélectif
- Services
- set
- installation
- commun
- Changements
- devrait
- montré
- Spectacles
- étapes
- plus intelligents
- PME
- So
- Logiciels
- développement de logiciels
- sur mesure
- Solutions
- quelques
- espaces
- spécialiste
- spécialise
- groupe de neurones
- spécifié
- empiler
- Commencer
- j'ai commencé
- Statut
- Étapes
- Encore
- stockée
- simple
- Stratégique
- studio
- sous-réseau
- sous-réseaux
- Les soutiens
- combustion propre
- Prenez
- prend
- modèle
- modèles
- terminal
- tester
- tests
- La
- Les bases
- leur
- Avec
- fiable
- à
- les outils
- suivre
- Train
- Formation
- Tripler
- tutoriels
- comprendre
- unité
- us
- utilisé
- cas d'utilisation
- utilisateurs
- Plus-value
- divers
- Vaste
- véhicule
- vérifier
- version
- via
- personne(s) regarde(nt) cette fiche produit
- web
- services Web
- Quoi
- que
- qui
- tout en
- largement
- sera
- gagner
- dans les
- activités principales
- de travail
- vos contrats
- monde
- pourra
- Vous n'avez
- Votre
- zéphyrnet