Dit bericht is mede geschreven door Zdenko Estok, Cloud Architect bij Accenture en Sakar Selimcan, DeepRacer SME bij Accenture.
Met het toenemende gebruik van kunstmatige intelligentie (AI) en machine learning (ML) voor een overgrote meerderheid van industrieën (variërend van gezondheidszorg tot verzekeringen, van productie tot marketing), verschuift de primaire focus naar efficiëntie bij het bouwen en trainen van modellen op schaal. Het creëren van een schaalbare en probleemloze data science-omgeving is essentieel. Het kan een aanzienlijke hoeveelheid tijd kosten om een omgeving te lanceren en te configureren die is toegesneden op een specifieke use case en zelfs nog moeilijker om collega's aan boord te krijgen om samen te werken.
Think Accenture, kunnen bedrijven die erin slagen om AI en ML efficiënt op te schalen, het rendement op hun investeringen bijna verdrievoudigen. Toch halen niet alle bedrijven hun verwachte rendement op hun AI/ML-reis. Toolkits om de infrastructuur te automatiseren worden essentieel voor horizontale schaalvergroting van AI/ML-inspanningen binnen een bedrijf.
AWS diepe racer is een eenvoudige en leuke manier om aan de slag te gaan met Reinforcement Learning (RL), een ML-techniek waarbij een agent de optimale acties ontdekt die in een bepaalde omgeving moeten worden ondernomen. In ons geval zou dat een AWS DeepRacer-voertuig zijn dat snel over een circuit probeert te racen. U kunt snel aan de slag met RL met praktijkgerichte tutorials die u door de basisprincipes van het trainen van RL-modellen leiden en deze testen in een spannende, autonome autorace-ervaring.
Dit bericht laat zien hoe bedrijven infrastructuur als code (IaC) kunnen gebruiken met de AWS Cloud-ontwikkelingskit (AWS CDK) om de creatie en replicatie van sterk overdraagbare infrastructuur te versnellen en gemakkelijk te concurreren voor AWS DeepRacer-evenementen op schaal.
"IaC in combinatie met een beheerde Jupyter-omgeving gaf ons het beste van twee werelden: herhaalbare, zeer overdraagbare datawetenschapsomgevingen zodat we onze AWS DeepRacer-concurrenten aan boord konden nemen om ons te concentreren op wat ze het beste doen: snelle modellen snel trainen."
– Selimcan Sakar, AWS DeepRacer MKB bij Accenture.
Overzicht oplossingen
Het orkestreren van alle benodigde services kost veel tijd als het gaat om het maken van een schaalbare sjabloon die kan worden toegepast voor meerdere use-cases. In het verleden, AWS CloudFormatie er zijn sjablonen gemaakt om het maken van deze services te automatiseren. Met de vooruitgang in automatisering en configuratie met toenemende abstractieniveaus om verschillende omgevingen op te zetten met IaC-tools, wordt de AWS CDK op grote schaal toegepast in verschillende ondernemingen. De AWS CDK is een open-source raamwerk voor softwareontwikkeling om uw cloudapplicatieresources te definiëren. Het maakt gebruik van de vertrouwdheid en expressieve kracht van programmeertalen voor het modelleren van uw applicaties, terwijl het middelen op een veilige en herhaalbare manier levert.
In dit bericht maken we de levering mogelijk van verschillende componenten die nodig zijn voor het uitvoeren van loganalyse met behulp van Amazon Sage Maker op AWS DeepRacer via AWS CDK constructies.
Hoewel de analysegrafiek in de DeepRacer-console effectief en duidelijk is met betrekking tot de toegekende beloningen en de behaalde voortgang, geeft deze geen inzicht in hoe snel de auto door de waypoints beweegt, of wat voor soort lijn de auto het liefst rond de baan rijdt. . Dit is waar geavanceerde loganalyse om de hoek komt kijken. Onze geavanceerde loganalyse is bedoeld om achteraf efficiëntie in training te brengen om te begrijpen welke beloningsfuncties en actieruimten beter werken dan de andere bij het trainen van meerdere modellen, en of een model overfit is, zodat racers slimmer kunnen trainen en betere resultaten kunnen behalen met minder training.
Onze oplossing beschrijft een AWS DeepRacer-omgevingsconfiguratie met behulp van de AWS CDK om de reis van gebruikers te versnellen die experimenteren met SageMaker-loganalyse en versterkingsleren op AWS voor een AWS DeepRacer-evenement.
Een beheerder kan het AWS CDK-script uitvoeren dat wordt geleverd in de GitHub repo via de AWS-beheerconsole of in de terminal na het laden van de code in hun omgeving. De stappen zijn als volgt:
- Openen AWS-Cloud9 op de console.
- Laad de AWS CDK-module van GitHub in de AWS Cloud9-omgeving.
- Configureer de AWS CDK-module zoals beschreven in dit bericht.
- Open het bestand cdk.context.json en inspecteer alle parameters.
- Pas de parameters naar behoefte aan en voer de AWS CDK-opdracht uit met de beoogde persona om de geconfigureerde omgeving te starten die geschikt is voor die persona.
Het volgende diagram illustreert de oplossingsarchitectuur.
Met behulp van de AWS CDK kunnen we onze ingerichte resources versiebeheer en hebben we een zeer transporteerbare omgeving die voldoet aan best practices op ondernemingsniveau.
Voorwaarden
Voltooi de volgende vereisten om ML-omgevingen in te richten met de AWS CDK:
- Toegang hebben tot een AWS-account en machtigingen binnen de regio om de benodigde middelen voor verschillende persona's in te zetten. Zorg ervoor dat u over de inloggegevens en machtigingen beschikt om de AWS CDK-stack in uw account te implementeren.
- We raden u aan bepaalde best practices te volgen die worden benadrukt door de concepten die in de volgende bronnen worden beschreven:
- Kloon het GitHub repo in uw omgeving.
Implementeer de portfolio in uw account
In deze implementatie gebruiken we AWS Cloud9 om een data science-omgeving te creëren met behulp van de AWS CDK.
- Navigeer naar de AWS Cloud9-console.
- Geef uw omgevingstype, instantietype en platform op.
- Specificeer uw AWS Identiteits- en toegangsbeheer (IAM) rol, VPC en subnet.
- Maak in uw AWS Cloud9-omgeving een nieuwe map aan met de naam DeepRacer.
- Voer de volgende opdracht uit om de AWS CDK te installeren en zorg ervoor dat u de juiste afhankelijkheden hebt om de portfolio te implementeren:
- Om te controleren of de AWS CDK is geïnstalleerd en om toegang te krijgen tot de documenten, voert u de volgende opdracht uit in uw terminal (deze zou u moeten omleiden naar de AWS CDK-documentatie):
- Nu kunnen we de AWS DeepRacer-repository klonen van GitHub.
- Open de gekloonde opslagplaats in AWS Cloud9:
Nadat u de inhoud in de DeepRacer_cdk
directory, zal er een bestand zijn met de naam package.json
met alle vereiste modules en afhankelijkheden gedefinieerd. Hier kunt u uw bronnen in een module definiëren.
- Installeer vervolgens alle vereiste modules en afhankelijkheden voor de AWS CDK-app:
Hiermee wordt de bijbehorende CloudFormation-sjabloon gesynthetiseerd.
- Om de implementatie uit te voeren, wijzigt u het bestand context.json met parameternamen of definieert u ze expliciet tijdens runtime:
De volgende componenten worden gemaakt voor AWS DeepRacer-loganalyse op basis van het uitvoeren van het script:
- An IAM-rol voor de SageMaker-notebook met een beheerd beleid
- A SageMaker notebook-instantie waarbij het instantietype expliciet is toegevoegd als cdk-contextparameter of als standaardwaarde is opgeslagen in het bestand context.json
- Een VPC met CIDR zoals gespecificeerd in het bestand context.json, samen met vier geconfigureerde openbare subnetten
- Een nieuwe beveiligingsgroep voor de Sagemaker-notebookinstantie die communicatie binnen de VPC mogelijk maakt
- Een levenscyclusbeleid van SageMaker met een bash-script dat de inhoud van een ander script voorlaadt GitHub-repository, die de bestanden bevat die we gebruiken voor het uitvoeren van de loganalyse op de AWS DeepRacer-modellen
- U kunt de AWS CDK-stack als volgt uitvoeren:
- Ga naar de AWS CloudFormation-console in de regio waar de stack is geïmplementeerd om de bronnen te verifiëren.
Nu kunnen gebruikers die services gaan gebruiken om te werken met loganalyse en diepe RL-modeltraining op SageMaker voor AWS DeepRacer.
Module testen
U kunt ook enkele unit-tests uitvoeren voordat u de stapel implementeert om te controleren of u per ongeluk geen vereiste bronnen hebt verwijderd. De eenheidstests bevinden zich in DeepRacer/test/deep_racer.test.ts
en kan worden uitgevoerd met de volgende code:
Genereer diagrammen met behulp van cdk-dia
Voer de volgende stappen uit om diagrammen te genereren:
- Install
graphviz
met de hulpprogramma's van uw besturingssysteem:
Dit installeert de cdk-dia applicatie.
- Voer nu de volgende code uit:
Een grafische weergave van uw AWS CDK-stack wordt opgeslagen in .png-indeling.
Nadat u de voorgaande stappen hebt uitgevoerd, zou u het aanmaakproces van de notebookinstantie met status moeten kunnen zien In behandeling. Wanneer de status van de notebook-instantie is In dienst (zoals weergegeven in de volgende schermafbeelding), kunt u doorgaan met de volgende stappen.
- Kies Jupyter openen om het Python-script uit te voeren voor het uitvoeren van de loganalyse.
Raadpleeg voor meer informatie over loganalyse met behulp van AWS DeepRacer en bijbehorende visualisaties Loganalyse gebruiken om experimenten aan te sturen en de AWS DeepRacer F1 ProAm Race te winnen.
Opruimen
Voer de volgende stappen uit om lopende kosten te voorkomen:
- Gebruik cdk destroy om de bronnen te verwijderen die zijn gemaakt via de AWS CDK.
- Verwijder op de AWS CloudFormation-console de CloudFormation-stack.
Conclusie
AWS DeepRacer-evenementen zijn een geweldige manier om interesse te wekken en ML-kennis te vergroten in alle pijlers en niveaus van een organisatie. In dit bericht hebben we gedeeld hoe u een dynamische AWS DeepRacer-omgeving kunt configureren en selectieve services kunt instellen om de reis van gebruikers op het AWS-platform te versnellen. We bespraken hoe services Amazon SageMaker Notebook Instance, IAM-rollen, SageMaker notebook lifecycle-configuratie met best practices, een VPC en Amazon Elastic Compute-cloud (Amazon EC2) instanties gebaseerd op het identificeren van de context met behulp van de AWS CDK en schaling voor verschillende gebruikers met behulp van AWS DeepRacer.
Configureer de CDK-omgeving en voer het geavanceerde notitieboek voor logboekanalyse uit om de module efficiënter te laten werken. Help racers om in minder tijd betere resultaten te behalen en gedetailleerde inzichten te krijgen in beloningsfuncties en actie.
Referenties
Meer informatie is beschikbaar op de volgende bronnen:
- Automatiseer de installatie van Amazon SageMaker Studio met AWS CDK
- AWS SageMaker CDK API-referentie
Over de auteurs
Zdenko Estok werkt als cloud architect en DevOps engineer bij Accenture. Hij werkt samen met AABG aan het ontwikkelen en implementeren van innovatieve cloudoplossingen en is gespecialiseerd in infrastructuur als code en cloudbeveiliging. Zdenko fietst graag naar kantoor en houdt van mooie wandelingen in de natuur.
Selimcan "Kan" Sakar is een cloud first-ontwikkelaar en oplossingsarchitect bij Accenture met een focus op kunstmatige intelligentie en een passie voor het samenkomen van modellen.
Shikhar Kwatra is een gespecialiseerde AI/ML-oplossingsarchitect bij Amazon Web Services en werkt samen met een toonaangevende Global System Integrator. Shikhar helpt bij het ontwerpen, bouwen en onderhouden van kostenefficiënte, schaalbare cloudomgevingen voor de organisatie, en ondersteunt de GSI-partner bij het bouwen van strategische brancheoplossingen op AWS. Shikhar speelt graag gitaar, componeert muziek en beoefent in zijn vrije tijd mindfulness.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
- Bron: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
- 10
- 100
- 11
- 7
- 9
- a
- in staat
- versnellen
- Accenture
- toegang
- per ongeluk
- Account
- Bereiken
- bereikt
- over
- Actie
- acties
- toegevoegd
- Extra
- aangenomen
- vergevorderd
- vooruitgang
- Na
- Agent
- AI
- AI / ML
- AIDS
- wil
- Alles
- Het toestaan
- Amazone
- Amazon EC2
- Amazon Sage Maker
- Amazon SageMaker Studio
- Amazon Web Services
- bedragen
- analyse
- en
- Nog een
- api
- gebruiken
- Aanvraag
- toepassingen
- toegepast
- architectuur
- rond
- kunstmatig
- kunstmatige intelligentie
- Kunstmatige intelligentie (AI)
- helpen
- geassocieerd
- automatiseren
- Automatisering
- Beschikbaar
- AWS
- AWS-Cloud9
- AWS CloudFormatie
- AWS diepe racer
- gebaseerde
- slaan
- De Basis
- worden
- vaardigheden
- wezen
- BEST
- 'best practices'
- Betere
- brengen
- Gebouw
- Dit betekent dat we onszelf en onze geliefden praktisch vergiftigen.
- Kan krijgen
- auto
- geval
- gevallen
- zeker
- verandering
- lasten
- Cloud
- Cloud Security
- Cloud9
- code
- samenwerken
- collega's
- gecombineerde
- Communicatie
- Bedrijven
- concurreren
- concurrenten
- compleet
- componenten
- Berekenen
- concepten
- Configuratie
- aanzienlijk
- troosten
- bevat
- content
- verband
- onder controle te houden
- convergeren
- BEDRIJF
- Overeenkomend
- en je merk te creëren
- aangemaakt
- Wij creëren
- het aanmaken
- Geloofsbrieven
- gegevens
- data science
- deep
- Standaard
- gedefinieerd
- implementeren
- ingezet
- het inzetten
- inzet
- beschreven
- vernietigen
- gedetailleerd
- gegevens
- ontwikkelen
- Ontwikkelaar
- Ontwikkeling
- diagrammen
- anders
- Ontdekt
- besproken
- documentatie
- Nee
- rit
- gedurende
- dynamisch
- gemakkelijk
- effectief
- doeltreffendheid
- efficiënt
- inspanningen
- beide
- in staat stellen
- ingenieur
- bedrijfsniveau
- bedrijven
- Milieu
- omgevingen
- essentieel
- Zelfs
- Event
- EVENTS
- opwindend
- verwacht
- expressief
- f1
- vertrouwdheid
- SNELLE
- Dien in
- Bestanden
- Voornaam*
- Focus
- volgend
- volgt
- formaat
- Achtergrond
- oppompen van
- leuke
- functies
- Krijgen
- voortbrengen
- krijgen
- GitHub
- Geven
- gegeven
- Globaal
- verleend
- diagram
- groot
- Groep
- gids
- hands-on
- gezondheidszorg
- hulp
- Gemarkeerd
- zeer
- Horizontaal
- Hoe
- How To
- HTML
- HTTPS
- het identificeren van
- Identiteit
- uitvoeren
- in
- Laat uw omzet
- meer
- industrieën
- -industrie
- informatie
- Infrastructuur
- innovatieve
- inzicht
- inzichten
- installeren
- geïnstalleerd
- instantie
- verzekering
- Intelligentie
- belang
- Investeringen
- IT
- json
- sleutel
- Soort
- kennis
- Talen
- lancering
- leidend
- leren
- niveaus
- Lijn
- het laden
- gelegen
- machine
- machine learning
- Meerderheid
- maken
- beheer
- beheerd
- management
- manier
- productie
- Marketing
- Maak kennis met
- Mindfulness
- ML
- model
- modellen
- Module
- Modules
- beweegt
- meervoudig
- Muziek
- namen
- NATUUR
- bijna
- noodzakelijk
- New
- volgende
- notitieboekje
- Kantoor
- Aan boord
- lopend
- open source
- Open source software
- werkzaam
- besturingssysteem
- optimale
- bestellen
- organisatie
- Overig
- parameter
- parameters
- partner
- passie
- verleden
- uitvoerend
- permissies
- platform
- Plato
- Plato gegevensintelligentie
- PlatoData
- Spelen
- spelen
- beleidsmaatregelen
- portfolio
- Post
- energie
- praktijken
- vereisten
- primair
- Programming
- programmeertalen
- Voortgang
- mits
- voorziening
- publiek
- Python
- snel
- Race
- racers
- Racing
- verhogen
- variërend
- adviseren
- redirect
- met betrekking tot
- regio
- verwijderen
- herhaalbare
- kopiëren
- bewaarplaats
- vertegenwoordiging
- nodig
- Resources
- Resultaten
- terugkeer
- Retourneren
- beoordelen
- Belonen
- Beloningen
- Rol
- rollen
- lopen
- lopend
- veilig
- sagemaker
- schaalbare
- Scale
- schaal ai
- scaling
- Wetenschap
- veiligheid
- selectief
- Diensten
- reeks
- setup
- gedeeld
- Ploegen
- moet
- getoond
- Shows
- Eenvoudig
- slimmer
- EMS
- So
- Software
- software development
- oplossing
- Oplossingen
- sommige
- ruimten
- specialist
- specialiseert
- specifiek
- gespecificeerd
- stack
- begin
- gestart
- Status
- Stappen
- Still
- opgeslagen
- eenvoudig
- strategisch
- studio
- subnet
- subnetten
- steunen
- system
- op maat gemaakt
- Nemen
- neemt
- sjabloon
- templates
- terminal
- proef
- testen
- De
- The Basics
- hun
- Door
- niet de tijd of
- naar
- tools
- spoor
- Trainen
- Trainingen
- Triple
- tutorials
- begrijpen
- eenheid
- us
- .
- use case
- gebruikers
- waarde
- divers
- groot
- voertuig
- controleren
- versie
- via
- kijken
- web
- webservices
- Wat
- of
- welke
- en
- wijd
- wil
- winnen
- binnen
- Mijn werk
- werkzaam
- Bedrijven
- s werelds
- zou
- You
- Your
- zephyrnet