Dette indlæg er skrevet af Zdenko Estok, Cloud Architect hos Accenture og Sakar Selimcan, DeepRacer SME hos Accenture.
Med den stigende brug af kunstig intelligens (AI) og machine learning (ML) for langt de fleste brancher (lige fra sundhedspleje til forsikring, fra fremstilling til marketing), skifter det primære fokus til effektivitet, når man bygger og træner modeller i stor skala. Skabelsen af et skalerbart og problemfrit datavidenskabsmiljø er nøglen. Det kan tage lang tid at starte og konfigurere et miljø, der er skræddersyet til en specifik use case og endnu sværere for kolleger at samarbejde.
Ifølge Accenture, kan virksomheder, der formår at skalere AI og ML effektivt opnå næsten det tredobbelte afkast på deres investeringer. Alligevel opfylder ikke alle virksomheder deres forventede afkast på deres AI/ML-rejse. Værktøjssæt til at automatisere infrastrukturen bliver afgørende for horisontal skalering af AI/ML-indsatsen i en virksomhed.
AWS Deep Racer er en enkel og sjov måde at komme i gang med forstærkende læring (RL), en ML-teknik, hvor en agent opdager de optimale handlinger at tage i et givet miljø. I vores tilfælde ville det være et AWS DeepRacer-køretøj, der forsøger at køre hurtigt rundt på en bane. Du kan komme hurtigt i gang med RL med praktiske tutorials, der guider dig gennem det grundlæggende i træning af RL-modeller og teste dem på en spændende, autonom bil racing oplevelse.
Dette indlæg viser, hvordan virksomheder kan bruge infrastruktur som kode (IaC) med AWS Cloud Development Kit (AWS CDK) for at accelerere oprettelsen og replikeringen af meget overførbar infrastruktur og let konkurrere om AWS DeepRacer-begivenheder i stor skala.
"IaC kombineret med et administreret Jupyter-miljø gav os det bedste fra begge verdener: gentagelige, meget overførbare datavidenskabelige miljøer, så vi kunne ombord på vores AWS DeepRacer-konkurrenter for at fokusere på det, de gør bedst: træne hurtige modeller hurtigt."
– Selimcan Sakar, AWS DeepRacer SME hos Accenture.
Løsningsoversigt
At orkestrere alle de nødvendige tjenester tager lang tid, når det kommer til at skabe en skalerbar skabelon, der kan anvendes til flere tilfælde. I fortiden, AWS CloudFormation skabeloner er blevet oprettet for at automatisere oprettelsen af disse tjenester. Med fremskridtene inden for automatisering og konfiguration med stigende abstraktionsniveauer for at opsætte forskellige miljøer med IaC-værktøjer, bliver AWS CDK bredt udbredt på tværs af forskellige virksomheder. AWS CDK er en open source softwareudviklingsramme til at definere dine cloud-applikationsressourcer. Den bruger programmeringssprogenes kendskab og udtryksevne til at modellere dine applikationer, mens den leverer ressourcer på en sikker og gentagelig måde.
I dette indlæg aktiverer vi levering af forskellige komponenter, der er nødvendige for at udføre loganalyse ved hjælp af Amazon SageMaker på AWS DeepRacer via AWS CDK konstruktioner.
Selvom analysegrafen i DeepRacer-konsollen er effektiv og ligetil med hensyn til de belønninger, der gives og opnåede fremskridt, giver den ikke indsigt i, hvor hurtigt bilen bevæger sig gennem waypoints, eller hvilken slags linje bilen foretrækker rundt på banen . Det er her avanceret loganalyse kommer ind i billedet. Vores avancerede loganalyse har til formål at bringe effektivitet i træningen retrospektivt for at forstå, hvilke belønningsfunktioner og handlingsrum, der fungerer bedre end de andre, når man træner flere modeller, og om en model er overfitting, så racere kan træne smartere og opnå bedre resultater med mindre træning.
Vores løsning beskriver en AWS DeepRacer-miljøkonfiguration, der bruger AWS CDK til at accelerere rejsen for brugere, der eksperimenterer med SageMaker-loganalyse og forstærkningslæring på AWS til en AWS DeepRacer-begivenhed.
En administrator kan køre AWS CDK-scriptet, der findes i GitHub repo via AWS Management Console eller i terminalen efter indlæsning af koden i deres miljø. Trinene er som følger:
- Åbne AWS Cloud9 på konsollen.
- Indlæs AWS CDK-modulet fra GitHub i AWS Cloud9-miljøet.
- Konfigurer AWS CDK-modulet som beskrevet i dette indlæg.
- Åbn filen cdk.context.json og undersøg alle parametrene.
- Rediger parametrene efter behov, og kør AWS CDK-kommandoen med den tilsigtede persona for at starte det konfigurerede miljø, der passer til den persona.
Følgende diagram illustrerer løsningsarkitekturen.
Ved hjælp af AWS CDK kan vi versionskontrollere vores klargjorte ressourcer og have et yderst transportabelt miljø, der overholder bedste praksis på virksomhedsniveau.
Forudsætninger
For at klargøre ML-miljøer med AWS CDK skal du udfylde følgende forudsætninger:
- Har adgang til en AWS-konto og tilladelser inden for regionen til at implementere de nødvendige ressourcer til forskellige personer. Sørg for, at du har legitimationsoplysningerne og tilladelserne til at implementere AWS CDK-stakken på din konto.
- Vi anbefaler at følge visse bedste praksisser, der fremhæves gennem de begreber, der er beskrevet i følgende ressourcer:
- Klon GitHub repo ind i dit miljø.
Implementer porteføljen på din konto
I denne udrulning bruger vi AWS Cloud9 til at skabe et datavidenskabsmiljø ved hjælp af AWS CDK.
- Naviger til AWS Cloud9-konsollen.
- Angiv din miljøtype, instanstype og platform.
- Angiv din AWS identitets- og adgangsstyring (IAM) rolle, VPC og undernet.
- I dit AWS Cloud9-miljø skal du oprette en ny mappe kaldet DeepRacer.
- Kør følgende kommando for at installere AWS CDK, og sørg for, at du har de rigtige afhængigheder til at implementere porteføljen:
- For at bekræfte, at AWS CDK er blevet installeret og for at få adgang til dokumenterne, skal du køre følgende kommando i din terminal (den bør omdirigere dig til AWS CDK-dokumentationen):
- Nu kan vi klone AWS DeepRacer-depotet fra GitHub.
- Åbn den klonede repo i AWS Cloud9:
Når du har gennemgået indholdet i DeepRacer_cdk
mappe, vil der være en fil kaldet package.json
med alle de nødvendige moduler og afhængigheder defineret. Det er her du kan definere dine ressourcer i et modul.
- Installer derefter alle nødvendige moduler og afhængigheder til AWS CDK-appen:
Dette vil syntetisere den tilsvarende CloudFormation-skabelon.
- For at køre installationen skal du enten ændre filen context.json med parameternavne eller udtrykkeligt definere dem under kørsel:
Følgende komponenter er oprettet til AWS DeepRacer-loganalyse baseret på at køre scriptet:
- An IAM rolle til SageMaker notebook med en administreret politik
- A SageMaker notebook-forekomst med instanstypen enten eksplicit tilføjet som en cdk-kontekstparameter eller standardværdi gemt i filen context.json
- En VPC med CIDR som angivet i filen context.json sammen med fire offentlige undernet konfigureret
- En ny sikkerhedsgruppe for Sagemaker notebook-instansen, der tillader kommunikation inden for VPC
- En SageMaker-livscykluspolitik med et bash-script, der forudindlæser indholdet af et andet GitHub repository, som indeholder de filer, vi bruger til at køre loganalysen på AWS DeepRacer-modellerne
- Du kan køre AWS CDK-stakken som følger:
- Gå til AWS CloudFormation-konsollen i det område, hvor stakken er installeret, for at verificere ressourcerne.
Nu kan brugere begynde at bruge disse tjenester til at arbejde med loganalyse og dyb RL-modeltræning på SageMaker til AWS DeepRacer.
Modul test
Du kan også køre nogle enhedstests, før du implementerer stakken, for at bekræfte, at du ved et uheld ikke har fjernet de nødvendige ressourcer. Enhedstestene er placeret i DeepRacer/test/deep_racer.test.ts
og kan køres med følgende kode:
Generer diagrammer ved hjælp af cdk-dia
Udfør følgende trin for at generere diagrammer:
- Installer
graphviz
ved hjælp af dit operativsystems værktøjer:
Dette installerer cdk-dia-applikationen.
- Kør nu følgende kode:
En grafisk repræsentation af din AWS CDK-stak vil blive gemt i .png-format.
Når du har kørt de foregående trin, bør du kunne se oprettelsesprocessen for notebook-forekomsten med status Verserende. Når status for notebook-forekomsten er I brug (som vist på det følgende skærmbillede), kan du fortsætte med de næste trin.
- Vælg Åbn Jupyter for at begynde at køre Python-scriptet til udførelse af loganalysen.
For yderligere detaljer om loganalyse ved hjælp af AWS DeepRacer og tilhørende visualiseringer, se Brug af loganalyse til at drive eksperimenter og vinde AWS DeepRacer F1 ProAm Race.
Ryd op
For at undgå løbende opkrævninger skal du udføre følgende trin:
- Brug cdk destroy til at slette de ressourcer, der er oprettet via AWS CDK.
- Slet CloudFormation-stakken på AWS CloudFormation-konsollen.
Konklusion
AWS DeepRacer-begivenheder er en fantastisk måde at øge interessen og øge ML-viden på tværs af alle søjler og niveauer i en organisation. I dette indlæg delte vi, hvordan du kan konfigurere et dynamisk AWS DeepRacer-miljø og opsætte selektive tjenester for at fremskynde brugernes rejse på AWS-platformen. Vi diskuterede, hvordan man opretter tjenester Amazon SageMaker Notebook Instance, IAM-roller, SageMaker notebook-livscykluskonfiguration med bedste praksis, en VPC og Amazon Elastic Compute Cloud (Amazon EC2) forekomster baseret på at identificere konteksten ved hjælp af AWS CDK og skalering for forskellige brugere ved hjælp af AWS DeepRacer.
Konfigurer CDK-miljøet og kør den avancerede loganalyse-notesbog for at bringe effektiviteten i driften af modulet. Hjælp racere med at opnå bedre resultater på kortere tid og få detaljeret indsigt i belønningsfunktioner og handling.
Referencer
Mere information er tilgængelig på følgende ressourcer:
Om forfatterne
Zdenko Estok arbejder som cloud-arkitekt og DevOps-ingeniør hos Accenture. Han arbejder sammen med AABG om at udvikle og implementere innovative cloud-løsninger, og har specialiseret sig i infrastruktur som kode og cloud-sikkerhed. Zdenko kan lide at cykle til kontoret og nyder behagelige gåture i naturen.
Selimcan "Kan" Sakar er cloud first-udvikler og løsningsarkitekt hos Accenture med fokus på kunstig intelligens og en passion for at se modeller mødes.
Shikhar Kwatra er en AI/ML-specialistløsningsarkitekt hos Amazon Web Services, der arbejder med en førende global systemintegrator. Shikhar hjælper med at designe, bygge og vedligeholde omkostningseffektive, skalerbare cloudmiljøer for organisationen og understøtter GSI-partneren i at bygge strategiske industriløsninger på AWS. Shikhar nyder at spille guitar, komponere musik og øve mindfulness i sin fritid.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. Adgang her.
- Kilde: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
- 10
- 100
- 11
- 7
- 9
- a
- I stand
- fremskynde
- Accenture
- adgang
- ved et tilfælde
- Konto
- opnå
- opnået
- tværs
- Handling
- aktioner
- tilføjet
- Yderligere
- vedtaget
- fremskreden
- fremskridt
- Efter
- Agent
- AI
- AI / ML
- hjælpemidler
- målsætninger
- Alle
- tillade
- Amazon
- Amazon EC2
- Amazon SageMaker
- Amazon SageMaker Studio
- Amazon Web Services
- beløb
- analyse
- ,
- En anden
- api
- app
- Anvendelse
- applikationer
- anvendt
- arkitektur
- omkring
- kunstig
- kunstig intelligens
- Kunstig intelligens (AI)
- hjælpe
- forbundet
- automatisere
- Automation
- til rådighed
- AWS
- AWS Cloud9
- AWS CloudFormation
- AWS Deep Racer
- baseret
- bash
- Grundlæggende
- bliver
- før
- være
- BEDSTE
- bedste praksis
- Bedre
- bringe
- Bygning
- kaldet
- Kan få
- bil
- tilfælde
- tilfælde
- vis
- lave om
- afgifter
- Cloud
- Cloud Security
- Cloud9
- kode
- samarbejde
- kolleger
- kombineret
- Kommunikation
- Virksomheder
- konkurrere
- konkurrenter
- fuldføre
- komponenter
- Compute
- begreber
- Konfiguration
- betydelig
- Konsol
- indeholder
- indhold
- sammenhæng
- kontrol
- Converge
- VIRKSOMHED
- Tilsvarende
- skabe
- oprettet
- Oprettelse af
- skabelse
- Legitimationsoplysninger
- data
- datalogi
- dyb
- Standard
- definerede
- indsætte
- indsat
- implementering
- implementering
- beskrevet
- ødelægge
- detaljeret
- detaljer
- udvikle
- Udvikler
- Udvikling
- diagrammer
- forskellige
- opdager
- drøftet
- dokumentation
- Er ikke
- køre
- i løbet af
- dynamisk
- nemt
- Effektiv
- effektivitet
- effektivt
- indsats
- enten
- muliggøre
- ingeniør
- enterprise-niveau
- virksomheder
- Miljø
- miljøer
- væsentlig
- Endog
- begivenhed
- begivenheder
- spændende
- forventet
- udtryksfulde
- f1
- Kendskab
- FAST
- File (Felt)
- Filer
- Fornavn
- Fokus
- efter
- følger
- format
- Framework
- fra
- sjovt
- funktioner
- Gevinst
- generere
- få
- GitHub
- Giv
- given
- Global
- bevilget
- graf
- stor
- gruppe
- vejlede
- hands-on
- sundhedspleje
- hjælpe
- Fremhævet
- stærkt
- Vandret
- Hvordan
- How To
- HTML
- HTTPS
- identificere
- Identity
- gennemføre
- in
- Forøg
- stigende
- industrier
- industrien
- oplysninger
- Infrastruktur
- innovativ
- indsigt
- indsigt
- installere
- installeret
- instans
- forsikring
- Intelligens
- interesse
- Investeringer
- IT
- rejse
- json
- Nøgle
- Venlig
- viden
- Sprog
- lancere
- førende
- læring
- niveauer
- Line (linje)
- lastning
- placeret
- maskine
- machine learning
- Flertal
- lave
- administrere
- lykkedes
- ledelse
- måde
- Produktion
- Marketing
- Mød
- Mindfulness
- ML
- model
- modeller
- Moduler
- Moduler
- bevæger sig
- flere
- Musik
- navne
- Natur
- næsten
- nødvendig
- Ny
- næste
- notesbog
- Office
- Ombord
- igangværende
- open source
- Open source software
- drift
- operativsystem
- optimal
- ordrer
- organisation
- Andre
- parameter
- parametre
- partner
- lidenskab
- forbi
- udfører
- Tilladelser
- perron
- plato
- Platon Data Intelligence
- PlatoData
- Leg
- spiller
- politik
- portefølje
- Indlæg
- magt
- praksis
- forudsætninger
- primære
- behandle
- Programmering
- programmeringssprog
- Progress
- forudsat
- bestemmelse
- offentlige
- Python
- hurtigt
- Løb
- racers
- Racing
- rejse
- spænder
- anbefaler
- omdirigere
- om
- region
- Fjern
- gentagelig
- replikation
- Repository
- repræsentation
- påkrævet
- Ressourcer
- Resultater
- afkast
- afkast
- gennemgå
- Beløn
- Belønninger
- roller
- roller
- Kør
- kører
- sikker
- sagemaker
- skalerbar
- Scale
- skala ai
- skalering
- Videnskab
- sikkerhed
- selektiv
- Tjenester
- sæt
- setup
- delt
- Skift
- bør
- vist
- Shows
- Simpelt
- smartere
- EMS
- So
- Software
- softwareudvikling
- løsninger
- Løsninger
- nogle
- rum
- specialist
- specialiseret
- specifikke
- specificeret
- stable
- starte
- påbegyndt
- Status
- Steps
- Stadig
- opbevaret
- ligetil
- Strategisk
- Studio
- subnet
- undernet
- Understøtter
- systemet
- skræddersyet
- Tag
- tager
- skabelon
- skabeloner
- terminal
- prøve
- tests
- Grundlæggende
- deres
- Gennem
- tid
- til
- værktøjer
- spor
- Tog
- Kurser
- Triple
- tutorials
- forstå
- enhed
- us
- brug
- brug tilfælde
- brugere
- værdi
- forskellige
- Vast
- køretøj
- verificere
- udgave
- via
- ser
- web
- webservices
- Hvad
- hvorvidt
- som
- mens
- bredt
- vilje
- vinde
- inden for
- Arbejde
- arbejder
- virker
- Verdens
- ville
- Du
- Din
- zephyrnet