Dette innlegget er skrevet av Zdenko Estok, Cloud Architect hos Accenture og Sakar Selimcan, DeepRacer SME hos Accenture.
Med den økende bruken av kunstig intelligens (AI) og maskinlæring (ML) for et stort flertall av bransjer (alt fra helsevesen til forsikring, fra produksjon til markedsføring), skifter hovedfokuset til effektivitet når man bygger og trener modeller i stor skala. Opprettelsen av et skalerbart og problemfritt datavitenskapsmiljø er nøkkelen. Det kan ta lang tid å lansere og konfigurere et miljø skreddersydd for en spesifikk brukstilfelle og enda vanskeligere for kollegaer å samarbeide.
Ifølge Accenture, kan selskaper som klarer å skalere AI og ML effektivt oppnå nesten tredoblet avkastningen på investeringene sine. Likevel er det ikke alle selskaper som oppfyller forventet avkastning på sin AI/ML-reise. Verktøysett for å automatisere infrastrukturen blir avgjørende for horisontal skalering av AI/ML-innsats i et selskap.
AWS Deep Racer er en enkel og morsom måte å komme i gang med forsterkningslæring (RL), en ML-teknikk hvor en agent oppdager de optimale handlingene å ta i et gitt miljø. I vårt tilfelle ville det være et AWS DeepRacer-kjøretøy som prøver å rase raskt rundt en bane. Du kan komme raskt i gang med RL med praktiske opplæringsprogrammer som veileder deg gjennom det grunnleggende om trening av RL-modeller og teste dem på en spennende, autonom billøpsopplevelse.
Dette innlegget viser hvordan selskaper kan bruke infrastruktur som kode (IaC) med AWS skyutviklingssett (AWS CDK) for å akselerere opprettelsen og replikeringen av svært overførbar infrastruktur og enkelt konkurrere om AWS DeepRacer-arrangementer i stor skala.
"IaC kombinert med et administrert Jupyter-miljø ga oss det beste fra begge verdener: repeterbare, svært overførbare datavitenskapsmiljøer for oss å ombord på våre AWS DeepRacer-konkurrenter for å fokusere på det de gjør best: trene raske modeller raskt."
– Selimcan Sakar, AWS DeepRacer SME hos Accenture.
Løsningsoversikt
Det tar mye tid å orkestrere alle nødvendige tjenester når det gjelder å lage en skalerbar mal som kan brukes for flere brukstilfeller. I fortiden, AWS skyformasjon maler er laget for å automatisere opprettelsen av disse tjenestene. Med fremskritt innen automatisering og konfigurering med økende abstraksjonsnivåer for å sette opp forskjellige miljøer med IaC-verktøy, blir AWS CDK bredt tatt i bruk på tvers av ulike bedrifter. AWS CDK er et programvareutviklingsrammeverk med åpen kildekode for å definere skyapplikasjonsressursene dine. Den bruker kjennskapen og uttrykkskraften til programmeringsspråk for å modellere applikasjonene dine, samtidig som ressursene leveres på en sikker og repeterbar måte.
I dette innlegget aktiverer vi klargjøring av forskjellige komponenter som kreves for å utføre logganalyse ved hjelp av Amazon SageMaker på AWS DeepRacer via AWS CDK konstruerer.
Selv om analysegrafen i DeepRacer-konsollen er effektiv og enkel angående belønningene som gis og oppnådd fremgang, gir den ikke innsikt i hvor raskt bilen beveger seg gjennom veipunktene, eller hva slags linje bilen foretrekker rundt banen . Det er her avansert logganalyse kommer inn i bildet. Vår avanserte logganalyse har som mål å bringe effektivitet i trening retrospektivt for å forstå hvilke belønningsfunksjoner og handlingsrom som fungerer bedre enn de andre når du trener flere modeller, og om en modell er overfitting, slik at syklistene kan trene smartere og oppnå bedre resultater med mindre trening.
Løsningen vår beskriver en AWS DeepRacer-miljøkonfigurasjon som bruker AWS CDK for å akselerere reisen til brukere som eksperimenterer med SageMaker-logganalyse og forsterkningslæring på AWS for en AWS DeepRacer-hendelse.
En administrator kan kjøre AWS CDK-skriptet gitt i GitHub repo via AWS-administrasjonskonsoll eller i terminalen etter å ha lastet koden i deres miljø. Fremgangsmåten er som følger:
- Åpen AWS Cloud9 på konsollen.
- Last inn AWS CDK-modulen fra GitHub inn i AWS Cloud9-miljøet.
- Konfigurer AWS CDK-modulen som beskrevet i dette innlegget.
- Åpne filen cdk.context.json og inspiser alle parameterne.
- Endre parametrene etter behov og kjør AWS CDK-kommandoen med den tiltenkte persona for å starte det konfigurerte miljøet som passer for den persona.
Følgende diagram illustrerer løsningsarkitekturen.
Ved hjelp av AWS CDK kan vi versjonskontrollere våre klargjorte ressurser og ha et svært transportabelt miljø som er i samsvar med beste praksis på bedriftsnivå.
Forutsetninger
Fullfør følgende forutsetninger for å klargjøre ML-miljøer med AWS CDK:
- Ha tilgang til en AWS-konto og tillatelser innenfor regionen for å distribuere de nødvendige ressursene for ulike personas. Sørg for at du har legitimasjonen og tillatelsene til å distribuere AWS CDK-stakken på kontoen din.
- Vi anbefaler å følge visse beste fremgangsmåter som fremheves gjennom konseptene som er beskrevet i følgende ressurser:
- Klone GitHub repo inn i miljøet ditt.
Distribuer porteføljen på kontoen din
I denne distribusjonen bruker vi AWS Cloud9 til å lage et datavitenskapelig miljø ved å bruke AWS CDK.
- Naviger til AWS Cloud9-konsollen.
- Spesifiser miljøtype, forekomsttype og plattform.
- Spesifiser din AWS identitets- og tilgangsadministrasjon (IAM) rolle, VPC og subnett.
- Opprett en ny mappe kalt DeepRacer i AWS Cloud9-miljøet ditt.
- Kjør følgende kommando for å installere AWS CDK, og sørg for at du har de riktige avhengighetene for å distribuere porteføljen:
- For å bekrefte at AWS CDK er installert og for å få tilgang til dokumentene, kjør følgende kommando i terminalen din (den skal omdirigere deg til AWS CDK-dokumentasjonen):
- Nå kan vi klone AWS DeepRacer-depotet fra GitHub.
- Åpne den klonede repoen i AWS Cloud9:
Etter at du har gjennomgått innholdet i DeepRacer_cdk
katalogen, vil det være en fil som heter package.json
med alle nødvendige moduler og avhengigheter definert. Det er her du kan definere ressursene dine i en modul.
- Installer deretter alle nødvendige moduler og avhengigheter for AWS CDK-appen:
Dette vil syntetisere den tilsvarende CloudFormation-malen.
- For å kjøre distribusjonen, endre enten context.json-filen med parameternavn eller eksplisitt definere dem under kjøring:
Følgende komponenter er opprettet for AWS DeepRacer-logganalyse basert på å kjøre skriptet:
- An IAM-rolle for SageMaker-notisboken med en administrert policy
- A SageMaker notatbokforekomst med instanstypen enten eksplisitt lagt til som en cdk-kontekstparameter eller standardverdi lagret i filen context.json
- En VPC med CIDR som spesifisert i context.json-filen sammen med fire offentlige undernett konfigurert
- En ny sikkerhetsgruppe for Sagemaker bærbare instans som tillater kommunikasjon innenfor VPC
- En SageMaker livssykluspolicy med et bash-skript som forhåndsinnlaster innholdet til et annet GitHub repository, som inneholder filene vi bruker for å kjøre logganalysen på AWS DeepRacer-modellene
- Du kan kjøre AWS CDK-stakken som følger:
- Gå til AWS CloudFormation-konsollen i regionen der stabelen er distribuert for å bekrefte ressursene.
Nå kan brukere begynne å bruke disse tjenestene til å jobbe med logganalyse og dyp RL-modellopplæring på SageMaker for AWS DeepRacer.
Modultesting
Du kan også kjøre noen enhetstester før du distribuerer stabelen for å bekrefte at du ved et uhell ikke fjernet nødvendige ressurser. Enhetstestene er plassert i DeepRacer/test/deep_racer.test.ts
og kan kjøres med følgende kode:
Generer diagrammer ved hjelp av cdk-dia
For å generere diagrammer, fullfør følgende trinn:
- Install
graphviz
ved å bruke operativsystemets verktøy:
Dette installerer cdk-dia-applikasjonen.
- Kjør nå følgende kode:
En grafisk representasjon av din AWS CDK-stabel vil bli lagret i .png-format.
Etter at du har kjørt de foregående trinnene, bør du kunne se opprettelsesprosessen for notatbokforekomsten med status Venter. Når statusen til den bærbare forekomsten er I tjeneste (som vist i følgende skjermbilde), kan du fortsette med de neste trinnene.
- Velg Åpne Jupyter for å begynne å kjøre Python-skriptet for å utføre logganalysen.
For ytterligere detaljer om logganalyse ved bruk av AWS DeepRacer og tilhørende visualiseringer, se Bruke logganalyse for å drive eksperimenter og vinne AWS DeepRacer F1 ProAm Race.
Rydd opp
For å unngå pågående belastninger, fullfør følgende trinn:
- Bruk cdk destroy for å slette ressursene som er opprettet via AWS CDK.
- På AWS CloudFormation-konsollen sletter du CloudFormation-stakken.
konklusjonen
AWS DeepRacer-arrangementer er en fin måte å øke interessen og øke ML-kunnskapen på tvers av alle pilarer og nivåer i en organisasjon. I dette innlegget delte vi hvordan du kan konfigurere et dynamisk AWS DeepRacer-miljø og sette opp selektive tjenester for å akselerere reisen til brukere på AWS-plattformen. Vi diskuterte hvordan du oppretter tjenester Amazon SageMaker Notebook Instance, IAM-roller, SageMaker notebook-livssykluskonfigurasjon med beste praksis, en VPC og Amazon Elastic Compute Cloud (Amazon EC2)-forekomster basert på å identifisere konteksten ved å bruke AWS CDK og skalering for forskjellige brukere som bruker AWS DeepRacer.
Konfigurer CDK-miljøet og kjør den avanserte notisboken for logganalyse for å få effektiviteten til å kjøre modulen. Hjelp syklistene til å oppnå bedre resultater på kortere tid og få detaljert innsikt i belønningsfunksjoner og handling.
Referanser
Mer informasjon er tilgjengelig på følgende ressurser:
Om forfatterne
Zdenko Estok jobber som skyarkitekt og DevOps-ingeniør hos Accenture. Han jobber med AABG for å utvikle og implementere innovative skyløsninger, og spesialiserer seg på infrastruktur som kode og skysikkerhet. Zdenko liker å sykle til kontoret og liker hyggelige turer i naturen.
Selimcan "Can" Sakar er en cloud first-utvikler og løsningsarkitekt hos Accenture med fokus på kunstig intelligens og en lidenskap for å se modeller samles.
Shikhar Kwatra er en AI/ML-spesialistløsningsarkitekt hos Amazon Web Services, og jobber med en ledende global systemintegrator. Shikhar hjelper til med å bygge, bygge og vedlikeholde kostnadseffektive, skalerbare skymiljøer for organisasjonen, og støtter GSI-partneren i å bygge strategiske industriløsninger på AWS. Shikhar liker å spille gitar, komponere musikk og praktisere mindfulness på fritiden.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
- 10
- 100
- 11
- 7
- 9
- a
- I stand
- akselerere
- Accenture
- adgang
- uheldigvis
- Logg inn
- Oppnå
- oppnådd
- tvers
- Handling
- handlinger
- la til
- Ytterligere
- vedtatt
- avansert
- fremskritt
- Etter
- Agent
- AI
- AI / ML
- hjelpemidler
- mål
- Alle
- tillate
- Amazon
- Amazon EC2
- Amazon SageMaker
- Amazon SageMaker Studio
- Amazon Web Services
- beløp
- analyse
- og
- En annen
- api
- app
- Søknad
- søknader
- anvendt
- arkitektur
- rundt
- kunstig
- kunstig intelligens
- Kunstig intelligens (AI)
- bistå
- assosiert
- automatisere
- Automatisering
- tilgjengelig
- AWS
- AWS Cloud9
- AWS skyformasjon
- AWS Deep Racer
- basert
- bash
- Grunnleggende
- bli
- før du
- være
- BEST
- beste praksis
- Bedre
- bringe
- Bygning
- som heter
- Kan få
- bil
- saken
- saker
- viss
- endring
- avgifter
- Cloud
- Cloud Security
- Cloud9
- kode
- samarbeide
- kollegaer
- kombinert
- Kommunikasjon
- Selskaper
- konkurrere
- konkurrenter
- fullføre
- komponenter
- Beregn
- konsepter
- Konfigurasjon
- betydelig
- Konsoll
- inneholder
- innhold
- kontekst
- kontroll
- konvergerer
- SELSKAP
- Tilsvarende
- skape
- opprettet
- Opprette
- skaperverket
- Credentials
- dato
- datavitenskap
- dyp
- Misligholde
- definert
- utplassere
- utplassert
- utplasserings
- distribusjon
- beskrevet
- ødelegge
- detaljert
- detaljer
- utvikle
- Utvikler
- Utvikling
- diagrammer
- forskjellig
- oppdager
- diskutert
- dokumentasjon
- ikke
- stasjonen
- under
- dynamisk
- lett
- Effektiv
- effektivitet
- effektivt
- innsats
- enten
- muliggjøre
- ingeniør
- bedriftsnivå
- bedrifter
- Miljø
- miljøer
- avgjørende
- Selv
- Event
- hendelser
- spennende
- forventet
- uttrykks
- f1
- Familiær
- FAST
- filet
- Filer
- Først
- Fokus
- etter
- følger
- format
- Rammeverk
- fra
- moro
- funksjoner
- Gevinst
- generere
- få
- GitHub
- Gi
- gitt
- Global
- innvilget
- graf
- flott
- Gruppe
- veilede
- hands-on
- helsetjenester
- hjelpe
- Fremhevet
- svært
- Horisontal
- Hvordan
- Hvordan
- HTML
- HTTPS
- identifisering
- Identitet
- iverksette
- in
- Øke
- økende
- bransjer
- industri
- informasjon
- Infrastruktur
- innovative
- innsikt
- innsikt
- installere
- installerte
- f.eks
- forsikring
- Intelligens
- interesse
- Investeringer
- IT
- reise
- JSON
- nøkkel
- Type
- kunnskap
- språk
- lansere
- ledende
- læring
- nivåer
- linje
- lasting
- ligger
- maskin
- maskinlæring
- Flertall
- gjøre
- administrer
- fikk til
- ledelse
- måte
- produksjon
- Marketing
- Møt
- Mindfulness
- ML
- modell
- modeller
- Moduler
- Moduler
- trekk
- flere
- musikk
- navn
- Natur
- nesten
- nødvendig
- Ny
- neste
- bærbare
- Office
- Ombord
- pågående
- åpen kildekode
- Programvare med åpen kildekode
- drift
- operativsystem
- optimal
- rekkefølge
- organisasjon
- andre
- parameter
- parametere
- partner
- lidenskap
- Past
- utfører
- tillatelser
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- Spille
- spiller
- politikk
- portefølje
- Post
- makt
- praksis
- forutsetninger
- primære
- prosess
- Programmering
- programmerings språk
- Progress
- forutsatt
- forsyning
- offentlig
- Python
- raskt
- Race
- syklistene
- Racing
- heve
- spenner
- anbefaler
- omdirigere
- om
- region
- fjerne
- repeterbar
- replikering
- Repository
- representasjon
- påkrevd
- Ressurser
- Resultater
- retur
- avkastning
- anmeldelse
- Belønn
- Belønninger
- Rolle
- roller
- Kjør
- rennende
- trygge
- sagemaker
- skalerbar
- Skala
- skala ai
- skalering
- Vitenskap
- sikkerhet
- selektiv
- Tjenester
- sett
- oppsett
- delt
- Skift
- bør
- vist
- Viser
- Enkelt
- smartere
- EMS
- So
- Software
- programvareutvikling
- løsning
- Solutions
- noen
- mellomrom
- spesialist
- spesialisert
- spesifikk
- spesifisert
- stable
- Begynn
- startet
- status
- Steps
- Still
- lagret
- rett fram
- Strategisk
- studio
- subnett
- subnett
- Støtter
- system
- skreddersydd
- Ta
- tar
- mal
- maler
- terminal
- test
- tester
- De
- Grunnleggende
- deres
- Gjennom
- tid
- til
- verktøy
- spor
- Tog
- Kurs
- Triple
- tutorials
- forstå
- enhet
- us
- bruke
- bruk sak
- Brukere
- verdi
- ulike
- enorme
- kjøretøy
- verifisere
- versjon
- av
- se
- web
- webtjenester
- Hva
- om
- hvilken
- mens
- allment
- vil
- vinne
- innenfor
- Arbeid
- arbeid
- virker
- Verdens
- ville
- Du
- Din
- zephyrnet