Questo post è stato co-scritto da Zdenko Estok, Cloud Architect di Accenture e Sakar Selimcan, DeepRacer SME di Accenture.
Con il crescente utilizzo dell'intelligenza artificiale (AI) e dell'apprendimento automatico (ML) per la stragrande maggioranza dei settori (dall'assistenza sanitaria alle assicurazioni, dalla produzione al marketing), l'attenzione principale si sposta sull'efficienza durante la creazione e l'addestramento di modelli su larga scala. La creazione di un ambiente di data science scalabile e senza problemi è fondamentale. L'avvio e la configurazione di un ambiente su misura per un caso d'uso specifico può richiedere molto tempo e ancora più difficile coinvolgere i colleghi affinché collaborino.
Secondo Accenture, le aziende che riescono a scalare in modo efficiente AI e ML possono ottenere quasi il triplo del ritorno sugli investimenti. Tuttavia, non tutte le aziende soddisfano i rendimenti attesi nel percorso AI/ML. I toolkit per automatizzare l'infrastruttura diventano essenziali per il ridimensionamento orizzontale delle attività di AI/ML all'interno di un'azienda.
AWS Deep Racer è un modo semplice e divertente per iniziare con l'apprendimento per rinforzo (RL), una tecnica ML in cui un agente scopre le azioni ottimali da intraprendere in un determinato ambiente. Nel nostro caso, sarebbe un veicolo AWS DeepRacer, che cerca di correre veloce su una pista. Puoi iniziare rapidamente con RL con esercitazioni pratiche che ti guidano attraverso le basi dell'addestramento dei modelli RL e testarli in modo entusiasmante, esperienza di guida automobilistica autonoma.
Questo post mostra come le aziende possono utilizzare l'infrastruttura come codice (IaC) con il Kit di sviluppo cloud AWS (AWS CDK) per accelerare la creazione e la replica di un'infrastruttura altamente trasferibile e competere facilmente per gli eventi AWS DeepRacer su larga scala.
"IaC combinato con un ambiente Jupyter gestito ci ha dato il meglio di entrambi i mondi: ambienti di data science ripetibili e altamente trasferibili per consentirci di integrare i nostri concorrenti AWS DeepRacer per concentrarci su ciò che sanno fare meglio: addestrare rapidamente modelli veloci".
– Selimcan Sakar, PMI AWS DeepRacer presso Accenture.
Panoramica della soluzione
L'orchestrazione di tutti i servizi necessari richiede molto tempo quando si tratta di creare un modello scalabile che può essere applicato a più casi d'uso. Nel passato, AWS CloudFormazione sono stati creati modelli per automatizzare la creazione di questi servizi. Con i progressi nell'automazione e nella configurazione con livelli crescenti di astrazione per configurare diversi ambienti con strumenti IaC, AWS CDK viene ampiamente adottato in varie aziende. AWS CDK è un framework di sviluppo software open source per definire le risorse dell'applicazione cloud. Utilizza la familiarità e la potenza espressiva dei linguaggi di programmazione per modellare le tue applicazioni, fornendo allo stesso tempo le risorse in modo sicuro e ripetibile.
In questo post, abilitiamo il provisioning di diversi componenti necessari per eseguire l'analisi dei log utilizzando Amazon Sage Maker su AWS DeepRacer tramite AWS CDK costrutti.
Sebbene il grafico di analisi fornito all'interno della console DeepRacer sia efficace e diretto per quanto riguarda i premi concessi e i progressi raggiunti, non fornisce informazioni sulla velocità con cui l'auto si muove attraverso i waypoint o che tipo di linea preferisce l'auto intorno alla pista . È qui che entra in gioco l'analisi avanzata dei log. La nostra analisi avanzata del registro mira a portare l'efficienza nell'allenamento in modo retrospettivo per capire quali funzioni di ricompensa e spazi di azione funzionano meglio degli altri durante l'addestramento di più modelli e se un modello si adatta eccessivamente, in modo che i corridori possano allenarsi in modo più intelligente e ottenere risultati migliori con meno allenamento.
La nostra soluzione descrive una configurazione dell'ambiente AWS DeepRacer che utilizza AWS CDK per accelerare il percorso degli utenti che sperimentano l'analisi dei log di SageMaker e l'apprendimento per rinforzo su AWS per un evento AWS DeepRacer.
Un amministratore può eseguire lo script AWS CDK fornito nel file Repository GitHub tramite Console di gestione AWS o nel terminale dopo aver caricato il codice nel loro ambiente. I passi sono come segue:
- Apri AWS Cloud9 sulla console.
- Carica il modulo AWS CDK da GitHub nell'ambiente AWS Cloud9.
- Configura il modulo AWS CDK come descritto in questo post.
- Apri il file cdk.context.json e controlla tutti i parametri.
- Modifica i parametri secondo necessità ed esegui il comando AWS CDK con la persona desiderata per avviare l'ambiente configurato adatto a tale persona.
Il diagramma seguente illustra l'architettura della soluzione.
Con l'aiuto di AWS CDK, possiamo controllare la versione delle nostre risorse di cui è stato eseguito il provisioning e disporre di un ambiente altamente trasportabile conforme alle best practice a livello aziendale.
Prerequisiti
Per eseguire il provisioning degli ambienti ML con AWS CDK, completare i seguenti prerequisiti:
- Avere accesso a un account AWS e autorizzazioni all'interno della regione per distribuire le risorse necessarie per diversi utenti. Assicurati di disporre delle credenziali e delle autorizzazioni per distribuire lo stack AWS CDK nel tuo account.
- Ti consigliamo di seguire alcune best practice che vengono evidenziate attraverso i concetti descritti in dettaglio nelle seguenti risorse:
- Clona il file Repository GitHub nel tuo ambiente.
Distribuisci il portafoglio nel tuo account
In questa distribuzione, utilizziamo AWS Cloud9 per creare un ambiente di data science utilizzando AWS CDK.
- Passa alla console AWS Cloud9.
- Specifica il tipo di ambiente, il tipo di istanza e la piattaforma.
- Specifica il tuo Gestione dell'identità e dell'accesso di AWS (IAM), VPC e sottorete.
- Nel tuo ambiente AWS Cloud9, crea una nuova cartella chiamata DeepRacer.
- Esegui il comando seguente per installare AWS CDK e assicurati di disporre delle dipendenze corrette per distribuire il portfolio:
- Per verificare che AWS CDK sia stato installato e per accedere ai documenti, esegui il seguente comando nel tuo terminale (dovrebbe reindirizzarti alla documentazione di AWS CDK):
- Ora possiamo clonare il repository AWS DeepRacer da GitHub.
- Apri il repository clonato in AWS Cloud9:
Dopo aver esaminato il contenuto del file DeepRacer_cdk
directory, ci sarà un file chiamato package.json
con tutti i moduli richiesti e le dipendenze definite. Qui è dove puoi definire le tue risorse in un modulo.
- Successivamente, installa tutti i moduli e le dipendenze richiesti per l'app AWS CDK:
Questo sintetizzerà il modello CloudFormation corrispondente.
- Per eseguire la distribuzione, modificare il file context.json con i nomi dei parametri o definirli esplicitamente durante il runtime:
I seguenti componenti vengono creati per l'analisi dei log di AWS DeepRacer in base all'esecuzione dello script:
- An Ruolo IAM per il notebook SageMaker con una policy gestita
- A Istanza notebook SageMaker con il tipo di istanza aggiunto in modo esplicito come parametro di contesto cdk o valore predefinito memorizzato nel file context.json
- Un VPC con CIDR come specificato nel file context.json insieme a quattro sottoreti pubbliche configurate
- Un nuovo gruppo di sicurezza per l'istanza notebook Sagemaker che consente la comunicazione all'interno del VPC
- Una politica del ciclo di vita di SageMaker con uno script bash che sta precaricando il contenuto di un altro Repository GitHub, che contiene i file che utilizziamo per eseguire l'analisi dei log sui modelli AWS DeepRacer
- Puoi eseguire lo stack AWS CDK come segue:
- Vai alla console AWS CloudFormation nella regione in cui è distribuito lo stack per verificare le risorse.
Ora gli utenti possono iniziare a utilizzare questi servizi per lavorare con l'analisi dei log e l'addestramento approfondito del modello RL su SageMaker per AWS DeepRacer.
Test del modulo
Puoi anche eseguire alcuni unit test prima di distribuire lo stack per verificare di non aver rimosso accidentalmente alcuna risorsa richiesta. I test unitari si trovano in DeepRacer/test/deep_racer.test.ts
e può essere eseguito con il seguente codice:
Genera diagrammi usando cdk-dia
Per generare diagrammi, completare i seguenti passaggi:
- Installazione
graphviz
utilizzando gli strumenti del sistema operativo:
Questo installa l'applicazione cdk-dia.
- Ora esegui il seguente codice:
Una rappresentazione grafica del tuo stack AWS CDK verrà archiviata in formato .png.
Dopo aver eseguito i passaggi precedenti, dovresti vedere il processo di creazione dell'istanza notebook con stato Attesa Pagamento. Quando lo stato dell'istanza notebook è In servizio (come mostrato nello screenshot seguente), puoi procedere con i passaggi successivi.
- Scegli Apri Jupyter per avviare l'esecuzione dello script Python per eseguire l'analisi dei log.
Per ulteriori dettagli sull'analisi dei log utilizzando AWS DeepRacer e le visualizzazioni associate, fare riferimento a Utilizzo dell'analisi dei log per guidare gli esperimenti e vincere la AWS DeepRacer F1 ProAm Race.
ripulire
Per evitare addebiti continui, completare i seguenti passaggi:
- Utilizza cdk destroy per eliminare le risorse create tramite AWS CDK.
- Nella console AWS CloudFormation, elimina lo stack CloudFormation.
Conclusione
Gli eventi AWS DeepRacer sono un ottimo modo per suscitare interesse e aumentare la conoscenza del machine learning a tutti i pilastri e livelli di un'organizzazione. In questo post, abbiamo condiviso come configurare un ambiente AWS DeepRacer dinamico e impostare servizi selettivi per accelerare il viaggio degli utenti sulla piattaforma AWS. Abbiamo discusso su come creare servizi Amazon SageMaker Notebook Instance, ruoli IAM, configurazione del ciclo di vita del notebook SageMaker con best practice, un VPC e Cloud di calcolo elastico di Amazon (Amazon EC2) in base all'identificazione del contesto tramite AWS CDK e al ridimensionamento per diversi utenti tramite AWS DeepRacer.
Configura l'ambiente CDK ed esegui il notebook di analisi avanzata dei log per migliorare l'efficienza nell'esecuzione del modulo. Aiuta i corridori a ottenere risultati migliori in meno tempo e ottieni informazioni dettagliate sulle funzioni e sull'azione della ricompensa.
Riferimenti
Maggiori informazioni sono disponibili alle seguenti risorse:
- Automatizza la configurazione di Amazon SageMaker Studio utilizzando AWS CDK
- Riferimento API CDK di AWS SageMaker
Informazioni sugli autori
Zdenko Estok lavora come architetto cloud e ingegnere DevOps presso Accenture. Collabora con AABG per sviluppare e implementare soluzioni cloud innovative ed è specializzato in infrastrutture come codice e sicurezza cloud. A Zdenko piace andare in ufficio in bicicletta e gode di piacevoli passeggiate nella natura.
Selimcan "Can" Sakar è uno sviluppatore cloud first e solution architect presso Accenture con un focus sull'intelligenza artificiale e una passione per l'osservazione dei modelli convergere.
Shikhar Kwatra è un architetto di soluzioni specializzato in AI/ML presso Amazon Web Services, che lavora con uno dei principali integratori di sistemi globali. Shikhar aiuta a progettare, costruire e mantenere ambienti cloud scalabili ed economici per l'organizzazione e supporta il partner GSI nella creazione di soluzioni di settore strategiche su AWS. A Shikhar piace suonare la chitarra, comporre musica e praticare la consapevolezza nel tempo libero.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
- 10
- 100
- 11
- 7
- 9
- a
- capace
- accelerare
- Accenture
- accesso
- accidentalmente
- Il mio account
- Raggiungere
- raggiunto
- operanti in
- Action
- azioni
- aggiunto
- aggiuntivo
- adottato
- Avanzate
- avanzamenti
- Dopo shavasana, sedersi in silenzio; saluti;
- Agente
- AI
- AI / ML
- AIDS
- mira
- Tutti
- Consentire
- Amazon
- Amazon EC2
- Amazon Sage Maker
- Amazon Sage Maker Studio
- Amazon Web Services
- quantità
- .
- ed
- Un altro
- api
- App
- Applicazioni
- applicazioni
- applicato
- architettura
- in giro
- artificiale
- intelligenza artificiale
- Intelligenza artificiale (AI)
- assistere
- associato
- automatizzare
- Automazione
- disponibile
- AWS
- AWS Cloud9
- AWS CloudFormazione
- AWS Deep Racer
- basato
- bash
- Nozioni di base
- diventare
- prima
- essendo
- MIGLIORE
- best practice
- Meglio
- portare
- Costruzione
- detto
- Può ottenere
- auto
- Custodie
- casi
- certo
- il cambiamento
- oneri
- Cloud
- Cloud Security
- Cloud9
- codice
- collaboreranno
- colleghi
- combinato
- Comunicazione
- Aziende
- competere
- concorrenti
- completamento di una
- componenti
- Calcolare
- concetti
- Configurazione
- notevole
- consolle
- contiene
- contenuto
- contesto
- di controllo
- converge
- SOCIETÀ
- Corrispondente
- creare
- creato
- Creazione
- creazione
- Credenziali
- dati
- scienza dei dati
- deep
- Predefinito
- definito
- schierare
- schierato
- distribuzione
- deployment
- descritta
- distruggere
- dettagliati
- dettagli
- sviluppare
- Costruttori
- Mercato
- diagrammi
- diverso
- scopre
- discusso
- documentazione
- non
- guidare
- durante
- dinamico
- facilmente
- Efficace
- efficienza
- in modo efficiente
- sforzi
- o
- enable
- ingegnere
- di livello enterprise
- aziende
- Ambiente
- ambienti
- essential
- Anche
- Evento
- eventi
- coinvolgenti
- previsto
- espressivo
- f1
- Familiarità
- FAST
- Compila il
- File
- Nome
- Focus
- i seguenti
- segue
- formato
- Contesto
- da
- ti divertirai
- funzioni
- Guadagno
- generare
- ottenere
- GitHub
- Dare
- dato
- globali
- concesso
- grafico
- grande
- Gruppo
- guida
- mani su
- assistenza sanitaria
- Aiuto
- Evidenziato
- vivamente
- Orizzontale
- Come
- Tutorial
- HTML
- HTTPS
- identificazione
- Identità
- realizzare
- in
- Aumento
- crescente
- industrie
- industria
- informazioni
- Infrastruttura
- creativi e originali
- intuizione
- intuizioni
- install
- installato
- esempio
- assicurazione
- Intelligence
- interesse
- Investimenti
- IT
- viaggio
- json
- Le
- Genere
- conoscenze
- Le Lingue
- lanciare
- principale
- apprendimento
- livelli
- linea
- Caricamento in corso
- collocato
- macchina
- machine learning
- Maggioranza
- make
- gestire
- gestito
- gestione
- modo
- consigliato per la
- Marketing
- Soddisfare
- Mindfulness
- ML
- modello
- modelli
- Moduli
- moduli
- si muove
- multiplo
- Musica
- nomi
- Natura
- quasi
- necessaria
- New
- GENERAZIONE
- taccuino
- Office
- Onboard
- in corso
- open source
- Software open source
- operativo
- sistema operativo
- ottimale
- minimo
- organizzazione
- Altri
- parametro
- parametri
- partner
- passione
- passato
- esecuzione
- permessi
- piattaforma
- Platone
- Platone Data Intelligence
- PlatoneDati
- Giocare
- gioco
- politica
- lavori
- Post
- energia
- pratiche
- prerequisiti
- primario
- processi
- Programmazione
- linguaggi di programmazione
- Progressi
- purché
- fornitura
- la percezione
- Python
- rapidamente
- Gara
- corridori
- pneumatici
- aumentare
- che vanno
- raccomandare
- reindirizzare
- per quanto riguarda
- regione
- rimuovere
- ripetibile
- replicazione
- deposito
- rappresentazione
- necessario
- Risorse
- Risultati
- ritorno
- problemi
- recensioni
- Premiare
- Rewards
- Ruolo
- ruoli
- Correre
- running
- sicura
- sagemaker
- scalabile
- Scala
- scala ai
- scala
- Scienze
- problemi di
- selettivo
- Servizi
- set
- flessibile.
- condiviso
- Turni
- dovrebbero
- mostrato
- Spettacoli
- Un'espansione
- più intelligente
- EMS
- So
- Software
- lo sviluppo del software
- soluzione
- Soluzioni
- alcuni
- spazi
- specialista
- specializzata
- specifico
- specificato
- pila
- inizia a
- iniziato
- Stato dei servizi
- Passi
- Ancora
- memorizzati
- lineare
- Strategico
- studio
- sottorete
- sottoreti
- supporti
- sistema
- su misura
- Fai
- prende
- modello
- modelli
- terminal
- test
- test
- Il
- Le nozioni di base
- loro
- Attraverso
- tempo
- a
- strumenti
- pista
- Treni
- Training
- Triplicare
- esercitazioni
- capire
- unità
- us
- uso
- caso d'uso
- utenti
- APPREZZIAMO
- vario
- Fisso
- veicolo
- verificare
- versione
- via
- guardare
- sito web
- servizi web
- Che
- se
- quale
- while
- ampiamente
- volere
- vincere
- entro
- Lavora
- lavoro
- lavori
- Il mondo di
- sarebbe
- Tu
- Trasferimento da aeroporto a Sharm
- zefiro