Această postare este co-scrisă de Zdenko Estok, Cloud Architect la Accenture și Sakar Selimcan, DeepRacer SME la Accenture.
Odată cu utilizarea din ce în ce mai mare a inteligenței artificiale (AI) și a învățării automate (ML) pentru marea majoritate a industriilor (de la asistență medicală la asigurări, de la producție la marketing), accentul principal se mută către eficiență atunci când construiesc și antrenează modele la scară. Crearea unui mediu de știință a datelor scalabil și fără probleme este esențială. Lansarea și configurarea unui mediu adaptat pentru un anumit caz de utilizare poate dura o perioadă considerabilă de timp și chiar mai greu de a integra colegii pentru a colabora.
În conformitate cu Accenture, companiile care reușesc să scaleze eficient AI și ML pot obține o rentabilitate aproape triplă a investițiilor lor. Cu toate acestea, nu toate companiile își îndeplinesc profiturile așteptate în călătoria lor AI/ML. Seturile de instrumente pentru automatizarea infrastructurii devin esențiale pentru scalarea orizontală a eforturilor de AI/ML în cadrul unei corporații.
AWS DeepRacer este o modalitate simplă și distractivă de a începe cu reinforcement learning (RL), o tehnică ML în care un agent descoperă acțiunile optime de întreprins într-un anumit mediu. În cazul nostru, acesta ar fi un vehicul AWS DeepRacer, care încearcă să alerge rapid în jurul unei piste. Puteți începe rapid cu RL cu tutoriale practice care vă ghidează prin elementele de bază ale antrenării modelelor RL și le testați într-un mod captivant, experiență de curse de mașini autonome.
Această postare arată cum companiile pot folosi infrastructura ca cod (IaC) cu Kit AWS Cloud Development (AWS CDK) pentru a accelera crearea și replicarea infrastructurii foarte transferabile și pentru a concura cu ușurință pentru evenimentele AWS DeepRacer la scară.
„IaC combinat cu un mediu Jupyter gestionat ne-a oferit tot ce este mai bun din ambele lumi: medii repetabile, foarte transferabile pentru știința datelor, pentru ca noi să ne integrăm concurenții noștri AWS DeepRacer pentru a ne concentra pe ceea ce fac ei cel mai bine: antrenează rapid modele rapide.”
– Selimcan Sakar, AWS DeepRacer SME la Accenture.
Prezentare generală a soluțiilor
Orchestrarea tuturor serviciilor necesare necesită o perioadă considerabilă de timp atunci când vine vorba de crearea unui șablon scalabil care poate fi aplicat pentru mai multe cazuri de utilizare. În trecut, Formarea AWS Cloud au fost create șabloane pentru a automatiza crearea acestor servicii. Odată cu progresele în automatizare și configurare cu niveluri crescânde de abstractizare pentru a configura diferite medii cu instrumente IaC, CDK-ul AWS este adoptat pe scară largă în diferite întreprinderi. AWS CDK este un cadru de dezvoltare software open-source pentru a defini resursele aplicației dvs. cloud. Folosește familiaritatea și puterea expresivă a limbajelor de programare pentru modelarea aplicațiilor dvs., furnizând în același timp resurse într-un mod sigur și repetabil.
În această postare, activăm furnizarea diferitelor componente necesare pentru efectuarea analizei jurnalului folosind Amazon SageMaker pe AWS DeepRacer prin AWS CDK construcții.
Deși graficul de analiză furnizat în consola DeepRacer este eficient și simplu în ceea ce privește recompensele acordate și progresul realizat, nu oferă o perspectivă asupra cât de repede se deplasează mașina prin punctele de trecere sau ce fel de linie preferă mașina în jurul pistei. . Aici intervine analiza avansată a jurnalelor. Analiza noastră avansată de jurnal își propune să aducă eficiență în antrenament retroactiv pentru a înțelege care funcții de recompensă și spații de acțiune funcționează mai bine decât celelalte atunci când antrenează mai multe modele și dacă un model este supraadaptat, astfel încât concurenții să se poată antrena mai inteligent și să obțină rezultate mai bune cu mai puțin antrenament.
Soluția noastră descrie o configurație de mediu AWS DeepRacer folosind AWS CDK pentru a accelera călătoria utilizatorilor care experimentează cu analiza jurnalelor SageMaker și învățare consolidată pe AWS pentru un eveniment AWS DeepRacer.
Un administrator poate rula scriptul AWS CDK furnizat în GitHub repo prin intermediul Consola de administrare AWS sau în terminal după încărcarea codului în mediul lor. Pașii sunt următorii:
- Operatii Deschise AWS Cloud9 pe consolă.
- Încărcați modulul AWS CDK din GitHub în mediul AWS Cloud9.
- Configurați modulul AWS CDK așa cum este descris în această postare.
- Deschideți fișierul cdk.context.json și inspectați toți parametrii.
- Modificați parametrii după cum este necesar și rulați comanda AWS CDK cu persoana dorită pentru a lansa mediul configurat potrivit pentru persoana respectivă.
Următoarea diagramă ilustrează arhitectura soluției.
Cu ajutorul AWS CDK, putem controla versiunile resurselor noastre furnizate și avem un mediu extrem de transportabil, care respectă cele mai bune practici la nivel de întreprindere.
Cerințe preliminare
Pentru a furniza medii ML cu AWS CDK, completați următoarele cerințe preliminare:
- Aveți acces la un cont AWS și permisiuni în regiune pentru a implementa resursele necesare pentru diferite persoane. Asigurați-vă că aveți acreditările și permisiunile pentru a implementa stiva AWS CDK în contul dvs.
- Vă recomandăm să urmați anumite bune practici care sunt evidențiate prin conceptele detaliate în următoarele resurse:
- Clonați GitHub repo în mediul tău.
Implementați portofoliul în contul dvs
În această implementare, folosim AWS Cloud9 pentru a crea un mediu de știință a datelor folosind AWS CDK.
- Navigați la consola AWS Cloud9.
- Specificați tipul de mediu, tipul instanței și platforma.
- Specificați dvs Gestionarea identității și accesului AWS rol (IAM), VPC și subrețea.
- În mediul dvs. AWS Cloud9, creați un folder nou numit DeepRacer.
- Rulați următoarea comandă pentru a instala AWS CDK și asigurați-vă că aveți dependențele potrivite pentru a implementa portofoliul:
- Pentru a verifica dacă AWS CDK a fost instalat și pentru a accesa documentele, rulați următoarea comandă în terminal (ar trebui să vă redirecționeze către documentația AWS CDK):
- Acum putem clona depozitul AWS DeepRacer din GitHub.
- Deschideți depozitul clonat în AWS Cloud9:
După ce revizuiți conținutul din DeepRacer_cdk
director, va fi un fișier numit package.json
cu toate modulele și dependențele necesare definite. Aici vă puteți defini resursele într-un modul.
- Apoi, instalați toate modulele și dependențele necesare pentru aplicația AWS CDK:
Aceasta va sintetiza șablonul CloudFormation corespunzător.
- Pentru a rula implementarea, fie modificați fișierul context.json cu nume de parametri, fie definiți-le în mod explicit în timpul rulării:
Următoarele componente sunt create pentru analiza jurnalului AWS DeepRacer pe baza rulării scriptului:
- An Rolul IAM pentru notebook-ul SageMaker cu o politică gestionată
- A Instanță de notebook SageMaker cu tipul instanței fie adăugat în mod explicit ca parametru de context cdk sau valoare implicită stocată în fișierul context.json
- Un VPC cu CIDR, așa cum este specificat în fișierul context.json, împreună cu patru subrețele publice configurate
- Un nou grup de securitate pentru instanța de notebook Sagemaker care permite comunicarea în cadrul VPC
- O politică de ciclu de viață SageMaker cu un script bash care preîncarcă conținutul altuia GitHub depozit, care conține fișierele pe care le folosim pentru rularea analizei jurnalului pe modelele AWS DeepRacer
- Puteți rula stiva AWS CDK după cum urmează:
- Accesați consola AWS CloudFormation din regiunea în care stiva este implementată pentru a verifica resursele.
Acum utilizatorii pot începe să folosească aceste servicii pentru a lucra cu analiza jurnalelor și formarea profundă a modelului RL pe SageMaker pentru AWS DeepRacer.
Testarea modulelor
De asemenea, puteți rula unele teste unitare înainte de a implementa stiva pentru a verifica dacă nu ați eliminat din greșeală nicio resurse necesare. Testele unitare se află în DeepRacer/test/deep_racer.test.ts
și poate fi rulat cu următorul cod:
Generați diagrame folosind cdk-dia
Pentru a genera diagrame, parcurgeți următorii pași:
- Instala
graphviz
folosind instrumentele sistemului de operare:
Aceasta instalează aplicația cdk-dia.
- Acum rulați următorul cod:
O reprezentare grafică a stivei dumneavoastră AWS CDK va fi stocată în format .png.
După ce executați pașii precedenți, ar trebui să vedeți că puteți vedea procesul de creare a instanței de notebook cu starea În aşteptare. Când starea instanței de notebook este În funcțiune (după cum se arată în următoarea captură de ecran), puteți continua cu pașii următori.
- Alege Deschideți Jupyter pentru a începe rularea scriptului Python pentru efectuarea analizei jurnalului.
Pentru detalii suplimentare despre analiza jurnalelor folosind AWS DeepRacer și vizualizările asociate, consultați Folosind analiza jurnalului pentru a conduce experimente și a câștiga cursa AWS DeepRacer F1 ProAm.
A curăța
Pentru a evita taxele continue, parcurgeți următorii pași:
- Utilizați cdk destroy pentru a șterge resursele create prin AWS CDK.
- Pe consola AWS CloudFormation, ștergeți stiva CloudFormation.
Concluzie
Evenimentele AWS DeepRacer sunt o modalitate excelentă de a crește interesul și de a crește cunoștințele ML la toți pilonii și nivelurile unei organizații. În această postare, am împărtășit cum puteți configura un mediu AWS DeepRacer dinamic și puteți configura servicii selective pentru a accelera călătoria utilizatorilor pe platforma AWS. Am discutat despre cum să creați servicii Amazon SageMaker Notebook Instance, roluri IAM, configurarea ciclului de viață a notebook-ului SageMaker cu cele mai bune practici, un VPC și Cloud Elastic de calcul Amazon (Amazon EC2) instanțe bazate pe identificarea contextului folosind AWS CDK și scalarea pentru diferiți utilizatori folosind AWS DeepRacer.
Configurați mediul CDK și rulați blocnotesul avansat de analiză a jurnalelor pentru a aduce eficiență în rularea modulului. Ajută-ți concurenții să obțină rezultate mai bune în mai puțin timp și să obțină informații detaliate despre funcțiile și acțiunile de recompensă.
Referinte
Mai multe informații sunt disponibile la următoarele resurse:
- Automatizați configurarea Amazon SageMaker Studio folosind AWS CDK
- Referință la AWS SageMaker CDK API
Despre Autori
Zdenko Estok lucrează ca arhitect cloud și inginer DevOps la Accenture. El lucrează cu AABG pentru a dezvolta și implementa soluții cloud inovatoare și este specializat în infrastructură ca cod și securitate în cloud. Lui Zdenko îi place să meargă cu bicicleta la birou și se bucură de plimbări plăcute în natură.
Selimcan „Pot” Sakar este primul dezvoltator cloud și arhitect de soluții la Accenture, cu accent pe inteligența artificială și o pasiune pentru a urmări modelele convergente.
Shikhar Kwatra este un arhitect specializat în soluții AI/ML la Amazon Web Services, lucrând cu un integrator global de sisteme de top. Shikhar ajută la arhitectura, construirea și menținerea unor medii cloud scalabile și rentabile pentru organizație și sprijină partenerul GSI în construirea de soluții strategice pentru industrie pe AWS. Lui Shikhar îi place să cânte la chitară, să compună muzică și să practice mindfulness în timpul său liber.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
- 10
- 100
- 11
- 7
- 9
- a
- Capabil
- accelera
- Accenture
- acces
- accidental
- Cont
- Obține
- realizat
- peste
- Acțiune
- acțiuni
- adăugat
- Suplimentar
- adoptată
- avansat
- progresele
- După
- Agent
- AI
- AI / ML
- SIDA
- isi propune
- TOATE
- Permiterea
- Amazon
- Amazon EC2
- Amazon SageMaker
- Amazon SageMaker Studio
- Amazon Web Services
- sumă
- analiză
- și
- O alta
- api
- aplicaţia
- aplicație
- aplicatii
- aplicat
- arhitectură
- în jurul
- artificial
- inteligență artificială
- Inteligența artificială (AI)
- ajuta
- asociate
- automatizarea
- Automatizare
- disponibil
- AWS
- AWS Cloud9
- Formarea AWS Cloud
- AWS DeepRacer
- bazat
- pocni
- Noțiuni de bază
- deveni
- înainte
- fiind
- CEL MAI BUN
- Cele mai bune practici
- Mai bine
- aduce
- Clădire
- denumit
- Poate obține
- mașină
- caz
- cazuri
- sigur
- Schimbare
- taxe
- Cloud
- Securitatea cloud
- Cloud9
- cod
- colabora
- colegii
- combinate
- Comunicare
- Companii
- concura
- concurenți
- Completă
- componente
- Calcula
- Concepte
- Configuraţie
- considerabil
- Consoleze
- conține
- conţinut
- context
- Control
- converg
- CORPORAȚIE
- Corespunzător
- crea
- a creat
- Crearea
- creaţie
- scrisori de acreditare
- de date
- știința datelor
- adânc
- Mod implicit
- definit
- implementa
- dislocate
- Implementarea
- desfășurarea
- descris
- distruge
- detaliat
- detalii
- dezvolta
- Dezvoltator
- Dezvoltare
- diagrame
- diferit
- descopera
- discutat
- documentaţie
- Nu
- conduce
- în timpul
- dinamic
- cu ușurință
- Eficace
- eficiență
- eficient
- Eforturile
- oricare
- permite
- inginer
- la nivel de întreprindere
- Companii
- Mediu inconjurator
- medii
- esenţial
- Chiar
- eveniment
- evenimente
- captivant
- de aşteptat
- expresiv
- f1
- Familiaritate
- FAST
- Fișier
- Fişiere
- First
- Concentra
- următor
- urmează
- format
- Cadru
- din
- distracţie
- funcții
- Câştig
- genera
- obține
- GitHub
- Da
- dat
- Caritate
- acordate
- grafic
- mare
- grup
- ghida
- hands-on
- de asistență medicală
- ajutor
- Evidențiat
- extrem de
- Orizontală
- Cum
- Cum Pentru a
- HTML
- HTTPS
- identificarea
- Identitate
- punerea în aplicare a
- in
- Crește
- crescând
- industrii
- industrie
- informații
- Infrastructură
- inovatoare
- înţelegere
- perspective
- instala
- instalat
- instanță
- asigurare
- Inteligență
- interes
- Investiții
- IT
- călătorie
- JSON
- Cheie
- Copil
- cunoştinţe
- Limbă
- lansa
- conducere
- învăţare
- nivelurile de
- Linie
- încărcare
- situat
- maşină
- masina de învățare
- Majoritate
- face
- administra
- gestionate
- administrare
- manieră
- de fabricaţie
- Marketing
- Întâlni
- Atenţie
- ML
- model
- Modele
- Module
- Module
- mişcă
- multiplu
- Muzică
- nume
- Natură
- aproape
- necesar
- Nou
- următor
- caiet
- Birou
- bord
- în curs de desfășurare
- open-source
- Software open-source
- de operare
- sistem de operare
- optimă
- comandă
- organizație
- Altele
- parametru
- parametrii
- partener
- pasiune
- trecut
- efectuarea
- permisiuni
- platformă
- Plato
- Informații despre date Platon
- PlatoData
- Joaca
- joc
- Politica
- portofoliu
- Post
- putere
- practicile
- premise
- primar
- proces
- Programare
- limbaje de programare
- Progres
- prevăzut
- dispoziţie
- public
- Piton
- repede
- Rasă
- curse
- curse
- ridica
- variind
- recomanda
- redirecționa
- cu privire la
- regiune
- scoate
- repetabil
- replică
- depozit
- reprezentare
- necesar
- Resurse
- REZULTATE
- reveni
- Returnează
- revizuiască
- Răsplăti
- Recompense
- Rol
- rolurile
- Alerga
- funcţionare
- sigur
- sagemaker
- scalabil
- Scară
- scara ai
- scalare
- Ştiinţă
- securitate
- selectiv
- Servicii
- set
- configurarea
- comun
- Ture
- să
- indicat
- Emisiuni
- simplu
- mai inteligent
- EMS
- So
- Software
- de dezvoltare de software
- soluţie
- soluţii
- unele
- spații
- specialist
- specializată
- specific
- specificată
- stivui
- Începe
- început
- Stare
- paşi
- Încă
- stocate
- simplu
- Strategic
- studio
- subrețea
- subrețele
- Sprijină
- sistem
- adaptate
- Lua
- ia
- șablon
- şabloane
- Terminal
- test
- teste
- Noțiuni de bază
- lor
- Prin
- timp
- la
- Unelte
- urmări
- Tren
- Pregătire
- triplu
- tutoriale
- înţelege
- unitate
- us
- utilizare
- carcasa de utilizare
- utilizatorii
- valoare
- diverse
- Fixă
- vehicul
- verifica
- versiune
- de
- vizionarea
- web
- servicii web
- Ce
- dacă
- care
- în timp ce
- pe larg
- voi
- câştiga
- în
- Apartamente
- de lucru
- fabrică
- lume
- ar
- Tu
- Ta
- zephyrnet