Ezt a bejegyzést Zdenko Estok, az Accenture felhőépítésze és Sakar Selimcan, az Accenture DeepRacer SME-je társírója.
A mesterséges intelligencia (AI) és a gépi tanulás (ML) növekvő használata az iparágak túlnyomó többségében (az egészségügytől a biztosításig, a gyártástól a marketingig), a modellek méretarányos építése és képzése során az elsődleges hangsúly a hatékonyságra helyeződik. A méretezhető és problémamentes adattudományi környezet létrehozása kulcsfontosságú. Jelentős időbe telhet egy adott használati esetre szabott környezet elindítása és konfigurálása, és még nehezebb bevonni a kollégákat az együttműködésre.
Szerint Accenture, azok a vállalatok, amelyeknek sikerül hatékonyan skálázni az AI-t és az ML-t, befektetéseik közel háromszoros megtérülését érhetik el. Ennek ellenére nem minden vállalat éri el az AI/ML útja során elvárt hozamát. Az infrastruktúra automatizálására szolgáló eszközkészletek elengedhetetlenek az AI/ML erőfeszítések horizontális skálázásához a vállalaton belül.
AWS DeepRacer egy egyszerű és szórakoztató módszer az erősítő tanulás (RL) elkezdéséhez, egy ML technikához, ahol az ügynök felfedezi az adott környezetben végrehajtandó optimális műveleteket. A mi esetünkben ez egy AWS DeepRacer jármű lenne, amely gyorsan próbál száguldani egy pálya körül. Gyorsan elkezdheti használni az RL-t a gyakorlati oktatóanyagok segítségével, amelyek végigvezetik az RL-modellek képzésének alapjain, és izgalmas, autonóm autóversenyzési tapasztalat.
Ez a bejegyzés bemutatja, hogyan használhatják a vállalatok az infrastruktúrát kódként (IaC) a AWS Cloud Development Kit (AWS CDK), hogy felgyorsítsa a nagymértékben átruházható infrastruktúra létrehozását és replikációját, és könnyedén versenyezzen az AWS DeepRacer eseményekért.
„Az IaC a felügyelt Jupyter környezettel kombinálva mindkét világból a legjobbat nyújtotta számunkra: megismételhető, nagymértékben átvihető adattudományi környezeteket, hogy beépíthessük AWS DeepRacer versenytársainkat, hogy arra összpontosíthassunk, amit a legjobban értenek: a gyors modellek gyors képzését.”
– Selimcan Sakar, AWS DeepRacer SME az Accenture-nél.
Megoldás áttekintése
Az összes szükséges szolgáltatás összehangolása jelentős időt vesz igénybe, ha több felhasználási esetre is alkalmazható méretezhető sablont kell létrehozni. A múltban, AWS felhőképződés sablonok készültek e szolgáltatások létrehozásának automatizálására. Az automatizálás és az egyre növekvő absztrakciós szintű konfigurálás révén a különböző környezetek IaC-eszközökkel történő beállításához az AWS CDK széles körben elterjedt a különböző vállalatoknál. Az AWS CDK egy nyílt forráskódú szoftverfejlesztési keretrendszer a felhőalkalmazás-erőforrások meghatározásához. A programozási nyelvek ismertségét és kifejezőerejét használja az alkalmazások modellezéséhez, miközben az erőforrásokat biztonságosan és megismételhetően biztosítja.
Ebben a bejegyzésben lehetővé tesszük a naplóelemzés végrehajtásához szükséges különböző összetevők kiépítését Amazon SageMaker az AWS DeepRaceren az AWS CDK-n keresztül konstrukciókat.
Bár a DeepRacer konzolban található elemzési grafikon, ha hatékony és egyértelmű az odaítélt jutalmak és az elért előrehaladás tekintetében, nem ad betekintést abba, hogy az autó milyen gyorsan halad át az útpontokon, vagy hogy az autó milyen vonalat részesít előnyben a pálya körül. . Itt jön képbe a fejlett naplóelemzés. Fejlett naplóelemzésünk célja, hogy utólag is hatékonyabbá tegyük az edzést, hogy megértsük, mely jutalmazó funkciók és akcióterek működnek jobban, mint a többi modell több modell edzésekor, és hogy egy modell túlfitt-e, így a versenyzők okosabban edzhettek, és kevesebb edzéssel jobb eredményeket érhetnek el.
Megoldásunk egy AWS DeepRacer környezetkonfigurációt ír le, amely az AWS CDK-t használja, hogy felgyorsítsa a SageMaker naplóelemzéssel és az AWS-ben történő megerősítési tanulással kísérletező felhasználók útját egy AWS DeepRacer eseményhez.
A rendszergazda futtathatja az AWS CDK-szkriptet, amelyet a GitHub repo keresztül AWS felügyeleti konzol vagy a terminálban a kód környezetükbe való betöltése után. A lépések a következők:
- Nyisd ki AWS Cloud9 a konzolon.
- Töltse be az AWS CDK modult a GitHubból az AWS Cloud9 környezetbe.
- Konfigurálja az AWS CDK modult az ebben a bejegyzésben leírtak szerint.
- Nyissa meg a cdk.context.json fájlt, és ellenőrizze az összes paramétert.
- Módosítsa a paramétereket szükség szerint, és futtassa az AWS CDK parancsot a kívánt személyiséggel, hogy elindítsa az adott személynek megfelelő konfigurált környezetet.
A következő ábra a megoldás architektúráját mutatja be.
Az AWS CDK segítségével ellenőrizhetjük a kiépített erőforrásaink verziószámát, és egy nagymértékben hordozható környezettel rendelkezhetünk, amely megfelel a vállalati szintű bevált gyakorlatoknak.
Előfeltételek
Az ML környezetek AWS CDK-val való kiépítéséhez hajtsa végre a következő előfeltételeket:
- Hozzáférhet egy AWS-fiókhoz és jogosultságokkal rendelkezik a régión belül a szükséges erőforrások különböző személyek számára történő telepítéséhez. Győződjön meg arról, hogy rendelkezik az AWS CDK-verem fiókjában való üzembe helyezéséhez szükséges hitelesítő adatokkal és engedélyekkel.
- Javasoljuk, hogy kövessen bizonyos bevált gyakorlatokat, amelyeket a következő forrásokban részletezett koncepciók emelnek ki:
- Klónozza a GitHub repo a környezetedbe.
Helyezze be a portfóliót a fiókjába
Ebben a telepítésben az AWS Cloud9 segítségével adattudományi környezetet hozunk létre az AWS CDK használatával.
- Keresse meg az AWS Cloud9 konzolt.
- Adja meg a környezet típusát, a példány típusát és a platformot.
- Adja meg a sajátját AWS Identity and Access Management (IAM) szerepkör, VPC és alhálózat.
- Az AWS Cloud9 környezetben hozzon létre egy új mappát DeepRacer néven.
- Futtassa a következő parancsot az AWS CDK telepítéséhez, és győződjön meg arról, hogy rendelkezik a megfelelő függőségekkel a portfólió telepítéséhez:
- Az AWS CDK telepítésének ellenőrzéséhez és a dokumentumok eléréséhez futtassa a következő parancsot a terminálon (az AWS CDK dokumentációjához kell irányítania):
- Most már klónozhatjuk az AWS DeepRacer adattárat GitHub.
- Nyissa meg a klónozott repót az AWS Cloud9-ben:
Miután áttekintette a tartalmat a DeepRacer_cdk
könyvtárban lesz egy nevű fájl package.json
az összes szükséges modullal és függőséggel. Itt határozhatja meg az erőforrásokat egy modulban.
- Ezután telepítse az összes szükséges modult és függőséget az AWS CDK alkalmazáshoz:
Ez szintetizálja a megfelelő CloudFormation sablont.
- A központi telepítés futtatásához módosítsa a context.json fájlt paraméternevekkel, vagy határozza meg azokat kifejezetten futás közben:
A következő összetevők jönnek létre az AWS DeepRacer naplóelemzéséhez a szkript futtatása alapján:
- An IAM szerepkör a felügyelt házirenddel rendelkező SageMaker notebookhoz
- A SageMaker notebook példány a példánytípussal vagy kifejezetten hozzáadva cdk kontextusparaméterként, vagy alapértelmezett értékként tárolva a context.json fájlban
- Egy VPC a CIDR-vel, ahogy az a context.json fájlban meghatározott, és négy nyilvános alhálózat van konfigurálva
- Új biztonsági csoport a Sagemaker notebook példányhoz, amely lehetővé teszi a VPC-n belüli kommunikációt
- A SageMaker életciklus-irányelve egy bash szkripttel, amely előre betölti egy másik tartalmat GitHub tárház, amely azokat a fájlokat tartalmazza, amelyeket a naplóelemzés futtatásához használunk az AWS DeepRacer modelleken
- Az AWS CDK verem a következőképpen futtatható:
- Az erőforrások ellenőrzéséhez lépjen az AWS CloudFormation konzolra abban a régióban, ahol a verem telepítve van.
Mostantól a felhasználók elkezdhetik használni ezeket a szolgáltatásokat, hogy naplóelemzéssel és mély RL modell képzéssel dolgozhassanak a SageMaker for AWS DeepRacer alkalmazásban.
Modul tesztelés
A verem üzembe helyezése előtt néhány egységtesztet is lefuttathat annak ellenőrzésére, hogy véletlenül nem távolította-e el a szükséges erőforrásokat. Az egységtesztek itt találhatók DeepRacer/test/deep_racer.test.ts
és a következő kóddal futtatható:
Diagramok létrehozása a cdk-dia használatával
Diagramok létrehozásához hajtsa végre a következő lépéseket:
- felszerel
graphviz
az operációs rendszer eszközeivel:
Ezzel telepíti a cdk-dia alkalmazást.
- Most futtassa a következő kódot:
Az AWS CDK-verem grafikus ábrázolása .png formátumban kerül tárolásra.
Az előző lépések futtatása után látnia kell a jegyzetfüzet-példány létrehozási folyamatát állapottal Függőben levő. Amikor a notebook példány állapota Szolgálatban (ahogy a következő képernyőképen látható), folytathatja a következő lépésekkel.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Nyissa meg a Jupytert a Python-szkript futtatásához a naplóelemzés végrehajtásához.
Az AWS DeepRacer és a kapcsolódó vizualizációk használatával kapcsolatos naplóelemzés további részleteiért lásd: Naplóelemzés segítségével kísérleteket hajthat végre, és megnyerheti az AWS DeepRacer F1 ProAm Race versenyt.
Tisztítsuk meg
A folyamatos költségek elkerülése érdekében hajtsa végre a következő lépéseket:
- A cdk delete használatával törölheti az AWS CDK-n keresztül létrehozott erőforrásokat.
- Az AWS CloudFormation konzolon törölje a CloudFormation-vermet.
Következtetés
Az AWS DeepRacer rendezvényei nagyszerű lehetőséget kínálnak az érdeklődés felkeltésére és az ML-ismeretek bővítésére a szervezet minden pillérén és szintjén. Ebben a bejegyzésben megosztottuk, hogyan konfigurálhat dinamikus AWS DeepRacer környezetet, és hogyan állíthat be szelektív szolgáltatásokat, hogy felgyorsítsa a felhasználók útját az AWS platformon. Megbeszéltük, hogyan hozhatunk létre szolgáltatásokat Amazon SageMaker Notebook Instance, IAM szerepkörök, SageMaker notebook életciklus-konfiguráció a legjobb gyakorlatokkal, VPC és Amazon rugalmas számítási felhő (Amazon EC2) példányok a kontextus azonosításán alapulnak az AWS CDK használatával, és a különböző felhasználók méretezésén az AWS DeepRacer használatával.
Konfigurálja a CDK-környezetet, és futtassa a fejlett naplóelemző jegyzetfüzetet a modul futtatásának hatékonyságának növelése érdekében. Segítsen a versenyzőknek, hogy jobb eredményeket érjenek el rövidebb idő alatt, és részletes betekintést nyerjenek a jutalmazási funkciókba és a cselekvésbe.
Referenciák
További információ a következő forrásokban érhető el:
- Automatizálja az Amazon SageMaker Studio beállítását az AWS CDK használatával
- AWS SageMaker CDK API hivatkozás
A szerzőkről
Zdenko Estok felhő építészként és DevOps mérnökként dolgozik az Accenture-nél. Az AABG-vel együttműködve innovatív felhőmegoldások fejlesztésén és megvalósításán dolgozik, és az infrastruktúrára szakosodott, mint a kód és a felhőbiztonság. Zdenko szeret biciklizni az irodába, és élvezi a kellemes sétákat a természetben.
Selimcan „Can” Sakar az Accenture felhőalapú fejlesztője és megoldástervezője, aki a mesterséges intelligenciára összpontosít, és szenvedélyesen figyeli a modellek konvergenciáját.
Shikhar Kwatra az Amazon Web Services mesterséges intelligencia/ML-megoldások szakértője, egy vezető globális rendszerintegrátorral dolgozik együtt. A Shikhar segítséget nyújt a szervezet költséghatékony, méretezhető felhőkörnyezeteinek tervezésében, felépítésében és karbantartásában, valamint támogatja a GSI-partnert az AWS-en alapuló stratégiai ipari megoldások kidolgozásában. Shikhar szeret gitározni, zenét komponálni, és szabadidejében gyakorolja a tudatosságot.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
- 10
- 100
- 11
- 7
- 9
- a
- Képes
- gyorsul
- Accenture
- hozzáférés
- véletlenül
- Fiók
- Elérése
- elért
- át
- Akció
- cselekvések
- hozzáadott
- További
- fogadott
- fejlett
- fejlesztések
- Után
- Ügynök
- AI
- AI / ML
- AIDS
- célok
- Minden termék
- lehetővé téve
- amazon
- Amazon EC2
- Amazon SageMaker
- Amazon SageMaker Studio
- Az Amazon Web Services
- összeg
- elemzés
- és a
- Másik
- api
- app
- Alkalmazás
- alkalmazások
- alkalmazott
- építészet
- körül
- mesterséges
- mesterséges intelligencia
- Mesterséges intelligencia (AI)
- segít
- társult
- automatizált
- Automatizálás
- elérhető
- AWS
- AWS Cloud9
- AWS felhőképződés
- AWS DeepRacer
- alapján
- horpadás
- Alapjai
- válik
- előtt
- hogy
- BEST
- legjobb gyakorlatok
- Jobb
- hoz
- Épület
- hívott
- Kaphat
- autó
- eset
- esetek
- bizonyos
- változik
- díjak
- felhő
- Cloud Security
- Cloud9
- kód
- együttműködik
- munkatársai
- kombinált
- közlés
- Companies
- versenyez
- versenytársak
- teljes
- alkatrészek
- Kiszámít
- fogalmak
- Configuration
- tekintélyes
- Konzol
- tartalmaz
- tartalom
- kontextus
- ellenőrzés
- konvergálni
- VÁLLALAT
- Megfelelő
- teremt
- készítette
- létrehozása
- teremtés
- Hitelesítő adatok
- dátum
- adat-tudomány
- mély
- alapértelmezett
- meghatározott
- telepíteni
- telepített
- bevezetéséhez
- bevetés
- leírt
- elpusztítani
- részletes
- részletek
- Fejleszt
- Fejlesztő
- Fejlesztés
- diagramok
- különböző
- felfedezi
- tárgyalt
- dokumentáció
- Nem
- hajtás
- alatt
- dinamikus
- könnyen
- Hatékony
- hatékonyság
- eredményesen
- erőfeszítések
- bármelyik
- lehetővé
- mérnök
- vállalati szintű
- Vállalatok
- Környezet
- környezetek
- alapvető
- Még
- esemény
- események
- izgalmas
- várható
- kifejező
- f1
- bizalmasság
- GYORS
- filé
- Fájlok
- vezetéknév
- Összpontosít
- következő
- következik
- formátum
- Keretrendszer
- ból ből
- móka
- funkciók
- Nyereség
- generál
- kap
- GitHub
- Ad
- adott
- Globális
- megadott
- grafikon
- nagy
- Csoport
- útmutató
- hands-on
- egészségügyi
- segít
- Kiemelt
- nagyon
- Vízszintes
- Hogyan
- How To
- HTML
- HTTPS
- azonosító
- Identitás
- végre
- in
- Növelje
- növekvő
- iparágak
- ipar
- információ
- Infrastruktúra
- újító
- Insight
- meglátások
- telepíteni
- telepítve
- példa
- biztosítás
- Intelligencia
- kamat
- Beruházások
- IT
- utazás
- json
- Kulcs
- Kedves
- tudás
- Nyelvek
- indít
- vezető
- tanulás
- szintek
- vonal
- betöltés
- található
- gép
- gépi tanulás
- Többség
- csinál
- kezelése
- sikerült
- vezetés
- mód
- gyártási
- Marketing
- Találkozik
- Éberség
- ML
- modell
- modellek
- Modulok
- Modulok
- mozog
- többszörös
- zene
- nevek
- Természet
- közel
- elengedhetetlen
- Új
- következő
- jegyzetfüzet
- Office
- Fedélzeti
- folyamatban lévő
- nyílt forráskódú
- Nyílt forráskódú szoftver
- üzemeltetési
- operációs rendszer
- optimálisan
- érdekében
- szervezet
- Egyéb
- paraméter
- paraméterek
- partner
- szenvedély
- múlt
- előadó
- engedélyek
- emelvény
- Plató
- Platón adatintelligencia
- PlatoData
- játszani
- játék
- politika
- portfolió
- állás
- hatalom
- gyakorlat
- előfeltételek
- elsődleges
- folyamat
- Programozás
- programozási nyelvek
- Haladás
- feltéve,
- ellátás
- nyilvános
- Piton
- gyorsan
- Futam
- versenyzők
- verseny
- emel
- kezdve
- ajánl
- átirányítás
- tekintettel
- vidék
- eltávolítása
- megismételhető
- replikáció
- raktár
- képviselet
- kötelező
- Tudástár
- Eredmények
- visszatérés
- Visszatér
- Kritika
- Jutalom
- Jutalmak
- Szerep
- szerepek
- futás
- futás
- biztonságos
- sagemaker
- skálázható
- Skála
- skála ai
- skálázás
- Tudomány
- biztonság
- szelektív
- Szolgáltatások
- készlet
- felépítés
- megosztott
- Műszakok
- kellene
- mutatott
- Műsorok
- Egyszerű
- intelligensebb
- EMS
- So
- szoftver
- szoftverfejlesztés
- megoldások
- Megoldások
- néhány
- terek
- szakember
- specializálódott
- különleges
- meghatározott
- verem
- kezdet
- kezdődött
- Állapot
- Lépései
- Még mindig
- memorizált
- egyértelmű
- Stratégiai
- stúdió
- alhálózati
- alhálózatok
- Támogatja
- rendszer
- szabott
- Vesz
- tart
- sablon
- sablonok
- terminál
- teszt
- tesztek
- A
- Az alapok
- azok
- Keresztül
- idő
- nak nek
- szerszámok
- vágány
- Vonat
- Képzések
- Hármas
- oktatóanyagok
- megért
- egység
- us
- használ
- használati eset
- Felhasználók
- érték
- különféle
- Hatalmas
- jármű
- ellenőrzése
- változat
- keresztül
- őrzés
- háló
- webes szolgáltatások
- Mit
- vajon
- ami
- míg
- széles körben
- lesz
- nyer
- belül
- Munka
- dolgozó
- művek
- világ
- lenne
- te
- A te
- zephyrnet