RStudio az Amazon SageMakeren az iparág első teljesen felügyelt RStudio Workbench felhőben. Gyorsan elindíthatja a jól ismert RStudio integrált fejlesztői környezetet (IDE), és fel-le tárcsázhatja a mögöttes számítási erőforrásokat anélkül, hogy megszakítaná a munkáját, így könnyedén készíthet gépi tanulási (ML) és elemzési megoldásokat R-ben. A SageMakeren található RStudio már tartalmazza a beépített kép előre konfigurálva R programozási és adattudományi eszközökkel; azonban gyakran testre kell szabnia az IDE környezetét. Mától kezdve hozhat létre saját, egyedi képét az Ön által választott csomagokkal és eszközökkel, és néhány kattintással elérhetővé teheti azokat a SageMaker RStudio összes felhasználója számára.
A saját egyedi kép elhozása számos előnnyel jár. Szabványosíthatja és leegyszerűsítheti az adatkutatók és fejlesztők első lépéseit azáltal, hogy biztosít egy kezdőképet, előre konfigurálja az adattárolókhoz való csatlakozáshoz szükséges illesztőprogramokat, vagy előre telepít speciális adattudományi szoftvert az üzleti tartományhoz. Ezenkívül azoknál a szervezeteknél, amelyek korábban saját RStudio Workbench-et üzemeltettek, létezhetnek olyan konténeres környezetek, amelyeket továbbra is használni szeretnének a SageMaker RStudio-jában.
Ebben a bejegyzésben lépésről lépésre útmutatást adunk egy egyéni kép létrehozásához, és a SageMaker RStudióba való eljuttatásához a AWS felügyeleti konzol or AWS parancssori interfész (AWS CLI). Néhány egyszerű lépésben beállíthatja és futtathatja első egyéni IDE-környezetét. Az ebben a bejegyzésben tárgyalt tartalommal kapcsolatos további információkért lásd: Hozd el saját RStudio képedet.
Megoldás áttekintése
Amikor egy adattudós új munkamenetet indít a SageMaker RStudio alkalmazásában, egy új igény szerinti ML számítási példány kerül kiépítésre, és egy tárolórendszerkép, amely meghatározza a futási környezetet (operációs rendszer, könyvtárak, R-verziók stb.), fut az ML-példányon. Több választási lehetőséget biztosíthat adattudósainak a futási környezethez, ha egyéni tárolóképeket hoz létre, és elérhetővé teszi azokat az RStudio Workbench indítóján, a következő képernyőképen látható módon.
A következő diagram az egyéni kép létrehozásának folyamatát írja le. Először létre kell hoznia egy egyéni tárolóképet egy Dockerfile-ból, és át kell helyeznie egy tárolóba Amazon Elastic Container Registry (Amazon ECR). Ezután hozzon létre egy SageMaker képet, amely az Amazon ECR konténerképére mutat, és csatolja ezt a képet a sajátjához SageMaker domain. Ez elérhetővé teszi az egyéni képet egy új munkamenet indításához az RStudioban.
Előfeltételek
A megoldás megvalósításához a következő előfeltételekkel kell rendelkeznie:
- Egy RStudio a SageMaker tartományban
- AWS Identity and Access Management (IAM) irányelvei az Amazon ECR-rel való interakcióhoz
- A megfelelő AWS CLI verzió
Ebben a részben mindegyikről további részleteket adunk.
RStudio a SageMaker tartományban
Ha 7. április 2022. előtt már rendelkezik SageMaker-domainnel, amelyben az RStudio engedélyezve volt, törölnie kell, és újra létre kell hoznia a RStudioServerPro
alkalmazást a felhasználói profil neve alatt domain-shared
hogy megkapja a legfrissebb frissítéseket, és hozza létre saját egyéni képképességét. Az AWS CLI parancsok a következők. Vegye figyelembe, hogy ez a művelet megszakítja a SageMaker RStudio felhasználóit.
Ha most először használja az RStudiót a SageMakeren, kövesse a lépésről lépésre leírt beállítási folyamatot. Kezdje el az RStudio használatát az Amazon SageMakeren, vagy futtassa a következőt AWS felhőképződés sablon az első RStudio beállításához a SageMaker tartományban. Ha már rendelkezik működő RStudióval a SageMaker tartományban, kihagyhatja ezt a lépést.
A következő RStudio on SageMaker CloudFormation sablon használatához az AWS Licenckezelőn keresztül jóváhagyott RStudio licenc szükséges. Az engedélyezéssel kapcsolatos további információkért lásd: RStudio licenc. Vegye figyelembe azt is, hogy AWS-régiónként csak egy SageMaker-tartomány engedélyezett, ezért olyan AWS-fiókot és régiót kell használnia, amely nem rendelkezik meglévő domainnel.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Indítsa el a Stack alkalmazást.
A link az us-East-1 Régióra visz, de válthat a kívánt régióra. - A Adja meg a sablont szakaszban válassza Következő.
- A Adja meg a verem részleteit szakasz, for Verem neve, írjon be egy nevet.
- A paraméterek, adja meg a SageMaker felhasználói profil nevét.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- A Állítsa be a verembeállításokat szakaszban válassza Következő.
- A Felülvizsgálat válasszon Tudomásul veszem, hogy az AWS CloudFormation IAM-erőforrásokat hozhat létre És válasszon Következő.
- Amikor a verem állapota a következőre változik
CREATE_COMPLETE
, Menjen a Control Panel a SageMaker konzolon a tartomány és az új felhasználó megkereséséhez.
IAM-irányelvek az Amazon ECR-rel való interakcióhoz
A privát Amazon ECR-tárházaival való interakcióhoz a következő IAM-engedélyekre van szüksége abban az IAM-felhasználóban vagy szerepkörben, amelyet a Docker-képek létrehozásához és leküldéséhez fog használni:
Ahhoz, hogy kezdetben egy nyilvános Amazon ECR-képből építhessen, amint az ebben a bejegyzésben látható, csatolnia kell az AWS által kezelt AmazonElasticContainerRegistryPublicReadOnly az IAM-felhasználó vagy szerepkör számára is.
Docker-tárolókép létrehozásához használhat egy helyi Docker-ügyfelet vagy a SageMaker Docker Build CLI eszköz a SageMaker RStudio termináljáról. Utóbbihoz kövesse az alábbi előfeltételeket Az Amazon SageMaker Studio Image Build CLI használatával tárolóképeket készíthet Studio notebookjaiból az IAM engedélyek és a CLI eszköz beállításához.
AWS CLI verziók
Az AWS CLI eszköz minimális verziókövetelményei vannak az ebben a bejegyzésben említett parancsok futtatásához. Ügyeljen arra, hogy frissítse az AWS CLI-t a választott terminálján:
- AWS CLI v1 >= 1.23.6
- AWS CLI v2 >= 2.6.2
Készítsen egy Docker-fájlt
A Dockerfile-ban testreszabhatja futási környezetét az RStudio-ban. Mivel a testreszabás az Ön használati esetétől és követelményeitől függ, ebben a példában bemutatjuk a lényeget és a leggyakoribb testreszabásokat. Letöltheti a teljes minta Dockerfile.
Telepítse az RStudio Workbench munkamenet összetevőit
Az egyéni tárolóképbe telepítendő legfontosabb szoftver az RStudio Workbench. Letöltjük a nyilvános S3 vödör, amelyet az RStudio PBC üzemeltet. Számos verziókiadás és operációs rendszer disztribúció használható. A telepítés verziójának kompatibilisnek kell lennie a SageMaker RStudio-ban használt RStudio Workbench verziójával, amely az írás idején 1.4.1717-3. Az operációs rendszernek (a következő részletben az argumentum OS) meg kell egyeznie az alappal OS
a konténer képén használt. A mi mintánkban dockerfile, az általunk használt alapkép az Amazon Linux 2, amely egy AWS által kezelt nyilvános Amazon ECR-tárból származik. A kompatibilis RStudio Workbench operációs rendszer a centos7.
Az összes operációs rendszer kiadási lehetőséget a következő paranccsal találhatja meg:
Telepítse az R-t (és az R verzióit)
Az egyéni RStudio tárolókép futási környezetéhez legalább egy R verzióra van szüksége. Először telepíthetjük az R egyik verzióját, és az alapértelmezett R-ként állíthatjuk be, ha lágy hivatkozásokat hozunk létre /usr/local/bin/
:
Az adattudósoknak gyakran több R-verzióra van szükségük, hogy könnyen válthassanak a projektek és a kódbázis között. Az RStudio a SageMakeren támogatja az R verziók közötti egyszerű váltást, amint az a következő képernyőképen látható.
RStudio a SageMakeren automatikusan megvizsgálja és felfedezi az R verzióit a következő könyvtárakban:
Több verziót is telepíthetünk a tárolóképbe, amint az a következő részletben látható. Be lesznek szerelve /opt/R/
.
Telepítse az RStudio Professional illesztőprogramokat
Az adattudósoknak gyakran olyan forrásokból kell adatokhoz férniük, mint pl Amazon Athéné és a Amazon RedShift a SageMaker RStudiójában. Ezt megteheti a használatával RStudio professzionális illesztőprogramok és a RStudio kapcsolatok. Ügyeljen arra, hogy telepítse a megfelelő könyvtárakat és illesztőprogramokat a következő részletben látható módon:
Egyéni könyvtárak telepítése
További R- és Python-könyvtárakat is telepíthet, hogy az adattudósoknak ne kelljen menet közben telepíteniük őket:
Ha végzett a Dockerfile testreszabásával, itt az ideje, hogy készítsen egy konténerképet, és továbbítsa azt az Amazon ECR-be.
Építsd meg és told be az Amazon ECR-re
Konténerképet készíthet a Dockerfile-ból egy olyan terminálról, amelyre a Docker-motor telepítve van, például a helyi terminálról vagy AWS Cloud9. Ha a SageMaker RStudióján belüli terminálról építi fel, használhatja SageMaker Studio Image Build. Mindkét megközelítés lépéseit bemutatjuk.
Egy helyi terminálon, ahol a Docker-motor megtalálható, a következő parancsokat futtathatja onnan, ahol a Dockerfile található. Használhatja a minta szkriptet create-and-update-image.sh.
A SageMaker RStudio egyik termináljában futtassa a következő parancsokat:
Ezen parancsok után van egy tárolója és egy Docker-tárolóképe az Amazon ECR-ben a következő lépésünkhöz, amelyben csatoljuk a tárolóképet a SageMaker RStudio-jában való használatra. Vegye figyelembe a kép URI-ját az Amazon ECR-ben <ACCOUNT_ID>.dkr.ecr.<REGION>.amazonaws.com/<REPO>:<TAG>
későbbi felhasználásra.
Frissítse az RStudio alkalmazást a SageMakeren a konzolon keresztül
Az RStudio a SageMaker-en lehetővé teszi a futásidejű testreszabást egy egyéni SageMaker-kép használatával. A SageMaker kép a SageMaker képverziók készletének tartója. Mindegyik képverzió egy olyan konténerképet képvisel, amely kompatibilis a SageMaker RStudiójával, és egy Amazon ECR-tárban van tárolva. Ha egy egyéni SageMaker-képet szeretne elérhetővé tenni egy tartományon belüli összes RStudio-felhasználó számára, csatolja a képet a tartományhoz az ebben a szakaszban található lépések végrehajtásával.
- A SageMaker konzolon navigáljon a Egyéni SageMaker Studio képek a domainhez csatolva oldalt, és válasszon Kép csatolása.
- választ Új kép, és adja meg az Amazon ECR kép URI-ját.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- A Kép tulajdonságai szakaszt, adjon meg egy Kép neve (kívánt), Kép megjelenítési neve (választható), Leírás (nem kötelező), IAM szerepkör és címkék.
A kép megjelenített neve, ha van, megjelenik a SageMaker RStudio munkamenet-indítójában. Ha a Kép megjelenítési neve mező üresen marad, a kép neve helyett a SageMaker RStudiojában jelenik meg. - Szabadság EFS csatolási útvonal és a Speciális konfiguráció (Felhasználóazonosító és a Csoport azonosítója) alapértelmezettként, mert a SageMaker RStudio kezeli helyettünk a konfigurációt.
- A Kép típusa válasszon RStudio kép.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Küld.
Most egy új bejegyzést láthat a listában. Érdemes megjegyezni, hogy az egyedi RStudio-képek támogatásának bevezetésével újat láthatunk Használat típusa oszlop a táblázatban annak jelzésére, hogy egy kép RStudio kép-e vagy egy Amazon SageMaker Studio kép.
Akár 5–10 percig is eltarthat, amíg az egyéni képek elérhetővé válnak a munkamenet-indító felhasználói felületén. Ezután elindíthat egy új R munkamenetet a SageMaker RStudio alkalmazásában egyéni képeivel.
Idővel érdemes lehet visszavonni a régi és elavult képeket. Ha el szeretné távolítani az egyéni képeket az RStudio egyéni képek listájáról, jelölje ki a képeket a listában, és válassza a lehetőséget Leválasztás.
A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Leválasztás ismét erősíteni.
Frissítse az RStudio alkalmazást a SageMakeren az AWS CLI-n keresztül
A következő szakaszok leírják a SageMaker kép létrehozásának és csatolásának lépéseit a SageMaker konzolon található SageMaker RStudio alkalmazásban való használathoz és az AWS CLI használatával. Használhatja a minta szkriptet create-and-update-image.sh.
Hozza létre a SageMaker képet és képverziót
Az első lépés egy SageMaker kép létrehozása az Amazon ECR egyéni tárolóképéből a következő két parancs futtatásával:
Vegye figyelembe, hogy a SageMaker RStudio munkamenet-indítójában megjelenő egyéni képet a --display-name
. Ha az opcionális megjelenítési név nincs megadva, akkor a --image-name
helyett használják. Vegye figyelembe azt is, hogy az IAM szerepkör lehetővé teszi a SageMaker számára, hogy Amazon ECR-képet csatoljon a SageMaker RStudiójához.
Hozzon létre egy AppImageConfig-ot
A SageMaker képen kívül, amely rögzíti az Amazon ECR kép-URI-ját, egy alkalmazás képkonfigurációja (AppImageConfig) szükséges a SageMaker tartományban való használathoz. Egyszerűsítjük a konfigurációt egy RSessionApp
képet, így egyszerűen létrehozhatunk egy helyőrző konfigurációt a következő paranccsal:
Csatolás egy SageMaker tartományhoz
A SageMaker-kép és az alkalmazáskép-konfiguráció létrehozásával készen állunk az egyéni tárolókép csatolására a SageMaker-tartományhoz. Ahhoz, hogy egy egyéni SageMaker-kép elérhető legyen a tartományon belüli összes RStudio-felhasználó számára, alapértelmezett felhasználói beállításként csatolja a képet a tartományhoz. Minden meglévő és új felhasználó használhatja az egyéni képet.
A jobb olvashatóság érdekében a következő konfigurációt helyezzük el a JSON-fájlban default-user-settings.json:
Ebben a fájlban megadhatjuk a képet és AppImageConfig
névpárok egy listában in DefaultUserSettings.RSessionAppSettings.CustomImages
. Ez az előző részlet feltételezi, hogy két egyéni kép készül.
Ezután futtassa a következő parancsot a SageMaker tartomány frissítéséhez:
A domain frissítése után akár 5–10 percig is eltarthat, amíg az egyéni képek elérhetővé válnak a munkamenet-indító felhasználói felületén. Ezután elindíthat egy új R munkamenetet a SageMaker RStudio alkalmazásában egyéni képeivel.
Képek leválasztása egy SageMaker tartományról
A képeket egyszerűen leválaszthatja a ImageName
és a AppImageConfigName
párok től default-user-settings.json
és a domain frissítése.
Például a domain frissítése a következőkkel default-user-settings.json
elmozdít r-4.1.3-rstudio-2022
az R munkamenetből elindítja a felhasználói felületet, és távozik r-4.1.3-rstudio-1.4.1717-3
mint az egyetlen egyéni kép, amely egy domain minden felhasználója számára elérhető:
Tisztítsuk meg
A SageMaker tartományban található képek és erőforrások biztonságos eltávolításához hajtsa végre a következő lépéseket Tisztítsa meg a képforrásokat.
Az RStudio biztonságos eltávolításához a SageMaker és a SageMaker tartományban, hajtsa végre a következő lépéseket Töröljön egy Amazon SageMaker domaint az RSessionGateway alkalmazás, felhasználói profil és a tartomány törléséhez.
A képek és adattárak biztonságos eltávolításához az Amazon ECR-ben hajtsa végre a következő lépéseket Kép törlése.
Végül a CloudFormation sablon törléséhez:
- Az AWS CloudFormation konzolon válassza a Stacks lehetőséget.
- Válassza ki a megoldáshoz telepített veremet.
- Válassza a Törlés lehetőséget.
Következtetés
Az RStudio a SageMakeren megkönnyíti az adattudósok számára, hogy ML-ben és R-ben elemző megoldásokat készítsenek nagy léptékben, a rendszergazdák pedig egy robusztus adattudományi környezetet kezelhetnek fejlesztőik számára. Az adattudósok testre akarják szabni a környezetet, hogy a megfelelő könyvtárakat használják a megfelelő munkához, és elérjék a kívánt reprodukálhatóságot az egyes ML-projekteknél. A rendszergazdáknak szabályozási és biztonsági okokból szabványosítaniuk kell az adattudományi környezetet. Mostantól létrehozhat egyéni tárolóképeket, amelyek megfelelnek szervezeti követelményeinek, és lehetővé teszik az adatkutatók számára, hogy ezeket a SageMaker RStudio alkalmazásában használják.
Javasoljuk, hogy próbálja ki. Boldog fejlődést!
A szerzőkről
Michael Hsieh vezető AI/ML-megoldásokra szakosodott építész. Együttműködik az ügyfelekkel, hogy az AWS ML-kínálatának és az ML-domain tudásának kombinációjával előmozdítsa ML-útjukat. Seattle-i transzplantációjaként szereti felfedezni a város által kínált nagyszerű Anyatermészetet, például a túraútvonalakat, a kajakozást az SLU-ban és a naplementét a Shilshole-öbölben.
Declan Kelly az Amazon SageMaker Studio csapatának szoftvermérnöke. Az AWS re:Invent 2019-ben való indulása óta dolgozik az Amazon SageMaker Stúdión. Munkán kívül szeret túrázni és mászni.
Sean Morgan az AWS AI/ML megoldások építésze. Tapasztalattal rendelkezik a félvezetők és az akadémiai kutatás területén, és tapasztalatait arra használja fel, hogy segítse ügyfeleit céljaik elérésében az AWS-ben. Szabadidejében Sean aktív nyílt forráskódú közreműködő és karbantartó, valamint a TensorFlow Add-ons speciális érdeklődési csoportjának vezetője.
- Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
- CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
- Forrás: https://aws.amazon.com/blogs/machine-learning/use-a-custom-image-to-bring-your-own-development-environment-to-rstudio-on-amazon-sagemaker/
- "
- &
- 1.3
- 10
- 100
- 2019
- 2022
- 7
- a
- Rólunk
- hozzáférés
- Fiók
- Elérése
- Akció
- aktív
- mellett
- További
- adminisztrátorok
- előre
- Minden termék
- lehetővé teszi, hogy
- már
- amazon
- analitika
- app
- megközelít
- megfelelő
- április
- elérhető
- AWS
- öböl
- mert
- hogy
- Előnyök
- Jobb
- között
- határ
- hoz
- épít
- Épület
- üzleti
- Kaphat
- fogások
- eset
- változik
- választás
- választás
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- Város
- felhő
- kód
- Oszlop
- kombináció
- Közös
- összeegyeztethető
- teljes
- Kiszámít
- Configuration
- Csatlakozó
- Konzol
- Konténer
- tartalom
- folytatódik
- hozzájáruló
- teremt
- készítette
- létrehozása
- szokás
- Ügyfelek
- testre
- dátum
- adat-tudomány
- adattudós
- bizonyítani
- függ
- telepített
- leírni
- leírt
- részletek
- fejlesztők
- Fejlesztés
- kijelző
- disztribúció
- Dokkmunkás
- Nem
- domain
- le-
- letöltés
- minden
- könnyen
- hatás
- ösztönzése
- Motor
- mérnök
- belép
- Környezet
- Essentials
- példa
- létező
- tapasztalat
- ismerős
- Fields
- vezetéknév
- első
- következik
- következő
- következik
- Ingyenes
- ból ből
- Tele
- Továbbá
- szerzés
- Célok
- nagy
- Csoport
- boldog
- segít
- tartó
- házigazdája
- azonban
- HTTPS
- Identitás
- kép
- képek
- végre
- fontos
- az iparé
- információ
- bemenet
- telepíteni
- példa
- integrált
- kamat
- IT
- Munka
- utazás
- tudás
- legutolsó
- indít
- indítás
- vezet
- tanulás
- Engedély
- Engedélyezés
- vonal
- LINK
- linkek
- linux
- Lista
- helyi
- gép
- gépi tanulás
- csinál
- KÉSZÍT
- Gyártás
- kezelése
- sikerült
- vezetés
- menedzser
- Mérkőzés
- említett
- esetleg
- minimum
- ML
- több
- Morgan
- a legtöbb
- anya
- többszörös
- Természet
- Keresse
- igények
- következő
- ajánlat
- Ajánlat
- üzemeltetési
- operációs rendszer
- Opciók
- szervezeti
- szervezetek
- saját
- pont
- Politikák
- politika
- előnyben részesített
- be
- magán
- folyamat
- szakmai
- profil
- Programozás
- program
- projektek
- ad
- feltéve,
- amely
- nyilvános
- gyorsan
- RE
- el
- miatt
- vidék
- szabályozók
- engedje
- Releases
- eltávolítása
- raktár
- jelentése
- kötelező
- követelmények
- megköveteli,
- kutatás
- forrás
- Tudástár
- Szerep
- futás
- futás
- biztosan
- Skála
- Tudomány
- Tudós
- tudósok
- Sean
- biztonság
- félvezető
- készlet
- beállítás
- felépítés
- számos
- Megosztás
- előadás
- mutatott
- Egyszerű
- óta
- So
- Puha
- szoftver
- Software Engineer
- szilárd
- megoldások
- Megoldások
- speciális
- szakember
- specializált
- verem
- kezdődött
- kezdődik
- nyilatkozat
- Állapot
- árnyékolók
- stúdió
- napnyugta
- támogatás
- Támogatja
- kapcsoló
- rendszer
- csapat
- terminál
- A
- Keresztül
- idő
- Ma
- szerszám
- szerszámok
- ui
- alatt
- Frissítések
- Frissítés
- frissítése
- us
- használ
- Felhasználók
- változat
- vajon
- belül
- nélkül
- Munka
- dolgozó
- művek
- érdemes
- írás
- A te