RStudio Amazon SageMakeris on tööstuse esimene täielikult hallatav RStudio Workbench pilves. Saate kiiresti käivitada tuttava RStudio integreeritud arenduskeskkonna (IDE) ja kasutada arvutusressursse üles ja alla ilma oma tööd katkestamata, muutes masinõppe (ML) ja analüütikalahenduste loomise R-vormingus lihtsaks. RStudio SageMakeris on juba kaasas a sisseehitatud pilt eelkonfigureeritud R-programmeerimise ja andmeteaduse tööriistadega; sageli tuleb aga oma IDE keskkonda kohandada. Alates tänasest saate tuua oma kohandatud pildi koos teie valitud pakettide ja tööriistadega ning teha need mõne hiireklõpsuga kõigile RStudio kasutajatele SageMakeris kättesaadavaks.
Oma kohandatud pildi toomisel on mitmeid eeliseid. Saate standardida ja lihtsustada andmeteadlaste ja arendajate alustamise kogemust, pakkudes stardipilti, eelkonfigureerides andmesalvedega ühenduse loomiseks vajalikud draiverid või eelinstallides oma ettevõtte domeeni jaoks spetsiaalse andmeteaduse tarkvara. Lisaks võib organisatsioonidel, kes on varem hostinud oma RStudio Workbenchi, olla olemasolevaid konteinerkeskkondi, mida nad soovivad SageMakeris RStudios edasi kasutada.
Selles postituses jagame samm-sammult juhiseid kohandatud pildi loomiseks ja selle viimiseks RStudiosse saidil SageMaker, kasutades AWS-i juhtimiskonsool or AWS-i käsurea liides (AWS CLI). Saate oma esimese kohandatud IDE-keskkonna mõne lihtsa sammuga tööle panna. Lisateavet selles postituses käsitletava sisu kohta leiate aadressilt Tooge oma RStudio pilt.
Lahenduse ülevaade
Kui andmeteadlane alustab SageMakeris RStudios uut seanssi, luuakse uus tellitav ML-i arvutuseksemplar ja ML-is käivitatakse konteineri kujutis, mis määrab käituskeskkonna (operatsioonisüsteemi, teegid, R-versioonid jne). näiteks. Saate pakkuda oma andmeteadlastele käituskeskkonna jaoks mitu valikut, luues kohandatud konteineri kujutised ja tehes need RStudio Workbenchi käivitusprogrammis kättesaadavaks, nagu on näidatud järgmisel ekraanipildil.
Järgmine diagramm kirjeldab kohandatud pildi toomise protsessi. Esmalt loote Dockerfile'ist kohandatud konteineri kujutise ja lükkate selle hoidlasse Amazoni elastsete konteinerite register (Amazon ECR). Järgmisena loote SageMakeri pildi, mis osutab Amazon ECR-i konteineri kujutisele, ja lisate selle pildi oma külge SageMakeri domeen. See muudab kohandatud pildi RStudios uue seansi käivitamiseks kättesaadavaks.
Eeldused
Selle lahenduse rakendamiseks peavad teil olema järgmised eeltingimused:
- RStudio SageMakeri domeenis
- AWS-i identiteedi- ja juurdepääsuhaldus (IAM) poliitikad Amazon ECR-iga suhtlemiseks
- Sobiv AWS CLI versioon
Selles jaotises anname igaühe kohta üksikasjalikumalt.
RStudio SageMakeri domeenis
Kui teil on olemasolev SageMakeri domeen, kus RStudio on lubatud enne 7. aprilli 2022, peate kustutama ja uuesti looma RStudioServerPro
rakendust kasutajaprofiili nime all domain-shared
uusimate värskenduste saamiseks oma kohandatud pildivõimaluse toomiseks. AWS CLI käsud on järgmised. Pange tähele, et see toiming katkestab RStudio kasutajad SageMakeris.
Kui kasutate SageMakeris RStudiot esimest korda, järgige jaotises kirjeldatud samm-sammult häälestusprotsessi. Alustage RStudioga Amazon SageMakerisvõi käivitage järgmine toiming AWS CloudFormation malli oma esimese RStudio seadistamiseks SageMakeri domeenis. Kui teil on SageMakeri domeenis juba töötav RStudio, võite selle sammu vahele jätta.
Järgmise SageMaker CloudFormationi malli RStudio jaoks on vaja AWS-i litsentsihalduri kaudu kinnitatud RStudio litsentsi. Lisateavet litsentsimise kohta leiate aadressilt RStudio litsents. Pange tähele ka seda, et AWS-i piirkonna kohta on lubatud ainult üks SageMakeri domeen, seega peate kasutama AWS-i kontot ja piirkonda, millel pole olemasolevat domeeni.
- Vali Käivitage Stack.
Link viib teid us-ida-1 piirkonda, kuid saate valida oma eelistatud piirkonna. - aasta Määrake mall Valige jaotises järgmine.
- aasta Määrake virna üksikasjad jaotis, jaoks Virna nimi, sisestage nimi.
- eest parameetrid, sisestage SageMakeri kasutajaprofiili nimi.
- Vali järgmine.
- aasta Konfigureerige virna valikud Valige jaotises järgmine.
- aasta Ülevaade jaotises valige Tunnistan, et AWS CloudFormation võib luua IAM-i ressursse Ja vali järgmine.
- Kui virna olek muutub olekuks
CREATE_COMPLETE
, minge juhtpaneel domeeni ja uue kasutaja leidmiseks SageMakeri konsoolil.
IAM-i poliitikad Amazon ECR-iga suhtlemiseks
Oma privaatsete Amazon ECR-i hoidlatega suhtlemiseks vajate Dockeri piltide koostamiseks ja edastamiseks kasutatavas IAM-i kasutajas või rollis järgmisi IAM-i õigusi.
Algselt avalikust Amazon ECR-pildist koostamiseks, nagu on näidatud selles postituses, peate lisama AWS-i hallatava AmazonElasticContainerRegistryPublicReadOnly poliitikat ka teie IAM-i kasutajale või rollile.
Dockeri konteineri kujutise loomiseks võite kasutada kas kohalikku Dockeri klienti või SageMaker Docker Build CLI-tööriist SageMakeri RStudio terminalist. Viimase puhul järgi eeltingimusi Amazon SageMaker Studio Image Build CLI kasutamine ümbrikupiltide loomiseks oma Studio sülearvutitest IAM-õiguste ja CLI-tööriista seadistamiseks.
AWS CLI versioonid
Selles postituses mainitud käskude käivitamiseks on AWS-i CLI-tööriista jaoks minimaalsed versiooninõuded. Uuendage kindlasti oma valitud terminalis AWS CLI:
- AWS CLI v1 >= 1.23.6
- AWS CLI v2 >= 2.6.2
Valmistage ette Dockerfile
Saate kohandada oma käituskeskkonda RStudios Dockerfile'is. Kuna kohandamine sõltub teie kasutusjuhtumist ja nõuetest, näitame teile selles näites põhilisi ja levinumaid kohandusi. Saate alla laadida täismahus näidis Dockerfile.
Installige RStudio Workbenchi seansi komponendid
Kõige olulisem tarkvara, mida kohandatud konteineri kujutisele installida, on RStudio Workbench. Laadime alla saidilt avalik S3 ämber, mida hostib RStudio PBC. Kasutamiseks on palju versiooniväljaandeid ja OS-i distributsioone. Installi versioon peab ühilduma SageMakeris RStudios kasutatava RStudio Workbenchi versiooniga, mille versioon on kirjutamise ajal 1.4.1717-3. OS (argument OS järgmises väljalõiges) peab vastama baasile OS
konteineri pildil kasutatud. Meie proovis dockerfile, on meie kasutatav põhipilt Amazon Linux 2 AWS-i hallatavast avalikust Amazon ECR-i hoidlast. Ühilduv RStudio Workbench OS on centos7.
Kõik OS-i väljalaske valikud leiate järgmise käsuga:
Installige R (ja R-i versioonid)
Teie kohandatud RStudio konteineri kujutise käitusaeg vajab vähemalt ühte R-i versiooni. Saame esmalt installida R-i versiooni ja muuta selle vaike-R-iks, luues pehmed lingid /usr/local/bin/
:
Andmeteadlased vajavad sageli R-i mitut versiooni, et nad saaksid hõlpsalt projektide ja koodibaasi vahel vahetada. SageMakeri RStudio toetab lihtsat R-versioonide vahel vahetamist, nagu on näidatud järgmisel ekraanipildil.
RStudio SageMakeris skannib ja avastab automaatselt R-i versioonid järgmistest kataloogidest:
Saame konteineri kujutisele installida rohkem versioone, nagu on näidatud järgmises väljavõttes. Need paigaldatakse sisse /opt/R/
.
Installige RStudio professionaalsed draiverid
Andmeteadlastel on sageli vaja juurdepääsu andmetele sellistest allikatest nagu Amazonase Athena ja Amazoni punane nihe SageMakeri RStudio sees. Saate seda teha kasutades RStudio professionaalsed draiverid ja RStudio ühendused. Installige kindlasti asjakohased teegid ja draiverid, nagu on näidatud järgmises väljavõttes:
Installige kohandatud teegid
Saate installida ka täiendavaid R- ja Pythoni teeke, et andmeteadlased ei peaks neid käigu pealt installima.
Kui olete Dockerfile'is kohandamise lõpetanud, on aeg luua konteineri kujutis ja lükata see Amazon ECR-i.
Ehitage ja lükake Amazon ECR-i
Konteinerkujutise saate luua Dockerfile'ist terminalist, kuhu on installitud Dockeri mootor, näiteks kohalikust terminalist või AWSi pilv. Kui loote selle SageMakeri RStudio terminalist, saate seda kasutada SageMaker Studio pildi koostamine. Näitame mõlema lähenemisviisi samme.
Kohalikus terminalis, kus on Dockeri mootor, saate Dockeri faili asukohast käivitada järgmised käsud. Võite kasutada näidisskripti create-and-update-image.sh.
Käivitage SageMakeri RStudio terminalis järgmised käsud:
Pärast neid käske on teil Amazon ECR-is hoidla ja Dockeri konteineri pilt meie järgmiseks sammuks, kuhu lisame konteineri kujutise kasutamiseks RStudios SageMakeris. Pange tähele pildi URI-d Amazon ECR-is <ACCOUNT_ID>.dkr.ecr.<REGION>.amazonaws.com/<REPO>:<TAG>
hilisemaks kasutamiseks.
Värskendage konsooli kaudu RStudiot SageMakeris
SageMakeri RStudio võimaldab käitusaja kohandamist kohandatud SageMakeri kujutise abil. SageMakeri pilt on SageMakeri pildiversioonide komplekti hoidik. Iga pildiversioon kujutab endast konteinerpilti, mis ühildub SageMakeri RStudioga ja on salvestatud Amazon ECR-i hoidlasse. Kohandatud SageMakeri pildi kõigile domeenis olevatele RStudio kasutajatele kättesaadavaks tegemiseks saate selle jaotise juhiseid järgides lisada selle domeeni.
- Navigeerige SageMakeri konsoolis Domeenile lisatud kohandatud SageMaker Studio pildid leht ja valige Lisage pilt.
- valima Uus piltja sisestage oma Amazon ECR-pildi URI.
- Vali järgmine.
- aasta Pildi omadused jaotises esitage an Pildi nimi (nõutud), Kujutise kuvatav nimi (valikuline), Kirjeldus (valikuline), IAM-i roll ja sildid.
. pildi kuvatav nimi, kui see on olemas, kuvatakse SageMakeri RStudio seansi käivitajas. Kui Kujutise kuvatav nimi väli jäetakse tühjaks, pildi nimi kuvatakse selle asemel SageMakeri RStudios. - Lahkuma EFS-i paigaldustee ja Täpsem konfiguratsioon (kasutaja ID ja Grupi ID) vaikimisi, sest SageMakeri RStudio haldab konfiguratsiooni meie eest.
- aasta Pildi tüüp jaotises valige RStudio pilt.
- Vali LIITU.
Nüüd näete loendis uut kirjet. Väärib märkimist, et kohandatud RStudio piltide toe kasutuselevõtuga näete uut Kasutamise tüüp veerus tabelis, et näidata, kas pilt on RStudio pilt või Amazon SageMaker Studio pilt.
Kohandatud piltide seansi käivitaja kasutajaliideses saadavale jõudmiseks võib kuluda kuni 5–10 minutit. Seejärel saate SageMakeris RStudios uue R-seansi käivitada oma kohandatud piltidega.
Aja jooksul võite soovida vanad ja aegunud pildid kasutuselt kõrvaldada. Kohandatud piltide eemaldamiseks RStudio kohandatud piltide loendist valige loendist pildid ja valige Lahutage.
Vali Lahutage uuesti kinnitada.
Värskendage RStudiot SageMakeris AWS CLI kaudu
Järgmistes jaotistes kirjeldatakse samme SageMakeri kujutise loomiseks ja selle lisamiseks, et seda saaks kasutada SageMakeri konsoolis SageMakeri RStudio ja AWS CLI abil. Võite kasutada näidisskripti create-and-update-image.sh.
Looge SageMakeri pilt ja pildiversioon
Esimene samm on luua Amazon ECR-is kohandatud konteineri kujutisest SageMakeri pilt, käivitades kaks järgmist käsku:
Pange tähele, et SageMakeri RStudio seansi käivitajas kuvatava kohandatud pildi määrab --display-name
. Kui valikulist kuvatavat nime ei pakuta, sisestatakse --image-name
selle asemel kasutatakse. Pange tähele ka seda, et IAM-i roll võimaldab SageMakeril lisada Amazon ECR-pildi SageMakeri RStudiosse.
Looge AppImageConfig
Lisaks SageMakeri pildile, mis jäädvustab Amazon ECR-i kujutise URI, on rakenduse pildi konfiguratsioon (AppImageConfig) on SageMakeri domeenis kasutamiseks vajalik. Lihtsustame konfiguratsiooni RSessionApp
pilt, et saaksime lihtsalt luua kohahoidja konfiguratsiooni järgmise käsuga:
Manustamine SageMakeri domeeniga
Kui SageMakeri pilt ja rakenduse kujutise konfiguratsioon on loodud, oleme valmis kohandatud konteineri kujutise SageMakeri domeenile lisama. Kohandatud SageMakeri kujutise kättesaadavaks tegemiseks kõigile RStudio kasutajatele domeenis manustage pilt domeenile vaikesättena. Kõik olemasolevad ja uued kasutajad saavad kohandatud pilti kasutada.
Parema loetavuse huvides asetame JSON-faili järgmise konfiguratsiooni default-user-settings.json:
Selles failis saame määrata pildi ja AppImageConfig
nimepaarid loendis sisse DefaultUserSettings.RSessionAppSettings.CustomImages
. See eelnev väljavõte eeldab, et luuakse kaks kohandatud pilti.
Seejärel käivitage SageMakeri domeeni värskendamiseks järgmine käsk:
Pärast domeeni värskendamist võib kuluda kuni 5–10 minutit, enne kui kohandatud pildid on seansi käivitaja kasutajaliideses saadaval. Seejärel saate SageMakeris RStudios uue R-seansi käivitada oma kohandatud piltidega.
Eemaldage pildid SageMakeri domeenist
Saate pilte lihtsalt eemaldada, eemaldades need ImageName
ja AppImageConfigName
paarid alates default-user-settings.json
ja domeeni värskendamine.
Näiteks domeeni värskendamine järgmisega default-user-settings.json
eemaldab r-4.1.3-rstudio-2022
kasutajaliidese käivitamise R-seansist ja lahkub r-4.1.3-rstudio-1.4.1717-3
kui ainus kohandatud pilt, mis on kõigile domeeni kasutajatele saadaval:
Koristage
Kujutiste ja ressursside ohutuks eemaldamiseks SageMakeri domeenist tehke järgmised sammud Puhastage pildiressursse.
RStudio ohutuks eemaldamiseks SageMakeris ja SageMakeri domeenis tehke järgmised sammud Kustutage Amazon SageMakeri domeen mis tahes RSessionGateway rakenduse, kasutajaprofiili ja domeeni kustutamiseks.
Kujutiste ja hoidlate ohutuks eemaldamiseks Amazon ECR-is tehke järgmised sammud Pildi kustutamine.
Lõpuks CloudFormationi malli kustutamiseks tehke järgmist.
- Valige AWS CloudFormationi konsoolil Stacks.
- Valige selle lahenduse jaoks juurutatud virn.
- Valige Kustuta.
Järeldus
RStudio SageMakeris muudab andmeteadlaste jaoks lihtsaks ML-i ja analüütiliste lahenduste loomise mastaabis R-is ning administraatoritel oma arendajate jaoks tugeva andmeteaduse keskkonna haldamise. Andmeteadlased soovivad keskkonda kohandada nii, et nad saaksid kasutada õige töö jaoks õigeid teeke ja saavutada iga ML-projekti jaoks soovitud reprodutseeritavuse. Administraatorid peavad regulatiivsetel ja turvalisuse kaalutlustel standardima andmeteaduse keskkonna. Nüüd saate luua kohandatud konteineripilte, mis vastavad teie organisatsioonilistele nõuetele, ja lubada andmeteadlastel neid SageMakeri RStudios kasutada.
Soovitame teil seda proovida. Head arenemist!
Autoritest
Michael Hsieh on AI/ML-lahenduste vanemarhitekt. Ta töötab klientidega, et edendada nende ML-teekonda, kombineerides AWS ML-i pakkumisi ja oma ML-valdkonna teadmisi. Seattle'i siirdajana armastab ta avastada suurepärast emakest loodust, mida linn pakub, nagu matkarajad, maastikud süstaga SLU-s ja päikeseloojang Shilshole'i lahes.
Declan Kelly on Amazon SageMaker Studio meeskonna tarkvarainsener. Ta on Amazon SageMaker Studioga töötanud alates selle käivitamisest AWS re:Invent 2019. Väljaspool tööd naudib ta matkamist ja roneerimist.
Sean Morgan on AWS-i AI/ML-lahenduste arhitekt. Tal on kogemusi pooljuhtide ja akadeemilise uurimistöö valdkonnas ning ta kasutab oma kogemusi, et aidata klientidel AWS-is oma eesmärke saavutada. Vabal ajal on Sean aktiivne avatud lähtekoodiga kaastööline ja hooldaja ning on TensorFlow lisandmoodulite erihuvirühma juht.
- Münditark. Euroopa parim Bitcoini ja krüptobörs.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. TASUTA PÄÄS.
- CryptoHawk. Altcoini radar. Tasuta prooviversioon.
- Allikas: https://aws.amazon.com/blogs/machine-learning/use-a-custom-image-to-bring-your-own-development-environment-to-rstudio-on-amazon-sagemaker/
- "
- &
- 1.3
- 10
- 100
- 2019
- 2022
- 7
- a
- MEIST
- juurdepääs
- konto
- Saavutada
- tegevus
- aktiivne
- lisamine
- Täiendavad lisad
- administraatorid
- edendama
- Materjal: BPA ja flataatide vaba plastik
- võimaldab
- juba
- Amazon
- analytics
- app
- lähenemisviisid
- asjakohane
- Aprill
- saadaval
- AWS
- laht
- sest
- on
- Kasu
- Parem
- vahel
- piir
- tooma
- ehitama
- Ehitus
- äri
- Saab
- lööb
- juhul
- muutma
- valik
- valikuid
- Vali
- Linn
- Cloud
- kood
- Veerg
- kombinatsioon
- ühine
- kokkusobiv
- täitma
- Arvutama
- konfiguratsioon
- ühendamine
- konsool
- Konteiner
- sisu
- jätkama
- toetaja
- looma
- loodud
- loomine
- tava
- Kliendid
- kohandada
- andmed
- andmeteadus
- andmeteadlane
- näitama
- sõltub
- lähetatud
- kirjeldama
- kirjeldatud
- detailid
- Arendajad
- & Tarkvaraarendus
- Ekraan
- Väljamaksed
- laevalaadija
- Ei tee
- domeen
- alla
- lae alla
- iga
- kergesti
- mõju
- julgustama
- Mootor
- insener
- sisene
- keskkond
- Essentials
- näide
- olemasolevate
- kogemus
- tuttav
- Valdkonnad
- esimene
- Esimest korda
- järgima
- Järel
- järgneb
- tasuta
- Alates
- täis
- Pealegi
- saamine
- Eesmärgid
- suur
- Grupp
- õnnelik
- aitama
- omanik
- võõrustas
- aga
- HTTPS
- Identity
- pilt
- pildid
- rakendada
- oluline
- tööstuse oma
- info
- sisend
- paigaldama
- Näiteks
- integreeritud
- huvi
- IT
- töö
- teekond
- teadmised
- hiljemalt
- algatama
- käivitamine
- viima
- õppimine
- litsents
- litsentsimine
- joon
- LINK
- lingid
- Linux
- nimekiri
- kohalik
- masin
- masinõpe
- tegema
- TEEB
- Tegemine
- juhtima
- juhitud
- juhtimine
- juht
- Vastama
- mainitud
- võib
- miinimum
- ML
- rohkem
- Morgan
- kõige
- ema
- mitmekordne
- loodus
- Navigate
- vajadustele
- järgmine
- pakkuma
- Pakkumised
- tegutsevad
- operatsioonisüsteemi
- Valikud
- organisatsiooniline
- organisatsioonid
- enda
- võrra
- Poliitika
- poliitika
- eelistatud
- esitada
- era-
- protsess
- professionaalne
- profiil
- Programming
- projekt
- projektid
- anda
- tingimusel
- pakkudes
- avalik
- kiiresti
- RE
- jõudma
- põhjustel
- piirkond
- regulatiivne
- vabastama
- Pressiteated
- asjakohane
- eemaldades
- Hoidla
- esindab
- nõutav
- Nõuded
- Vajab
- teadustöö
- ressurss
- Vahendid
- Roll
- jooks
- jooksmine
- ohutult
- Skaala
- teadus
- teadlane
- teadlased
- Sean
- turvalisus
- pooljuht
- komplekt
- kehtestamine
- seade
- mitu
- Jaga
- näitama
- näidatud
- lihtne
- alates
- So
- Pehme
- tarkvara
- Tarkvara insener
- tahke
- lahendus
- Lahendused
- eriline
- spetsialist
- spetsialiseeritud
- Kestab
- alustatud
- algab
- väljavõte
- olek
- kauplustes
- stuudio
- Päikeseloojang
- toetama
- Toetab
- Lüliti
- süsteem
- meeskond
- terminal
- .
- Läbi
- aeg
- täna
- tööriist
- töövahendid
- ui
- all
- Värskendused
- Uudised
- ajakohastamine
- us
- kasutama
- Kasutajad
- versioon
- kas
- jooksul
- ilma
- Töö
- töö
- töötab
- väärt
- kirjutamine
- Sinu