RStudio na Amazon SageMaker je prvi popolnoma upravljani RStudio Workbench v oblaku. Hitro lahko zaženete znano integrirano razvojno okolje (IDE) RStudio in kličete navzgor in navzdol po osnovnih računalniških virih, ne da bi prekinili svoje delo, kar olajša gradnjo strojnega učenja (ML) in analitičnih rešitev v R v velikem obsegu. RStudio na SageMaker je že opremljen z vgrajena slika vnaprej konfiguriran z orodji za programiranje R in podatkovno znanost; vendar morate pogosto prilagoditi svoje okolje IDE. Od danes naprej lahko prinesete svojo lastno sliko po meri s paketi in orodji po vaši izbiri ter jih z nekaj kliki omogočite vsem uporabnikom RStudio na SageMakerju.
Prinašanje lastne slike po meri ima več prednosti. Standardizirate in poenostavite lahko začetno izkušnjo za podatkovne znanstvenike in razvijalce tako, da zagotovite začetno sliko, vnaprej konfigurirate gonilnike, potrebne za povezovanje s shrambami podatkov, ali vnaprej namestite specializirano podatkovno znanstveno programsko opremo za vašo poslovno domeno. Poleg tega imajo lahko organizacije, ki so prej gostile svoj RStudio Workbench, obstoječa kontejnerska okolja, ki jih želijo še naprej uporabljati v RStudio na SageMakerju.
V tej objavi delimo navodila po korakih za ustvarjanje slike po meri in prenos v RStudio na SageMaker z uporabo Konzola za upravljanje AWS or Vmesnik ukazne vrstice AWS (AWS CLI). Svoje prvo okolje IDE po meri lahko vzpostavite in zaženete v nekaj preprostih korakih. Za več informacij o vsebini, obravnavani v tej objavi, glejte Prinesite svojo sliko RStudio.
Pregled rešitev
Ko podatkovni znanstvenik začne novo sejo v RStudiu na SageMakerju, se zagotovi nov primerek računanja ML na zahtevo in slika vsebnika, ki definira okolje izvajanja (operacijski sistem, knjižnice, različice R itd.), se izvaja v ML. primerek. Svojim podatkovnim znanstvenikom lahko ponudite več izbir za okolje izvajanja tako, da ustvarite slike vsebnika po meri in jih daste na voljo v zaganjalniku RStudio Workbench, kot je prikazano na naslednjem posnetku zaslona.
Naslednji diagram opisuje postopek za prenos vaše slike po meri. Najprej zgradite sliko vsebnika po meri iz datoteke Dockerfile in jo potisnete v repozitorij Registar elastičnih zabojnikov Amazon (Amazon ECR). Nato ustvarite sliko SageMaker, ki kaže na sliko vsebnika v Amazon ECR, in to sliko pripnete svojemu Domena SageMaker. S tem je slika po meri na voljo za zagon nove seje v RStudiu.
Predpogoji
Za implementacijo te rešitve morate imeti naslednje predpogoje:
- RStudio na domeni SageMaker
- AWS upravljanje identitete in dostopa (IAM) za interakcijo z Amazon ECR
- Ustrezna različica AWS CLI
V tem razdelku ponujamo več podrobnosti o vsakem.
RStudio na domeni SageMaker
Če imate obstoječo domeno SageMaker z omogočenim RStudiom pred 7. aprilom 2022, morate izbrisati in znova ustvariti RStudioServerPro
aplikacijo pod imenom uporabniškega profila domain-shared
da dobite najnovejše posodobitve za prinesite lastno sliko po meri. Ukazi AWS CLI so naslednji. Upoštevajte, da to dejanje prekine uporabnike RStudio na SageMaker.
Če prvič uporabljate RStudio na SageMakerju, sledite postopku namestitve po korakih, opisanem v Začnite uporabljati RStudio na Amazon SageMaker, ali zaženite naslednje Oblikovanje oblaka AWS predlogo za nastavitev vašega prvega RStudia na domeni SageMaker. Če že imate delujoč RStudio na domeni SageMaker, lahko ta korak preskočite.
Naslednja predloga RStudio na SageMaker CloudFormation zahteva licenco RStudio, odobreno prek upravitelja licenc AWS. Za več informacij o licenciranju glejte licenca RStudio. Upoštevajte tudi, da je na regijo AWS dovoljena samo ena domena SageMaker, zato boste morali uporabiti račun AWS in regijo, ki nima obstoječe domene.
- Izberite Izstrelite sklad.
Povezava vas popelje v regijo us-east-1, vendar se lahko spremenite v svojo želeno regijo. - v Določite predlogo oddelek, izberite Naslednji.
- v Določite podrobnosti zlaganja odsek, za Ime skladovnice, vnesite ime.
- za parametri, vnesite ime uporabniškega profila SageMaker.
- Izberite Naslednji.
- v Konfigurirajte možnosti zlaganja oddelek, izberite Naslednji.
- v pregled izberite, izberite Priznavam, da lahko AWS CloudFormation ustvari vire IAM In izberite Naslednji.
- Ko se stanje sklada spremeni v
CREATE_COMPLETE
, pojdite na nadzorno ploščo na konzoli SageMaker, da poiščete domeno in novega uporabnika.
Politike IAM za interakcijo z Amazon ECR
Za interakcijo z vašimi zasebnimi repozitoriji Amazon ECR potrebujete naslednja dovoljenja IAM v uporabniku ali vlogi IAM, ki jo boste uporabljali za izdelavo in potiskanje slik Docker:
Za prvotno gradnjo iz javne slike Amazon ECR, kot je prikazano v tej objavi, morate priložiti datoteko, ki jo upravlja AWS AmazonElasticContainerRegistryPublicReadOnly pravilnik tudi za vašega uporabnika ali vlogo IAM.
Če želite zgraditi sliko vsebnika Docker, lahko uporabite lokalnega odjemalca Docker ali SageMaker Docker Build Orodje CLI iz terminala znotraj RStudio na SageMaker. Za slednje upoštevajte predpogoje v Uporaba CLI-ja Amazon SageMaker Studio Image Build Build za izdelavo slik vsebnikov iz prenosnih računalnikov Studio za nastavitev dovoljenj IAM in orodja CLI.
Različice AWS CLI
Obstajajo minimalne zahteve glede različice orodja AWS CLI za izvajanje ukazov, omenjenih v tej objavi. Poskrbite za nadgradnjo AWS CLI na terminal po vaši izbiri:
- AWS CLI v1 >= 1.23.6
- AWS CLI v2 >= 2.6.2
Pripravite datoteko Docker
Svoje okolje izvajanja v RStudiu lahko prilagodite v datoteki Dockerfile. Ker je prilagoditev odvisna od vašega primera uporabe in zahtev, vam v tem primeru pokažemo bistvene in najpogostejše prilagoditve. Lahko prenesete celotno vzorčna datoteka Docker.
Namestite komponente seje RStudio Workbench
Najpomembnejša programska oprema za namestitev v sliko vsebnika po meri je RStudio Workbench. Prenesemo iz javno vedro S3, ki ga gosti RStudio PBC. Obstaja veliko izdaj različic in distribucij OS za uporabo. Različica namestitve mora biti združljiva z različico RStudio Workbench, ki se uporablja v RStudiu na SageMakerju in je v času pisanja 1.4.1717-3. OS (argument OS v naslednjem delčku) se mora ujemati z osnovo OS
uporabljen v sliki vsebnika. V našem vzorcu Dockerfile, je osnovna slika, ki jo uporabljamo, Amazon Linux 2 iz javnega repozitorija Amazon ECR, ki ga upravlja AWS. Združljiv OS RStudio Workbench je centos7.
Vse možnosti izdaje operacijskega sistema najdete z naslednjim ukazom:
Namestite R (in različice R)
Izvajalni čas za vašo prilagojeno sliko vsebnika RStudio potrebuje vsaj eno različico R. Najprej lahko namestimo različico R in jo naredimo za privzeto R, tako da ustvarimo mehke povezave do /usr/local/bin/
:
Podatkovni znanstveniki pogosto potrebujejo več različic R, da lahko preprosto preklapljajo med projekti in bazo kode. RStudio na SageMakerju podpira enostavno preklapljanje med različicami R, kot je prikazano na naslednjem posnetku zaslona.
RStudio na SageMakerju samodejno pregleda in odkrije različice R v naslednjih imenikih:
V sliko vsebnika lahko namestimo več različic, kot je prikazano v naslednjem izrezku. Nameščeni bodo v /opt/R/
.
Namestite gonilnike RStudio Professional
Podatkovni znanstveniki morajo pogosto dostopati do podatkov iz virov, kot so Amazonska Atena in Amazon RedShift znotraj RStudio na SageMaker. To lahko storite z uporabo Profesionalni gonilniki RStudio in Povezave RStudio. Prepričajte se, da ste namestili ustrezne knjižnice in gonilnike, kot je prikazano v naslednjem delčku:
Namestite knjižnice po meri
Namestite lahko tudi dodatne knjižnice R in Python, tako da jih podatkovnim znanstvenikom ni treba nameščati sproti:
Ko končate prilagajanje v datoteki Dockerfile, je čas, da zgradite sliko vsebnika in jo potisnete v Amazon ECR.
Zgradite in potisnite v Amazon ECR
Sliko vsebnika lahko sestavite iz datoteke Dockerfile s terminala, kjer je nameščen motor Docker, kot je vaš lokalni terminal ali AWS Cloud9. Če ga gradite s terminala znotraj RStudia na SageMakerju, lahko uporabite SageMaker Studio Image Build. Predstavljamo korake za oba pristopa.
V lokalnem terminalu, kjer je prisoten motor Docker, lahko zaženete naslednje ukaze, kjer je datoteka Docker. Uporabite lahko vzorčni skript create-and-update-image.sh.
V terminalu na RStudio na SageMakerju zaženite naslednje ukaze:
Po teh ukazih imate repozitorij in sliko vsebnika Docker v Amazon ECR za naš naslednji korak, v katerem pripnemo sliko vsebnika za uporabo v RStudiu na SageMakerju. Upoštevajte URI slike v Amazon ECR <ACCOUNT_ID>.dkr.ecr.<REGION>.amazonaws.com/<REPO>:<TAG>
za kasnejšo uporabo.
Posodobite RStudio na SageMaker prek konzole
RStudio na SageMakerju omogoča prilagajanje časa izvajanja z uporabo slike SageMaker po meri. Slika SageMaker je nosilec za niz različic slike SageMaker. Vsaka različica slike predstavlja sliko vsebnika, ki je združljiva z RStudio na SageMakerju in shranjena v repozitoriju Amazon ECR. Če želite narediti sliko SageMaker po meri na voljo vsem uporabnikom RStudio znotraj domene, lahko sliko priložite domeni po korakih v tem razdelku.
- Na konzoli SageMaker se pomaknite do Slike SageMaker Studio po meri, priložene domeni strani in izberite Priložite sliko.
- Izberite Nova slikain vnesite svoj URI slike Amazon ECR.
- Izberite Naslednji.
- v Lastnosti slike oddelek zagotovite an Ime slike (obvezno), Prikazno ime slike (neobvezno), Opis (neobvezno), vlogo IAM in oznake.
O prikazno ime slike, če je na voljo, je prikazano v zaganjalniku sej v RStudiu na SageMakerju. Če je Prikazno ime slike polje ostane prazno, the ime slike je namesto tega prikazan v RStudio na SageMaker. - pustite Pot namestitve EFS in Napredna konfiguracija (Uporabniško ime in skupina ID) privzeto, ker RStudio na SageMaker upravlja konfiguracijo namesto nas.
- v Vrsta slike izberite, izberite Slika RStudio.
- Izberite Prijave se.
Zdaj lahko vidite nov vnos na seznamu. Omeniti velja, da lahko z uvedbo podpore za slike RStudio po meri vidite novo Vrsta uporabe stolpec v tabeli, ki označuje, ali je slika slika RStudio ali slika Amazon SageMaker Studio sliko.
Traja lahko do 5–10 minut, da bodo slike po meri na voljo v uporabniškem vmesniku zaganjalnika sej. Nato lahko zaženete novo sejo R v RStudiu na SageMakerju s svojimi slikami po meri.
Čez čas boste morda želeli umakniti stare in zastarele slike. Če želite odstraniti slike po meri s seznama slik po meri v programu RStudio, izberite slike na seznamu in izberite Odlepite.
Izberite Odlepite ponovno potrditi.
Posodobite RStudio na SageMaker prek AWS CLI
Naslednji razdelki opisujejo korake za ustvarjanje slike SageMaker in njeno pripenjanje za uporabo v RStudio na SageMaker na konzoli SageMaker in z uporabo AWS CLI. Uporabite lahko vzorčni skript create-and-update-image.sh.
Ustvarite sliko SageMaker in slikovno različico
Prvi korak je ustvariti sliko SageMaker iz slike vsebnika po meri v Amazon ECR z izvajanjem naslednjih dveh ukazov:
Upoštevajte, da je slika po meri, prikazana v zaganjalniku sej v RStudiu na SageMaker, določena z vnosom --display-name
. Če izbirno prikazno ime ni na voljo, se vnos --image-name
se uporablja namesto tega. Upoštevajte tudi, da vloga IAM omogoča SageMakerju, da pripne sliko Amazon ECR v RStudio na SageMaker.
Ustvarite AppImageConfig
Poleg slike SageMaker, ki zajame URI slike iz Amazon ECR, konfiguracija slike aplikacije (AppImageConfig) je potreben za uporabo v domeni SageMaker. Poenostavimo konfiguracijo za an RSessionApp
sliko, tako da lahko preprosto ustvarimo konfiguracijo nadomestnega znaka z naslednjim ukazom:
Povežite se z domeno SageMaker
Z ustvarjeno sliko SageMaker in konfiguracijo slike aplikacije smo pripravljeni na pripenjanje slike vsebnika po meri v domeno SageMaker. Če želite narediti sliko SageMaker po meri na voljo vsem uporabnikom RStudio znotraj domene, priložite sliko domeni kot privzeto uporabniško nastavitev. Vsi obstoječi uporabniki in vsi novi uporabniki bodo lahko uporabljali sliko po meri.
Za boljšo berljivost v datoteko JSON postavimo naslednjo konfiguracijo default-user-settings.json:
V tej datoteki lahko določimo sliko in AppImageConfig
poimenovati pare na seznamu v DefaultUserSettings.RSessionAppSettings.CustomImages
. Ta prejšnji delček predvideva, da se ustvarjata dve sliki po meri.
Nato zaženite naslednji ukaz za posodobitev domene SageMaker:
Ko posodobite domeno, lahko traja do 5–10 minut, da bodo slike po meri na voljo v uporabniškem vmesniku zaganjalnika sej. Nato lahko zaženete novo sejo R v RStudiu na SageMakerju s svojimi slikami po meri.
Odstranite slike od domene SageMaker
Slike lahko preprosto odstranite tako, da odstranite ImageName
in AppImageConfigName
pari iz default-user-settings.json
in posodabljanje domene.
Na primer posodobitev domene z naslednjim default-user-settings.json
odstrani r-4.1.3-rstudio-2022
iz uporabniškega vmesnika za zagon seje R in zapusti r-4.1.3-rstudio-1.4.1717-3
kot edina slika po meri, ki je na voljo vsem uporabnikom v domeni:
Čiščenje
Če želite varno odstraniti slike in vire v domeni SageMaker, dokončajte naslednje korake v Očistite slikovne vire.
Če želite varno odstraniti RStudio na SageMaker in domeno SageMaker, dokončajte naslednje korake v Izbrišite domeno Amazon SageMaker za brisanje katere koli aplikacije RSessionGateway, uporabniškega profila in domene.
Če želite varno odstraniti slike in repozitorije v Amazon ECR, dokončajte naslednje korake v Brisanje slike.
Nazadnje, če želite izbrisati predlogo CloudFormation:
- Na konzoli AWS CloudFormation izberite Stacks.
- Izberite sklad, ki ste ga razmestili za to rešitev.
- Izberite Izbriši.
zaključek
RStudio na SageMakerju podatkovnim znanstvenikom olajša izdelavo ML in analitičnih rešitev v R v velikem obsegu, skrbnikom pa upravljanje robustnega okolja podatkovne znanosti za njihove razvijalce. Podatkovni znanstveniki želijo prilagoditi okolje, tako da lahko uporabljajo prave knjižnice za pravo delo in dosežejo želeno ponovljivost za vsak projekt ML. Skrbniki morajo standardizirati okolje podatkovne znanosti zaradi regulativnih in varnostnih razlogov. Zdaj lahko ustvarite slike vsebnikov po meri, ki ustrezajo vašim organizacijskim zahtevam, in omogočite podatkovnim znanstvenikom, da jih uporabljajo v RStudiu na SageMakerju.
Svetujemo vam, da ga preizkusite. Srečno v razvoju!
O avtorjih
Michael Hsieh je višji arhitekt za rešitve AI/ML. S strankami sodeluje pri pospeševanju njihove poti ML s kombinacijo ponudb AWS ML in svojega znanja o domeni ML. Kot presaditev v Seattlu rad raziskuje veliko mater naravo, ki jo ponuja mesto, kot so pohodniške poti, vožnja s kajakom po pokrajini v SLU in sončni zahod v zalivu Shilshole.
Declan Kelly je programski inženir v ekipi Amazon SageMaker Studio. Dela na Amazon SageMaker Studio od njegove predstavitve na AWS re:Invent 2019. Zunaj dela uživa v pohodništvu in plezanju.
Sean Morgan je arhitekt rešitev AI/ML pri AWS. Ima izkušnje na področju polprevodnikov in akademskih raziskav ter svoje izkušnje uporablja za pomoč strankam pri doseganju njihovih ciljev na AWS. V prostem času Sean aktivno prispeva in vzdržuje odprto kodo ter je vodja posebne interesne skupine za dodatke TensorFlow.
- Coinsmart. Najboljša evropska borza bitcoinov in kriptovalut.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. PROST DOSTOP.
- CryptoHawk. Altcoin radar. Brezplačen preizkus.
- Vir: https://aws.amazon.com/blogs/machine-learning/use-a-custom-image-to-bring-your-own-development-environment-to-rstudio-on-amazon-sagemaker/
- "
- &
- 1.3
- 10
- 100
- 2019
- 2022
- 7
- a
- O meni
- dostop
- Račun
- Doseči
- Ukrep
- aktivna
- Poleg tega
- Dodatne
- administratorji
- napredovanje
- vsi
- omogoča
- že
- Amazon
- analitika
- aplikacija
- pristopi
- primerno
- april
- Na voljo
- AWS
- zaliv
- ker
- počutje
- Prednosti
- Boljše
- med
- meja
- prinašajo
- izgradnjo
- Building
- poslovni
- Lahko dobiš
- ujame
- primeru
- spremenite
- izbira
- možnosti
- Izberite
- mesto
- Cloud
- Koda
- Stolpec
- kombinacija
- Skupno
- združljiv
- dokončanje
- Izračunajte
- konfiguracija
- Povezovanje
- Konzole
- Posoda
- vsebina
- naprej
- prispeva
- ustvarjajo
- ustvaril
- Ustvarjanje
- po meri
- Stranke, ki so
- prilagodite
- datum
- znanost o podatkih
- podatkovni znanstvenik
- izkazati
- odvisno
- razporejeni
- opisati
- opisano
- Podrobnosti
- Razvijalci
- Razvoj
- zaslon
- Distribucije
- Lučki delavec
- Ne
- domena
- navzdol
- prenesi
- vsak
- enostavno
- učinek
- spodbujanje
- Motor
- inženir
- Vnesite
- okolje
- Osnove
- Primer
- obstoječih
- izkušnje
- seznanjeni
- Področja
- prva
- prvič
- sledi
- po
- sledi
- brezplačno
- iz
- polno
- Poleg tega
- pridobivanje
- Cilji
- veliko
- skupina
- srečna
- pomoč
- imetnika
- gostila
- Vendar
- HTTPS
- identiteta
- slika
- slike
- izvajati
- Pomembno
- industriji
- Podatki
- vhod
- namestitev
- primer
- integrirana
- obresti
- IT
- Job
- Potovanje
- znanje
- Zadnji
- kosilo
- začetek
- vodi
- učenje
- Licenca
- licenciranje
- vrstica
- LINK
- Povezave
- linux
- Seznam
- lokalna
- stroj
- strojno učenje
- Znamka
- IZDELA
- Izdelava
- upravljanje
- upravlja
- upravljanje
- upravitelj
- Stave
- omenjeno
- morda
- minimalna
- ML
- več
- Morgan
- Najbolj
- Mati
- več
- Narava
- Krmarjenje
- potrebe
- Naslednja
- ponudba
- Ponudbe
- deluje
- operacijski sistem
- možnosti
- organizacijsko
- organizacije
- lastne
- točke
- politike
- politika
- prednostno
- predstaviti
- zasebna
- Postopek
- strokovni
- profil
- Programiranje
- Projekt
- projekti
- zagotavljajo
- če
- zagotavljanje
- javnega
- hitro
- RE
- dosežejo
- Razlogi
- okolica
- regulatorni
- sprostitev
- Izpusti
- pomembno
- odstranjevanje
- Skladišče
- predstavlja
- obvezna
- Zahteve
- zahteva
- Raziskave
- vir
- viri
- vloga
- Run
- tek
- varno
- Lestvica
- Znanost
- Znanstvenik
- Znanstveniki
- Sean
- varnost
- polprevodnik
- nastavite
- nastavitev
- nastavitev
- več
- Delite s prijatelji, znanci, družino in partnerji :-)
- Prikaži
- pokazale
- Enostavno
- saj
- So
- Soft
- Software
- Software Engineer
- trdna
- Rešitev
- rešitve
- posebna
- specialist
- specializirani
- sveženj
- začel
- začne
- Izjava
- Status
- trgovine
- studio
- Sončni zahod
- podpora
- Podpira
- Preklop
- sistem
- skupina
- terminal
- O
- skozi
- čas
- danes
- orodje
- orodja
- ui
- pod
- Nadgradnja
- posodobitve
- posodabljanje
- us
- uporaba
- Uporabniki
- različica
- ali
- v
- brez
- delo
- deluje
- deluje
- vredno
- pisanje
- Vaša rutina za