RStudio pe Amazon SageMaker este primul RStudio Workbench complet gestionat în cloud din industrie. Puteți lansa rapid mediul de dezvoltare integrat (IDE) RStudio și puteți apela în sus și în jos resursele de calcul subiacente fără a vă întrerupe munca, făcându-vă ușor să construiți soluții de învățare automată (ML) și de analiză în R la scară. RStudio pe SageMaker vine deja cu un imagine încorporată preconfigurat cu programare R și instrumente de știință a datelor; cu toate acestea, adesea trebuie să personalizați mediul IDE. Începând de astăzi, puteți aduce propria imagine personalizată cu pachete și instrumente la alegere și le puteți pune la dispoziția tuturor utilizatorilor RStudio pe SageMaker în câteva clicuri.
Aducerea propriei imagini personalizate are mai multe beneficii. Puteți standardiza și simplifica experiența de început pentru oamenii de știință de date și dezvoltatori, oferind o imagine de pornire, preconfigurați driverele necesare pentru conectarea la depozitele de date sau preinstalând software specializat pentru știința datelor pentru domeniul dvs. de afaceri. În plus, organizațiile care și-au găzduit anterior propriul RStudio Workbench pot avea medii containerizate existente pe care doresc să le folosească în continuare în RStudio pe SageMaker.
În această postare, împărtășim instrucțiuni pas cu pas pentru a crea o imagine personalizată și pentru a o aduce la RStudio pe SageMaker folosind Consola de administrare AWS or Interfața liniei de comandă AWS (AWS CLI). Puteți pune în funcțiune primul dumneavoastră mediu IDE personalizat în câțiva pași simpli. Pentru mai multe informații despre conținutul discutat în această postare, consultați Aduceți propria imagine RStudio.
Prezentare generală a soluțiilor
Când un cercetător de date începe o nouă sesiune în RStudio pe SageMaker, o nouă instanță de calcul ML la cerere este furnizată și o imagine container care definește mediul de rulare (sistem de operare, biblioteci, versiuni R și așa mai departe) este rulată pe ML instanță. Puteți oferi oamenilor de știință de date mai multe opțiuni pentru mediul de rulare, creând imagini de container personalizate și făcându-le disponibile în lansatorul RStudio Workbench, așa cum se arată în următoarea captură de ecran.
Următoarea diagramă descrie procesul de a aduce imaginea personalizată. Mai întâi construiți o imagine de container personalizată dintr-un fișier Docker și o trimiteți într-un depozit Registrul Amazon de containere elastice (Amazon ECR). Apoi, creați o imagine SageMaker care indică imaginea containerului din Amazon ECR și atașați acea imagine la dvs. domeniul SageMaker. Acest lucru face ca imaginea personalizată să fie disponibilă pentru lansarea unei noi sesiuni în RStudio.
Cerințe preliminare
Pentru a implementa această soluție, trebuie să aveți următoarele condiții prealabile:
- Un RStudio pe domeniul SageMaker
- Gestionarea identității și accesului AWS (IAM) pentru a interacționa cu Amazon ECR
- Versiunea AWS CLI corespunzătoare
Oferim mai multe detalii despre fiecare în această secțiune.
RStudio pe domeniul SageMaker
Dacă aveți un domeniu SageMaker existent cu RStudio activat înainte de 7 aprilie 2022, trebuie să ștergeți și să recreați RStudioServerPro
aplicația sub numele profilului de utilizator domain-shared
pentru a obține cele mai recente actualizări pentru a vă aduce propria capacitate de imagine personalizată. Comenzile AWS CLI sunt după cum urmează. Rețineți că această acțiune întrerupe utilizatorii RStudio de pe SageMaker.
Dacă este prima dată când utilizați RStudio pe SageMaker, urmați procesul de configurare pas cu pas descris în Începeți cu RStudio pe Amazon SageMaker, sau rulați următoarele Formarea AWS Cloud șablon pentru a configura primul dvs. RStudio pe domeniul SageMaker. Dacă aveți deja un RStudio funcțional pe domeniul SageMaker, puteți sări peste acest pas.
Următorul șablon RStudio on SageMaker CloudFormation necesită o licență RStudio aprobată prin AWS License Manager. Pentru mai multe despre licențiere, consultați Licență RStudio. De asemenea, rețineți că un singur domeniu SageMaker este permis pentru fiecare regiune AWS, așa că va trebui să utilizați un cont AWS și o regiune care nu are un domeniu existent.
- Alege Lansați Stack.
Linkul vă duce la Regiunea us-east-1, dar vă puteți schimba în Regiunea preferată. - În Specificați șablonul secțiune, pentru a alege Pagina Următoare →.
- În Specificați detaliile stivei secțiune, pt Numele stivei, introduceți un nume.
- Pentru parametrii, introduceți un nume de profil de utilizator SageMaker.
- Alege Pagina Următoare →.
- În Configurați opțiunile stivei secțiune, pentru a alege Pagina Următoare →.
- În Recenzie secțiune, selectați Recunosc că AWS CloudFormation ar putea crea resurse IAM Și alegeți Pagina Următoare →.
- Când starea stivei se schimbă în
CREATE_COMPLETE
, mergeți la Panou de control pe consola SageMaker pentru a găsi domeniul și noul utilizator.
Politici IAM pentru a interacționa cu Amazon ECR
Pentru a interacționa cu depozitele dvs. private Amazon ECR, aveți nevoie de următoarele permisiuni IAM în utilizatorul sau rolul IAM pe care îl veți folosi pentru a crea și a împinge imagini Docker:
Pentru a construi inițial dintr-o imagine publică Amazon ECR, așa cum se arată în această postare, trebuie să atașați fișierul gestionat de AWS AmazonElasticContainerRegistryPublicReadOnly politică și pentru utilizatorul sau rolul dvs. IAM.
Pentru a construi o imagine de container Docker, puteți utiliza fie un client Docker local, fie SageMaker Docker Build Instrument CLI dintr-un terminal din RStudio pe SageMaker. Pentru acesta din urmă, urmați cerințele prealabile din Utilizarea CLI-ului Amazon SageMaker Studio Image Build pentru a crea imagini de container din notebook-urile dvs. Studio pentru a configura permisiunile IAM și instrumentul CLI.
versiuni AWS CLI
Există cerințe minime de versiune pentru instrumentul AWS CLI pentru a rula comenzile menționate în această postare. Asigurați-vă că actualizați AWS CLI pe terminalul dorit:
- AWS CLI v1 >= 1.23.6
- AWS CLI v2 >= 2.6.2
Pregătiți un Dockerfile
Vă puteți personaliza mediul de rulare în RStudio într-un fișier Docker. Deoarece personalizarea depinde de cazul dvs. de utilizare și de cerințele dvs., vă arătăm elementele esențiale și cele mai comune personalizări în acest exemplu. Puteți descărca integral exemplu Dockerfile.
Instalați componentele sesiunii RStudio Workbench
Cel mai important software de instalat în imaginea containerului personalizat este RStudio Workbench. Descărcăm de pe bucket S3 public găzduit de RStudio PBC. Există multe versiuni și distribuții de sistem de operare pentru utilizare. Versiunea instalării trebuie să fie compatibilă cu versiunea RStudio Workbench utilizată în RStudio pe SageMaker, care este 1.4.1717-3 la momentul scrierii. Sistemul de operare (OS argumentul din următorul fragment) trebuie să se potrivească cu baza OS
folosit în imaginea containerului. În eșantionul nostru Dockerfile, imaginea de bază pe care o folosim este Amazon Linux 2 dintr-un depozit public Amazon ECR gestionat de AWS. Sistemul de operare RStudio Workbench compatibil este centos7.
Puteți găsi toate opțiunile de lansare a sistemului de operare cu următoarea comandă:
Instalați R (și versiuni de R)
Timpul de rulare pentru imaginea dvs. personalizată a containerului RStudio are nevoie de cel puțin o versiune de R. Putem instala mai întâi o versiune de R și o putem transforma în R implicit creând linkuri soft către /usr/local/bin/
:
Oamenii de știință de date au adesea nevoie de mai multe versiuni de R, astfel încât să poată comuta cu ușurință între proiecte și baza de cod. RStudio pe SageMaker acceptă comutarea ușoară între versiunile R, așa cum se arată în următoarea captură de ecran.
RStudio pe SageMaker scanează și descoperă automat versiuni de R în următoarele directoare:
Putem instala mai multe versiuni în imaginea containerului, așa cum se arată în următorul fragment. Vor fi instalate în /opt/R/
.
Instalați driverele profesionale RStudio
Oamenii de știință de date trebuie adesea să acceseze date din surse precum Amazon Atena și Amazon RedShift în RStudio pe SageMaker. Puteți face acest lucru folosind Drivere profesionale RStudio și Conexiuni RStudio. Asigurați-vă că instalați bibliotecile și driverele relevante, așa cum se arată în următorul fragment:
Instalați biblioteci personalizate
De asemenea, puteți instala biblioteci R și Python suplimentare, astfel încât oamenii de știință de date să nu fie nevoie să le instaleze din mers:
Când ați terminat personalizarea într-un fișier Docker, este timpul să construiți o imagine de container și să o trimiteți către Amazon ECR.
Creați și trimiteți către Amazon ECR
Puteți crea o imagine de container din fișierul Docker dintr-un terminal în care este instalat motorul Docker, cum ar fi terminalul local sau AWS Cloud9. Dacă îl construiți dintr-un terminal din RStudio pe SageMaker, îl puteți utiliza SageMaker Studio Image Build. Demonstrăm pașii pentru ambele abordări.
Într-un terminal local în care este prezent motorul Docker, puteți rula următoarele comenzi de unde se află fișierul Docker. Puteți utiliza exemplul de script create-and-update-image.sh.
Într-un terminal pe RStudio pe SageMaker, rulați următoarele comenzi:
După aceste comenzi, aveți un depozit și o imagine a containerului Docker în Amazon ECR pentru următorul nostru pas, în care atașăm imaginea containerului pentru utilizare în RStudio pe SageMaker. Rețineți URI-ul imaginii în Amazon ECR <ACCOUNT_ID>.dkr.ecr.<REGION>.amazonaws.com/<REPO>:<TAG>
pentru utilizare ulterioară.
Actualizați RStudio pe SageMaker prin consolă
RStudio pe SageMaker permite personalizarea timpului de execuție prin utilizarea unei imagini personalizate SageMaker. O imagine SageMaker este un suport pentru un set de versiuni de imagine SageMaker. Fiecare versiune de imagine reprezintă o imagine de container compatibilă cu RStudio pe SageMaker și stocată într-un depozit Amazon ECR. Pentru a face o imagine SageMaker personalizată disponibilă pentru toți utilizatorii RStudio dintr-un domeniu, puteți atașa imaginea la domeniu urmând pașii din această secțiune.
- Pe consola SageMaker, navigați la Imagini personalizate SageMaker Studio atașate domeniului pagina și alegeți Atașați imaginea.
- Selectați Imagine nouași introduceți URI-ul imaginii dvs. Amazon ECR.
- Alege Pagina Următoare →.
- În Proprietățile imaginii secțiune, furnizați un Numele imaginii (necesar), Numele afișat al imaginii (optional), Descriere (opțional), rol IAM și etichete.
numele afișat al imaginii, dacă este furnizat, este afișat în lansatorul de sesiune din RStudio pe SageMaker. Dacă Numele afișat al imaginii câmpul este lăsat gol, the numele imaginii este afișat în RStudio pe SageMaker. - Părăsi Calea de montare EFS și Configurare avansată (numele de utilizator și ID grup) implicit, deoarece RStudio pe SageMaker gestionează configurația pentru noi.
- În Tipul imaginii secțiune, selectați Imagine RStudio.
- Alege Trimite mesaj.
Acum puteți vedea o nouă intrare în listă. Este de remarcat faptul că, odată cu introducerea suportului pentru imagini personalizate RStudio, puteți vedea o nouă Tipul de utilizare coloană din tabel pentru a indica dacă o imagine este o imagine RStudio sau un Amazon SageMaker Studio imagine.
Poate dura până la 5-10 minute pentru ca imaginile personalizate să fie disponibile în interfața de utilizare a lansatorului de sesiuni. Puteți lansa apoi o nouă sesiune R în RStudio pe SageMaker cu imaginile dvs. personalizate.
De-a lungul timpului, poate doriți să retrageți imaginile vechi și învechite. Pentru a elimina imaginile personalizate din lista de imagini personalizate din RStudio, selectați imaginile din listă și alegeți Desprinde.
Alege Desprinde din nou pentru a confirma.
Actualizați RStudio pe SageMaker prin intermediul AWS CLI
Următoarele secțiuni descriu pașii pentru a crea o imagine SageMaker și pentru a o atașa pentru utilizare în RStudio pe SageMaker pe consola SageMaker și folosind AWS CLI. Puteți utiliza exemplul de script create-and-update-image.sh.
Creați imaginea SageMaker și versiunea imaginii
Primul pas este să creați o imagine SageMaker din imaginea containerului personalizată din Amazon ECR, rulând următoarele două comenzi:
Rețineți că imaginea personalizată afișată în lansatorul de sesiune în RStudio pe SageMaker este determinată de introducerea lui --display-name
. Dacă nu este furnizat numele afișat opțional, introducerea de --image-name
este folosit în schimb. De asemenea, rețineți că rolul IAM permite SageMaker să atașeze o imagine Amazon ECR la RStudio pe SageMaker.
Creați un AppImageConfig
Pe lângă o imagine SageMaker, care captează URI-ul imaginii de la Amazon ECR, o configurație de imagine a aplicației (AppImageConfig) este necesar pentru utilizare într-un domeniu SageMaker. Simplificăm configurația pentru un RSessionApp
imagine astfel încât să putem crea doar o configurație de substituent cu următoarea comandă:
Atașați la un domeniu SageMaker
Cu imaginea SageMaker și configurația imaginii aplicației create, suntem gata să atașăm imaginea containerului personalizată la domeniul SageMaker. Pentru a face o imagine SageMaker personalizată disponibilă pentru toți utilizatorii RStudio dintr-un domeniu, atașați imaginea la domeniu ca setare implicită de utilizator. Toți utilizatorii existenți și orice utilizator nou vor putea folosi imaginea personalizată.
Pentru o mai bună lizibilitate, plasăm următoarea configurație în fișierul JSON default-user-settings.json:
În acest fișier, putem specifica imaginea și AppImageConfig
perechi de nume într-o listă în DefaultUserSettings.RSessionAppSettings.CustomImages
. Acest fragment precedent presupune că sunt create două imagini personalizate.
Apoi rulați următoarea comandă pentru a actualiza domeniul SageMaker:
După ce actualizați domeniul, poate dura până la 5-10 minute pentru ca imaginile personalizate să fie disponibile în interfața de utilizare a lansatorului de sesiuni. Puteți lansa apoi o nouă sesiune R în RStudio pe SageMaker cu imaginile dvs. personalizate.
Detașați imaginile dintr-un domeniu SageMaker
Puteți detașa imaginile pur și simplu eliminând ImageName
și AppImageConfigName
perechi din default-user-settings.json
și actualizarea domeniului.
De exemplu, actualizarea domeniului cu următoarele default-user-settings.json
Îndepărtează r-4.1.3-rstudio-2022
din sesiunea R lansând UI și pleacă r-4.1.3-rstudio-1.4.1717-3
ca singura imagine personalizată disponibilă pentru toți utilizatorii dintr-un domeniu:
A curăța
Pentru a elimina în siguranță imagini și resurse din domeniul SageMaker, parcurgeți următorii pași în Curățați resursele de imagine.
Pentru a elimina în siguranță RStudio de pe SageMaker și domeniul SageMaker, parcurgeți următorii pași în Ștergeți un domeniu Amazon SageMaker pentru a șterge orice aplicație RSessionGateway, profil de utilizator și domeniul.
Pentru a elimina în siguranță imaginile și arhivele din Amazon ECR, parcurgeți următorii pași în Ștergerea unei imagini.
În cele din urmă, pentru a șterge șablonul CloudFormation:
- Pe consola AWS CloudFormation, alegeți Stive.
- Selectați stiva pe care ați implementat-o pentru această soluție.
- Alegeți Ștergeți.
Concluzie
RStudio pe SageMaker simplifică pentru oamenii de știință ai datelor să construiască soluții ML și analitice în R la scară, iar administratorilor să gestioneze un mediu robust de știință a datelor pentru dezvoltatorii lor. Oamenii de știință de date doresc să personalizeze mediul astfel încât să poată utiliza bibliotecile potrivite pentru munca potrivită și să obțină reproductibilitatea dorită pentru fiecare proiect ML. Administratorii trebuie să standardizeze mediul științei datelor din motive de reglementare și securitate. Acum puteți crea imagini de container personalizate care să îndeplinească cerințele dumneavoastră organizaționale și să permită oamenilor de știință să le folosească în RStudio pe SageMaker.
Vă încurajăm să îl încercați. Dezvoltare fericită!
Despre Autori
Michael Hsieh este arhitect senior în soluții de specialitate AI/ML. El lucrează cu clienții pentru a-și avansa călătoria ML cu o combinație de oferte AWS ML și cunoștințele sale despre domeniul ML. Fiind transplantat la Seattle, îi place să exploreze marea mamă natură pe care o are de oferit orașul, cum ar fi traseele de drumeții, peisajele cu caiacul în SLU și apusul de soare la Shilshole Bay.
Declan Kelly este inginer software în echipa Amazon SageMaker Studio. Lucrează la Amazon SageMaker Studio de la lansarea acestuia la AWS re:Invent 2019. În afara serviciului, îi place drumeții și alpinism.
Sean Morgan este arhitect de soluții AI/ML la AWS. Are experiență în domeniul semiconductorilor și al cercetării academice și își folosește experiența pentru a ajuta clienții să-și atingă obiectivele pe AWS. În timpul său liber, Sean este un colaborator și întreținător activ open-source și este liderul grupului de interes special pentru suplimentele TensorFlow.
- Coinsmart. Cel mai bun schimb de Bitcoin și Crypto din Europa.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. ACCES LIBER.
- CryptoHawk. Radar Altcoin. Încercare gratuită.
- Sursa: https://aws.amazon.com/blogs/machine-learning/use-a-custom-image-to-bring-your-own-development-environment-to-rstudio-on-amazon-sagemaker/
- "
- &
- 1.3
- 10
- 100
- 2019
- 2022
- 7
- a
- Despre Noi
- acces
- Cont
- Obține
- Acțiune
- activ
- plus
- Suplimentar
- administratori
- avansa
- TOATE
- permite
- deja
- Amazon
- Google Analytics
- aplicaţia
- abordari
- adecvat
- Aprilie
- disponibil
- AWS
- Golf
- deoarece
- fiind
- Beneficiile
- Mai bine
- între
- frontieră
- aduce
- construi
- Clădire
- afaceri
- Poate obține
- capturi
- caz
- Schimbare
- alegere
- alegeri
- Alege
- Oraș
- Cloud
- cod
- Coloană
- combinaţie
- Comun
- compatibil
- Completă
- Calcula
- Configuraţie
- Conectarea
- Consoleze
- Recipient
- conţinut
- continua
- contribuabil
- crea
- a creat
- Crearea
- personalizat
- clienţii care
- personaliza
- de date
- știința datelor
- om de știință de date
- demonstra
- depinde de
- dislocate
- descrie
- descris
- detalii
- Dezvoltatorii
- Dezvoltare
- Afişa
- distribuții
- Docher
- Nu
- domeniu
- jos
- Descarca
- fiecare
- cu ușurință
- efect
- încuraja
- Motor
- inginer
- Intrați
- Mediu inconjurator
- Essentials
- exemplu
- existent
- experienţă
- familiar
- Domenii
- First
- prima dată
- urma
- următor
- urmează
- Gratuit
- din
- Complet
- În plus
- obtinerea
- Goluri
- mare
- grup
- fericit
- ajutor
- titular
- găzduit
- Totuși
- HTTPS
- Identitate
- imagine
- imagini
- punerea în aplicare a
- important
- industria
- informații
- intrare
- instala
- instanță
- integrate
- interes
- IT
- Loc de munca
- călătorie
- cunoştinţe
- Ultimele
- lansa
- lansare
- conduce
- învăţare
- Licență
- de licențiere
- Linie
- LINK
- Link-uri
- linux
- Listă
- local
- maşină
- masina de învățare
- face
- FACE
- Efectuarea
- administra
- gestionate
- administrare
- manager
- Meci
- menționat
- ar putea
- minim
- ML
- mai mult
- Morgan
- cele mai multe
- mamă
- multiplu
- Natură
- Navigaţi
- nevoilor
- următor
- oferi
- ofertele
- de operare
- sistem de operare
- Opţiuni
- de organizare
- organizații
- propriu
- puncte
- Politicile
- Politica
- preferat
- prezenta
- privat
- proces
- profesional
- Profil
- Programare
- proiect
- Proiecte
- furniza
- prevăzut
- furnizarea
- public
- repede
- RE
- ajunge
- motive
- regiune
- autoritățile de reglementare
- eliberaţi
- Lansări
- eliminarea
- depozit
- reprezintă
- necesar
- Cerinţe
- Necesită
- cercetare
- resursă
- Resurse
- Rol
- Alerga
- funcţionare
- în siguranță
- Scară
- Ştiinţă
- Om de stiinta
- oamenii de stiinta
- Sean
- securitate
- semiconductor
- set
- instalare
- configurarea
- câteva
- Distribuie
- Arăta
- indicat
- simplu
- întrucât
- So
- Moale
- Software
- Inginer Software
- solid
- soluţie
- soluţii
- special
- specialist
- de specialitate
- stivui
- început
- începe
- Declarație
- Stare
- magazine
- studio
- Apus
- a sustine
- Sprijină
- Intrerupator
- sistem
- echipă
- Terminal
- Prin
- timp
- astăzi
- instrument
- Unelte
- ui
- în
- Actualizează
- actualizări
- actualizarea
- us
- utilizare
- utilizatorii
- versiune
- dacă
- în
- fără
- Apartamente
- de lucru
- fabrică
- valoare
- scris
- Ta