RStudio na Amazon SageMaker jest pierwszym w branży w pełni zarządzanym środowiskiem roboczym RStudio w chmurze. Możesz szybko uruchomić znajome zintegrowane środowisko programistyczne (IDE) RStudio oraz wybierać i wyłączać podstawowe zasoby obliczeniowe bez przerywania pracy, co ułatwia tworzenie rozwiązań uczenia maszynowego (ML) i analiz w języku R na dużą skalę. RStudio na SageMaker już zawiera wbudowany obraz wstępnie skonfigurowane z programowaniem R i narzędziami do analizy danych; jednak często trzeba dostosować środowisko IDE. Od dzisiaj możesz wprowadzić swój własny, niestandardowy obraz z wybranymi pakietami i narzędziami, a także udostępnić je wszystkim użytkownikom RStudio w SageMaker za pomocą kilku kliknięć.
Wprowadzanie własnego niestandardowego obrazu ma kilka zalet. Możesz ustandaryzować i uprościć pierwsze kroki dla naukowców zajmujących się danymi i programistów, udostępniając obraz początkowy, wstępnie konfigurując sterowniki wymagane do łączenia się z magazynami danych lub wstępnie instalując specjalistyczne oprogramowanie do analizy danych w swojej domenie biznesowej. Ponadto organizacje, które wcześniej hostowały własne środowisko pracy RStudio Workbench, mogą mieć istniejące środowiska kontenerowe, których chcą nadal używać w programie RStudio na platformie SageMaker.
W tym poście udostępniamy instrukcje krok po kroku, jak utworzyć niestandardowy obraz i przenieść go do RStudio w SageMaker za pomocą Konsola zarządzania AWS or Interfejs wiersza poleceń AWS (AWS CLI). Pierwsze niestandardowe środowisko IDE można uruchomić w kilku prostych krokach. Aby uzyskać więcej informacji na temat treści omawianych w tym poście, zobacz Przynieś własny obraz RStudio.
Omówienie rozwiązania
Gdy analityk danych rozpoczyna nową sesję w programie RStudio w programie SageMaker, udostępniane jest nowe wystąpienie obliczeniowe ML na żądanie i obraz kontenera, który definiuje środowisko wykonawcze (system operacyjny, biblioteki, wersje R itd.) jest uruchamiany w ML instancja. Możesz udostępnić analitykom danych wiele opcji dla środowiska uruchomieniowego, tworząc niestandardowe obrazy kontenerów i udostępniając je w programie uruchamiającym RStudio Workbench, jak pokazano na poniższym zrzucie ekranu.
Poniższy diagram opisuje proces tworzenia niestandardowego obrazu. Najpierw budujesz niestandardowy obraz kontenera z pliku Dockerfile i przesyłasz go do repozytorium w Rejestr elastycznego pojemnika Amazon (Amazon ECR). Następnie tworzysz obraz SageMaker, który wskazuje na obraz kontenera w Amazon ECR i dołączasz ten obraz do swojego Domena SageMakera. Dzięki temu obraz niestandardowy jest dostępny do uruchamiania nowej sesji w RStudio.
Wymagania wstępne
Aby wdrożyć to rozwiązanie, musisz mieć następujące wymagania wstępne:
- RStudio w domenie SageMaker
- AWS Zarządzanie tożsamością i dostępem (IAM) zasady interakcji z Amazon ECR
- Odpowiednia wersja CLI AWS
Więcej szczegółów na temat każdego z nich podajemy w tej sekcji.
RStudio w domenie SageMaker
Jeśli masz istniejącą domenę SageMaker z włączoną usługą RStudio przed 7 kwietnia 2022 r., musisz usunąć i ponownie utworzyć RStudioServerPro
aplikacja pod nazwą profilu użytkownika domain-shared
aby uzyskać najnowsze aktualizacje, aby wprowadzić własne niestandardowe możliwości obrazu. Polecenia AWS CLI są następujące. Zauważ, że ta akcja przerywa użytkownikom RStudio w SageMaker.
Jeśli po raz pierwszy używasz RStudio na SageMaker, postępuj zgodnie z procesem konfiguracji krok po kroku opisanym w Zacznij korzystać z RStudio w Amazon SageMakerlub uruchom następujące Tworzenie chmury AWS szablon, aby skonfigurować swoje pierwsze RStudio w domenie SageMaker. Jeśli masz już działające RStudio w domenie SageMaker, możesz pominąć ten krok.
Poniższy szablon RStudio w SageMaker CloudFormation wymaga licencji RStudio zatwierdzonej przez AWS License Manager. Więcej informacji na temat licencjonowania można znaleźć w Licencja RStudio. Pamiętaj również, że tylko jedna domena SageMaker jest dozwolona na region AWS, więc musisz użyć konta AWS i regionu, który nie ma istniejącej domeny.
- Dodaj Uruchom stos.
Link prowadzi do regionu us-east-1, ale możesz zmienić region na preferowany. - W Określ szablon Sekcja, wybierz Następna.
- W Określ szczegóły stosu sekcja dla Nazwa stosu, Wpisz imię.
- W razie zamówieenia projektu parametry, wprowadź nazwę profilu użytkownika SageMaker.
- Dodaj Następna.
- W Skonfiguruj opcje stosu Sekcja, wybierz Następna.
- W Review sekcja, wybierz Przyjmuję do wiadomości, że AWS CloudFormation może tworzyć zasoby IAM i wybierz Następna.
- Gdy status stosu zmieni się na
CREATE_COMPLETE
, idź do Panel sterowania w konsoli SageMaker, aby znaleźć domenę i nowego użytkownika.
Zasady uprawnień do interakcji z Amazon ECR
Aby wchodzić w interakcję z prywatnymi repozytoriami Amazon ECR, potrzebujesz następujących uprawnień użytkownika uprawnień lub roli, których będziesz używać do tworzenia i przekazywania obrazów platformy Docker:
Aby początkowo zbudować z publicznego obrazu Amazon ECR, jak pokazano w tym poście, musisz dołączyć zarządzany przez AWS AmazonElasticContainerRejestrPublicznyTylko do odczytu zasady również dla użytkownika lub roli uprawnień.
Aby zbudować obraz kontenera Docker, możesz użyć lokalnego klienta Docker lub Kompilacja Dockera SageMaker Narzędzie CLI z terminala w RStudio na SageMaker. W przypadku tych ostatnich postępuj zgodnie z warunkami wstępnymi w Korzystanie z Amazon SageMaker Studio Image Build CLI do tworzenia obrazów kontenerów z notebooków Studio aby skonfigurować uprawnienia IAM i narzędzie CLI.
Wersje AWS CLI
Istnieją minimalne wymagania dotyczące wersji narzędzia AWS CLI do uruchamiania poleceń wymienionych w tym poście. Upewnij się, że uaktualniłeś AWS CLI na wybranym terminalu:
- AWS CLI v1 >= 1.23.6
- AWS CLI v2 >= 2.6.2
Przygotuj plik Docker
Możesz dostosować środowisko uruchomieniowe w RStudio w pliku Dockerfile. Ponieważ dostosowanie zależy od przypadku użycia i wymagań, w tym przykładzie przedstawiamy podstawowe i najczęstsze dostosowania. Możesz pobrać pełną przykładowy plik Docker.
Zainstaluj składniki sesji RStudio Workbench
Najważniejszym oprogramowaniem do zainstalowania w niestandardowym obrazie kontenera jest RStudio Workbench. Pobieramy z publiczny zasobnik S3 hostowany przez RStudio PBC. Istnieje wiele wydań wersji i dystrybucji systemu operacyjnego. Wersja instalacji musi być zgodna z wersją RStudio Workbench używaną w RStudio na SageMaker, czyli 1.4.1717-3 w momencie pisania tego tekstu. System operacyjny (argument OS w poniższym fragmencie) musi być zgodny z bazą OS
używane w obrazie kontenera. W naszej próbce Dockerfile, obraz bazowy, którego używamy, to Amazon Linux 2 z publicznego repozytorium Amazon ECR zarządzanego przez AWS. Zgodnym systemem operacyjnym RStudio Workbench jest centos7.
Możesz znaleźć wszystkie opcje wydania systemu operacyjnego za pomocą następującego polecenia:
Zainstaluj R (i wersje R)
Środowisko wykonawcze dla niestandardowego obrazu kontenera RStudio wymaga co najmniej jednej wersji R. Możemy najpierw zainstalować wersję R i ustawić ją jako domyślną R, tworząc miękkie łącza do /usr/local/bin/
:
Analitycy danych często potrzebują wielu wersji języka R, aby móc łatwo przełączać się między projektami a bazą kodu. RStudio w SageMaker obsługuje łatwe przełączanie między wersjami R, jak pokazano na poniższym zrzucie ekranu.
RStudio na SageMaker automatycznie skanuje i wykrywa wersje R w następujących katalogach:
Możemy zainstalować więcej wersji w obrazie kontenera, jak pokazano w poniższym fragmencie. Zostaną zainstalowane w /opt/R/
.
Zainstaluj sterowniki RStudio Professional
Analitycy danych często potrzebują dostępu do danych ze źródeł takich jak: Amazonka Atena i Amazonka Przesunięcie ku czerwieni w RStudio na SageMaker. Możesz to zrobić za pomocą Profesjonalne sterowniki RStudio i Połączenia RStudio. Upewnij się, że zainstalowałeś odpowiednie biblioteki i sterowniki, jak pokazano w następującym fragmencie:
Zainstaluj niestandardowe biblioteki
Możesz także zainstalować dodatkowe biblioteki R i Python, aby naukowcy danych nie musieli instalować ich w locie:
Po zakończeniu dostosowywania w pliku Docker, nadszedł czas, aby zbudować obraz kontenera i przesłać go do Amazon ECR.
Buduj i przesuwaj do Amazon ECR
Obraz kontenera można zbudować z pliku Dockerfile z terminala, w którym zainstalowany jest silnik Docker, takiego jak terminal lokalny lub Chmura AWS9. Jeśli budujesz go z terminala w RStudio na SageMaker, możesz użyć Tworzenie obrazu SageMaker Studio. Pokazujemy kroki dla obu podejść.
W terminalu lokalnym, w którym znajduje się aparat platformy Docker, możesz uruchomić następujące polecenia z miejsca, w którym znajduje się plik Docker. Możesz skorzystać z przykładowego skryptu utwórz-i-aktualizuj-obraz.sh.
W terminalu w RStudio w SageMaker uruchom następujące polecenia:
Po tych poleceniach masz repozytorium i obraz kontenera Docker w Amazon ECR do następnego kroku, w którym dołączamy obraz kontenera do użycia w RStudio na SageMaker. Zwróć uwagę na identyfikator URI obrazu w Amazon ECR <ACCOUNT_ID>.dkr.ecr.<REGION>.amazonaws.com/<REPO>:<TAG>
do późniejszego użycia.
Zaktualizuj RStudio w SageMaker za pomocą konsoli
RStudio na SageMaker umożliwia dostosowywanie środowiska wykonawczego za pomocą niestandardowego obrazu SageMaker. Obraz SageMaker jest nośnikiem zestawu wersji obrazu SageMaker. Każda wersja obrazu reprezentuje obraz kontenera, który jest zgodny z RStudio w programie SageMaker i jest przechowywany w repozytorium Amazon ECR. Aby udostępnić niestandardowy obraz programu SageMaker wszystkim użytkownikom programu RStudio w domenie, można dołączyć obraz do domeny, wykonując czynności opisane w tej sekcji.
- W konsoli SageMaker przejdź do Niestandardowe obrazy SageMaker Studio dołączone do domeny stronę i wybierz Dołącz obraz.
- Wybierz Nowy wyglądi wprowadź identyfikator URI obrazu Amazon ECR.
- Dodaj Następna.
- W Właściwości obrazu sekcji, podaj Nazwa obrazu (wymagany), Wyświetlana nazwa obrazu (opcjonalny), Opis (opcjonalnie), rola uprawnień i tagi.
Połączenia Wyświetlana nazwa obrazu, jeśli podano, jest wyświetlany w programie uruchamiającym sesję w programie RStudio w programie SageMaker. Jeśli Wyświetlana nazwa obrazu pole jest puste, nazwa obrazu jest wyświetlany w RStudio w programie SageMaker. - Pozostawiać Ścieżka montowania EFS i Zaawansowana konfiguracja (identyfikator użytkownika i Grupa ID) domyślnie, ponieważ RStudio w SageMaker zarządza konfiguracją za nas.
- W Typ obrazu sekcja, wybierz Obraz RStudio.
- Dodaj Prześlij.
Możesz teraz zobaczyć nowy wpis na liście. Warto zauważyć, że wraz z wprowadzeniem obsługi niestandardowych obrazów RStudio można zobaczyć nowe Typ użytkowania kolumna w tabeli, aby określić, czy obraz jest obrazem RStudio, czy Studio Amazon SageMaker obraz.
Udostępnienie niestandardowych obrazów w interfejsie uruchamiania sesji może potrwać do 5–10 minut. Następnie możesz uruchomić nową sesję R w RStudio na SageMaker z niestandardowymi obrazami.
Z biegiem czasu możesz chcieć wycofać stare i nieaktualne obrazy. Aby usunąć niestandardowe obrazy z listy niestandardowych obrazów w RStudio, wybierz obrazy z listy i wybierz Odłączyć.
Dodaj Odłączyć ponownie, aby potwierdzić.
Zaktualizuj RStudio w SageMaker za pomocą interfejsu AWS CLI
Poniższe sekcje opisują kroki, aby utworzyć obraz SageMaker i dołączyć go do użycia w RStudio w SageMaker na konsoli SageMaker i przy użyciu interfejsu AWS CLI. Możesz skorzystać z przykładowego skryptu utwórz-i-aktualizuj-obraz.sh.
Utwórz obraz i wersję obrazu SageMaker
Pierwszym krokiem jest utworzenie obrazu SageMaker z niestandardowego obrazu kontenera w Amazon ECR, uruchamiając następujące dwa polecenia:
Zwróć uwagę, że niestandardowy obraz wyświetlany w programie uruchamiającym sesję w RStudio w programie SageMaker jest określany przez dane wejściowe --display-name
. Jeśli opcjonalna nazwa wyświetlana nie jest podana, dane wejściowe --image-name
jest używany zamiast tego. Należy również zauważyć, że rola uprawnień umożliwia SageMaker dołączenie obrazu Amazon ECR do RStudio w SageMaker.
Utwórz AppImageConfig
Oprócz obrazu SageMaker, który przechwytuje identyfikator URI obrazu z Amazon ECR, konfiguracja obrazu aplikacji (Konfiguracja obrazu aplikacji) jest wymagane do użycia w domenie SageMaker. Upraszczamy konfigurację dla RSessionApp
image, więc możemy po prostu utworzyć konfigurację zastępczą za pomocą następującego polecenia:
Dołącz do domeny SageMaker
Po utworzeniu obrazu SageMaker i konfiguracji obrazu aplikacji jesteśmy gotowi do dołączenia niestandardowego obrazu kontenera do domeny SageMaker. Aby niestandardowy obraz SageMaker był dostępny dla wszystkich użytkowników RStudio w domenie, dołącz obraz do domeny jako domyślne ustawienie użytkownika. Wszyscy dotychczasowi użytkownicy i wszyscy nowi użytkownicy będą mogli korzystać z niestandardowego obrazu.
Dla lepszej czytelności umieszczamy następującą konfigurację w pliku JSON domyślne ustawienia użytkownika.json:
W tym pliku możemy określić obraz i AppImageConfig
pary nazw na liście w DefaultUserSettings.RSessionAppSettings.CustomImages
. W powyższym fragmencie założono, że tworzone są dwa obrazy niestandardowe.
Następnie uruchom następujące polecenie, aby zaktualizować domenę SageMaker:
Po zaktualizowaniu domeny może upłynąć do 5–10 minut, zanim niestandardowe obrazy będą dostępne w interfejsie uruchamiania sesji. Następnie możesz uruchomić nową sesję R w RStudio na SageMaker z niestandardowymi obrazami.
Odłącz obrazy od domeny SageMaker
Możesz odłączyć obrazy po prostu usuwając ImageName
i AppImageConfigName
pary z default-user-settings.json
i aktualizowanie domeny.
Na przykład aktualizacja domeny z następującymi default-user-settings.json
usuwa r-4.1.3-rstudio-2022
z sesji R uruchamiającej interfejs użytkownika i opuszcza r-4.1.3-rstudio-1.4.1717-3
jako jedyny niestandardowy obraz dostępny dla wszystkich użytkowników w domenie:
Sprzątać
Aby bezpiecznie usunąć obrazy i zasoby w domenie SageMaker, wykonaj następujące czynności w Wyczyść zasoby obrazów.
Aby bezpiecznie usunąć RStudio w SageMaker i domenie SageMaker, wykonaj następujące czynności w Usuń domenę Amazon SageMaker aby usunąć dowolną aplikację RSessionGateway, profil użytkownika i domenę.
Aby bezpiecznie usunąć obrazy i repozytoria w Amazon ECR, wykonaj następujące czynności w Usuwanie obrazu.
Na koniec, aby usunąć szablon CloudFormation:
- W konsoli AWS CloudFormation wybierz Stosy.
- Wybierz stos wdrożony dla tego rozwiązania.
- Wybierz Usuń.
Wnioski
RStudio na SageMaker ułatwia analitykom danych tworzenie ML i rozwiązań analitycznych w języku R na dużą skalę, a administratorom zarządzanie solidnym środowiskiem nauki danych dla ich programistów. Analitycy danych chcą dostosować środowisko, aby móc korzystać z odpowiednich bibliotek do właściwego zadania i osiągnąć żądaną odtwarzalność każdego projektu ML. Administratorzy muszą ujednolicić środowisko nauki o danych ze względów prawnych i bezpieczeństwa. Możesz teraz tworzyć niestandardowe obrazy kontenerów, które spełniają wymagania Twojej organizacji, i zezwalać analitykom danych na używanie ich w RStudio w programie SageMaker.
Zachęcamy do wypróbowania. Miłego rozwoju!
O autorach
Michał Hsieh jest starszym architektem rozwiązań AI/ML. Współpracuje z klientami, aby przyspieszyć ich podróż ML dzięki połączeniu ofert AWS ML i swojej wiedzy o domenie ML. Jako osoba przeszczepiona w Seattle, uwielbia odkrywać wspaniałą Matkę Naturę, którą miasto ma do zaoferowania, takie jak szlaki turystyczne, spływy kajakowe w SLU i zachód słońca nad zatoką Shilshole.
Declana Kelly'ego jest inżynierem oprogramowania w zespole Amazon SageMaker Studio. Pracuje nad Amazon SageMaker Studio od jego premiery na AWS re:Invent 2019. Poza pracą lubi wędrować i wspinać się.
Seana Morgana jest architektem rozwiązań AI/ML w AWS. Ma doświadczenie w dziedzinie półprzewodników i badań akademickich i wykorzystuje swoje doświadczenie, aby pomóc klientom osiągnąć ich cele w AWS. W wolnym czasie Sean jest aktywnym współtwórcą i opiekunem oprogramowania typu open source, a także jest liderem specjalnej grupy zainteresowań dodatków TensorFlow.
- Coinsmart. Najlepsza w Europie giełda bitcoinów i kryptowalut.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. DARMOWY DOSTĘP.
- CryptoJastrząb. Radar Altcoin. Bezpłatna wersja próbna.
- Źródło: https://aws.amazon.com/blogs/machine-learning/use-a-custom-image-to-bring-your-own-development-environment-to-rstudio-on-amazon-sagemaker/
- "
- &
- 1.3
- 10
- 100
- 2019
- 2022
- 7
- a
- O nas
- dostęp
- Konto
- Osiągać
- Działania
- aktywny
- dodatek
- Dodatkowy
- Administratorzy
- awansować
- Wszystkie kategorie
- pozwala
- już
- Amazonka
- analityka
- Aplikacja
- awanse
- właściwy
- kwiecień
- dostępny
- AWS
- Zatoka
- bo
- jest
- Korzyści
- Ulepsz Swój
- pomiędzy
- granica
- przynieść
- budować
- Budowanie
- biznes
- Może uzyskać
- przechwytuje
- walizka
- zmiana
- wybór
- wybory
- Dodaj
- Miasto
- Chmura
- kod
- Kolumna
- połączenie
- wspólny
- zgodny
- kompletny
- obliczać
- systemu
- Podłączanie
- Konsola
- Pojemnik
- zawartość
- kontynuować
- współpracownik
- Stwórz
- stworzony
- Tworzenie
- zwyczaj
- Klientów
- dostosować
- dane
- nauka danych
- naukowiec danych
- wykazać
- zależy
- wdrażane
- opisać
- opisane
- detale
- deweloperzy
- oprogramowania
- Wyświetlacz
- Dystrybucje
- Doker
- Nie
- domena
- na dół
- pobieranie
- każdy
- z łatwością
- efekt
- zachęcać
- silnik
- inżynier
- Wchodzę
- Środowisko
- Essentials
- przykład
- Przede wszystkim system został opracowany
- doświadczenie
- znajomy
- Łąka
- i terminów, a
- pierwszy raz
- obserwuj
- następujący
- następujący sposób
- Darmowy
- od
- pełny
- Ponadto
- miejsce
- Gole
- wspaniały
- Zarządzanie
- Zaoszczędzić
- pomoc
- posiadacz
- hostowane
- Jednak
- HTTPS
- tożsamość
- obraz
- zdjęcia
- wdrożenia
- ważny
- przemysłu
- Informacja
- wkład
- zainstalować
- przykład
- zintegrowany
- odsetki
- IT
- Praca
- podróż
- wiedza
- firmy
- uruchomić
- wodowanie
- prowadzić
- nauka
- Licencja
- Koncesjonowanie
- Linia
- LINK
- linki
- linux
- Lista
- miejscowy
- maszyna
- uczenie maszynowe
- robić
- WYKONUJE
- Dokonywanie
- zarządzanie
- zarządzane
- i konserwacjami
- kierownik
- Mecz
- wzmiankowany
- może
- minimum
- ML
- jeszcze
- Morgan
- większość
- mama
- wielokrotność
- Natura
- Nawigacja
- wymagania
- Następny
- oferta
- Oferty
- operacyjny
- system operacyjny
- Opcje
- organizacyjny
- organizacji
- własny
- zwrotnica
- polityka
- polityka
- Korzystny
- teraźniejszość
- prywatny
- wygląda tak
- profesjonalny
- Profil
- Programowanie
- projekt
- projektowanie
- zapewniać
- pod warunkiem,
- że
- publiczny
- szybko
- RE
- dosięgnąć
- Przyczyny
- region
- regulacyjne
- zwolnić
- prasowe
- usuwanie
- składnica
- reprezentuje
- wymagany
- wymagania
- Wymaga
- Badania naukowe
- Zasób
- Zasoby
- Rola
- run
- bieganie
- bezpiecznie
- Skala
- nauka
- Naukowiec
- Naukowcy
- Sean
- bezpieczeństwo
- Semiconductor
- zestaw
- ustawienie
- ustawienie
- kilka
- Share
- pokazać
- pokazane
- Prosty
- ponieważ
- So
- Miękki
- Tworzenie
- Software Engineer
- solidny
- rozwiązanie
- Rozwiązania
- specjalny
- specjalista
- wyspecjalizowanym
- stos
- rozpoczęty
- rozpocznie
- Zestawienie sprzedaży
- Rynek
- sklep
- studio
- Zachód słońca
- wsparcie
- podpory
- Przełącznik
- system
- zespół
- terminal
- Połączenia
- Przez
- czas
- już dziś
- narzędzie
- narzędzia
- ui
- dla
- Aktualizacja
- Nowości
- aktualizowanie
- us
- posługiwać się
- Użytkownicy
- wersja
- czy
- w ciągu
- bez
- Praca
- pracujący
- działa
- wartość
- pisanie
- Twój