Studio Amazon SageMaker to pierwsze w pełni zintegrowane środowisko programistyczne (IDE) do uczenia maszynowego (ML). Studio udostępnia pojedynczy interfejs wizualny oparty na sieci Web, w którym można wykonywać wszystkie etapy programowania uczenia maszynowego wymagane do przygotowania danych, a także do tworzenia, uczenia i wdrażania modeli. Konfiguracje cyklu życia to skrypty powłoki wyzwalane przez zdarzenia cyklu życia Studio, takie jak uruchomienie nowego notatnika Studio. Możesz użyć konfiguracji cyklu życia, aby zautomatyzować dostosowywanie środowiska Studio. To dostosowanie obejmuje instalowanie niestandardowych pakietów, konfigurowanie rozszerzeń notatników, wstępne ładowanie zestawów danych i konfigurowanie repozytoriów kodu źródłowego. Na przykład jako administrator domeny Studio możesz chcieć oszczędzaj koszty dzięki automatycznemu wyłączaniu aplikacji notebooka po długich okresach bezczynności.
Połączenia Zestaw programistyczny AWS Cloud (AWS CDK) to platforma do definiowania infrastruktury chmury za pomocą kodu i udostępniania jej Tworzenie chmury AWS półki na książki. Stos to zbiór zasobów AWS, które można programowo aktualizować, przenosić lub usuwać. CDK AWS konstrukty to elementy składowe aplikacji AWS CDK, reprezentujące plan definiowania architektur chmurowych.
W tym poście pokazujemy, jak używać AWS CDK do konfigurowania Studio, korzystania z konfiguracji cyklu życia Studio i zapewniania dostępu do niego analitykom danych i programistom w Twojej organizacji.
Omówienie rozwiązania
Modułowość konfiguracji cyklu życia pozwala zastosować je do wszystkich użytkowników w domenie lub do określonych użytkowników. W ten sposób możesz skonfigurować konfiguracje cyklu życia i odwoływać się do nich w Studio brama jądra lub serwer Jupyter szybko i konsekwentnie. Brama jądra jest punktem wejścia do interakcji z instancją notatnika, podczas gdy serwer Jupyter reprezentuje instancję Studio. Dzięki temu możesz stosować najlepsze praktyki DevOps i spełniać standardy bezpieczeństwa, zgodności i konfiguracji na wszystkich kontach i regionach AWS. W tym poście używamy Pythona jako głównego języka, ale kod można łatwo zmienić na inne języki obsługiwane przez AWS CDK. Aby uzyskać więcej informacji, patrz Praca z CDK AWS.
Wymagania wstępne
Aby rozpocząć, upewnij się, że spełniasz następujące wymagania wstępne:
Sklonuj repozytorium GitHub
Po pierwsze, klonować dotychczasowy Repozytorium GitHub.
Podczas klonowania repozytorium możesz zauważyć, że mamy klasyczny projekt AWS CDK z katalogiem studio-lifecycle-config-construct
, który zawiera konstrukcję i zasoby wymagane do tworzenia konfiguracji cyklu życia.
Konstrukcje AWS CDK
Plik, który chcemy sprawdzić, to aws_sagemaker_lifecycle.py
. Ten plik zawiera SageMakerStudioLifeCycleConfig
konstrukcja, której używamy do konfigurowania i tworzenia konfiguracji cyklu życia.
Połączenia SageMakerStudioLifeCycleConfig
konstrukcja zapewnia strukturę do tworzenia konfiguracji cyklu życia przy użyciu niestandardowego AWS Lambda funkcja i kod powłoki wczytane z pliku. Konstrukcja zawiera następujące parametry:
- ID – Nazwa bieżącego projektu.
- studio_cykl życia_zawartość - base64 zakodowana treść.
- tagi_cyklu_życia studia – Etykiety, które przypisujesz do organizowania zasobów Amazon. Są one wprowadzane jako pary klucz-wartość i są opcjonalne w tej konfiguracji.
- studio_lifecycle_config_app_type -
JupyterServer
jest dla samego unikalnego serwera, aKernelGateway
app odpowiada uruchomionemu kontenerowi obrazu SageMaker.
Aby uzyskać więcej informacji na temat architektury notesu Studio, zobacz Zanurz się głęboko w architekturę notebooków Amazon SageMaker Studio.
Poniżej znajduje się fragment kodu konstrukcji konfiguracji cyklu życia Studio (aws_sagemaker_lifecycle.py
):
Po zaimportowaniu i zainstalowaniu konstrukcji można jej użyć. Poniższy fragment kodu pokazuje, jak utworzyć konfigurację cyklu życia przy użyciu konstrukcji w stosie w app.py
lub inna konstrukcja:
Wdróż konstrukcje AWS CDK
Aby wdrożyć stos AWS CDK, uruchom następujące polecenia w lokalizacji, w której sklonowałeś repozytorium.
Polecenie może być python
zamiast python3
w zależności od konfiguracji ścieżki.
- Utwórz środowisko wirtualne:
- W przypadku systemu macOS/Linux użyj
python3 -m venv .cdk-venv
. - W systemie Windows użyj
python3 -m venv .cdk-venv
.
- W przypadku systemu macOS/Linux użyj
- Aktywuj środowisko wirtualne:
- W przypadku systemu macOS/Linux użyj
source .cdk-venvbinactivate
. - W systemie Windows użyj
.cdk-venv/Scripts/activate.bat
. - W przypadku programu PowerShell użyj
.cdk-venv/Scripts/activate.ps1
.
- W przypadku systemu macOS/Linux użyj
- Zainstaluj wymagane zależności:
pip install -r requirements.txt
pip install -r requirements-dev.txt
- W tym momencie możesz opcjonalnie zsyntetyzować szablon CloudFormation dla tego kodu:
- Wdróż rozwiązanie za pomocą następujących poleceń:
aws configure
cdk bootstrap
cdk deploy
Po pomyślnym wdrożeniu stosu powinno być możliwe wyświetlenie stosu w konsoli CloudFormation.
Będziesz także mógł przeglądać konfigurację cyklu życia na konsoli SageMaker.
Wybierz konfigurację cyklu życia, aby wyświetlić działający kod powłoki oraz wszelkie przypisane tagi.
Dołącz konfigurację cyklu życia programu Studio
Istnieje wiele sposobów dołączania konfiguracji cyklu życia. W tej sekcji przedstawiamy dwie metody: za pomocą Konsola zarządzania AWSi programowo przy użyciu dostarczonej infrastruktury.
Dołącz konfigurację cyklu życia za pomocą konsoli
Aby użyć konsoli, wykonaj następujące czynności:
- W konsoli SageMaker wybierz domeny w okienku nawigacji.
- Wybierz nazwę domeny, której używasz i bieżący profil użytkownika, a następnie wybierz Edytuj.
- Wybierz konfigurację cyklu życia, której chcesz użyć, i wybierz Dołączać.
W tym miejscu możesz również ustawić go jako domyślny.
Programowo dołącz konfigurację cyklu życia
Możesz również pobrać ARN konfiguracji cyklu życia Studio utworzonej przez konstrukcję i programowo dołączyć ją do konstrukcji Studio. Poniższy kod przedstawia ARN konfiguracji cyklu życia przekazywane do konstrukcji Studio:
Sprzątać
Wykonaj czynności opisane w tej sekcji, aby wyczyścić zasoby.
Usuń konfigurację cyklu życia programu Studio
Aby usunąć konfigurację cyklu życia, wykonaj następujące kroki:
- W konsoli SageMaker wybierz Konfiguracje cyklu życia programu Studio w okienku nawigacji.
- Wybierz konfigurację cyklu życia, a następnie wybierz Usuń.
Usuń stos AWS CDK
Kiedy skończysz z utworzonymi zasobami, możesz zniszczyć stos AWS CDK, uruchamiając następujące polecenie w lokalizacji, w której sklonowałeś repozytorium:
Gdy zostaniesz poproszony o potwierdzenie usunięcia stosu, wprowadź yes
.
Możesz także usunąć stos w konsoli AWS CloudFormation, wykonując następujące czynności:
- W konsoli AWS CloudFormation wybierz Półki na książki w okienku nawigacji.
- Wybierz stos, który chcesz usunąć.
- W okienku szczegółów stosu wybierz Usuń.
- Dodaj Usuń stos gdy pojawi się monit.
Jeśli wystąpią jakiekolwiek błędy, może być konieczne ręczne usunięcie niektórych zasobów w zależności od konfiguracji konta.
Wnioski
W tym poście omówiliśmy sposób, w jaki Studio służy jako środowisko IDE dla obciążeń ML. Studio oferuje obsługę konfiguracji cyklu życia, która umożliwia konfigurowanie niestandardowych skryptów powłoki do wykonywania zautomatyzowanych zadań lub konfigurowanie środowisk programistycznych podczas uruchamiania. Wykorzystaliśmy konstrukcje AWS CDK do zbudowania infrastruktury dla niestandardowej konfiguracji zasobów i cyklu życia. Konstrukcje są syntetyzowane w stosy CloudFormation, które są następnie wdrażane w celu utworzenia niestandardowego skryptu zasobów i cyklu życia, który jest używany w Studio i jądrze notebooka.
Aby uzyskać więcej informacji, odwiedź Studio Amazon SageMaker.
O autorach
Cory'ego Hairstona jest inżynierem oprogramowania w Amazon ML Solutions Lab. Obecnie pracuje nad dostarczaniem rozwiązań oprogramowania wielokrotnego użytku.
Alexa Chirayatha jest starszym inżynierem uczenia maszynowego w Amazon ML Solutions Lab. Kieruje zespołami naukowców i inżynierów danych w celu tworzenia aplikacji AI w celu zaspokojenia potrzeb biznesowych.
Gouri Pandeshwar jest kierownikiem inżyniera w Amazon ML Solutions Lab. On i jego zespół inżynierów pracują nad stworzeniem rozwiązań i struktur wielokrotnego użytku, które pomogą przyspieszyć wdrażanie usług AWS AI/ML w przypadku zastosowań biznesowych klientów.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- EVM Finanse. Ujednolicony interfejs dla zdecentralizowanych finansów. Dostęp tutaj.
- Quantum Media Group. Wzmocnienie IR/PR. Dostęp tutaj.
- PlatoAiStream. Analiza danych Web3. Wiedza wzmocniona. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/use-the-aws-cdk-to-deploy-amazon-sagemaker-studio-lifecycle-configurations/
- :Jest
- :Gdzie
- $W GÓRĘ
- 100
- 12
- 14
- 7
- a
- Zdolny
- przyśpieszyć
- dostęp
- Konto
- Konta
- w poprzek
- adres
- Przyjęcie
- Po
- AI
- AI / ML
- Wszystkie kategorie
- pozwala
- również
- Amazonka
- Laboratorium rozwiązań Amazon ML
- Amazon Sage Maker
- Studio Amazon SageMaker
- Amazon Web Services
- an
- i
- Inne
- każdy
- Aplikacja
- aplikacje
- Aplikuj
- mobilne i webowe
- architektura
- SĄ
- AS
- przydzielony
- At
- dołączać
- zautomatyzować
- zautomatyzowane
- automatycznie
- AWS
- Tworzenie chmury AWS
- BE
- jest
- BEST
- Najlepsze praktyki
- Bloki
- budować
- Budowanie
- biznes
- ale
- by
- CAN
- Etui
- zmieniony
- Dodaj
- klasyczny
- Chmura
- infrastruktura chmurowa
- kod
- kolekcja
- COM
- kompletny
- spełnienie
- systemu
- Potwierdzać
- Konsola
- skonstruować
- Pojemnik
- zawiera
- zawartość
- odpowiada
- Koszty:
- Stwórz
- stworzony
- Aktualny
- Obecnie
- zwyczaj
- dostosowywanie
- dane
- zbiory danych
- głęboko
- Domyślnie
- definiowanie
- W zależności
- rozwijać
- wdrażane
- zniszczyć
- detale
- deweloperzy
- oprogramowania
- omówione
- domena
- Nazwa domeny
- zrobić
- na dół
- z łatwością
- bądź
- umożliwiać
- Umożliwia
- inżynier
- Inżynierowie
- Wchodzę
- wejście
- Środowisko
- środowiska
- Błędy
- wydarzenia
- przykład
- rozszerzenia
- filet
- i terminów, a
- następujący
- W razie zamówieenia projektu
- Framework
- Ramy
- od
- w pełni
- funkcjonować
- Bramka
- otrzymać
- GitHub
- Have
- mający
- he
- pomoc
- tutaj
- jego
- W jaki sposób
- How To
- HTML
- http
- HTTPS
- ID
- obraz
- importować
- in
- obejmuje
- Informacja
- Infrastruktura
- zainstalować
- Instalacja
- przykład
- zamiast
- zintegrowany
- interakcji
- Interfejs
- najnowszych
- IT
- JEGO
- samo
- jpg
- laboratorium
- Etykiety
- język
- Języki
- uruchomić
- Wyprowadzenia
- nauka
- wifecycwe
- lokalizacja
- długo
- maszyna
- uczenie maszynowe
- Główny
- robić
- i konserwacjami
- kierownik
- ręcznie
- Może..
- Poznaj nasz
- metody
- ML
- modele
- jeszcze
- przeniósł
- wielokrotność
- Nazwa
- Nawigacja
- wymagania
- Nowości
- notatnik
- obserwować
- of
- Oferty
- on
- or
- organizacja
- Inne
- Pakiety
- par
- chleb
- parametry
- minęło
- ścieżka
- wykonać
- okresy
- plato
- Analiza danych Platona
- PlatoDane
- punkt
- Post
- PowerShell
- praktyki
- Przygotować
- warunki wstępne
- teraźniejszość
- Profil
- projekt
- pod warunkiem,
- zapewnia
- że
- Python
- szybko
- Czytaj
- regiony
- składnica
- reprezentowanie
- reprezentuje
- wymagany
- wymagania
- Zasób
- Zasoby
- wielokrotnego użytku
- run
- bieganie
- Bezpieczeństwo
- sagemaker
- Naukowcy
- zakres
- skrypty
- Sekcja
- SAMEGO SIEBIE
- senior
- służy
- Usługi
- zestaw
- ustawienie
- Powłoka
- powinien
- pokazać
- Targi
- zamknąć
- pojedynczy
- Tworzenie
- Software Engineer
- rozwiązanie
- Rozwiązania
- kilka
- Źródło
- Kod źródłowy
- specyficzny
- stos
- Półki na książki
- standardy
- rozpoczęty
- Startowy
- Cel
- studio
- Z powodzeniem
- taki
- wsparcie
- Utrzymany
- system
- zadania
- zespół
- Zespoły
- szablon
- że
- Połączenia
- Im
- następnie
- one
- to
- Przez
- do
- Pociąg
- rozsierdzony
- drugiej
- wyjątkowy
- zaktualizowane
- posługiwać się
- używany
- Użytkownik
- Użytkownicy
- za pomocą
- Zobacz i wysłuchaj
- Wirtualny
- Odwiedzić
- chcieć
- Droga..
- sposoby
- we
- sieć
- usługi internetowe
- Web-based
- DOBRZE
- jeśli chodzi o komunikację i motywację
- natomiast
- który
- będzie
- okna
- w
- pracujący
- działa
- You
- Twój
- zefirnet