Organizuj rozwój uczenia maszynowego za pomocą współdzielonych przestrzeni w SageMaker Studio do współpracy w czasie rzeczywistym

Studio Amazon SageMaker to pierwsze w pełni zintegrowane środowisko programistyczne (IDE) do uczenia maszynowego (ML). Zapewnia pojedynczy, internetowy interfejs graficzny, w którym można wykonywać wszystkie etapy opracowywania ML, w tym przygotowywanie danych i budowanie, szkolenie i wdrażanie modeli.

W ciągu Domena Amazon SageMaker, użytkownicy mogą udostępniać osobistą aplikację Amazon SageMaker Studio IDE, która uruchamia bezpłatny JupyterServer z wbudowanymi integracjami do badania Amazon Eksperymenty SageMakera, orkiestrować Rurociągi Amazon SageMaker, i wiele więcej. Użytkownicy płacą tylko za elastyczne moce obliczeniowe w jądrach swoich notebooków. Te osobiste aplikacje automatycznie montują prywatne dane użytkownika System plików Amazon Elastic (Amazon EFS), aby mogli przechowywać kod, dane i inne pliki odizolowane od innych użytkowników. Studio Amazon SageMaker obsługuje już udostępnianie notatników między prywatnymi aplikacjami, ale mechanizm asynchroniczny może spowolnić proces iteracji.

teraz z przestrzenie współdzielone w Amazon SageMaker Studio, użytkownicy mogą organizować wspólne przedsięwzięcia i inicjatywy ML, tworząc wspólną aplikację IDE, z której korzystają użytkownicy z własnym profilem użytkownika Amazon SageMaker. Pracownicy danych współpracujący w przestrzeni współdzielonej uzyskują dostęp do środowiska Amazon SageMaker Studio, w którym mogą uzyskiwać dostęp, czytać, edytować i udostępniać swoje notatniki w czasie rzeczywistym, co daje im najszybszą ścieżkę do rozpoczęcia iteracji z innymi pomysłami. Pracownicy danych mogą nawet współpracować na tym samym notebooku jednocześnie, korzystając z funkcji współpracy w czasie rzeczywistym. Notatnik wskazuje każdego współedytującego użytkownika za pomocą innego kursora, który pokazuje odpowiednią nazwę profilu użytkownika.

Przestrzenie współdzielone w SageMaker Studio automatycznie oznaczają zasoby, takie jak zadania szkoleniowe, zadania przetwarzania, eksperymenty, potoki i wpisy rejestru modeli utworzone w ramach obszaru roboczego z ich odpowiednimi sagemaker:space-arn. Przestrzeń filtruje te zasoby w interfejsie użytkownika (UI) Amazon SageMaker Studio, dzięki czemu użytkownikom prezentowane są tylko eksperymenty SageMaker, potoki i inne zasoby, które są istotne dla ich przedsięwzięcia ML.

Omówienie rozwiązania

Ponieważ współdzielone przestrzenie automatycznie oznaczają zasoby, administratorzy mogą łatwo monitorować koszty związane z przedsięwzięciem ML i planować budżety za pomocą narzędzi takich jak Budżety AWS i Eksplorator kosztów AWS. Jako administrator musisz tylko załączyć plik znacznik alokacji kosztów dla sagemaker:space-arn.

Po zakończeniu możesz użyć Eksploratora kosztów AWS, aby określić, ile poszczególne projekty ML kosztują Twoją organizację.

Rozpocznij pracę ze współdzielonymi przestrzeniami w Amazon SageMaker Studio

W tej sekcji przeanalizujemy typowy przepływ pracy dotyczący tworzenia i wykorzystywania współdzielonych przestrzeni w Amazon SageMaker Studio.

Stwórz wspólną przestrzeń w Amazon SageMaker Studio

Możesz użyć konsoli Amazon SageMaker lub Interfejs wiersza poleceń AWS (AWS CLI), aby dodać obsługę spacji do istniejącej domeny. Aby uzyskać najbardziej aktualne informacje, sprawdź Stwórz wspólną przestrzeń. Przestrzenie współdzielone działają tylko z obrazem JupyterLab 3 SageMaker Studio i domenami SageMaker korzystającymi z uwierzytelniania AWS Identity and Access Management (AWS IAM).

Tworzenie konsoli

Aby utworzyć przestrzeń w wyznaczonej domenie Amazon SageMaker, musisz najpierw ustawić domyślną rolę wykonawczą wyznaczonej przestrzeni. od Szczegóły domeny stronę, wybierz ustawienia domeny I wybierz opcję Edytuj. Następnie możesz ustawić domyślną rolę wykonawczą miejsca, którą należy wypełnić tylko raz na domenę, jak pokazano na poniższym diagramie:

Następnie możesz przejść do Zarządzanie przestrzenią kartę w swojej domenie i wybierz Stwórz przycisk, jak pokazano na poniższym schemacie:

Tworzenie AWS CLI

Możesz także ustawić domyślną rolę wykonywania przestrzeni domeny z interfejsu AWS CLI. Aby określić ARN obrazu JupyterLab3 w swoim regionie, sprawdź Ustawienie domyślnej wersji JupyterLab.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

Po zakończeniu tej czynności dla Twojej domeny możesz utworzyć przestrzeń współdzieloną z interfejsu wiersza polecenia.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

Uruchom współdzieloną przestrzeń w Amazon SageMaker Studio

Użytkownicy mogą uruchomić przestrzeń współdzieloną, wybierając Premiera obok swojego profilu użytkownika w konsoli AWS dla domeny Amazon SageMaker.

Po wybraniu Spaces w sekcji Współpraca, a następnie wybierz przestrzeń do uruchomienia:

Alternatywnie użytkownicy mogą wygenerować wstępnie podpisany adres URL, aby uruchomić przestrzeń za pośrednictwem AWS CLI:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

Współpraca w czasie rzeczywistym

Po załadowaniu środowiska IDE współdzielonej przestrzeni Amazon SageMaker Studio użytkownicy mogą wybrać plik Współpracownicy w lewym panelu, aby zobaczyć, którzy użytkownicy aktywnie pracują w Twojej przestrzeni i na jakim notatniku. Jeśli nad tym samym notatnikiem pracuje więcej niż jedna osoba, zobaczysz kursor z nazwą profilu innego użytkownika w miejscu, w którym edytuje:

Na poniższym zrzucie ekranu możesz zobaczyć różne środowiska użytkownika dla osoby edytującej i przeglądającej ten sam notatnik:

Wnioski

W tym poście pokazaliśmy, w jaki sposób współdzielone przestrzenie w SageMaker Studio dodają środowisko IDE do współpracy w czasie rzeczywistym do Amazon SageMaker Studio. Automatyczne tagowanie pomaga użytkownikom określić i filtrować zasoby Amazon SageMaker, które obejmują: eksperymenty, potoki i wpisy rejestru modeli w celu maksymalizacji produktywności użytkowników. Dodatkowo administratorzy mogą używać tych zastosowanych tagów do monitorowania kosztów związanych z daną przestrzenią i ustalania odpowiednich budżetów za pomocą AWS Cost Explorer i AWS Budgets.

Przyspiesz współpracę swojego zespołu już dziś, konfigurując współdzielone przestrzenie w Amazon SageMaker Studio na potrzeby konkretnych przedsięwzięć związanych z uczeniem maszynowym!

O autorach

Seana Morgana jest architektem rozwiązań AI/ML w AWS. Ma doświadczenie w dziedzinie półprzewodników i badań akademickich i wykorzystuje swoje doświadczenie, aby pomóc klientom osiągnąć ich cele w AWS. W wolnym czasie Sean jest aktywnym współtwórcą/opiekunem oprogramowania typu open source i jest liderem specjalnej grupy zainteresowań dodatków TensorFlow.

Hana Zhanga jest starszym inżynierem oprogramowania w Amazon Web Services. Jest częścią zespołu uruchomieniowego Amazon SageMaker Notebooks i Amazon SageMaker Studio i koncentruje się na budowaniu bezpiecznych środowisk uczenia maszynowego dla klientów. W wolnym czasie lubi wędrować i jeździć na nartach w północno-zachodnim Pacyfiku.

Arkaprawa De jest starszym inżynierem oprogramowania w AWS. Pracuje w Amazon od ponad 7 lat i obecnie pracuje nad ulepszeniem środowiska Amazon SageMaker Studio IDE. Możesz go znaleźć na LinkedIn.

Kunal jha jest starszym menedżerem produktu w AWS. Koncentruje się na budowaniu Amazon SageMaker Studio jako IDE z wyboru na wszystkich etapach rozwoju ML. W wolnym czasie Kunal lubi jeździć na nartach i odkrywać północno-zachodnie wybrzeże Pacyfiku. Możesz go znaleźć na LinkedIn.