Dostarczaj i zarządzaj środowiskami ML za pomocą Amazon SageMaker Canvas za pomocą AWS CDK i AWS Service Catalog

Rozpowszechnienie uczenia maszynowego (ML) w szerokim zakresie przypadków użycia staje się powszechne w każdej branży. Przewyższa to jednak wzrost liczby praktyków ML, którzy tradycyjnie byli odpowiedzialni za wdrażanie tych rozwiązań technicznych w celu osiągnięcia wyników biznesowych.

W dzisiejszym przedsiębiorstwie istnieje potrzeba, aby uczenie maszynowe było wykorzystywane przez praktyków nie-ML, którzy są biegli w posługiwaniu się danymi, co jest podstawą ML. Aby to urzeczywistnić, wartość ML jest realizowana w całym przedsiębiorstwie za pomocą platform ML bez kodu. Platformy te umożliwiają różnym osobom, na przykład analitykom biznesowym, korzystanie z ML bez pisania nawet jednej linii kodu i dostarczanie rozwiązań problemów biznesowych w szybki, prosty i intuicyjny sposób. Płótno Amazon SageMaker to wizualna usługa typu „wskaż i kliknij”, która umożliwia analitykom biznesowym korzystanie z ML do rozwiązywania problemów biznesowych poprzez samodzielne generowanie dokładnych prognoz — bez konieczności posiadania doświadczenia w ML lub pisania pojedynczej linii kodu. Canvas rozszerzył wykorzystanie ML w przedsiębiorstwie o prosty w obsłudze intuicyjny interfejs, który pomaga firmom szybko wdrażać rozwiązania.

Chociaż kanwa umożliwiła demokratyzację ML, wyzwanie związane z dostarczaniem i wdrażaniem środowisk ML w bezpieczny sposób nadal pozostaje. Zazwyczaj w większości dużych przedsiębiorstw za to odpowiadają centralne zespoły IT. W tym poście omawiamy, w jaki sposób zespoły IT mogą administrować, udostępniać i zarządzać bezpiecznymi środowiskami ML przy użyciu Płótno Amazon SageMaker, Zestaw programistyczny AWS Cloud (AWS CDK) i Katalog usług AWS. W poście przedstawiono przewodnik krok po kroku dla administratorów IT, aby osiągnąć to szybko i na dużą skalę.

Przegląd katalogu usług AWS CDK i AWS

AWS CDK to platforma programistyczna typu open source do definiowania zasobów aplikacji w chmurze. Wykorzystuje znajomość i ekspresyjną moc języków programowania do modelowania aplikacji, jednocześnie zapewniając zasoby w bezpieczny i powtarzalny sposób.

Katalog usług AWS umożliwia centralne zarządzanie wdrożonymi usługami IT, aplikacjami, zasobami i metadanymi. Dzięki AWS Service Catalog możesz tworzyć, udostępniać, organizować i zarządzać zasobami w chmurze za pomocą szablonów infrastruktury jako kodu (IaC) oraz umożliwić szybkie i proste udostępnianie.

Omówienie rozwiązania

Udostępniamy środowiska ML za pomocą Canvas w trzech krokach:

1. Najpierw dzielimy się tym, jak możesz zarządzać portfelem zasobów niezbędnych do zatwierdzonego użytkowania Canvas za pomocą Katalogu usług AWS.
2. Następnie wdrażamy przykładowe portfolio AWS Service Catalog dla Canvas przy użyciu AWS CDK.
3. Na koniec pokazujemy, jak w ciągu kilku minut można udostępnić środowiska Canvas na żądanie.

Wymagania wstępne

Aby udostępnić środowiska ML za pomocą Canvas, AWS CDK i AWS Service Catalog, musisz wykonać następujące czynności:

1. Mieć dostęp do konta AWS, na którym zostanie wdrożone portfolio usług katalogowych. Upewnij się, że masz poświadczenia i uprawnienia do wdrożenia stosu AWS CDK na swoim koncie. The Warsztaty AWS CDK to pomocne źródło, z którego możesz skorzystać, jeśli potrzebujesz wsparcia.
2. Zalecamy przestrzeganie pewnych najlepszych praktyk, które są opisane w koncepcjach wyszczególnionych w następujących zasobach:
3. Clone to repozytorium GitHub do swojego środowiska.

Zapewnij zatwierdzone środowiska ML za pomocą Amazon SageMaker Canvas przy użyciu katalogu usług AWS

W branżach regulowanych i większości dużych przedsiębiorstw musisz przestrzegać wymagań nałożonych przez zespoły IT na dostarczanie środowisk ML i zarządzanie nimi. Mogą one obejmować bezpieczną, prywatną sieć, szyfrowanie danych, kontrole umożliwiające dostęp tylko autoryzowanym i uwierzytelnionym użytkownikom, takim jak AWS Zarządzanie tożsamością i dostępem (IAM) w celu uzyskania dostępu do rozwiązań takich jak Canvas oraz ścisłego rejestrowania i monitorowania na potrzeby audytu.

Jako administrator IT możesz używać Katalogu usług AWS do tworzenia i organizowania bezpiecznych, powtarzalnych środowisk ML za pomocą SageMaker Canvas w portfolio produktów. Jest to zarządzane za pomocą formantów IaC, które są wbudowane w celu spełnienia wspomnianych wcześniej wymagań i można je udostępnić na żądanie w ciągu kilku minut. Możesz także zachować kontrolę nad tym, kto może uzyskać dostęp do tego portfolio, aby wprowadzać produkty.

Poniższy diagram ilustruje tę architekturę.

Przykładowy przepływ

W tej sekcji zademonstrujemy przykład portfolio Katalogu Usług AWS z SageMaker Canvas. Portfolio składa się z różnych aspektów środowiska Canvas, które są częścią portfolio Katalogu Usług:

• Domena studia – Canvas to aplikacja działająca wewnątrz Domeny studia. Domena składa się z System plików Amazon Elastic (Amazon EFS), lista autoryzowanych użytkowników oraz szereg zabezpieczeń, aplikacji, zasad i Wirtualna prywatna chmura Amazon (VPC) konfiguracje. Konto AWS jest połączone z jedną domeną na region.
• Wiadro Amazon S3 – Po utworzeniu domeny Studio, Usługa Amazon Simple Storage Zasobnik (Amazon S3) jest udostępniany dla kanwy, aby umożliwić importowanie zestawów danych z plików lokalnych, co jest również nazywane przesyłaniem plików lokalnych. Ten zasobnik znajduje się na koncie klienta i jest udostępniany raz.
• Użytkownik płótna – SageMaker Canvas to aplikacja, w której można dodawać profile użytkowników w domenie Studio dla każdego użytkownika Canvas, który może przystąpić do importowania zestawów danych, budowania i trenowania modeli ML bez pisania kodu oraz uruchamiania prognoz na modelu.
• Zaplanowane zamknięcie sesji Canvas – Użytkownicy kanwy mogą wylogować się z interfejsu kanwy po zakończeniu swoich zadań. Alternatywnie, administratorzy mogą wyłączać sesje Canvas z Konsola zarządzania AWS w ramach zarządzania sesjami Canvas. W tej części portfolio AWS Service Catalogue AWS Lambda funkcjonować jest tworzony i udostępniany w celu automatycznego zamykania sesji Canvas w określonych, zaplanowanych odstępach czasu. Pomaga to zarządzać otwartymi sesjami i wyłączać je, gdy nie są używane.

Ten przykładowy przepływ można znaleźć w Repozytorium GitHub do szybkiego odniesienia.

Wdróż przepływ za pomocą AWS CDK

W tej sekcji wdrożymy opisany wcześniej przepływ przy użyciu zestawu AWS CDK. Po wdrożeniu możesz także śledzić wersje i zarządzać portfelem.

Stos portfela można znaleźć w app.py a produkt układa się pod products/ teczka. Możesz iterować w rolach uprawnień, Usługa zarządzania kluczami AWS (AWS KMS) i konfiguracja VPC w studio_constructs/ teczka. Przed wdrożeniem stosu na swoim koncie możesz edytować następujące wiersze w app.py i przyznaj dostęp do portfela wybranej przez siebie roli uprawnień.

Możesz zarządzać dostępem do portfela dla odpowiednich użytkowników, grup i ról uprawnień. Widzieć Przyznawanie dostępu użytkownikom by uzyskać więcej szczegółów.

Wdróż portfel na swoje konto

Możesz teraz uruchomić następujące polecenia, aby zainstalować zestaw AWS CDK i upewnić się, że masz odpowiednie zależności do wdrożenia portfela:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Uruchom następujące polecenia, aby wdrożyć portfel na swoim koncie:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

Pierwsze dwie komendy uzyskują identyfikator konta i aktualny region za pomocą Interfejs wiersza poleceń AWS (AWS CLI) na komputerze. Podążając za tym, cdk bootstrap i cdk deploy buduj zasoby lokalnie i wdrażaj stos w ciągu kilku minut.

Portfolio można teraz znaleźć w Katalogu usług AWS, jak pokazano na poniższym zrzucie ekranu.

Udostępnianie na żądanie

Produkty z portfolio można szybko i łatwo uruchomić na żądanie od Provisioning menu w konsoli Katalogu usług AWS. Typowy proces to najpierw uruchomienie domeny Studio i automatyczne zamknięcie kanwy, ponieważ jest to zwykle czynność jednorazowa. Następnie możesz dodać użytkowników Canvas do domeny. Identyfikator domeny i rola uprawnień użytkownika ARN są zapisywane w Menedżer systemów AWS i są automatycznie wypełniane parametrami użytkownika, jak pokazano na poniższym zrzucie ekranu.

Możesz także użyć tagów alokacji kosztów, które są dołączone do każdego użytkownika. Na przykład, UserCostCenter to przykładowy tag, w którym możesz dodać nazwę każdego użytkownika.

Kluczowe kwestie dotyczące zarządzania środowiskami ML przy użyciu Canvas

Teraz, gdy przygotowaliśmy i wdrożyliśmy portfolio katalogu usług AWS skoncentrowane na kanwie, chcielibyśmy podkreślić kilka kwestii dotyczących zarządzania środowiskami ML opartymi na kanwie, skoncentrowanymi na domenie i profilu użytkownika.

Poniżej przedstawiono uwagi dotyczące domeny Studio:

• Zarządzanie siecią na kanwie jest zarządzane na poziomie domeny Studio, gdzie domena jest wdrażana w prywatnej podsieci VPC w celu zapewnienia bezpiecznej łączności. Widzieć Zabezpieczanie łączności z Amazon SageMaker Studio przy użyciu prywatnego VPC uczyć się więcej.
• Domyślna rola wykonywania uprawnień jest zdefiniowana na poziomie domeny. Ta domyślna rola jest przypisywana wszystkim użytkownikom Canvas w domenie.
• Szyfrowanie odbywa się za pomocą AWS KMS poprzez zaszyfrowanie woluminu EFS w domenie. Aby uzyskać dodatkowe kontrolki, możesz określić własny klucz zarządzany, znany również jako klucz zarządzany przez klienta (CMK). Widzieć Chroń dane w spoczynku za pomocą szyfrowania uczyć się więcej.
• Możliwość przesyłania plików z dysku lokalnego odbywa się przez dołączenie zasady udostępniania zasobów między źródłami (CORS) do zasobnika S3 używanego przez kanwę. Widzieć Daj swoim użytkownikom uprawnienia do przesyłania lokalnych plików uczyć się więcej.

Poniżej przedstawiono uwagi dotyczące profilu użytkownika:

• Uwierzytelnianie w Studio można przeprowadzić zarówno przez jednokrotne logowanie (SSO), jak i IAM. Jeśli masz istniejącego dostawcę tożsamości do federowania użytkowników w celu uzyskania dostępu do konsoli, możesz przypisać profil użytkownika Studio do każdej tożsamości sfederowanej przy użyciu uprawnień. Zobacz sekcję Przypisywanie polityki użytkownikom Studio in Konfiguracja Amazon SageMaker Studio dla zespołów i grup z pełną izolacją zasobów uczyć się więcej.
• Do każdego profilu użytkownika możesz przypisać role wykonywania uprawnień. Podczas korzystania ze Studio użytkownik przyjmuje rolę odwzorowaną na jego profil użytkownika, która zastępuje domyślną rolę wykonawczą. Możesz użyć tego do szczegółowej kontroli dostępu w zespole.
• Izolację można osiągnąć za pomocą kontroli dostępu opartej na atrybutach (ABAC), aby zapewnić użytkownikom dostęp tylko do zasobów swojego zespołu. Widzieć Konfiguracja Amazon SageMaker Studio dla zespołów i grup z pełną izolacją zasobów uczyć się więcej.
• Możesz przeprowadzić szczegółowe śledzenie kosztów, stosując tagi alokacji kosztów do profili użytkowników.

Sprzątać

Aby wyczyścić zasoby utworzone przez stos AWS CDK powyżej, przejdź do strony stosów AWS CloudFormation i usuń stosy Canvas. Możesz też biegać cdk destroy z poziomu folderu repozytorium, aby zrobić to samo.

Wnioski

W tym poście udostępniliśmy, w jaki sposób można szybko i łatwo udostępniać środowiska ML za pomocą Canvas przy użyciu Katalogu usług AWS i AWS CDK. Omówiliśmy, w jaki sposób możesz utworzyć portfolio w Katalogu usług AWS, udostępnić portfolio i wdrożyć je na swoim koncie. Administratorzy IT mogą używać tej metody do wdrażania użytkowników, sesji i powiązanych kosztów oraz zarządzania nimi podczas aprowizacji kanwy.

Dowiedz się więcej o płótnie na Strona produktu oraz Przewodnik dla programistów. Aby dowiedzieć się więcej, możesz dowiedzieć się, jak umożliwić analitykom biznesowym dostęp do SageMaker Canvas za pomocą AWS SSO bez konsoli. Możesz również dowiedzieć się jak Analitycy biznesowi i analitycy danych mogą szybciej współpracować dzięki Canvas i Studio.

O autorach

Davide Gallitelli jest Specjalistą Architektem Rozwiązań dla AI/ML w regionie EMEA. Ma siedzibę w Brukseli i ściśle współpracuje z klientami w krajach Beneluksu. Jest programistą od najmłodszych lat, zaczął kodować w wieku 7 lat. Zaczął uczyć się AI/ML na uniwersytecie i od tego czasu się w nim zakochał.

Zofia Hamiti jest specjalistą ds. rozwiązań AI / ML w AWS. Pomaga klientom z różnych branż przyspieszyć ich przygodę z AI / ML, pomagając im tworzyć i operacjonalizować kompleksowe rozwiązania uczenia maszynowego.

Shyama Srinivasana jest Principal Product Manager w zespole AWS AI/ML, prowadząc zarządzanie produktami dla Amazon SageMaker Canvas. Shyam dba o to, aby świat stał się lepszym miejscem dzięki technologii i pasjonuje się tym, jak sztuczna inteligencja i ML mogą być katalizatorem w tej podróży.

Aviego Patel pracuje jako inżynier oprogramowania w zespole Amazon SageMaker Canvas. Jego doświadczenie polega na pracy na pełnym stosie z naciskiem na frontend. W wolnym czasie lubi współtworzyć projekty open source w przestrzeni kryptograficznej i poznawać nowe protokoły DeFi.

Jareda Heywooda jest starszym menedżerem ds. rozwoju biznesu w AWS. Jest globalnym specjalistą AI/ML pomagającym klientom w uczeniu maszynowym bez kodu. Przez ostatnie 5 lat pracował w przestrzeni AutoML i wprowadzał na Amazon produkty takie jak Amazon SageMaker JumpStart i Amazon SageMaker Canvas.