Używaj generatywnych modeli AI w trybie VPC bez połączenia z Internetem za pomocą Amazon SageMaker JumpStart | Usługi sieciowe Amazona

Dzięki ostatnim postępom w generatywna sztuczna inteligencjatoczy się wiele dyskusji na temat wykorzystania generatywnej sztucznej inteligencji w różnych branżach do rozwiązywania konkretnych problemów biznesowych. Generatywna sztuczna inteligencja to rodzaj sztucznej inteligencji, który może tworzyć nowe treści i pomysły, w tym rozmowy, historie, obrazy, filmy i muzykę. Wszystko jest wspierane przez bardzo duże modele, które są wstępnie trenowane na ogromnych ilościach danych i powszechnie określane jako modele fundamentów (FM). Te FM mogą wykonywać szeroki zakres zadań obejmujących wiele dziedzin, takich jak pisanie postów na blogu, generowanie obrazów, rozwiązywanie problemów matematycznych, angażowanie się w dialog i odpowiadanie na pytania na podstawie dokumentu. Rozmiar i uniwersalny charakter FM odróżniają je od tradycyjnych modeli ML, które zazwyczaj wykonują określone zadania, takie jak analizowanie tekstu pod kątem tonacji, klasyfikacja obrazów i prognozowanie trendów.

Organizacje chcą wykorzystać moc tych FM, ale chcą również, aby rozwiązania oparte na FM działały w ich własnych, chronionych środowiskach. Organizacje działające w obszarach podlegających ścisłym regulacjom, takim jak globalne usługi finansowe oraz opieka zdrowotna i nauki przyrodnicze, mają wymagania dotyczące audytu i zgodności, aby móc uruchamiać swoje środowisko w swoich centrach VPC. W rzeczywistości często nawet bezpośredni dostęp do Internetu jest wyłączany w takich środowiskach, aby uniknąć narażenia na niezamierzony ruch, zarówno przychodzący, jak i wychodzący.

Amazon SageMaker JumpStart to centrum ML oferujące algorytmy, modele i rozwiązania ML. Dzięki SageMaker JumpStart praktycy ML mogą wybierać z rosnącej listy najskuteczniejszych rozwiązań FM typu open source. Zapewnia także możliwość samodzielnego wdrażania tych modeli Wirtualna chmura prywatna (VPC).

W tym poście pokazujemy, jak używać programu JumpStart do wdrażania aplikacji Flan-T5 XXL model w VPC bez połączenia z Internetem. Omawiamy następujące tematy:

• Jak wdrożyć model podstawowy za pomocą SageMaker JumpStart w VPC bez dostępu do Internetu
• Zalety wdrażania FM za pomocą modeli SageMaker JumpStart w trybie VPC
• Alternatywne sposoby dostosowywania wdrażania modeli fundamentów za pomocą JumpStart

Oprócz FLAN-T5 XXL, JumpStart oferuje wiele różnych modeli fundamentów do różnych zadań. Aby zobaczyć pełną listę, sprawdź Pierwsze kroki z Amazon SageMaker JumpStart.

Omówienie rozwiązania

W ramach rozwiązania uwzględniamy następujące kroki:

1. Skonfiguruj VPC bez połączenia z Internetem.
2. Ustawiać Studio Amazon SageMaker za pomocą utworzonego przez nas środowiska VPC.
3. Wdróż generatywny model podstawowy AI Flan T5-XXL za pomocą JumpStart w VPC bez dostępu do Internetu.

Poniżej znajduje się diagram architektury rozwiązania.

Przeanalizujmy różne etapy wdrożenia tego rozwiązania.

Wymagania wstępne

Aby śledzić ten post, potrzebujesz:

Skonfiguruj VPC bez połączenia z Internetem

Utwórz nowy stos CloudFormation przy użyciu 01_networking.yaml szablon. Ten szablon tworzy nową sieć VPC i dodaje dwie prywatne podsieci w dwóch strefach dostępności bez połączenia z Internetem. Następnie wdraża punkty końcowe VPC bramy umożliwiające dostęp Usługa Amazon Simple Storage (Amazon S3) i interfejs punktów końcowych VPC dla SageMaker i kilku innych usług, aby umożliwić zasobom w VPC łączenie się z usługami AWS za pośrednictwem Prywatny link AWS.

Podaj nazwę stosu, na przykład No-Interneti zakończ proces tworzenia stosu.

To rozwiązanie nie jest wysoce dostępne, ponieważ szablon CloudFormation tworzy punkty końcowe interfejsu VPC tylko w jednej podsieci, aby obniżyć koszty, wykonując czynności opisane w tym poście.

Skonfiguruj Studio przy użyciu VPC

Utwórz kolejny stos CloudFormation za pomocą 02_sagemaker_studio.yaml, który tworzy domenę Studio, profil użytkownika Studio i zasoby pomocnicze, takie jak role IAM. Wybierz nazwę stosu; w tym poście używamy nazwy SageMaker-Studio-VPC-No-Internet. Podaj nazwę utworzonego wcześniej stosu VPC (No-Internet) jako CoreNetworkingStackName parametr i pozostaw wszystko inne jako domyślne.

Poczekaj, aż AWS CloudFormation zgłosi zakończenie tworzenia stosu. Możesz potwierdzić, że domena Studio jest dostępna do użycia na konsoli SageMaker.

Aby sprawdzić, czy użytkownik domeny Studio nie ma dostępu do Internetu, uruchom Studio za pomocą konsoli SageMaker, Wybierać filet, Nowości, terminal, a następnie spróbuj uzyskać dostęp do zasobu internetowego. Jak pokazano na poniższym zrzucie ekranu, terminal będzie czekał na zasób i ostatecznie upłynie limit czasu.

Dowodzi to, że Studio działa w środowisku VPC, które nie ma dostępu do Internetu.

Wdróż generatywny model podstawowy AI Flan T5-XXL za pomocą JumpStart

Model ten możemy wdrożyć zarówno poprzez Studio, jak i poprzez API. JumpStart udostępnia cały kod umożliwiający wdrożenie modelu za pośrednictwem notatnika SageMaker dostępnego z poziomu Studio. W tym poście prezentujemy tę możliwość ze studia.

• Na stronie powitalnej Studio wybierz Szybki start w części Gotowe i zautomatyzowane rozwiązania.

• Wybierz model Flan-T5 XXL poniżej Modele fundamentów.

• Domyślnie otwiera plik Rozmieścić patka. Rozwiń Konfiguracja wdrożenia sekcja, w której można zmienić hosting instance i endpoint namelub dodaj dodatkowe tagi. Istnieje również możliwość zmiany S3 bucket location gdzie artefakt modelu będzie przechowywany na potrzeby utworzenia punktu końcowego. W tym poście pozostawiamy wszystko z wartościami domyślnymi. Zanotuj nazwę punktu końcowego, która będzie używana podczas wywoływania punktu końcowego w celu tworzenia prognoz.

• rozwiń Ustawienia zabezpieczeń sekcję, w której możesz określić IAM role do tworzenia punktu końcowego. Możesz także określić VPC configurations przez zapewnienie subnets i security groups. Identyfikatory podsieci i identyfikatory grup zabezpieczeń można znaleźć na karcie Wyjścia stosu VPC w konsoli AWS CloudFormation. W ramach tej konfiguracji SageMaker JumpStart wymaga co najmniej dwóch podsieci. Podsieci i grupy zabezpieczeń kontrolują dostęp do i z kontenera modelu.

UWAGA: Niezależnie od tego, czy model SageMaker JumpStart jest wdrożony w VPC, czy nie, model zawsze działa w trybie izolacji sieci, który izoluje kontener modelu, dzięki czemu nie można wykonywać przychodzących ani wychodzących połączeń sieciowych do lub z kontenera modelu. Ponieważ używamy VPC, SageMaker pobiera artefakt modelu za pośrednictwem naszej określonej VPC. Uruchomienie kontenera modelu w izolacji sieciowej nie uniemożliwia punktowi końcowemu SageMaker odpowiadania na żądania wnioskowania. Proces serwera działa obok kontenera modelu i przekazuje mu żądania wnioskowania, ale kontener modelu nie ma dostępu do sieci.

• Dodaj Rozmieścić aby wdrożyć model. Możemy zobaczyć status tworzenia punktu końcowego w czasie zbliżonym do rzeczywistego. Utworzenie punktu końcowego może zająć 5–10 minut.

Obserwuj wartość pola Lokalizacja danych modelu na tej stronie. Wszystkie modele SageMaker JumpStart są hostowane w zasobniku S3 zarządzanym przez SageMaker (s3://jumpstart-cache-prod-{region}). Dlatego niezależnie od tego, który model zostanie wybrany w programie JumpStart, zostanie on wdrożony z publicznie dostępnego zasobnika SageMaker JumpStart S3, a ruch nigdy nie będzie kierowany do interfejsów API zoo modeli publicznych w celu pobrania modelu. Dlatego tworzenie punktu końcowego modelu rozpoczęło się pomyślnie, nawet jeśli tworzymy punkt końcowy w VPC, która nie ma bezpośredniego dostępu do Internetu.

Artefakt modelu można również skopiować do dowolnego prywatnego zoo z modelami lub do własnego zasobnika S3, aby jeszcze bardziej kontrolować i zabezpieczać lokalizację źródła modelu. Możesz użyć następującego polecenia, aby pobrać model lokalnie za pomocą pliku Interfejs wiersza poleceń AWS (CLI AWS):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• Po kilku minutach punkt końcowy zostanie pomyślnie utworzony i wyświetli status jako Czynny, Wybierać Open Notebook Use Endpoint from Studio Sekcja. To jest przykładowy notatnik udostępniany w ramach programu JumpStart w celu szybkiego przetestowania punktu końcowego.

• W notatniku wybierz obraz jako Wiśniewska 3.0 i jądro jako Python 3. Gdy jądro będzie gotowe, możesz uruchomić komórki notatnika, aby dokonać prognoz na punkcie końcowym. Należy pamiętać, że notebook korzysta z wywołaj_punkt końcowy() API z AWS SDK dla Pythona aby przewidywać. Alternatywnie możesz skorzystać z Przewidywanie() pakietu SageMaker Python SDK metodą osiągnięcia tego samego rezultatu.

Na tym kończy się etap wdrażania modelu Flan-T5 XXL przy użyciu narzędzia JumpStart w ramach VPC bez dostępu do Internetu.

Zalety wdrażania modeli SageMaker JumpStart w trybie VPC

Poniżej przedstawiono niektóre zalety wdrażania modeli SageMaker JumpStart w trybie VPC:

• Ponieważ SageMaker JumpStart nie pobiera modeli z publicznego zoo modeli, można go używać w całkowicie zamkniętych środowiskach, a także tam, gdzie nie ma dostępu do Internetu
• Ponieważ dostęp do sieci może być ograniczony w przypadku modeli SageMaker JumpStart, pomaga to zespołom poprawić stan bezpieczeństwa środowiska
• Ze względu na granice VPC dostęp do punktu końcowego można również ograniczyć poprzez podsieci i grupy zabezpieczeń, co stanowi dodatkową warstwę bezpieczeństwa

Alternatywne sposoby dostosowywania wdrażania modeli podstawowych za pomocą SageMaker JumpStart

W tej sekcji udostępniamy alternatywne sposoby wdrażania modelu.

Użyj interfejsów API SageMaker JumpStart z preferowanego IDE

Modele dostarczane przez SageMaker JumpStart nie wymagają dostępu do Studio. Możesz wdrożyć je na punktach końcowych SageMaker z dowolnego IDE, dzięki Interfejsy API JumpStart. Możesz pominąć krok konfiguracji Studio omówiony wcześniej w tym poście i użyć interfejsów API JumpStart do wdrożenia modelu. Te interfejsy API dostarczają argumentów, w przypadku których można również dostarczyć konfiguracje VPC. Interfejsy API są częścią SageMaker SDK dla Pythona samo. Aby uzyskać więcej informacji, zobacz Wstępnie wytrenowane modele.

Korzystaj z notatników dostarczonych przez SageMaker JumpStart z SageMaker Studio

SageMaker JumpStart udostępnia także notebooki umożliwiające bezpośrednie wdrożenie modelu. Na stronie szczegółów modelu wybierz Otwórz notatnik , aby otworzyć przykładowy notes zawierający kod umożliwiający wdrożenie punktu końcowego. Notatnik używa Branżowe interfejsy API SageMaker JumpStart które umożliwiają wyświetlanie i filtrowanie modeli, pobieranie artefaktów oraz wdrażanie i wysyłanie zapytań do punktów końcowych. Możesz także edytować kod notesu zgodnie z wymaganiami konkretnego przypadku użycia.

Oczyść zasoby

Zapoznaj się z SPRZĄTANIE.md plik, aby znaleźć szczegółowe instrukcje usuwania Studio, VPC i innych zasobów utworzonych w ramach tego posta.

Rozwiązywanie problemów

Jeśli napotkasz jakiekolwiek problemy podczas tworzenia stosów CloudFormation, zapoznaj się z sekcją Rozwiązywanie problemów z CloudFormation.

Wnioski

Generatywna sztuczna inteligencja oparta na dużych modelach językowych zmienia sposób, w jaki ludzie zdobywają i wykorzystują wnioski z informacji. Organizacje działające w ściśle regulowanych przestrzeniach są jednak zobowiązane do korzystania z możliwości generatywnej sztucznej inteligencji w sposób, który pozwala im szybciej wprowadzać innowacje, ale także upraszcza wzorce dostępu do takich możliwości.

Zachęcamy do wypróbowania podejścia przedstawionego w tym poście, aby osadzić możliwości generatywnej sztucznej inteligencji w istniejącym środowisku, jednocześnie zachowując je we własnym środowisku VPC bez dostępu do Internetu. Więcej informacji na temat modeli fundamentów SageMaker JumpStart można znaleźć w poniższych artykułach:

---

O autorach

Vikesha Pandey’a jest architektem rozwiązań Machine Learning Specialist Solutions w AWS, pomagając klientom z branży finansowej projektować i budować rozwiązania w oparciu o generatywną sztuczną inteligencję i ML. Poza pracą Vikesh lubi próbować różnych kuchni i uprawiać sporty na świeżym powietrzu.

Mehrana Nikoo jest starszym architektem rozwiązań w AWS, współpracującym z firmami Digital Native w Wielkiej Brytanii i pomagającym im osiągnąć ich cele. Jego pasją jest wykorzystywanie swojego doświadczenia z inżynierii oprogramowania do uczenia maszynowego. Specjalizuje się w kompleksowym uczeniu maszynowym i praktykach MLOps.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Motoryzacja / pojazdy elektryczne, Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Przesunięcia bloków. Modernizacja własności offsetu środowiskowego. Dostęp tutaj.
• Źródło: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/