Dzięki ostatnim postępom w generatywna sztuczna inteligencjatoczy się wiele dyskusji na temat wykorzystania generatywnej sztucznej inteligencji w różnych branżach do rozwiązywania konkretnych problemów biznesowych. Generatywna sztuczna inteligencja to rodzaj sztucznej inteligencji, który może tworzyć nowe treści i pomysły, w tym rozmowy, historie, obrazy, filmy i muzykę. Wszystko jest wspierane przez bardzo duże modele, które są wstępnie trenowane na ogromnych ilościach danych i powszechnie określane jako modele fundamentów (FM). Te FM mogą wykonywać szeroki zakres zadań obejmujących wiele dziedzin, takich jak pisanie postów na blogu, generowanie obrazów, rozwiązywanie problemów matematycznych, angażowanie się w dialog i odpowiadanie na pytania na podstawie dokumentu. Rozmiar i uniwersalny charakter FM odróżniają je od tradycyjnych modeli ML, które zazwyczaj wykonują określone zadania, takie jak analizowanie tekstu pod kątem tonacji, klasyfikacja obrazów i prognozowanie trendów.
Organizacje chcą wykorzystać moc tych FM, ale chcą również, aby rozwiązania oparte na FM działały w ich własnych, chronionych środowiskach. Organizacje działające w obszarach podlegających ścisłym regulacjom, takim jak globalne usługi finansowe oraz opieka zdrowotna i nauki przyrodnicze, mają wymagania dotyczące audytu i zgodności, aby móc uruchamiać swoje środowisko w swoich centrach VPC. W rzeczywistości często nawet bezpośredni dostęp do Internetu jest wyłączany w takich środowiskach, aby uniknąć narażenia na niezamierzony ruch, zarówno przychodzący, jak i wychodzący.
Amazon SageMaker JumpStart to centrum ML oferujące algorytmy, modele i rozwiązania ML. Dzięki SageMaker JumpStart praktycy ML mogą wybierać z rosnącej listy najskuteczniejszych rozwiązań FM typu open source. Zapewnia także możliwość samodzielnego wdrażania tych modeli Wirtualna chmura prywatna (VPC).
W tym poście pokazujemy, jak używać programu JumpStart do wdrażania aplikacji Flan-T5 XXL model w VPC bez połączenia z Internetem. Omawiamy następujące tematy:
- Jak wdrożyć model podstawowy za pomocą SageMaker JumpStart w VPC bez dostępu do Internetu
- Zalety wdrażania FM za pomocą modeli SageMaker JumpStart w trybie VPC
- Alternatywne sposoby dostosowywania wdrażania modeli fundamentów za pomocą JumpStart
Oprócz FLAN-T5 XXL, JumpStart oferuje wiele różnych modeli fundamentów do różnych zadań. Aby zobaczyć pełną listę, sprawdź Pierwsze kroki z Amazon SageMaker JumpStart.
Omówienie rozwiązania
W ramach rozwiązania uwzględniamy następujące kroki:
- Skonfiguruj VPC bez połączenia z Internetem.
- Ustawiać Studio Amazon SageMaker za pomocą utworzonego przez nas środowiska VPC.
- Wdróż generatywny model podstawowy AI Flan T5-XXL za pomocą JumpStart w VPC bez dostępu do Internetu.
Poniżej znajduje się diagram architektury rozwiązania.
Przeanalizujmy różne etapy wdrożenia tego rozwiązania.
Wymagania wstępne
Aby śledzić ten post, potrzebujesz:
Skonfiguruj VPC bez połączenia z Internetem
Utwórz nowy stos CloudFormation przy użyciu 01_networking.yaml szablon. Ten szablon tworzy nową sieć VPC i dodaje dwie prywatne podsieci w dwóch strefach dostępności bez połączenia z Internetem. Następnie wdraża punkty końcowe VPC bramy umożliwiające dostęp Usługa Amazon Simple Storage (Amazon S3) i interfejs punktów końcowych VPC dla SageMaker i kilku innych usług, aby umożliwić zasobom w VPC łączenie się z usługami AWS za pośrednictwem Prywatny link AWS.
Podaj nazwę stosu, na przykład No-Internet
i zakończ proces tworzenia stosu.
To rozwiązanie nie jest wysoce dostępne, ponieważ szablon CloudFormation tworzy punkty końcowe interfejsu VPC tylko w jednej podsieci, aby obniżyć koszty, wykonując czynności opisane w tym poście.
Skonfiguruj Studio przy użyciu VPC
Utwórz kolejny stos CloudFormation za pomocą 02_sagemaker_studio.yaml, który tworzy domenę Studio, profil użytkownika Studio i zasoby pomocnicze, takie jak role IAM. Wybierz nazwę stosu; w tym poście używamy nazwy SageMaker-Studio-VPC-No-Internet
. Podaj nazwę utworzonego wcześniej stosu VPC (No-Internet
) jako CoreNetworkingStackName
parametr i pozostaw wszystko inne jako domyślne.
Poczekaj, aż AWS CloudFormation zgłosi zakończenie tworzenia stosu. Możesz potwierdzić, że domena Studio jest dostępna do użycia na konsoli SageMaker.
Aby sprawdzić, czy użytkownik domeny Studio nie ma dostępu do Internetu, uruchom Studio za pomocą konsoli SageMaker, Wybierać filet, Nowości, terminal, a następnie spróbuj uzyskać dostęp do zasobu internetowego. Jak pokazano na poniższym zrzucie ekranu, terminal będzie czekał na zasób i ostatecznie upłynie limit czasu.
Dowodzi to, że Studio działa w środowisku VPC, które nie ma dostępu do Internetu.
Wdróż generatywny model podstawowy AI Flan T5-XXL za pomocą JumpStart
Model ten możemy wdrożyć zarówno poprzez Studio, jak i poprzez API. JumpStart udostępnia cały kod umożliwiający wdrożenie modelu za pośrednictwem notatnika SageMaker dostępnego z poziomu Studio. W tym poście prezentujemy tę możliwość ze studia.
- Na stronie powitalnej Studio wybierz Szybki start w części Gotowe i zautomatyzowane rozwiązania.
- Wybierz model Flan-T5 XXL poniżej Modele fundamentów.
- Domyślnie otwiera plik Rozmieścić patka. Rozwiń Konfiguracja wdrożenia sekcja, w której można zmienić
hosting instance
iendpoint name
lub dodaj dodatkowe tagi. Istnieje również możliwość zmianyS3 bucket location
gdzie artefakt modelu będzie przechowywany na potrzeby utworzenia punktu końcowego. W tym poście pozostawiamy wszystko z wartościami domyślnymi. Zanotuj nazwę punktu końcowego, która będzie używana podczas wywoływania punktu końcowego w celu tworzenia prognoz.
- rozwiń Ustawienia zabezpieczeń sekcję, w której możesz określić
IAM role
do tworzenia punktu końcowego. Możesz także określićVPC configurations
przez zapewnieniesubnets
isecurity groups
. Identyfikatory podsieci i identyfikatory grup zabezpieczeń można znaleźć na karcie Wyjścia stosu VPC w konsoli AWS CloudFormation. W ramach tej konfiguracji SageMaker JumpStart wymaga co najmniej dwóch podsieci. Podsieci i grupy zabezpieczeń kontrolują dostęp do i z kontenera modelu.
UWAGA: Niezależnie od tego, czy model SageMaker JumpStart jest wdrożony w VPC, czy nie, model zawsze działa w trybie izolacji sieci, który izoluje kontener modelu, dzięki czemu nie można wykonywać przychodzących ani wychodzących połączeń sieciowych do lub z kontenera modelu. Ponieważ używamy VPC, SageMaker pobiera artefakt modelu za pośrednictwem naszej określonej VPC. Uruchomienie kontenera modelu w izolacji sieciowej nie uniemożliwia punktowi końcowemu SageMaker odpowiadania na żądania wnioskowania. Proces serwera działa obok kontenera modelu i przekazuje mu żądania wnioskowania, ale kontener modelu nie ma dostępu do sieci.
- Dodaj Rozmieścić aby wdrożyć model. Możemy zobaczyć status tworzenia punktu końcowego w czasie zbliżonym do rzeczywistego. Utworzenie punktu końcowego może zająć 5–10 minut.
Obserwuj wartość pola Lokalizacja danych modelu na tej stronie. Wszystkie modele SageMaker JumpStart są hostowane w zasobniku S3 zarządzanym przez SageMaker (s3://jumpstart-cache-prod-{region}
). Dlatego niezależnie od tego, który model zostanie wybrany w programie JumpStart, zostanie on wdrożony z publicznie dostępnego zasobnika SageMaker JumpStart S3, a ruch nigdy nie będzie kierowany do interfejsów API zoo modeli publicznych w celu pobrania modelu. Dlatego tworzenie punktu końcowego modelu rozpoczęło się pomyślnie, nawet jeśli tworzymy punkt końcowy w VPC, która nie ma bezpośredniego dostępu do Internetu.
Artefakt modelu można również skopiować do dowolnego prywatnego zoo z modelami lub do własnego zasobnika S3, aby jeszcze bardziej kontrolować i zabezpieczać lokalizację źródła modelu. Możesz użyć następującego polecenia, aby pobrać model lokalnie za pomocą pliku Interfejs wiersza poleceń AWS (CLI AWS):
aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .
- Po kilku minutach punkt końcowy zostanie pomyślnie utworzony i wyświetli status jako Czynny, Wybierać
Open Notebook
Use Endpoint from Studio
Sekcja. To jest przykładowy notatnik udostępniany w ramach programu JumpStart w celu szybkiego przetestowania punktu końcowego.
- W notatniku wybierz obraz jako Wiśniewska 3.0 i jądro jako Python 3. Gdy jądro będzie gotowe, możesz uruchomić komórki notatnika, aby dokonać prognoz na punkcie końcowym. Należy pamiętać, że notebook korzysta z wywołaj_punkt końcowy() API z AWS SDK dla Pythona aby przewidywać. Alternatywnie możesz skorzystać z Przewidywanie() pakietu SageMaker Python SDK metodą osiągnięcia tego samego rezultatu.
Na tym kończy się etap wdrażania modelu Flan-T5 XXL przy użyciu narzędzia JumpStart w ramach VPC bez dostępu do Internetu.
Zalety wdrażania modeli SageMaker JumpStart w trybie VPC
Poniżej przedstawiono niektóre zalety wdrażania modeli SageMaker JumpStart w trybie VPC:
- Ponieważ SageMaker JumpStart nie pobiera modeli z publicznego zoo modeli, można go używać w całkowicie zamkniętych środowiskach, a także tam, gdzie nie ma dostępu do Internetu
- Ponieważ dostęp do sieci może być ograniczony w przypadku modeli SageMaker JumpStart, pomaga to zespołom poprawić stan bezpieczeństwa środowiska
- Ze względu na granice VPC dostęp do punktu końcowego można również ograniczyć poprzez podsieci i grupy zabezpieczeń, co stanowi dodatkową warstwę bezpieczeństwa
Alternatywne sposoby dostosowywania wdrażania modeli podstawowych za pomocą SageMaker JumpStart
W tej sekcji udostępniamy alternatywne sposoby wdrażania modelu.
Użyj interfejsów API SageMaker JumpStart z preferowanego IDE
Modele dostarczane przez SageMaker JumpStart nie wymagają dostępu do Studio. Możesz wdrożyć je na punktach końcowych SageMaker z dowolnego IDE, dzięki Interfejsy API JumpStart. Możesz pominąć krok konfiguracji Studio omówiony wcześniej w tym poście i użyć interfejsów API JumpStart do wdrożenia modelu. Te interfejsy API dostarczają argumentów, w przypadku których można również dostarczyć konfiguracje VPC. Interfejsy API są częścią SageMaker SDK dla Pythona samo. Aby uzyskać więcej informacji, zobacz Wstępnie wytrenowane modele.
Korzystaj z notatników dostarczonych przez SageMaker JumpStart z SageMaker Studio
SageMaker JumpStart udostępnia także notebooki umożliwiające bezpośrednie wdrożenie modelu. Na stronie szczegółów modelu wybierz Otwórz notatnik , aby otworzyć przykładowy notes zawierający kod umożliwiający wdrożenie punktu końcowego. Notatnik używa Branżowe interfejsy API SageMaker JumpStart które umożliwiają wyświetlanie i filtrowanie modeli, pobieranie artefaktów oraz wdrażanie i wysyłanie zapytań do punktów końcowych. Możesz także edytować kod notesu zgodnie z wymaganiami konkretnego przypadku użycia.
Oczyść zasoby
Zapoznaj się z SPRZĄTANIE.md plik, aby znaleźć szczegółowe instrukcje usuwania Studio, VPC i innych zasobów utworzonych w ramach tego posta.
Rozwiązywanie problemów
Jeśli napotkasz jakiekolwiek problemy podczas tworzenia stosów CloudFormation, zapoznaj się z sekcją Rozwiązywanie problemów z CloudFormation.
Wnioski
Generatywna sztuczna inteligencja oparta na dużych modelach językowych zmienia sposób, w jaki ludzie zdobywają i wykorzystują wnioski z informacji. Organizacje działające w ściśle regulowanych przestrzeniach są jednak zobowiązane do korzystania z możliwości generatywnej sztucznej inteligencji w sposób, który pozwala im szybciej wprowadzać innowacje, ale także upraszcza wzorce dostępu do takich możliwości.
Zachęcamy do wypróbowania podejścia przedstawionego w tym poście, aby osadzić możliwości generatywnej sztucznej inteligencji w istniejącym środowisku, jednocześnie zachowując je we własnym środowisku VPC bez dostępu do Internetu. Więcej informacji na temat modeli fundamentów SageMaker JumpStart można znaleźć w poniższych artykułach:
O autorach
Vikesha Pandey’a jest architektem rozwiązań Machine Learning Specialist Solutions w AWS, pomagając klientom z branży finansowej projektować i budować rozwiązania w oparciu o generatywną sztuczną inteligencję i ML. Poza pracą Vikesh lubi próbować różnych kuchni i uprawiać sporty na świeżym powietrzu.
Mehrana Nikoo jest starszym architektem rozwiązań w AWS, współpracującym z firmami Digital Native w Wielkiej Brytanii i pomagającym im osiągnąć ich cele. Jego pasją jest wykorzystywanie swojego doświadczenia z inżynierii oprogramowania do uczenia maszynowego. Specjalizuje się w kompleksowym uczeniu maszynowym i praktykach MLOps.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Motoryzacja / pojazdy elektryczne, Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Przesunięcia bloków. Modernizacja własności offsetu środowiskowego. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/
- :ma
- :Jest
- :nie
- :Gdzie
- $W GÓRĘ
- 100
- 7
- a
- zdolność
- O nas
- dostęp
- dostępny
- Dostęp
- Osiągać
- nabyć
- w poprzek
- Dodaj
- Dodatkowy
- Dodaje
- postępy
- Zalety
- AI
- Algorytmy
- Wszystkie kategorie
- dopuszczać
- pozwala
- wzdłuż
- wzdłuż
- również
- zawsze
- Amazonka
- Amazon Sage Maker
- Amazon SageMaker JumpStart
- Amazon Web Services
- kwoty
- an
- Analizując
- i
- Inne
- każdy
- api
- Pszczoła
- Aplikuj
- Stosowanie
- podejście
- architektura
- SĄ
- argumenty
- AS
- At
- zautomatyzowane
- dostępność
- dostępny
- uniknąć
- AWS
- Tworzenie chmury AWS
- poparła
- na podstawie
- BE
- bo
- BEST
- Blog
- Najnowsze wpisy
- obie
- Granice
- budować
- biznes
- biznes
- ale
- by
- Połączenia
- CAN
- możliwości
- zdolność
- Komórki
- zmiana
- wymiana pieniędzy
- ZOBACZ
- Dodaj
- Chmura
- kod
- powszechnie
- kompletny
- spełnienie
- systemu
- Potwierdzać
- Skontaktuj się
- połączenie
- Łączność
- Konsola
- Pojemnik
- zawartość
- kontrola
- rozmowy
- Koszty:
- mógłby
- pokrywa
- Stwórz
- stworzony
- tworzy
- Tworzenie
- tworzenie
- Klientów
- dostosować
- dane
- Domyślnie
- wykazać
- rozwijać
- wdrażane
- wdrażanie
- Wdrożenie
- wdraża się
- Wnętrze
- detal
- szczegółowe
- Dialog
- różne
- cyfrowy
- kierować
- bezpośrednio
- niepełnosprawny
- dyskutować
- omówione
- dyskusje
- dokument
- Nie
- domena
- domeny
- nie
- na dół
- pobieranie
- pliki do pobrania
- Wcześniej
- więcej
- osadzać
- zachęcać
- koniec końców
- Punkt końcowy
- ujmujący
- Inżynieria
- Środowisko
- środowiska
- Parzyste
- ostatecznie
- wszystko
- Przede wszystkim system został opracowany
- Rozszerzać
- doświadczenie
- Ekspozycja
- dodatkowy
- fakt
- szybciej
- kilka
- pole
- filet
- filtrować
- budżetowy
- branże finansowe
- usługi finansowe
- Znajdź
- obserwuj
- następujący
- W razie zamówieenia projektu
- znaleziono
- Fundacja
- od
- w pełni
- dalej
- Bramka
- ogólny cel
- generujący
- generatywny
- generatywna sztuczna inteligencja
- Globalne
- globalne finanse
- Gole
- Goes
- Zarządzanie
- Grupy
- Rozwój
- Wydarzenie
- Have
- he
- opieki zdrowotnej
- ciężko
- pomoc
- pomaga
- wysoko
- jego
- hostowane
- W jaki sposób
- How To
- Jednak
- HTML
- http
- HTTPS
- Piasta
- pomysły
- ids
- obraz
- zdjęcia
- wdrożenia
- podnieść
- in
- Włącznie z
- przemysłowa
- przemysł
- Informacja
- wprowadzać innowacje
- wewnątrz
- spostrzeżenia
- Interfejs
- Internet
- dostęp do Internetu
- połączenie internetowe
- niezależny
- izolacja
- problemy
- IT
- JEGO
- samo
- jpg
- Trzymać
- konserwacja
- język
- duży
- warstwa
- nauka
- najmniej
- Pozostawiać
- życie
- Life Sciences
- lubić
- Ograniczony
- Linia
- Lista
- lokalnie
- lokalizacja
- poszukuje
- Partia
- maszyna
- uczenie maszynowe
- zrobiony
- robić
- Dokonywanie
- zarządzane
- matematyka
- Może..
- metoda
- minut
- ML
- MLOps
- Moda
- model
- modele
- jeszcze
- wielokrotność
- Muzyka
- Nazwa
- rodzimy
- Natura
- Potrzebować
- sieć
- nigdy
- Nowości
- Nie
- notatnik
- of
- oferuje
- on
- ONE
- tylko
- koncepcja
- open source
- otwiera
- operacyjny
- Option
- or
- organizacji
- Inne
- ludzkiej,
- na zewnątrz
- zewnętrzne
- własny
- strona
- parametr
- część
- namiętny
- wzory
- Ludzie
- dla
- wykonać
- wykonywania
- doborowy
- plato
- Analiza danych Platona
- PlatoDane
- gra
- Post
- Wiadomości
- power
- powered
- praktyki
- przewidzieć
- Przewidywania
- Urządzenie prognozujące
- Korzystny
- zapobiec
- prywatny
- problemy
- wygląda tak
- Profil
- Postęp
- chroniony
- dowodzi
- zapewniać
- pod warunkiem,
- zapewnia
- że
- publiczny
- publicznie
- Python
- pytania
- szybko
- zasięg
- Czytający
- gotowy
- niedawny
- zmniejszyć
- , o którym mowa
- regulowane
- Raporty
- wywołań
- wymagać
- wymagany
- wymagania
- Wymaga
- Zasób
- Zasoby
- odpowiadanie
- dalsze
- role
- run
- bieganie
- działa
- sagemaker
- taki sam
- nauka
- NAUKI
- Sdk
- Sekcja
- bezpieczne
- bezpieczeństwo
- widzieć
- senior
- sentyment
- Usługi
- ustawienie
- Share
- prezentacja
- pokazane
- Targi
- Prosty
- Rozmiar
- So
- Tworzenie
- Inżynieria oprogramowania
- rozwiązanie
- Rozwiązania
- ROZWIĄZANIA
- Rozwiązywanie
- kilka
- Źródło
- obowiązuje
- rozpiętość
- specjalista
- specjalizuje się
- specyficzny
- określony
- SPORTOWE
- stos
- Półki na książki
- rozpoczęty
- Rynek
- Ewolucja krok po kroku
- Cel
- Nadal
- przechowywanie
- przechowywany
- historie
- studio
- podsieci
- podsieci
- Z powodzeniem
- taki
- w zestawie
- Wspierający
- Brać
- zadania
- Zespoły
- szablon
- terminal
- test
- Podziękowania
- że
- Połączenia
- UK
- ich
- Im
- następnie
- Tam.
- w związku z tym
- Te
- one
- to
- Przez
- czas
- czasy
- do
- tematy
- tradycyjny
- ruch drogowy
- Trendy
- próbować
- drugiej
- rodzaj
- zazwyczaj
- Uk
- dla
- aż do
- posługiwać się
- używany
- Użytkownik
- zastosowania
- za pomocą
- wartość
- Wartości
- różnorodny
- Naprawiono
- zweryfikować
- początku.
- przez
- Filmy
- Czekanie
- chcieć
- Droga..
- sposoby
- we
- sieć
- usługi internetowe
- powitanie
- DOBRZE
- jeśli chodzi o komunikację i motywację
- czy
- który
- Podczas
- dlaczego
- szeroki
- Szeroki zasięg
- Wikipedia
- będzie
- w
- w ciągu
- Praca
- pracujący
- pisanie
- jamla
- You
- Twój
- zefirnet
- Strefy
- ZOO