Modele uczenia maszynowego (ML) nie działają w izolacji. Aby zapewnić wartość, muszą zostać zintegrowane z istniejącymi systemami produkcyjnymi i infrastrukturą, co wymaga uwzględnienia całego cyklu życia uczenia maszynowego podczas projektowania i rozwoju. Operacje ML, znane jako MLOps, koncentrują się na usprawnianiu, automatyzacji i monitorowaniu modeli ML w całym ich cyklu życia. Budowa solidnego rurociągu MLOps wymaga współpracy międzyfunkcyjnej. Analitycy danych, inżynierowie ML, personel IT i zespoły DevOps muszą współpracować, aby operacjonalizować modele od badań po wdrożenie i konserwację. Dzięki odpowiednim procesom i narzędziom MLOps umożliwia organizacjom niezawodne i wydajne wdrażanie ML w swoich zespołach.
Chociaż wymagania dotyczące potoków ciągłej integracji i ciągłego dostarczania (CI/CD) mogą być unikalne i odzwierciedlać potrzeby każdej organizacji, skalowanie praktyk MLOps w zespołach można uprościć, korzystając z zarządzanych orkiestracji i narzędzi, które mogą przyspieszyć proces programowania i wyeliminować niezróżnicowane obciążenie .
Amazon SageMaker MLOps to zestaw funkcji, który obejmuje Projekty Amazon SageMaker (CI/CD), Rurociągi Amazon SageMaker i Rejestr modelu Amazon SageMaker.
Rurociągi SageMaker umożliwia proste tworzenie przepływów pracy ML i zarządzanie nimi, oferując jednocześnie możliwości przechowywania i ponownego wykorzystania etapów przepływu pracy. The Rejestr modeli SageMaker centralizuje śledzenie modeli, upraszczając wdrażanie modeli. Projekty SageMakera wprowadza praktyki CI/CD do ML, w tym parzystość środowiska, kontrolę wersji, testowanie i automatyzację. Pozwala to na szybkie wdrożenie CI/CD w środowisku ML, ułatwiając efektywną skalowalność w całym przedsiębiorstwie.
Wbudowany Szablony projektów przez Amazon Sage Maker obejmują integrację z niektórymi narzędziami innych firm, takimi jak Jenkins do orkiestracji i GitHub do kontroli źródła, a kilka wykorzystuje natywne narzędzia CI/CD AWS, takie jak Zatwierdzenie kodu AWS, AWS Code Pipeline, Tworzenie kodu AWS. Jednak w wielu scenariuszach klienci chcieliby zintegrować SageMaker Pipelines z innymi istniejącymi narzędziami CI/CD i w związku z tym stworzyć własne szablony projektów.
W tym poście pokażemy Ci krok po kroku implementację, która pozwoli osiągnąć następujące cele:
- Utwórz niestandardowy szablon projektu SageMaker MLOps, który integruje się z GitHub i GitHub Actions
- Udostępnij niestandardowe szablony projektów w Studio Amazon SageMaker dla Twojego zespołu analityki danych dzięki udostępnianiu jednym kliknięciem
Omówienie rozwiązania
W tym poście konstruujemy następującą architekturę. Tworzymy zautomatyzowany potok budowania modelu, który obejmuje etapy przygotowania danych, uczenia modelu, oceny modelu i rejestracji wytrenowanego modelu w rejestrze modeli SageMaker. Powstały wyszkolony model uczenia maszynowego jest następnie wdrażany z rejestru modeli SageMaker w środowiskach przejściowych i produkcyjnych po ręcznym zatwierdzeniu.
Zagłębmy się w elementy tej architektury, aby zrozumieć pełną konfigurację.
GitHub i akcje GitHub
GitHub to platforma internetowa zapewniająca kontrolę wersji i zarządzanie kodem źródłowym za pomocą Git. Umożliwia zespołom współpracę przy projektach tworzenia oprogramowania, śledzenie zmian i zarządzanie repozytoriami kodu. GitHub służy jako scentralizowana lokalizacja do przechowywania, wersjonowania i zarządzania bazą kodu ML. Dzięki temu baza kodu ML i potoki są wersjonowane, udokumentowane i dostępne dla członków zespołu.
Akcje GitHub to potężne narzędzie do automatyzacji w ekosystemie GitHub. Umożliwia tworzenie niestandardowych przepływów pracy, które automatyzują procesy cyklu życia oprogramowania, takie jak budowanie, testowanie i wdrażanie kodu. Możesz tworzyć przepływy pracy sterowane zdarzeniami wyzwalane przez określone zdarzenia, na przykład wypychanie kodu do repozytorium lub tworzenie żądania ściągnięcia. Implementując MLOps, możesz użyć GitHub Actions, aby zautomatyzować różne etapy potoku ML, takie jak:
- Walidacja i wstępne przetwarzanie danych
- Szkolenie i ocena modeli
- Wdrożenie i monitorowanie modelu
- CI/CD dla modeli ML
Dzięki GitHub Actions możesz usprawnić przepływy pracy ML i mieć pewność, że Twoje modele są spójnie budowane, testowane i wdrażane, co prowadzi do bardziej wydajnych i niezawodnych wdrożeń ML.
W poniższych sekcjach zaczynamy od skonfigurowania wymagań wstępnych dotyczących niektórych komponentów używanych w ramach tej architektury:
- Tworzenie chmury AWS - Tworzenie chmury AWS inicjuje wdrożenie modelu i ustanawia punkty końcowe SageMaker po aktywowaniu potoku wdrażania modelu poprzez zatwierdzenie przeszkolonego modelu.
- Połączenie AWS CodeStar - Używamy AWS Code Star aby nawiązać połączenie z repozytorium GitHub i wykorzystać je do integracji repozytorium kodu z zasobami AWS, takimi jak SageMaker Studio.
- Most zdarzeń Amazona - Most zdarzeń Amazona śledzi wszystkie modyfikacje w rejestrze modeli. Utrzymuje również regułę, która monituje funkcję Lambda o wdrożenie potoku modelu, gdy status wersji pakietu modelu zmieni się z
PendingManualApproval
doApproved
w rejestrze modeli. - AWS Lambda – Używamy an AWS Lambda funkcja inicjująca przepływ pracy wdrażania modelu w akcjach GitHub po zarejestrowaniu nowego modelu w rejestrze modeli.
- Amazon Sage Maker – Konfigurujemy następujące komponenty SageMaker:
- Rurociąg – Ten komponent składa się z ukierunkowanego wykresu acyklicznego (DAG), który pomaga nam zbudować zautomatyzowany przepływ pracy ML dla etapów przygotowania danych, uczenia modelu i oceny modelu. Rejestr modelu przechowuje zapisy wersji modelu, powiązanych z nimi artefaktów, pochodzenia i metadanych. Ustanawia się grupę pakietów modeli, w której znajdują się wszystkie powiązane wersje modeli. Rejestr modeli jest również odpowiedzialny za zarządzanie statusem zatwierdzenia wersji modelu do późniejszego wdrożenia.
- Punkt końcowy – Ten komponent konfiguruje dwa punkty końcowe HTTPS w czasie rzeczywistym na potrzeby wnioskowania. Konfigurację hostingu można dostosować na przykład pod kątem transformacji wsadowej lub wnioskowania asynchronicznego. Przejściowy punkt końcowy jest generowany, gdy potok wdrażania modelu jest aktywowany przez zatwierdzenie przeszkolonego modelu z rejestru modeli SageMaker. Ten punkt końcowy służy do sprawdzania wdrożonego modelu, zapewniając przewidywania spełniające nasze standardy dokładności. Gdy model jest przygotowany do wdrożenia produkcyjnego, produkcyjny punkt końcowy jest wdrażany na etapie ręcznego zatwierdzania w przepływie pracy GitHub Actions.
- Kod repozytorium – Spowoduje to utworzenie repozytorium Git jako zasobu na Twoim koncie SageMaker. Korzystając z istniejących danych z repozytorium kodu GitHub, które wprowadzisz podczas tworzenia projektu SageMaker, po zainicjowaniu projektu w SageMaker zostanie ustanowione powiązanie z tym samym repozytorium. Zasadniczo tworzy to łącze z repozytorium GitHub w SageMaker, umożliwiając interaktywne działania (pull/push) z twoim repozytorium.
- Rejestr modeli – Monitoruje różne wersje modelu i odpowiadające im artefakty, w tym pochodzenie i metadane. Zbiór znany jako grupa pakietów modelu tworzona jest obudowa związana z wersjami modelu. Ponadto rejestr modeli nadzoruje status zatwierdzenia wersji modelu, zapewniając jego gotowość do późniejszego wdrożenia.
- Menedżer tajemnic AWS – Aby bezpiecznie zachować swój osobisty token dostępu GitHub, konieczne jest ustalenie sekretu w Menedżer tajemnic AWS i umieść w nim swój token dostępu.
- Katalog usług AWS - Używamy Katalog usług AWS do realizacji projektów SageMaker, które obejmują komponenty takie jak repozytorium kodu SageMaker, funkcja Lambda, reguła EventBridge, wiadro artefaktów S3 itp., a wszystko to jest realizowane za pośrednictwem CloudFormation. Dzięki temu Twoja organizacja może wielokrotnie korzystać z szablonów projektów, przydzielać projekty każdemu użytkownikowi i usprawniać operacje.
- Amazon S3 – Używamy an Usługa Amazon Simple Storage Łyżka (Amazon S3) do przechowywania artefaktów modelu wytwarzanych przez rurociąg.
Wymagania wstępne
Powinieneś mieć następujące wymagania wstępne:
Przed wdrożeniem rozwiązania należy także wykonać dodatkowe kroki konfiguracyjne.
Skonfiguruj połączenie AWS CodeStar
Jeśli nie masz jeszcze połączenia AWS CodeStar ze swoim kontem GitHub, zapoznaj się z sekcją Utwórz połączenie z GitHub aby uzyskać instrukcje dotyczące tworzenia takiego pliku. Twoje połączenie AWS CodeStar ARN będzie wyglądać następująco:
W tym przykładzie aEXAMPLE-8aad-4d5d-8878-dfcab0bc441f
to unikalny identyfikator tego połączenia. Używamy tego identyfikatora podczas tworzenia naszego projektu SageMaker w dalszej części tego przykładu.
Skonfiguruj tajne klucze dostępu dla swojego tokena GitHub
Aby bezpiecznie przechowywać swój osobisty token dostępu GitHub, musisz utworzyć klucz tajny w Menedżerze sekretów. Jeśli nie masz osobistego tokena dostępu do GitHub, zobacz Zarządzanie osobistymi tokenami dostępu aby uzyskać instrukcje, jak je utworzyć.
Możesz utworzyć klasyczny lub szczegółowy token dostępu. Upewnij się jednak, że token ma dostęp do zawartości i akcji repozytorium (przepływów pracy, uruchomień i artefaktów).
Wykonaj następujące kroki, aby zapisać token w Menedżerze sekretów:
- W konsoli Secrets Manager wybierz Przechowaj nowy sekret.
- Wybierz Inny rodzaj tajemnicy dla Wybierz typ sekretu.
- Podaj nazwę swojego sekretu w pliku Klawisz i dodaj swój osobisty token dostępu do odpowiedniego wartość pole.
- Dodaj Następna, wprowadź nazwę swojego sekretu i wybierz Następna ponownie.
- Dodaj sklep aby zachować swój sekret.
Przechowując swój osobisty token dostępu GitHub w Menedżerze sekretów, możesz bezpiecznie uzyskać do niego dostęp w ramach potoku MLOps, zapewniając jednocześnie jego poufność.
Utwórz użytkownika IAM dla akcji GitHub
Aby umożliwić GitHub Actions wdrażanie punktów końcowych SageMaker w środowisku AWS, musisz utworzyć AWS Zarządzanie tożsamością i dostępem (IAM) i nadaj mu niezbędne uprawnienia. Aby uzyskać instrukcje, zobacz Tworzenie użytkownika IAM na koncie AWS. Użyj iam/GithubActionsMLOpsExecutionPolicy.json
plik (dostarczony w pliku próbka kodu), aby zapewnić temu użytkownikowi wystarczające uprawnienia do wdrażania punktów końcowych.
Po utworzeniu użytkownika uprawnień wygenerować klucz dostępu. Użyjesz tego klucza, który składa się zarówno z identyfikatora klucza dostępu, jak i tajnego klucza dostępu, w kolejnym kroku podczas konfigurowania kluczy tajnych GitHub.
Skonfiguruj swoje konto GitHub
Poniżej przedstawiono kroki przygotowania konta GitHub do uruchomienia tego przykładu.
Sklonuj repozytorium GitHub
W tym przykładzie możesz ponownie wykorzystać istniejące repozytorium GitHub. Łatwiej jest jednak utworzyć nowe repozytorium. To repozytorium będzie zawierać cały kod źródłowy zarówno dla kompilacji, jak i wdrożeń potoków SageMaker.
Skopiuj zawartość katalogu kodu początkowego do katalogu głównego repozytorium GitHub. Na przykład .github
katalog powinien znajdować się w katalogu głównym repozytorium GitHub.
Utwórz klucz tajny GitHub zawierający klucz dostępu użytkownika IAM
Na tym etapie przechowujemy w naszym pliku dane klucza dostępu nowo utworzonego użytkownika Sekret GitHuba.
- W witrynie GitHub przejdź do swojego repozytorium i wybierz Ustawienia.
- W sekcji Bezpieczeństwo wybierz Sekrety i zmienne i wybierz Akcje.
- Dodaj Nowy sekret repozytorium.
- W razie zamówieenia projektu Imię, wchodzić
AWS_ACCESS_KEY_ID
- W razie zamówieenia projektu Tajemnicawprowadź identyfikator klucza dostępu powiązany z utworzonym wcześniej użytkownikiem IAM.
- Dodaj Dodaj sekret.
- Powtórz tę samą procedurę dla
AWS_SECRET_ACCESS_KEY
Skonfiguruj środowiska GitHub
Aby utworzyć krok ręcznego zatwierdzania w naszych potokach wdrażania, używamy a Środowisko GitHuba. Wykonaj następujące kroki:
- Nawiguj do Ustawienia, Środowiska menu swojego repozytorium GitHub i utwórz nowe środowisko zwane produkcją.
- W razie zamówieenia projektu Zasady ochrony środowiska, Wybierz Wymagani recenzenci.
- Dodaj żądane nazwy użytkowników GitHub jako recenzentów. W tym przykładzie możesz wybrać własną nazwę użytkownika.
Należy pamiętać, że funkcja środowiska nie jest dostępna w niektórych typach planów GitHub. Aby uzyskać więcej informacji, zobacz Używanie środowisk do wdrażania.
Wdróż funkcję Lambda
W kolejnych krokach kompresujemy lambda_function.py
do pliku .zip, który jest następnie przesyłany do segmentu S3.
Odpowiedni przykład kodu można znaleźć poniżej GitHub repo. W szczególności lambda_function.py
znajduje się w lambda_functions/lambda_github_workflow_trigger katalogiem.
Zaleca się utworzenie rozwidlenia przykładowego kodu i zamiast tego sklonowanie go. Zapewni to swobodę modyfikowania kodu i eksperymentowania z różnymi aspektami próbki.
- Po uzyskaniu kopii kodu przejdź do odpowiedniego katalogu i użyj pliku
zip
polecenie kompresjilambda_function.py
. Zarówno użytkownicy systemu Windows, jak i MacOS mogą używać swojego natywnego systemu zarządzania plikami, odpowiednio Eksploratora plików lub Findera, aby wygenerować plik .zip.
- Prześlij plik
lambda-github-workflow-trigger.zip
do wiadra S3.
Dostęp do tego zasobnika będzie później możliwy w katalogu usług. Możesz wybrać dowolny zasobnik, do którego masz dostęp, pod warunkiem, że Katalog usług będzie w stanie w kolejnych krokach pobierać z niego dane.
Od tego kroku wymagana jest instalacja i konfiguracja AWS CLI v2. Alternatywą byłoby wykorzystanie AWS CloudShell, który jest dostarczany z preinstalowanymi wszystkimi niezbędnymi narzędziami, co eliminuje potrzebę jakichkolwiek dodatkowych konfiguracji.
- Aby przesłać plik do segmentu S3, użyj następującego polecenia:
Teraz konstruujemy warstwę Lambda dla zależności związanych z lambda_function
właśnie przesłaliśmy.
- Skonfiguruj środowisko wirtualne Python i zainstaluj zależności:
- Wygeneruj plik .zip za pomocą następujących poleceń:
- Opublikuj warstwę w AWS:
Po opublikowaniu tej warstwy wszystkie funkcje Lambda mogą teraz odwoływać się do niej, aby spełnić swoje zależności. Aby uzyskać bardziej szczegółowe informacje na temat warstw Lambda, zobacz Praca z warstwami Lambda.
Utwórz niestandardowy szablon projektu w SageMaker
Po wykonaniu wszystkich powyższych kroków dysponujemy wszystkimi zasobami i komponentami potoku CI/CD. Następnie pokazujemy, w jaki sposób możemy udostępnić te zasoby jako niestandardowy projekt w SageMaker Studio i wdrożyć go jednym kliknięciem.
Jak wspomniano wcześniej, gdy szablony dostarczone przez SageMaker nie spełniają Twoich potrzeb (na przykład chcesz mieć bardziej złożoną orkiestrację w CodePipeline z wieloma etapami, niestandardowymi etapami zatwierdzania lub zintegrować z narzędziem strony trzeciej, takim jak akcje GitHub i GitHub zademonstrowane w tym poście), możesz tworzyć własne szablony. Zalecamy rozpoczęcie od szablonów dostarczonych przez SageMaker, aby zrozumieć, jak zorganizować kod i zasoby i na ich podstawie budować. Więcej szczegółów znajdziesz w Twórz niestandardowe szablony projektów.
Pamiętaj, że możesz również zautomatyzować ten krok i zamiast tego użyć CloudFormation do wdrożenia portfela i produktu katalogu usług za pomocą kodu. Aby jednak ułatwić naukę, w tym poście pokażemy wdrożenie konsoli.
Na tym etapie korzystamy z dostarczonego szablonu CloudFormation, aby utworzyć portfolio katalogu usług, które pomaga nam tworzyć niestandardowe projekty w SageMaker.
Możesz utworzyć nową domenę lub ponownie wykorzystać swoją domenę SageMaker, wykonując poniższe kroki. Jeśli nie masz domeny, zobacz Dołącz do domeny Amazon SageMaker za pomocą szybkiej konfiguracji aby uzyskać instrukcje konfiguracji.
Po włączeniu dostępu administratora do szablonów SageMaker wykonaj następujące kroki:
- W konsoli Katalogu usług w obszarze Administracja w okienku nawigacji wybierz portfele.
- Dodaj Utwórz nowe portfolio.
- Nazwij portfolio „Szablony organizacji SageMaker”.
- Pobierz szablon.yml plik do komputera.
Ten szablon Cloud Formation zapewnia wszystkie zasoby CI/CD, których potrzebujemy jako konfiguracja, a infrastruktura jako kod. Możesz przestudiować szablon bardziej szczegółowo, aby zobaczyć, jakie zasoby są wdrożone w jego ramach. Ten szablon został dostosowany do integracji z GitHubem i GitHub Actions.
- W
template.yml
plik, zmień plikS3Bucket
wartość do zasobnika, do którego przesłałeś plik Lambda .zip:
- Wybierz nowe portfolio.
- Dodaj Prześlij nowy produkt.
- W razie zamówieenia projektu Nazwa produktu¸ wprowadź nazwę swojego szablonu. Używamy nazwy
build-deploy-github
. - W razie zamówieenia projektu Opiswprowadź opis.
- W razie zamówieenia projektu Właściciel, Wpisz swoje imię.
- Pod Szczegóły wersji, Dla Metoda wykonaniawybierz Użyj pliku szablonu.
- Dodaj Prześlij szablon.
- Prześlij pobrany szablon.
- W razie zamówieenia projektu Tytuł wersjiwybierz 1.0.
- Dodaj Review.
- Przejrzyj swoje ustawienia i wybierz Utwórz produkt.
- Dodaj Odśwież kod aby wystawić nowy produkt.
- Wybierz produkt, który właśnie stworzyłeś.
- Na Tagi dodaj następujący tag do produktu:
- Klawisz =
sagemaker:studio-visibility
- wartość =
true
- Klawisz =
Wracając do szczegółów portfela, powinieneś zobaczyć coś podobnego do poniższego zrzutu ekranu (z różnymi identyfikatorami).
- Na ograniczenia kartę, wybierz Utwórz wiązanie.
- W razie zamówieenia projektu Produktwybierz
build-deploy-github
(produkt, który właśnie utworzyłeś). - W razie zamówieenia projektu Przymus typ, wybierz Premiera.
- Pod Ograniczenie uruchomienia, Dla Metoda wykonaniawybierz Wybierz rolę IAM.
- Dodaj
AmazonSageMakerServiceCatalogProductsLaunchRole
. - Dodaj Stwórz.
- Na Grupy, role i użytkownicy kartę, wybierz Dodaj grupy, role, użytkowników.
- Na role wybierz rolę użytą podczas konfigurowania domeny SageMaker Studio. Tutaj można znaleźć rolę domeny SageMaker.
- Dodaj Dodaj dostęp.
Wdróż projekt z SageMaker Studio
W poprzednich sekcjach przygotowałeś niestandardowe środowisko projektowe MLOps. Stwórzmy teraz projekt używając tego szablonu:
- W konsoli SageMaker przejdź do domeny, w której chcesz utworzyć ten projekt.
- Na Premiera menu, wybierz Studio.
Zostaniesz przekierowany do środowiska SageMaker Studio.
- W SageMaker Studio, w panelu nawigacji w obszarze Rozmieszczeniawybierz Projekty.
- Dodaj Utwórz projekt.
- Na górze listy szablonów wybierz Szablony organizacji.
Jeśli pomyślnie przeszedłeś wszystkie poprzednie kroki, powinieneś zobaczyć nowy niestandardowy szablon projektu o nazwie Build-Deploy-GitHub
.
- Wybierz ten szablon i wybierz Wybierz Szablon projektu.
- Wpisz opcjonalny opis.
- W razie zamówieenia projektu Nazwa właściciela repozytorium GitHub, wprowadź właściciela swojego repozytorium GitHub. Na przykład, jeśli Twoje repozytorium znajduje się pod adresem
https://github.com/pooyavahidi/my-repo
, byłby właścicielpooyavahidi
. - W razie zamówieenia projektu Nazwa repozytorium GitHub, wpisz nazwę repozytorium, do którego skopiowałeś kod początkowy. Byłaby to po prostu nazwa repozytorium. Na przykład w
https://github.com/pooyavahidi/my-repo
, repo jestmy-repo
. - W razie zamówieenia projektu Unikalny identyfikator połączenia Codestarwprowadź unikalny identyfikator utworzonego połączenia AWS CodeStar.
- W razie zamówieenia projektu Nazwa sekretu w Menedżerze sekretów, który przechowuje token GitHubwprowadź nazwę klucza tajnego w Menedżerze sekretów, w którym utworzyłeś i zapisałeś token GitHub.
- W razie zamówieenia projektu Plik przepływu pracy GitHub do wdrożeniawprowadź nazwę pliku przepływu pracy GitHub (at
.github/workflows/deploy.yml
), gdzie znajdują się instrukcje dotyczące wdrażania. W tym przykładzie możesz zachować go jako domyślny, czylideploy.yml
. - Dodaj Utwórz projekt.
- Po utworzeniu projektu pamiętaj o zaktualizowaniu pliku
AWS_REGION
iSAGEMAKER_PROJECT_NAME
odpowiednio zmienne środowiskowe w plikach przepływu pracy GitHub. Pliki przepływu pracy znajdują się w repozytorium GitHub (skopiowane z kodu źródłowego), wewnątrz pliku.github/workflows
informator. Upewnij się, że zaktualizowałeś obabuild.yml
ideploy.yml
akta.
Teraz Twoje środowisko jest gotowe do działania! Możesz uruchamiać potoki bezpośrednio, wprowadzać zmiany i wypychać je do repozytorium GitHub, aby wyzwolić potok zautomatyzowanej kompilacji i zobaczyć, jak wszystkie etapy kompilacji i wdrażania są zautomatyzowane.
Sprzątać
Aby wyczyścić zasoby, wykonaj następujące kroki:
- Usuń stosy CloudFormation używane w projekcie SageMaker i punktach końcowych SageMaker.
- Usuń domenę SageMaker.
- Usuń zasoby katalogu usług.
- Usuń łącze połączenia AWS CodeStar z repozytorium GitHub.
- Usuń użytkownika IAM utworzonego dla akcji GitHub.
- Usuń klucz tajny w Menedżerze sekretów, który przechowuje dane dostępu osobistego do usługi GitHub.
Podsumowanie
W tym poście omówiliśmy proces używania niestandardowego szablonu projektu SageMaker MLOps do automatycznego konstruowania i organizowania potoku CI/CD. Ten potok skutecznie integruje istniejące mechanizmy CI/CD z możliwościami SageMaker w zakresie manipulacji danymi, uczenia modeli, zatwierdzania modeli i wdrażania modeli. W naszym scenariuszu skupiliśmy się na integracji GitHub Actions z projektami i potokami SageMaker. Aby uzyskać pełne zrozumienie szczegółów implementacji, odwiedź stronę Repozytorium GitHub. Możesz z tym eksperymentować i nie wahaj się zostawić żadnych pytań, jakie możesz mieć w sekcji komentarzy.
O autorach
Doktor Romina Sharifpour jest starszym architektem rozwiązań w zakresie uczenia maszynowego i sztucznej inteligencji w Amazon Web Services (AWS). Spędziła ponad 10 lat kierując projektowaniem i wdrażaniem innowacyjnych, kompleksowych rozwiązań, które umożliwiły postępy w zakresie uczenia maszynowego i sztucznej inteligencji. Obszary zainteresowań Rominy to przetwarzanie języka naturalnego, duże modele językowe i MLOps.
Pooya Vahidi jest starszym architektem rozwiązań w AWS, pasjonuje się informatyką, sztuczną inteligencją i przetwarzaniem w chmurze. Jako specjalista AI jest aktywnym członkiem zespołu AWS AI/ML Area-of-Depth. Dzięki ponad dwudziestoletniemu doświadczeniu w kierowaniu architekturą i inżynierią rozwiązań wielkoskalowych pomaga klientom w ich transformacyjnych podróżach poprzez technologie chmurowe i AI/ML.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/build-an-end-to-end-mlops-pipeline-using-amazon-sagemaker-pipelines-github-and-github-actions/
- :ma
- :Jest
- :nie
- :Gdzie
- $W GÓRĘ
- 10
- 100
- 114
- 14
- 20
- 28
- 7
- 8
- 9
- a
- Zdolny
- O nas
- powyżej
- przyśpieszyć
- dostęp
- dostęp
- dostępny
- odpowiednio
- Konto
- precyzja
- Osiągać
- w poprzek
- działania
- aktywny
- acykliczny
- Dodaj
- Dodatkowy
- Skorygowana
- przyjąć
- postępy
- Po
- ponownie
- AI
- AI / ML
- Wszystkie kategorie
- przeznaczyć
- dopuszczać
- pozwala
- już
- również
- alternatywny
- Amazonka
- Amazon Sage Maker
- Rurociągi Amazon SageMaker
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- i
- i infrastruktura
- każdy
- właściwy
- zatwierdzenie
- architektura
- SĄ
- obszary
- sztuczny
- sztuczna inteligencja
- AS
- aspekty
- powiązany
- Stowarzyszenie
- At
- zautomatyzować
- zautomatyzowane
- automatycznie
- automatyzacja
- Automatyzacja
- dostępny
- AWS
- tło
- baza
- BE
- być
- zanim
- obie
- budować
- Budowanie
- Buduje
- wybudowany
- wbudowany
- by
- nazywa
- CAN
- możliwości
- katalog
- CD
- scentralizowane
- zmiana
- Zmiany
- Dodaj
- klasyczny
- kleń
- kliknij
- Chmura
- cloud computing
- kod
- podstawa kodu
- współpracować
- współpraca
- kolekcja
- byliśmy spójni, od początku
- komentarze
- kompletny
- ukończenia
- kompleks
- składnik
- składniki
- wszechstronny
- komputer
- Computer Science
- computing
- poufność
- systemu
- skonfigurowany
- konfigurowanie
- połączenie
- wobec
- konsekwentnie
- składa się
- Konsola
- skonstruować
- zawierać
- treść
- ciągły
- kontrola
- Odpowiedni
- Stwórz
- stworzony
- tworzy
- Tworzenie
- tworzenie
- zwyczaj
- Klientów
- dostosowane
- DZIEŃ
- dane
- Przygotowywanie danych
- nauka danych
- lat
- Domyślnie
- dostarczyć
- dostawa
- sięgać
- wymagania
- wykazać
- wykazać
- Zależności
- rozwijać
- wdrażane
- wdrażanie
- Wdrożenie
- wdrożenia
- opis
- Wnętrze
- życzenia
- detal
- szczegółowe
- detale
- oprogramowania
- różne
- skierowany
- bezpośrednio
- omówione
- do
- domena
- nie
- podczas
- każdy
- Wcześniej
- łatwiej
- Ekosystem
- Efektywne
- faktycznie
- wydajny
- skutecznie
- bądź
- Elementy
- eliminując
- umożliwiać
- włączony
- Umożliwia
- umożliwiając
- koniec końców
- Punkt końcowy
- Inżynieria
- Inżynierowie
- zapewnić
- zapewnia
- zapewnienie
- Wchodzę
- Enterprise
- Cały
- Środowisko
- środowiska
- istotnie
- zapewniają
- ustanowiony
- ustanawia
- ustanowienie
- itp
- ewaluację
- wydarzenia
- przykład
- Przede wszystkim system został opracowany
- doświadczenie
- eksperyment
- ekspertyza
- badacz
- ułatwienie
- Cecha
- Korzyści
- czuć
- pole
- filet
- Akta
- Finder
- Skupiać
- koncentruje
- następujący
- W razie zamówieenia projektu
- widelec
- formacja
- formularze
- znaleziono
- Darmowy
- Wolność
- od
- funkcjonować
- Funkcje
- Generować
- wygenerowane
- otrzymać
- git
- GitHub
- Dać
- będzie
- poszedł
- przyznać
- wykres
- większy
- Zarządzanie
- Grupy
- Have
- he
- ciężki
- ciężkie podnoszenie
- pomaga
- Hosting
- dom
- domy
- obudowa
- W jaki sposób
- How To
- Jednak
- HTML
- http
- HTTPS
- ID
- tożsamość
- ids
- if
- realizacja
- realizowane
- wykonawczych
- in
- zawierać
- obejmuje
- Włącznie z
- Informacja
- Infrastruktura
- zainicjować
- Inicjuje
- Innowacyjny
- wkład
- wewnątrz
- zainstalować
- zainstalowany
- przykład
- zamiast
- instrukcje
- integrować
- Integruje się
- Integracja
- integracja
- Inteligencja
- interaktywne
- odsetki
- najnowszych
- Przedstawia
- izolacja
- IT
- JEGO
- Podróże
- jpg
- json
- właśnie
- Trzymać
- utrzymuje
- Klawisz
- Klawisze
- znany
- język
- duży
- na dużą skalę
- później
- uruchomić
- warstwa
- nioski
- prowadzący
- nauka
- Pozostawiać
- wifecycwe
- Modernizacja
- lubić
- rodowód
- LINK
- Lista
- usytuowany
- lokalizacja
- długo
- Popatrz
- wygląda jak
- maszyna
- uczenie maszynowe
- MacOS
- utrzymuje
- konserwacja
- robić
- zarządzanie
- zarządzane
- i konserwacjami
- kierownik
- zarządzający
- Manipulacja
- podręcznik
- wiele
- Mechanizmy
- Poznaj nasz
- członek
- Użytkownicy
- Menu
- Metadane
- może
- MIT
- ML
- MLOps
- model
- modele
- Modyfikacje
- modyfikować
- monitorowanie
- monitory
- jeszcze
- bardziej wydajny
- Ponadto
- wielokrotność
- musi
- Nazwa
- O imieniu
- Nazwy
- rodzimy
- Naturalny
- Przetwarzanie języka naturalnego
- Nawigacja
- Nawigacja
- niezbędny
- wymaga
- Potrzebować
- wymagania
- Nowości
- nowy produkt
- nowo
- Następny
- już dziś
- uzyskać
- of
- oferuje
- on
- ONE
- dalej
- działać
- operacje
- or
- orkiestracja
- organizacja
- organizacji
- Inne
- ludzkiej,
- koniec
- przegląd
- własny
- właściciel
- pakiet
- chleb
- parytet
- część
- przyjęcie
- namiętny
- uprawnienia
- osobisty
- rurociąg
- plany
- Platforma
- plato
- Analiza danych Platona
- PlatoDane
- teczka
- Post
- mocny
- praktyki
- Przewidywania
- przygotowanie
- Przygotować
- przygotowany
- warunki wstępne
- poprzedni
- procedura
- wygląda tak
- procesów
- przetwarzanie
- Wytworzony
- Produkt
- Produkcja
- profesjonalny
- projekt
- projektowanie
- monity
- ochrona
- zapewniać
- pod warunkiem,
- zapewnia
- opublikowany
- Naciskać
- popychany
- Python
- zapytania
- Szybki
- Gotowość
- gotowy
- w czasie rzeczywistym
- polecić
- Zalecana
- dokumentacja
- odnosić się
- odniesienie
- odzwierciedlić
- zarejestrowany
- Rejestracja
- rejestr
- związane z
- rzetelny
- usunąć
- WIELOKROTNIE
- składnica
- zażądać
- wymagać
- wymagania
- Badania naukowe
- Zasób
- Zasoby
- odpowiednio
- odpowiedzialny
- wynikły
- ponownie
- prawo
- krzepki
- Rola
- role
- korzeń
- Zasada
- run
- działa
- sagemaker
- Rurociągi SageMaker
- taki sam
- Zapisz
- Skalowalność
- skalowaniem
- scenariusz
- scenariusze
- nauka
- Naukowcy
- Tajemnica
- tajniki
- Sekcja
- działy
- bezpiecznie
- bezpieczeństwo
- widzieć
- nasienie
- wybierać
- senior
- służy
- usługa
- Usługi
- Zestawy
- ustawienie
- w panelu ustawień
- ustawienie
- kilka
- ona
- powinien
- pokazać
- podobny
- Prosty
- uproszczony
- upraszczanie
- Tworzenie
- rozwoju oprogramowania
- rozwiązanie
- Rozwiązania
- kilka
- coś
- Źródło
- Kod źródłowy
- napięcie
- specyficzny
- swoiście
- spędził
- Półki na książki
- Personel
- STAGE
- etapy
- inscenizacja
- standardy
- początek
- Startowy
- Rynek
- Ewolucja krok po kroku
- Cel
- przechowywanie
- sklep
- przechowywany
- sklep
- przechowywania
- bezpośredni
- opływowy
- usprawnienie
- studio
- Badanie
- kolejny
- Z powodzeniem
- taki
- wystarczający
- apartament
- pewnie
- system
- systemy
- TAG
- zespół
- Członkowie Zespołu
- Zespoły
- Technologies
- szablon
- Szablony
- przetestowany
- Testowanie
- że
- Połączenia
- Źródło
- ich
- następnie
- w związku z tym
- Te
- one
- Trzeci
- innych firm
- to
- tych
- Przez
- poprzez
- do
- razem
- żeton
- narzędzie
- narzędzia
- Top
- śledzić
- Śledzenie
- przeszkolony
- Trening
- Przekształcać
- transformacyjny
- wyzwalać
- rozsierdzony
- drugiej
- rodzaj
- typy
- dla
- zrozumieć
- zrozumienie
- wyjątkowy
- Aktualizacja
- przesłanych
- na
- us
- posługiwać się
- używany
- Użytkownik
- Użytkownicy
- za pomocą
- wykorzystać
- wykorzystany
- UPRAWOMOCNIĆ
- uprawomocnienie
- wartość
- różnorodny
- wersja
- Wersje
- przez
- Wirtualny
- Odwiedzić
- chodził
- chcieć
- we
- sieć
- usługi internetowe
- Web-based
- Strona internetowa
- Co
- jeśli chodzi o komunikację i motywację
- który
- Podczas
- będzie
- okna
- w
- w ciągu
- Praca
- pracować razem
- workflow
- przepływów pracy
- by
- lat
- You
- Twój
- zefirnet
- Zamek błyskawiczny