Karty modelu Amazon SageMaker umożliwiają standaryzację sposobu dokumentowania modeli, uzyskując w ten sposób wgląd w cykl życia modelu, od projektowania, budowania, szkolenia i oceny. Karty modeli mają być pojedynczym źródłem prawdziwych metadanych biznesowych i technicznych dotyczących modelu, które można wiarygodnie wykorzystać do celów audytu i dokumentacji. Zawierają arkusz informacyjny modelu, który jest ważny dla zarządzania modelem.
Do tej pory karty modeli były logicznie powiązane z modelem w programie Rejestr modelu Amazon SageMaker przy użyciu dopasowania nazwy modelu. Jednak rozwiązując problem biznesowy za pomocą modelu uczenia maszynowego (ML), w miarę iteracji problemu klienci tworzą wiele wersji modelu i muszą operacjonalizować wiele wersji modelu oraz zarządzać nimi. Dlatego potrzebują możliwości powiązania karty modelu z konkretną wersją modelu.
W tym poście omawiamy nową funkcję, która obsługuje integrację kart modeli z rejestrem modeli na poziomie wdrożonej wersji modelu. Omawiamy architekturę rozwiązania i najlepsze praktyki zarządzania wersjami kart modeli oraz przedstawiamy sposób konfigurowania, operacjonalizacji i zarządzania integracją kart modeli z wersją modelu w rejestrze modeli.
Omówienie rozwiązania
Karty modeli SageMaker pomagają w standaryzacji dokumentowania modeli z perspektywy zarządzania, a rejestr modeli SageMaker pomaga wdrażać i operacjonalizować modele ML. Rejestr modelu obsługuje hierarchiczną strukturę do organizowania i przechowywania modeli ML z informacjami o metadanych modelu.
Gdy organizacja rozwiązuje problem biznesowy za pomocą uczenia maszynowego, taki jak przewidywanie odejścia klientów, zalecamy wykonanie następujących kroków:
- Utwórz kartę modelu dla problemu biznesowego, który ma zostać rozwiązany.
- Utwórz modelową grupę pakietów dla problemu biznesowego, który ma zostać rozwiązany.
- Twórz, trenuj, oceniaj i rejestruj pierwszą wersję wersji pakietu modelowego (na przykład Customer Churn V1).
- Zaktualizuj kartę modelu, łącząc wersję pakietu modelu z kartą modelu.
- Podczas iteracji nowej wersji pakietu modelu sklonuj kartę modelu z poprzedniej wersji i połącz ją z nową wersją pakietu modelu (na przykład Customer Churn V2).
Poniższy rysunek ilustruje, w jaki sposób karta modelu SageMaker integruje się z rejestrem modeli.
Jak pokazano na powyższym diagramie, integracja kart modeli SageMaker i rejestru modeli umożliwia powiązanie karty modelu z określoną wersją modelu w rejestrze modeli. Umożliwia to ustanowienie jednego źródła prawdy dla zarejestrowanych wersji modelu, z obszerną i ustandaryzowaną dokumentacją na wszystkich etapach podróży modelu w SageMaker, ułatwiając wykrywanie i promując zarządzanie, zgodność i odpowiedzialność przez cały cykl życia modelu.
Sprawdzone metody zarządzania kartami modeli
Działanie w uczeniu maszynowym z zarządzaniem jest obecnie krytycznym wymogiem dla wielu organizacji korporacyjnych, zwłaszcza w branżach o wysokim stopniu regulacji. W ramach tych wymagań AWS udostępnia kilka usług, które umożliwiają niezawodne działanie środowiska ML.
Karty modeli SageMaker dokumentują krytyczne szczegóły dotyczące modeli ML w jednym miejscu w celu usprawnienia zarządzania i raportowania. Karty modelu pomagają uchwycić szczegóły, takie jak zamierzone użycie i ocena ryzyka modelu, szczegóły i metryki szkoleniowe, wyniki oceny i obserwacje oraz dodatkowe objaśnienia, takie jak rozważania, zalecenia i informacje niestandardowe.
Karty modeli muszą być zarządzane i aktualizowane w ramach procesu programowania przez cały czas Cykl życia uczenia maszynowego. Są ważną częścią ciągłego dostarczania i potoków w ML. W ten sam sposób, w jaki dobrze zaprojektowany projekt ML wdraża ciągłą integrację i ciągłe dostarczanie (CI/CD) pod parasolem MLOps, ciągły proces dokumentacji ML jest krytyczną możliwością w wielu regulowanych branżach lub w przypadkach użycia o wyższym ryzyku. Karty modeli są częścią najlepszych praktyk odpowiedzialnego i przejrzystego rozwoju ML.
Na poniższym diagramie pokazano, jak karty modelu powinny być częścią cyklu życia programowania.
Rozważ następujące najlepsze praktyki:
- Zalecamy tworzenie kart modelu na wczesnym etapie cyklu życia projektu. W pierwszej fazie projektu, kiedy pracujesz nad określenie celu biznesowego i sformułowanie problemu ML, należy zainicjować tworzenie karty modelu. Pracując nad różnymi etapami wymagań biznesowych i ważnych metryk wydajności, możesz utworzyć kartę modelu w stanie roboczym i określić szczegóły biznesowe i zamierzone zastosowania.
- Jako część twojego faza cyklu życia modelu, należy używać rejestru modeli do katalogowania modeli na potrzeby produkcji, zarządzania wersjami modeli i kojarzenia metadanych z modelem. Rejestr modelu umożliwia śledzenie rodowodu.
- Po pomyślnym wykonaniu iteracji i przygotowaniu się do wdrożenia modelu w środowisku produkcyjnym nadszedł czas na zaktualizowanie karty modelu. w faza cyklu życia wdrożenia, możesz zaktualizować szczegóły modelu na karcie modelu. Powinieneś również zaktualizować szczegóły szkolenia, szczegóły oceny, kwestie etyczne oraz zastrzeżenia i zalecenia.
Z kartami modeli są powiązane wersje. Dana wersja modelu jest niezmienna we wszystkich atrybutach poza statusem karty modelu. Jeśli wprowadzisz jakiekolwiek inne zmiany w karcie modelu, takie jak metryki oceny, opis lub przeznaczenie, SageMaker utworzy nową wersję karty modelu, aby odzwierciedlić zaktualizowane informacje. Ma to na celu zapewnienie, że raz utworzona karta modelu nie będzie mogła zostać zmodyfikowana. Ponadto każda unikatowa nazwa modelu może mieć tylko jedną powiązaną kartę modelu i nie można jej zmienić po utworzeniu karty modelu.
Modele ML są dynamiczne, a komponenty automatyzacji przepływu pracy umożliwiają łatwe skalowanie możliwości budowania, trenowania, testowania i wdrażania setek modeli w produkcji, szybsze iteracje, redukcję błędów wynikających z ręcznej orkiestracji i tworzenie powtarzalnych mechanizmów.
W związku z tym cykl życia kart modelu będzie wyglądał tak, jak opisano na poniższym diagramie. Za każdym razem, gdy aktualizujesz kartę modelu w całym cyklu życia modelu, automatycznie tworzysz nową wersję karty modelu. Za każdym razem, gdy przechodzisz do nowej wersji modelu, tworzysz nową kartę modelu, która może dziedziczyć niektóre informacje o karcie modelu z poprzednich wersji modelu i podlegać temu samemu cyklowi życia.
Wymagania wstępne
Ten post zakłada, że masz już modele w swoim rejestrze modeli. Jeśli chcesz śledzić dalej, możesz użyć następującego przykładu SageMaker na GitHub, aby wypełnić rejestr modelu: Integracja SageMaker Pipelines z Model Monitor i Clarify.
Zintegruj kartę modelu z wersją modelu w rejestrze modeli
W tym przykładzie mamy tzw model-monitor-clarify-group
package w naszym rejestrze modeli.
W tym pakiecie dostępne są dwie wersje modelowe.
W tym przykładzie łączymy wersję 1 modelu z nową kartą modelu. W rejestrze modelu można zobaczyć szczegóły dotyczące wersji 1.
Możemy teraz korzystać z nowej funkcji w SageMaker Python SDK. od sagemaker.model_card ModelPackage
możesz wybrać konkretną wersję modelu z rejestru modeli, z którą chcesz powiązać kartę modelu.
Możesz teraz utworzyć nową kartę modelu dla wersji modelu i określić model_package_details
parametr z pobranym poprzednim pakietem modelu. Musisz wypełnić kartę modelu wszystkimi niezbędnymi dodatkowymi szczegółami. Na potrzeby tego posta stworzymy jako przykład prostą kartę modelu.
Następnie możesz użyć tej definicji do utworzenia karty modelu przy użyciu zestawu SageMaker Python SDK.
Po ponownym załadowaniu karty modelu możesz zobaczyć powiązany model poniżej "__model_package_details"
.
Masz również możliwość zaktualizowania istniejącej karty modelu za pomocą model_package
jak pokazano w przykładowym fragmencie kodu poniżej:
Wreszcie, podczas tworzenia lub aktualizowania nowej wersji pakietu modeli w istniejącym pakiecie modeli, jeśli w tej grupie pakietów modeli istnieje już karta modeli, niektóre informacje, takie jak szczegóły biznesowe i zamierzone zastosowania, mogą zostać przeniesione do nowej karty modeli.
Sprzątać
Użytkownicy są odpowiedzialni za czyszczenie zasobów, jeśli zostały utworzone przy użyciu notesu wymienionego w sekcji wymagań wstępnych. Postępuj zgodnie z instrukcjami w notatniku, aby wyczyścić zasoby.
Wnioski
W tym poście omówiliśmy, jak zintegrować kartę modelu SageMaker z wersją modelu w rejestrze modeli. Udostępniliśmy architekturę rozwiązania wraz z najlepszymi praktykami wdrażania karty modelu i pokazaliśmy, jak skonfigurować i wdrożyć kartę modelu, aby poprawić stan zarządzania modelem. Zachęcamy do wypróbowania tego rozwiązania i podzielenia się swoją opinią w sekcji komentarzy.
O autorach
Rama Vittal jest głównym architektem rozwiązań ML w AWS. Ma ponad 20-letnie doświadczenie w architekturze i budowaniu aplikacji rozproszonych, hybrydowych i chmurowych. Pasjonuje się tworzeniem bezpiecznych i skalowalnych rozwiązań AI/ML i big data, aby pomóc klientom korporacyjnym w ich wdrażaniu i optymalizacji w chmurze w celu poprawy wyników biznesowych. W wolnym czasie jeździ na motocyklu i spaceruje ze swoją 2-letnią owcą-doodlem!
Fort Natacha jest rządowym kierownikiem ds. nauki o danych w sektorze publicznym w Australii i Nowej Zelandii, dyrektorem SA w AWS. Pomaga organizacjom w poruszaniu się po drodze uczenia maszynowego, wspierając je od sformułowania problemu uczenia maszynowego po wdrożenie do produkcji, jednocześnie upewniając się, że stosowane są najlepsze praktyki w zakresie architektury, aby zapewnić im sukces. Natacha koncentruje się z organizacjami na MLOps i odpowiedzialnej sztucznej inteligencji.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Motoryzacja / pojazdy elektryczne, Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Przesunięcia bloków. Modernizacja własności offsetu środowiskowego. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/integrate-amazon-sagemaker-model-cards-with-the-model-registry/
- :ma
- :Jest
- $W GÓRĘ
- 1
- 100
- 20
- 20 roku
- 7
- 8
- a
- zdolność
- O nas
- odpowiedzialność
- osiągnięcia
- w poprzek
- Dodatkowy
- do tego
- Przyjęcie
- Po
- ponownie
- AI
- AI / ML
- Wszystkie kategorie
- pozwala
- wzdłuż
- już
- również
- Amazonka
- Amazon Sage Maker
- Amazon Web Services
- an
- i
- każdy
- aplikacje
- architektura
- SĄ
- AS
- Współpracownik
- powiązany
- zakłada
- At
- atrybuty
- audytu
- Australia
- automatycznie
- Automatyzacja
- dostępny
- AWS
- BE
- poniżej
- BEST
- Najlepsze praktyki
- Duży
- Big Data
- budować
- Budowanie
- biznes
- CAN
- zdolność
- zdobyć
- karta
- Kartki okolicznosciowe
- prowadzone
- Etui
- katalog
- zmieniony
- Zmiany
- Sprzątanie
- Chmura
- adopcja chmury
- kod
- komentarze
- spełnienie
- składniki
- wszechstronny
- Rozważania
- ciągły
- Stwórz
- stworzony
- tworzy
- Tworzenie
- tworzenie
- krytyczny
- zwyczaj
- klient
- Klientów
- dane
- nauka danych
- definicja
- dostawa
- rozwijać
- wdrażane
- wdrażanie
- opisane
- opis
- projektowanie
- detale
- Ustalać
- oprogramowania
- różne
- dyskutować
- omówione
- dystrybuowane
- dokument
- dokumentacja
- projekt
- z powodu
- dynamiczny
- każdy
- Wcześnie
- z łatwością
- umożliwiać
- Umożliwia
- zachęcać
- zapewnić
- Enterprise
- Środowisko
- Błędy
- zapewniają
- etyczny
- oceniać
- ewaluację
- Każdy
- przykład
- Przede wszystkim system został opracowany
- istnieje
- doświadczenie
- ułatwienie
- szybciej
- Cecha
- informacja zwrotna
- Postać
- i terminów, a
- koncentruje
- obserwuj
- następujący
- W razie zamówieenia projektu
- od
- GitHub
- dany
- zarządzanie
- Rząd
- Zarządzanie
- Have
- he
- pomoc
- pomaga
- wyższy
- wysoko
- jego
- W jaki sposób
- How To
- Jednak
- HTML
- HTTPS
- Setki
- Hybrydowy
- if
- ilustruje
- niezmienny
- wykonawczych
- narzędzia
- ważny
- podnieść
- in
- przemysłowa
- Informacja
- zainicjować
- instrukcje
- integrować
- Integruje się
- Integracja
- integracja
- zamierzony
- najnowszych
- IT
- podróż
- jpg
- prowadzić
- nauka
- poziom
- wifecycwe
- lubić
- rodowód
- LINK
- Powiązanie
- załadunek
- Popatrz
- Partia
- maszyna
- uczenie maszynowe
- robić
- Dokonywanie
- zarządzanie
- zarządzane
- zarządzający
- podręcznik
- wiele
- Mecz
- Mechanizmy
- wzmiankowany
- Metadane
- Metryka
- ML
- MLOps
- model
- modele
- Moduł
- monitor
- motocykl
- wielokrotność
- Nazwa
- Nawigacja
- niezbędny
- Potrzebować
- Nowości
- Nowa Zelandia
- szczególnie
- notatnik
- już dziś
- of
- on
- pewnego razu
- ONE
- tylko
- działanie
- optymalizacja
- Option
- or
- orkiestracja
- organizacja
- organizacji
- organizowanie
- Inne
- ludzkiej,
- na zewnątrz
- wyniki
- koniec
- pakiet
- parametr
- część
- szczególny
- namiętny
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- perspektywa
- faza
- Miejsce
- plato
- Analiza danych Platona
- PlatoDane
- Proszę
- Post
- praktyki
- przepowiednia
- poprzedni
- Główny
- Problem
- wygląda tak
- Produkcja
- projekt
- promowanie
- zapewniać
- zapewnia
- publiczny
- cele
- Python
- RAM
- ocena
- gotowy
- polecić
- zalecenia
- zmniejszyć
- odzwierciedlić
- zarejestrować
- zarejestrowany
- rejestr
- regulowane
- branże regulowane
- rzetelny
- powtarzalne
- Raportowanie
- wymaganie
- wymagania
- Zasoby
- odpowiedzialny
- Efekt
- Ryzyko
- SA
- sagemaker
- taki sam
- skalowalny
- Skala
- nauka
- Sdk
- Sekcja
- sektor
- bezpieczne
- widzieć
- Usługi
- zestaw
- kilka
- Share
- shared
- ona
- powinien
- pokazał
- pokazane
- Targi
- Prosty
- pojedynczy
- skrawek
- rozwiązanie
- Rozwiązania
- Rozwiązuje
- Rozwiązywanie
- kilka
- Źródło
- specyficzny
- etapy
- Rynek
- Cel
- przechowywania
- usprawniony
- Struktura
- sukces
- Z powodzeniem
- taki
- Wspierający
- podpory
- pewnie
- Techniczny
- test
- niż
- że
- Połączenia
- ich
- Im
- następnie
- a tym samym
- w związku z tym
- one
- to
- tych
- Przez
- poprzez
- czas
- do
- już dziś
- Śledzenie
- Pociąg
- Trening
- przezroczysty
- Prawda
- próbować
- drugiej
- parasol
- dla
- wyjątkowy
- Aktualizacja
- zaktualizowane
- aktualizowanie
- posługiwać się
- używany
- zastosowania
- za pomocą
- v1
- wersja
- Wersje
- widoczność
- chcieć
- Droga..
- we
- sieć
- usługi internetowe
- były
- jeśli chodzi o komunikację i motywację
- Podczas
- będzie
- w
- Praca
- workflow
- pracujący
- by
- lat
- You
- Twój
- Zelandia
- zefirnet