Treść i opinie zawarte w tym poście należą do autora będącego osobą trzecią, a AWS nie ponosi odpowiedzialności za treść ani dokładność tego postu.
Ponieważ coraz więcej organizacji korzysta z technik uczenia głębokiego, takich jak wizja komputerowa i przetwarzanie języka naturalnego, osobowość programisty uczenia maszynowego (ML) potrzebuje skalowalnych narzędzi do śledzenia eksperymentów, pochodzenia i współpracy. Śledzenie eksperymentu obejmuje metadane, takie jak system operacyjny, używana infrastruktura, biblioteka oraz zestawy danych wejściowych i wyjściowych — często śledzone ręcznie w arkuszu kalkulacyjnym. Pochodzenie obejmuje śledzenie zestawów danych, transformacji i algorytmów używanych do tworzenia modelu ML. Współpraca obejmuje programistów ML pracujących nad pojedynczym projektem, a także programistów ML, którzy dzielą się swoimi wynikami między zespołami i interesariuszami biznesowymi — jest to proces zwykle wykonywany za pośrednictwem poczty e-mail, zrzutów ekranu i prezentacji PowerPoint.
W tym poście szkolimy model do identyfikacji obiektów dla przypadku użycia pojazdu autonomicznego za pomocą Weights & Biases (W&B) oraz Amazon Sage Maker. Pokazujemy, w jaki sposób wspólne rozwiązanie zmniejsza ręczną pracę programisty ML, zapewnia większą przejrzystość w procesie opracowywania modelu i umożliwia zespołom współpracę przy projektach.
Uruchomimy ten przykład na Studio Amazon SageMaker do wypróbowania dla siebie.
Przegląd wag i odchyleń
Weights & Biases pomaga zespołom ML szybciej budować lepsze modele. Wystarczy kilka wierszy kodu w notatniku SageMaker, aby natychmiast debugować, porównywać i odtwarzać swoje modele — architekturę, hiperparametry, zatwierdzenia git, wagi modeli, użycie GPU, zestawy danych i prognozy — a wszystko to podczas współpracy z kolegami z zespołu.
W&B zaufało ponad 200,000 XNUMX praktyków ML z najbardziej innowacyjnych firm i organizacji badawczych na świecie. Aby wypróbować za darmo, zarejestruj się na Wagi i uprzedzeniaLub odwiedzić Lista W&B AWS Marketplace.
Pierwsze kroki z SageMaker Studio
SageMaker Studio to pierwsze w pełni zintegrowane środowisko programistyczne (IDE) dla ML. Studio udostępnia pojedynczy interfejs internetowy, w którym praktycy ML i analitycy danych mogą tworzyć, szkolić i wdrażać modele za pomocą kilku kliknięć w jednym miejscu.
Aby rozpocząć pracę ze Studio, potrzebujesz konta AWS i AWS Zarządzanie tożsamością i dostępem (IAM) użytkownik lub rola z uprawnieniami do tworzenia domeny Studio. Odnosić się do Na pokładzie do domeny Amazon SageMaker stworzyć domenę, a Dokumentacja studia aby zapoznać się z przeglądem korzystania z interfejsu graficznego i notatników programu Studio.
Skonfiguruj środowisko
W tym poście jesteśmy zainteresowani uruchomieniem własnego kodu, więc zaimportujmy kilka notatników z GitHub. Używamy następujących GitHub repo jako przykład, więc załadujmy ten notatnik.
Możesz sklonować repozytorium za pomocą terminala lub interfejsu użytkownika Studio. Aby sklonować repozytorium przez terminal, otwórz terminal systemowy (na filet menu, wybierz Nowości i terminal) i wprowadź następujące polecenie:
Aby sklonować repozytorium z interfejsu użytkownika Studio, zobacz Klonuj repozytorium Git w SageMaker Studio.
Aby rozpocząć, wybierz 01_data_processing.ipynb zeszyt. Zostaniesz poproszony o monit przełącznika jądra. Ten przykład używa PyTorch, więc możemy wybrać wstępnie zbudowane PyTorch 1.10 Python 3.8 zoptymalizowany pod kątem GPU obraz, aby uruchomić nasz notatnik. Możesz zobaczyć, jak aplikacja się uruchamia, a gdy jądro jest gotowe, pokazuje typ instancji i jądro w prawym górnym rogu notatnika.
Nasz notebook potrzebuje dodatkowych zależności. To repozytorium udostępnia plik Requirements. txt z dodatkowymi zależnościami. Uruchom pierwszą komórkę, aby zainstalować wymagane zależności:
Możesz także utworzyć konfigurację cyklu życia, aby automatycznie instalować pakiety przy każdym uruchomieniu aplikacji PyTorch. Widzieć Dostosuj Amazon SageMaker Studio za pomocą konfiguracji cyklu życia w celu uzyskania instrukcji i przykładowej realizacji.
Używaj wag i odchyleń w SageMaker Studio
Wagi i odchylenia (wandb
) to standardowa biblioteka Pythona. Po zainstalowaniu wystarczy dodać kilka wierszy kodu do skryptu szkoleniowego i można rejestrować eksperymenty. Zainstalowaliśmy go już za pośrednictwem naszego pliku Requirements.txt. Możesz również zainstalować go ręcznie za pomocą następującego kodu:
Studium przypadku: Autonomiczna segmentacja semantyczna pojazdu
Dataset
Używamy Oznakowana baza danych wideo dla kierowców Cambridge (CamVid) dla tego przykładu. Zawiera kolekcję filmów z etykietami semantycznymi klasy obiektów, wraz z metadanymi. Baza danych zawiera etykiety prawdy podstawowej, które kojarzą każdy piksel z jedną z 32 klas semantycznych. Możemy wersjonować nasz zbiór danych jako wandb.Artefakt, w ten sposób będziemy mogli się do niego później odwołać. Zobacz następujący kod:
Możesz śledzić dalej w 01_data_processing.ipynb notatnik.
Logujemy również stół zbioru danych. Tabele są rozbudowanymi i potężnymi jednostkami podobnymi do DataFrame, które umożliwiają wykonywanie zapytań i analizowanie danych tabelarycznych. Możesz zrozumieć swoje zestawy danych, wizualizować prognozy modeli i udostępniać szczegółowe informacje na centralnym pulpicie nawigacyjnym.
Tabele wag i odchyleń obsługują wiele formatów multimediów, takich jak obraz, dźwięk i przebiegi. Aby zapoznać się z pełną listą formatów multimediów, zobacz Typy danych.
Poniższy zrzut ekranu przedstawia tabelę z nieprzetworzonymi obrazami z segmentacją prawdy podstawowej. Możesz także wyświetlić interaktywna wersja tej tabeli.
Wytrenuj model
Możemy teraz stworzyć model i wytrenować go na naszym zbiorze danych. Używamy PyTorch i fastai aby szybko stworzyć prototyp, a następnie użyć wandb.Sweeps
aby zoptymalizować nasze hiperparametry. Śledź dalej w 02_semantyczna_segmentacja.ipynb zeszyt. Po wyświetleniu monitu o jądro przy otwieraniu notatnika wybierz to samo jądro z naszego pierwszego notatnika, PyTorch 1.10 Python 3.8 zoptymalizowany pod kątem GPU. Twoje pakiety są już zainstalowane, ponieważ używasz tej samej aplikacji.
Model ma nauczyć się adnotacji na piksel sceny uchwyconej z punktu widzenia autonomicznego agenta. Model musi kategoryzować lub segmentować każdy piksel danej sceny na 32 odpowiednie kategorie, takie jak droga, pieszy, chodnik lub samochody. Możesz wybrać dowolny z segmentowanych obrazów w tabeli i uzyskać dostęp do tego interaktywnego interfejsu, aby uzyskać dostęp do wyników segmentacji i kategorii.
Ponieważ fastai biblioteka posiada integrację z wandb
, możesz po prostu przekazać WandbCallback
do Uczącego się:
Do podstawowych eksperymentów zdecydowaliśmy się użyć prostej architektury inspirowanej UNet papier z różnymi kręgosłupami od czas. Trenowaliśmy nasze modelki z Ogniskowa utrata jako kryterium. Dzięki Weights & Biases możesz łatwo tworzyć pulpity nawigacyjne z podsumowaniami eksperymentów, aby szybko analizować wyniki treningu, jak pokazano na poniższym zrzucie ekranu. Możesz także wyświetl ten pulpit interaktywnie.
Wyszukiwanie hiperparametrów z przeciągnięciami
Aby poprawić wydajność modelu podstawowego, musimy wybrać najlepszy model i najlepszy zestaw hiperparametrów do trenowania. W&B ułatwia nam korzystanie zamiatać.
Wykonujemy Bayesowskie wyszukiwanie hiperparametrów w celu maksymalizacji dokładności modelu na pierwszym planie w zestawie danych walidacyjnych. Aby wykonać wobulację, definiujemy plik konfiguracyjny sweep.yaml. Wewnątrz tego pliku przekazujemy żądaną metodę do użycia: bayes oraz parametry i odpowiadające im wartości do wyszukania. W naszym przypadku wypróbowujemy różne szkielety, rozmiary partii i funkcje strat. Badamy również różne parametry optymalizacji, takie jak szybkość uczenia się i spadek wagi. Ponieważ są to wartości ciągłe, pobieramy próbki z rozkładu. Istnieje wiele opcje konfiguracji dostępne dla przeciągnięcia.
Następnie w terminalu uruchamiasz przemiatanie za pomocą wiersz poleceń wandb:
A następnie uruchom na tym komputerze agenta zamiatania z następującym kodem:
Po zakończeniu przeszukiwania możemy użyć wykresu współrzędnych równoległych do zbadania wydajności modeli z różnymi szkieletami i różnymi zestawami hiperparametrów. Na tej podstawie możemy zobaczyć, który model działa najlepiej.
Poniższy zrzut ekranu przedstawia wyniki przemiatania, w tym wykres współrzędnych równoległych i wykresy korelacji parametrów. Możesz także wyświetlaj interaktywnie ten panel zamiatania.
Z przeglądu możemy wyciągnąć następujące kluczowe spostrzeżenia:
- Niższe tempo uczenia się i mniejszy zanik wagi skutkuje lepszą dokładnością pierwszego planu i wynikami w kościach.
- Wielkość partii ma silne dodatnie korelacje z metrykami.
- Połączenia Szkielety oparte na VGG może nie być dobrą opcją do trenowania naszego ostatecznego modelu, ponieważ są one podatne na znikający gradient. (Są one odfiltrowywane w miarę rozchodzenia się strat).
- Połączenia ResNet szkielety zapewniają najlepszą ogólną wydajność w odniesieniu do metryk.
- Do ostatecznego modelu należy wybrać szkielet ResNet34 lub ResNet50 ze względu na ich wysoką wydajność pod względem metryk.
Pochodzenie danych i modeli
Artefakty W&B zostały zaprojektowane tak, aby ułatwić tworzenie wersji zestawów danych i modeli, niezależnie od tego, czy chcesz przechowywać pliki w W&B, czy też masz już zasobnik, który ma być śledzony przez W&B. Po śledzeniu zestawów danych lub plików modeli firma W&B automatycznie rejestruje każdą modyfikację, zapewniając kompletną i podlegającą kontroli historię zmian w plikach.
W naszym przypadku zestaw danych, modele i różne tabele wygenerowane podczas uczenia są rejestrowane w obszarze roboczym. Możesz szybko zobaczyć i zwizualizować ten rodowód, przechodząc do Artefakty strona.
Interpretuj prognozy modelu
Waga i odchylenia są szczególnie przydatne podczas oceny wydajności modelu przy użyciu mocy wandb.Tabele wizualizować, gdzie nasz model źle sobie radzi. W tym przypadku szczególnie interesuje nas prawidłowe wykrywanie wrażliwych użytkowników, takich jak rowerzyści i piesi.
Zarejestrowaliśmy przewidywane maski wraz ze współczynnikiem punktacji dla poszczególnych klas w tabeli. Następnie przefiltrowaliśmy według wierszy zawierających żądane klasy i posortowaliśmy według kolejności rosnącej w wyniku Dice.
W poniższej tabeli najpierw filtrujemy, wybierając, gdzie wynik Dice jest dodatni (na obrazie są obecni piesi). Następnie sortujemy w porządku rosnącym, aby zidentyfikować naszych najgorzej wykrytych pieszych. Pamiętaj, że wynik kości równy 1 oznacza poprawną segmentację klasy pieszych. Możesz także wyświetl tę tabelę interaktywnie.
Możemy powtórzyć tę analizę z innymi wrażliwymi klasami, takimi jak rowery czy sygnalizacja świetlna.
Ta funkcja to bardzo dobry sposób na identyfikowanie obrazów, które nie są prawidłowo oznakowane, i oznaczanie ich w celu ponownego dodania adnotacji.
Wnioski
W tym poście zaprezentowano platformę Weights & Biases MLOps, jak skonfigurować W&B w SageMaker Studio oraz jak uruchomić notatnik wprowadzający do wspólnego rozwiązania. Następnie przeanalizowaliśmy przypadek użycia segmentacji semantycznej pojazdu autonomicznego i zademonstrowaliśmy przebiegi treningowe śledzenia za pomocą eksperymentów W&B, optymalizację hiperparametrów za pomocą przemiatania W&B oraz interpretację wyników za pomocą tabel W&B.
Jeśli chcesz dowiedzieć się więcej, możesz uzyskać dostęp do transmisji na żywo Raport W&B. Aby wypróbować Weights & Biases za darmo, zarejestruj się na Wagi i uprzedzeniaLub odwiedzić Lista W&B AWS Marketplace.
O autorach
Tomasza Kapela jest inżynierem uczenia maszynowego w firmie Weights and Biases. Jest odpowiedzialny za utrzymywanie aktualnego i aktualnego repozytorium www.github.com/wandb/examples. Tworzy również treści na MLOPS, zastosowaniach W&B w branżach i ogólnie przy użyciu głębokiego uczenia się. Wcześniej wykorzystywał głębokie uczenie do rozwiązywania krótkoterminowych prognoz dla energii słonecznej. Ma doświadczenie w planowaniu urbanistycznym, optymalizacji kombinatorycznej, ekonomii transportu i matematyce stosowanej.
Durga Sury jest architektem rozwiązań ML w zespole Amazon SageMaker Service SA. Jej pasją jest udostępnianie uczenia maszynowego każdemu. W ciągu 3 lat pracy w AWS pomagała konfigurować platformy AI/ML dla klientów korporacyjnych. Kiedy nie pracuje, uwielbia przejażdżki motocyklem, powieści kryminalne i wędrówki ze swoim czteroletnim husky.
Karthik Bharati jest liderem produktu dla Amazon SageMaker z ponad dziesięcioletnim doświadczeniem w zarządzaniu produktami, strategią produktową, realizacją i wprowadzaniem na rynek.
- Coinsmart. Najlepsza w Europie giełda bitcoinów i kryptowalut.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. DARMOWY DOSTĘP.
- CryptoJastrząb. Radar Altcoin. Bezpłatna wersja próbna.
- Źródło: https://aws.amazon.com/blogs/machine-learning/improve-ml-developer-productivity-with-weights-biases-a-computer-vision-example-on-amazon-sagemaker/
- "
- &
- 000
- 10
- 100
- a
- O nas
- dostęp
- dostępny
- Dostęp
- Konto
- w poprzek
- Dodatkowy
- AI
- Algorytmy
- Wszystkie kategorie
- już
- Amazonka
- analiza
- w czasie rzeczywistym sprawiają,
- Aplikacja
- aplikacje
- stosowany
- architektura
- na około
- Współpracownik
- audio
- automatycznie
- autonomiczny
- dostępny
- AWS
- tło
- Baseline
- bo
- BEST
- budować
- Buduje
- biznes
- samochody
- walizka
- centralny
- Wykresy
- Dodaj
- wybrany
- klasa
- Klasy
- kod
- współpracować
- współpracę
- współpraca
- kolekcja
- Firmy
- kompletny
- komputer
- systemu
- zawiera
- zawartość
- Odpowiedni
- Stwórz
- tworzy
- Klientów
- tablica rozdzielcza
- dane
- Baza danych
- dekada
- postanowiła
- głęboko
- wykazać
- rozwijać
- zaprojektowany
- Deweloper
- deweloperzy
- oprogramowania
- różne
- 分配
- domena
- podczas
- każdy
- z łatwością
- ekonomia
- umożliwiać
- Umożliwia
- energia
- inżynier
- Wchodzę
- Enterprise
- podmioty
- Środowisko
- szczególnie
- wszyscy
- przykład
- egzekucja
- doświadczenie
- eksperyment
- odkryj
- FAST
- szybciej
- Cecha
- i terminów, a
- obserwuj
- następujący
- Darmowy
- od
- pełny
- zabawa
- Funkcje
- Ogólne
- wygenerowane
- git
- GitHub
- Dający
- cel
- będzie
- dobry
- GPU
- pomógł
- pomaga
- historia
- W jaki sposób
- How To
- HTTPS
- zidentyfikować
- identyfikacja
- tożsamość
- obraz
- zdjęcia
- realizacja
- podnieść
- obejmuje
- Włącznie z
- przemysłowa
- Infrastruktura
- Innowacyjny
- wkład
- spostrzeżenia
- inspirowane
- zainstalować
- przykład
- zintegrowany
- integracja
- interaktywne
- zainteresowany
- Interfejs
- wprowadzający
- IT
- Trzymać
- konserwacja
- Klawisz
- Etykiety
- język
- uruchomić
- lider
- UCZYĆ SIĘ
- nauka
- Biblioteka
- linie
- Lista
- relacja na żywo
- załadować
- maszyna
- uczenie maszynowe
- robić
- WYKONUJE
- Dokonywanie
- i konserwacjami
- podręcznik
- prace ręczne
- ręcznie
- rynek
- Maski
- matematyka
- znaczy
- Media
- Metryka
- może
- nic
- ML
- model
- modele
- jeszcze
- większość
- motocykl
- wielokrotność
- Tajemnica
- Naturalny
- wymagania
- notatnik
- koncepcja
- otwarcie
- operacyjny
- system operacyjny
- Opinie
- optymalizacja
- Optymalizacja
- Option
- Opcje
- zamówienie
- organizacji
- Inne
- ogólny
- własny
- Papier
- szczególnie
- namiętny
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- spektakle
- planowanie
- Platforma
- Platformy
- punkt
- Punkt widzenia
- pozytywny
- power
- mocny
- Przewidywania
- teraźniejszość
- Presentations
- wygląda tak
- przetwarzanie
- Produkt
- zarządzanie produktem
- wydajność
- projekt
- projektowanie
- zapewnia
- szybko
- Surowy
- powtarzać
- składnica
- wymagany
- wymagania
- Badania naukowe
- odpowiedzialny
- wynikły
- Efekt
- droga
- Rola
- run
- bieganie
- taki sam
- skalowalny
- scena
- Naukowcy
- Szukaj
- segment
- segmentacja
- usługa
- zestaw
- Share
- dzielenie
- krótkoterminowy
- prezentacja
- pokazane
- znak
- Prosty
- pojedynczy
- Rozmiar
- So
- słoneczny
- energia słoneczna
- rozwiązanie
- Rozwiązania
- ROZWIĄZANIA
- kilka
- standard
- początek
- rozpoczęty
- sklep
- Strategia
- silny
- studio
- Badanie
- wsparcie
- Zamiatać
- system
- zespół
- Zespoły
- Techniki
- terminal
- REGULAMIN
- Połączenia
- staw
- świat
- innych firm
- Przez
- czas
- Top
- śledzić
- Śledzenie
- ruch drogowy
- Trening
- przemiany
- Przezroczystość
- zaufany
- ui
- zrozumieć
- miejski
- us
- posługiwać się
- Użytkownicy
- uprawomocnienie
- wartość
- różnorodny
- pojazd
- wersja
- Wideo
- Filmy
- Zobacz i wysłuchaj
- wizja
- Wrażliwy
- Web-based
- czy
- Podczas
- Wikipedia
- Praca
- pracujący
- świat
- lat
- Twój