Ilustracyjne notatniki w Amazon SageMaker JumpStart

Amazon SageMaker JumpStart to centrum uczenia maszynowego (ML) w SageMaker, oferujące wstępnie wytrenowane, publicznie dostępne modele dla szerokiego zakresu typów problemów, które pomogą Ci rozpocząć naukę uczenia maszynowego.

JumpStart oferuje również przykładowe notebooki, które używają Amazon Sage Maker funkcje, takie jak szkolenie instancji i eksperymenty w wielu różnych typach modeli i przypadkach użycia. Te przykładowe notatniki zawierają kod, który pokazuje, jak zastosować rozwiązania ML przy użyciu SageMaker i JumpStart. Można je dostosować do własnych potrzeb, co może przyspieszyć rozwój aplikacji.

Ostatnio dodaliśmy 10 nowych notatników do programu JumpStart Studio Amazon SageMaker. Ten post koncentruje się na tych nowych notebookach. W chwili pisania tego tekstu JumpStart oferuje 56 notatników, począwszy od najnowocześniejszych modeli przetwarzania języka naturalnego (NLP) po poprawianie odchyleń w zestawach danych podczas uczenia modeli.

10 nowych notatników może ci pomóc w następujący sposób:

• Oferują przykładowy kod, który możesz uruchomić w takiej postaci, w jakiej znajduje się interfejs JumpStart w Studio, i zobaczyć, jak działa
• Pokazują użycie różnych interfejsów API SageMaker i JumpStart
• Oferują rozwiązanie techniczne, które można dodatkowo dostosować do własnych potrzeb

Liczba notatników oferowanych przez JumpStart regularnie wzrasta wraz z dodawaniem kolejnych notatników. Te notebooki są również dostępne na GitHub.

Przegląd notebooków

Oto 10 nowych notatników:

• Uczenie się w kontekście z AlexaTM 20B – Pokazuje, jak używać AlexaTM 20B do uczenia się w kontekście z uczeniem zerowym i kilkukrotnym w pięciu przykładowych zadaniach: podsumowanie tekstu, generowanie języka naturalnego, tłumaczenie maszynowe, ekstrakcyjne odpowiadanie na pytania oraz wnioskowanie i klasyfikacja w języku naturalnym.
• Liniowy uczeń Fairness w SageMaker – Ostatnio pojawiły się obawy dotyczące stronniczości algorytmów uczenia maszynowego w wyniku naśladowania istniejących ludzkich uprzedzeń. Ten notatnik stosuje koncepcje uczciwości, aby odpowiednio dostosować prognozy modelu.
• Zarządzaj eksperymentami ML za pomocą SageMaker Search – Wyszukiwarka Amazon SageMaker pozwala szybko znaleźć i ocenić najbardziej odpowiednie przebiegi szkolenia modeli spośród potencjalnie setek i tysięcy zadań szkolenia modeli SageMaker.
• Model tematu neuronowego SageMaker – SageMaker Neural Topic Model (NTM) to algorytm uczenia się bez nadzoru, który próbuje opisać zestaw obserwacji jako mieszaninę odrębnych kategorii.
• Przewiduj przekroczenia prędkości jazdy – Algorytm SageMaker DeepAR może służyć do uczenia modelu wielu ulic jednocześnie i przewidywania naruszeń dla wielu kamer ulicznych.
• Przewidywanie raka piersi – Ten notatnik wykorzystuje zestaw danych diagnostycznych raka piersi UCI do zbudowania modelu prognostycznego, czy obraz masy piersi wskazuje na nowotwór łagodny czy złośliwy.
• Prognozy zespołowe z wielu modeli — Łącząc lub uśredniając prognozy z wielu źródeł i modeli, zwykle uzyskujemy lepszą prognozę. Ten notatnik ilustruje tę koncepcję.
• Wnioskowanie asynchroniczne SageMaker – Wnioskowanie asynchroniczne to nowa opcja wnioskowania dla potrzeb wnioskowania w czasie zbliżonym do rzeczywistego. Przetwarzanie żądań może zająć do 15 minut, a rozmiar ładunku wynosi do 1 GB.
• TensorFlow przynieś swój własny model – Dowiedz się, jak lokalnie trenować model TensorFlow i wdrażać go w SageMaker za pomocą tego notatnika.
• Scikit-learn przynieś swój własny model – W tym notesie pokazano, jak używać wstępnie wytrenowanego modelu Scikit-learn z kontenerem Scikit-learn SageMaker, aby szybko utworzyć hostowany punkt końcowy dla tego modelu.

Wymagania wstępne

Aby korzystać z tych notatników, upewnij się, że masz dostęp do Studio z rolą wykonawczą, która umożliwia uruchamianie funkcji SageMaker. Poniższy krótki film pomoże Ci przejść do notatników JumpStart.

W poniższych sekcjach omawiamy każde z 10 nowych rozwiązań i omawiamy niektóre z ich interesujących szczegółów.

Uczenie się w kontekście z AlexaTM 20B

AlexaTM 20B to wielozadaniowy, wielojęzyczny, wielkoskalowy model sekwencja-sekwencja (seq2seq), wytrenowany na mieszance danych Common Crawl (mC4) i Wikipedii w 12 językach, przy użyciu zadań odszumiania i modelowania języka przyczynowego (CLM). Osiąga najnowocześniejszą wydajność w typowych zadaniach językowych w kontekście, takich jak jednorazowe podsumowanie i jednorazowe tłumaczenie maszynowe, przewyższając modele przeznaczone wyłącznie do dekodera, takie jak GPT3 Open AI i PaLM firmy Google, które są ponad osiem razy większe.

Uczenie się w kontekście, znane również jako podszept, odnosi się do metody, w której używasz modelu NLP do nowego zadania bez konieczności jego dostrajania. Kilka przykładów zadań jest dostarczanych do modelu tylko jako część danych wejściowych wnioskowania, paradygmatu znanego jako uczenie się w kontekście kilku ujęć. W niektórych przypadkach model może działać dobrze bez żadnych danych treningowych, tylko z wyjaśnieniem, co należy przewidzieć. To się nazywa zero-shot uczenia się w kontekście.

W tym notatniku pokazano, jak wdrożyć AlexaTM 20B za pośrednictwem interfejsu API JumpStart i uruchomić wnioskowanie. Pokazuje również, w jaki sposób AlexaTM 20B może być wykorzystana do uczenia się w kontekście z pięcioma przykładowymi zadaniami: podsumowanie tekstu, generowanie języka naturalnego, tłumaczenie maszynowe, ekstrakcyjne odpowiadanie na pytania oraz wnioskowanie i klasyfikacja w języku naturalnym.

Notatnik pokazuje, co następuje:

• Jednorazowe podsumowanie tekstu, generowanie języka naturalnego i tłumaczenie maszynowe przy użyciu jednego przykładu szkoleniowego dla każdego z tych zadań
• Odpowiadanie na pytania typu zero-shot i wnioskowanie w języku naturalnym oraz klasyfikacja przy użyciu modelu w obecnej postaci, bez konieczności dostarczania żadnych przykładów szkoleniowych.

Spróbuj uruchomić własny tekst w oparciu o ten model i zobacz, jak podsumowuje tekst, wyodrębnia pytania i odpowiedzi lub tłumaczy z jednego języka na inny.

Liniowy uczeń Fairness w SageMaker

Ostatnio pojawiły się obawy dotyczące stronniczości algorytmów uczenia maszynowego w wyniku naśladowania istniejących ludzkich uprzedzeń. Obecnie kilka metod ML ma silne implikacje społeczne, na przykład są wykorzystywane do przewidywania kredytów bankowych, stawek ubezpieczeniowych czy reklamy. Niestety, algorytm, który uczy się na podstawie danych historycznych, w naturalny sposób odziedziczy wcześniejsze uprzedzenia. Ten notatnik przedstawia, jak przezwyciężyć ten problem, używając SageMaker i sprawiedliwych algorytmów w kontekście liniowych uczniów.

Rozpoczyna się od wprowadzenia niektórych pojęć i matematyki stojących za sprawiedliwością, następnie pobiera dane, trenuje model, a na końcu stosuje koncepcje sprawiedliwości, aby odpowiednio dostosować prognozy modelu.

Notatnik pokazuje, co następuje:

• Uruchamianie standardowego modelu liniowego na zbiorze danych UCI dla dorosłych.
• Pokazywanie niesprawiedliwości w przewidywaniach modeli
• Naprawianie danych w celu usunięcia uprzedzeń
• Przekwalifikowanie modelu

Spróbuj uruchomić własne dane przy użyciu tego przykładowego kodu i wykryj, czy występuje stronniczość. Następnie spróbuj usunąć stronniczość, jeśli taka istnieje, w zbiorze danych, korzystając z funkcji udostępnionych w tym przykładowym notatniku.

Zarządzaj eksperymentami ML za pomocą SageMaker Search

Wyszukiwarka SageMaker pozwala szybko znaleźć i ocenić najbardziej odpowiednie przebiegi szkolenia modeli spośród potencjalnie setek i tysięcy zadań szkolenia modeli SageMaker. Opracowanie modelu ML wymaga ciągłego eksperymentowania, wypróbowywania nowych algorytmów uczenia się i dostrajania hiperparametrów, a wszystko to przy jednoczesnej obserwacji wpływu takich zmian na wydajność i dokładność modelu. To iteracyjne ćwiczenie często prowadzi do eksplozji setek eksperymentów uczenia modeli i wersji modeli, spowalniając konwergencję i odkrywanie zwycięskiego modelu. Ponadto eksplozja informacji bardzo utrudnia prześledzenie genezy wersji modelu — unikalnej kombinacji zestawów danych, algorytmów i parametrów, które uwarzyły ten model.

Ten notatnik pokazuje, jak korzystać z SageMaker Search, aby szybko i łatwo organizować, śledzić i oceniać zadania szkolenia modeli w SageMaker. Możesz wyszukiwać według wszystkich atrybutów definiujących z używanego algorytmu uczenia, ustawień hiperparametrów, używanych zestawów danych szkoleniowych, a nawet tagów dodanych do zadań szkolenia modelu. Możesz także szybko porównywać i oceniać przebiegi treningowe na podstawie ich wskaźników wydajności, takich jak utrata treningu i dokładność walidacji, tworząc w ten sposób tabele wyników do identyfikacji zwycięskich modeli, które można wdrożyć w środowiskach produkcyjnych. SageMaker Search może szybko prześledzić całą genezę wersji modelu wdrożonej w rzeczywistym środowisku, aż do zbiorów danych użytych do szkolenia i walidacji modelu.

Notatnik pokazuje, co następuje:

• Trzykrotne uczenie modelu liniowego
• Używanie SageMaker Search do organizowania i oceniania tych eksperymentów
• Wizualizacja wyników w tabeli liderów
• Wdrażanie modelu w punkcie końcowym
• Śledzenie rodowodu modelu począwszy od punktu końcowego

Podczas własnego opracowywania modeli predykcyjnych możesz przeprowadzać kilka eksperymentów. Wypróbuj SageMaker Search w takich eksperymentach i przekonaj się, jak może ci pomóc na wiele sposobów.

Model tematu neuronowego SageMaker

SageMaker Neural Topic Model (NTM) to algorytm uczenia się bez nadzoru, który próbuje opisać zestaw obserwacji jako mieszaninę odrębnych kategorii. NTM jest najczęściej używany do odkrywania określonej przez użytkownika liczby tematów współdzielonych przez dokumenty w korpusie tekstowym. Tutaj każda obserwacja jest dokumentem, cechy to obecność (lub liczba wystąpień) każdego słowa, a kategorie to tematy. Ponieważ metoda nie jest nadzorowana, tematy nie są określone z góry i nie ma gwarancji, że będą zgodne z tym, jak człowiek może naturalnie kategoryzować dokumenty. Tematy są poznawane jako rozkład prawdopodobieństwa słów występujących w każdym dokumencie. Każdy dokument z kolei jest opisany jako mieszanka tematów.

Ten notatnik używa algorytmu SageMaker NTM do trenowania modelu na zbiorze danych 20NewsGroups. Ten zestaw danych był szeroko stosowany jako wzorzec modelowania tematów.

Notatnik pokazuje, co następuje:

• Tworzenie zadania szkoleniowego SageMaker na zbiorze danych w celu utworzenia modelu NTM
• Używanie modelu do przeprowadzania wnioskowania z punktem końcowym SageMaker
• Eksplorowanie przeszkolonego modelu i wizualizacja wyuczonych tematów

Możesz łatwo zmodyfikować ten notatnik, aby działał na twoich dokumentach tekstowych i dzielił je na różne tematy.

Przewiduj przekroczenia prędkości jazdy

Ten notatnik demonstruje prognozowanie szeregów czasowych przy użyciu algorytmu SageMaker DeepAR, analizując zestaw danych dotyczących naruszeń fotoradarów w mieście Chicago. Zbiór danych jest hostowany przez Data.gov i zarządzany przez US General Services Administration, Technology Transformation Service.

Naruszenia te są rejestrowane przez systemy kamer i są dostępne w celu poprawy życia publicznego za pośrednictwem portalu danych miasta Chicago. Zbiór danych Naruszenia fotoradarów może służyć do rozpoznawania wzorców w danych i uzyskiwania przydatnych informacji.

Zbiór danych zawiera wiele lokalizacji kamer i liczbę dziennych naruszeń. Każda dzienna liczba naruszeń dla kamery może być traktowana jako osobny szereg czasowy. Algorytmu SageMaker DeepAR można używać do trenowania modelu dla wielu ulic jednocześnie i przewidywania naruszeń dla wielu kamer ulicznych.

Notatnik pokazuje, co następuje:

• Szkolenie algorytmu SageMaker DeepAR na zbiorze danych szeregów czasowych przy użyciu instancji punktowych
• Wyciąganie wniosków na wyszkolonym modelu w celu przewidywania wykroczeń drogowych

Dzięki temu notatnikowi możesz dowiedzieć się, jak rozwiązywać problemy z szeregami czasowymi za pomocą algorytmu DeepAR w SageMaker i spróbować zastosować go na własnych zestawach danych szeregów czasowych.

Prognoza raka piersi

Ten notatnik zawiera przykład przewidywania raka piersi przy użyciu zestawu danych diagnostycznych raka piersi UCI. Wykorzystuje ten zestaw danych do zbudowania modelu predykcyjnego, czy obraz masy piersi wskazuje na łagodny czy złośliwy nowotwór.

Notatnik pokazuje, co następuje:

• Podstawowa konfiguracja do korzystania z SageMaker
• Konwersja zestawów danych do formatu Protobuf używanego przez algorytmy SageMaker i przesyłanie do Usługa Amazon Simple Storage (Amazonka S3)
• Trenowanie liniowego modelu ucznia SageMaker na zbiorze danych
• Hosting przeszkolonego modelu
• Ocena przy użyciu przeszkolonego modelu

Możesz przejrzeć ten notatnik, aby dowiedzieć się, jak rozwiązać problem biznesowy za pomocą SageMaker i zrozumieć kroki związane ze szkoleniem i hostowaniem modelu.

Łącz prognozy z wielu modeli

W praktycznych zastosowaniach uczenia maszynowego w zadaniach predykcyjnych jeden model często nie wystarcza. Większość konkursów prognostycznych zazwyczaj wymaga łączenia prognoz z wielu źródeł, aby uzyskać lepszą prognozę. Łącząc lub uśredniając prognozy z wielu źródeł lub modeli, zwykle uzyskujemy lepszą prognozę. Dzieje się tak, ponieważ istnieje duża niepewność w wyborze modelu i nie ma jednego prawdziwego modelu w wielu zastosowaniach praktycznych. Dlatego korzystne jest łączenie prognoz z różnych modeli. W literaturze bayesowskiej ten pomysł jest określany jako uśrednianie modelu bayesowskiego i wykazano, że działa znacznie lepiej niż tylko wybranie jednego modelu.

Ten notatnik przedstawia ilustracyjny przykład przewidywania, czy dana osoba zarabia ponad 50,000 XNUMX USD rocznie na podstawie informacji o jej wykształceniu, doświadczeniu zawodowym, płci i nie tylko.

Notatnik pokazuje, co następuje:

• Przygotowanie notatnika SageMaker
• Ładowanie zestawu danych z Amazon S3 za pomocą SageMaker
• Badanie i przekształcanie danych, aby można je było wprowadzić do algorytmów SageMaker
• Szacowanie modelu za pomocą algorytmu SageMaker XGBoost (Extreme Gradient Boosting).
• Hostowanie modelu w SageMaker w celu dokonywania bieżących prognoz
• Szacowanie drugiego modelu przy użyciu metody liniowego ucznia SageMaker
• Połączenie prognoz z obu modeli i ocena połączonej prognozy
• Generowanie ostatecznych prognoz na testowym zbiorze danych

Spróbuj uruchomić ten notatnik na swoim zbiorze danych i użyć wielu algorytmów. Spróbuj poeksperymentować z różnymi kombinacjami modeli oferowanych przez SageMaker i JumpStart i zobacz, która kombinacja zestawów modeli daje najlepsze wyniki na twoich własnych danych.

Wnioskowanie asynchroniczne SageMaker

Asynchroniczne wnioskowanie SageMaker to nowa funkcja w SageMaker, która kolejkuje przychodzące żądania i przetwarza je asynchronicznie. SageMaker obecnie oferuje klientom dwie opcje wnioskowania do wdrażania modeli ML: opcję w czasie rzeczywistym dla obciążeń o małych opóźnieniach oraz transformację wsadową, opcję offline do przetwarzania żądań wnioskowania na partiach danych dostępnych z góry. Wnioskowanie w czasie rzeczywistym jest odpowiednie dla obciążeń o rozmiarze ładunku mniejszym niż 6 MB i wymaga przetworzenia żądań wnioskowania w ciągu 60 sekund. Transformacja wsadowa jest odpowiednia do wnioskowania w trybie offline na partiach danych.

Wnioskowanie asynchroniczne to nowa opcja wnioskowania dla potrzeb wnioskowania w czasie zbliżonym do rzeczywistego. Przetwarzanie żądań może zająć do 15 minut, a rozmiar ładunku wynosi do 1 GB. Wnioskowanie asynchroniczne jest odpowiednie w przypadku obciążeń, które nie mają wymagań dotyczących opóźnienia podsekundowego i mają luźne wymagania dotyczące opóźnienia. Na przykład może być konieczne przetworzenie wnioskowania na dużym obrazie składającym się z kilku MB w ciągu 5 minut. Ponadto asynchroniczne punkty końcowe wnioskowania pozwalają kontrolować koszty, zmniejszając liczbę wystąpień punktów końcowych do zera, gdy są one bezczynne, więc płacisz tylko wtedy, gdy punkty końcowe przetwarzają żądania.

Notatnik pokazuje, co następuje:

• Tworzenie modelu SageMaker
• Tworzenie punktu końcowego przy użyciu tego modelu i konfiguracji wnioskowania asynchronicznego
• Dokonywanie prognoz na podstawie tego asynchronicznego punktu końcowego

Ten notatnik pokazuje działający przykład tworzenia asynchronicznego punktu końcowego dla modelu SageMaker.

TensorFlow przynieś swój własny model

Model TensorFlow jest szkolony lokalnie w zadaniu klasyfikacji, w którym jest uruchamiany ten notatnik. Następnie jest wdrażany na punkcie końcowym SageMaker.

Notatnik pokazuje, co następuje:

• Uczenie modelu TensorFlow lokalnie na zbiorze danych IRIS
• Importowanie tego modelu do SageMaker
• Hostowanie go na punkcie końcowym

Jeśli masz samodzielnie opracowane modele TensorFlow, ten przykładowy notatnik może pomóc w hostowaniu modelu na punkcie końcowym zarządzanym przez SageMaker.

Scikit-learn przynieś swój własny model

SageMaker zawiera funkcje wspierające hostowane środowisko notebooków, rozproszone, bezserwerowe szkolenia i hosting w czasie rzeczywistym. Działa najlepiej, gdy wszystkie trzy usługi są używane razem, ale można z nich również korzystać niezależnie. Niektóre przypadki użycia mogą wymagać tylko hostingu. Być może model został przeszkolony przed istnieniem SageMaker, w innej usłudze.

Notatnik pokazuje, co następuje:

• Wykorzystanie wstępnie wytrenowanego modelu Scikit-learn z kontenerem Scikit-learn SageMaker w celu szybkiego utworzenia hostowanego punktu końcowego dla tego modelu

Jeśli masz samodzielnie opracowane modele Scikit-learn, ten przykładowy notatnik może pomóc w hostowaniu modelu na punkcie końcowym zarządzanym przez SageMaker.

Oczyść zasoby

Po zakończeniu uruchamiania notatnika w programie JumpStart pamiętaj, aby to zrobić Usuń wszystkie zasoby aby wszystkie zasoby, które utworzyłeś w tym procesie, zostały usunięte, a Twoje rozliczenia zostały zatrzymane. Ostatnia komórka w tych notatnikach zwykle usuwa utworzone punkty końcowe.

Podsumowanie

W tym poście przedstawiono 10 nowych przykładowych notatników, które zostały niedawno dodane do usługi JumpStart. Chociaż ten post skupiał się na tych 10 nowych notatnikach, w chwili pisania tego tekstu dostępnych jest łącznie 56 zeszytów. Zachęcamy do zalogowania się do Studio i samodzielnego zapoznania się z notatnikami JumpStart oraz natychmiastowego czerpania z nich korzyści. Aby uzyskać więcej informacji, patrz Studio Amazon SageMaker i SageMaker Szybki start.

---

O autorze

Dr Raju Penmatcha jest Architektem Rozwiązań Specjalistycznych AI/ML w Platformach AI w AWS. Doktoryzował się na Uniwersytecie Stanforda. Ściśle współpracuje z pakietem usług o niskim lub zerowym kodzie w SageMaker, które pomagają klientom w łatwym budowaniu i wdrażaniu modeli i rozwiązań uczenia maszynowego.