Ujednolicone przygotowanie danych i uczenie modeli za pomocą Amazon SageMaker Data Wrangler i Amazon SageMaker Autopilot

Dane napędzają uczenie maszynowe (ML); jakość danych ma bezpośredni wpływ na jakość modeli ML. Dlatego poprawa jakości danych i zastosowanie odpowiednich technik inżynierii funkcji ma kluczowe znaczenie dla tworzenia dokładnych modeli ML. Praktycy ML często żmudnie iterują na temat inżynierii funkcji, wyboru algorytmów i innych aspektów ML w poszukiwaniu optymalnych modeli, które dobrze uogólniają dane ze świata rzeczywistego i zapewniają pożądane wyniki. Ponieważ szybkość w biznesie ma nieproporcjonalne znaczenie, ten niezwykle żmudny i powtarzalny proces może prowadzić do opóźnień w projektach i utraty szans biznesowych.

Pogromca danych Amazon SageMaker skraca czas agregacji i przygotowania danych dla ML z tygodni do minut, oraz Autopilot Amazon SageMaker automatycznie buduje, trenuje i dostraja najlepsze modele ML na podstawie Twoich danych. Dzięki Autopilotowi nadal zachowujesz pełną kontrolę i widoczność swoich danych i modelu. Obie usługi mają na celu zwiększenie produktywności praktyków ML i skrócenie czasu uzyskania korzyści.

Data Wrangler zapewnia teraz ujednolicone środowisko umożliwiające przygotowywanie danych i bezproblemowe trenowanie modelu ML w Autopilocie. Dzięki tej nowo uruchomionej funkcji możesz teraz przygotowywać dane w Data Wrangler i łatwo uruchamiać eksperymenty autopilota bezpośrednio z interfejsu użytkownika (UI) Data Wrangler. Za pomocą kilku kliknięć możesz automatycznie budować, trenować i dostrajać modele ML, co ułatwia stosowanie najnowocześniejszych technik inżynierii funkcji, trenowanie wysokiej jakości modeli ML i szybsze uzyskiwanie wglądu w dane.

W tym poście omawiamy, w jaki sposób można wykorzystać to nowe zintegrowane środowisko w Data Wrangler do analizowania zestawów danych i łatwego tworzenia wysokiej jakości modeli ML w Autopilocie.

Przegląd zbioru danych

Indianie Pima to rdzenni mieszkańcy Meksyku i Arizony w USA. Badania naukowe pokaż Indian Pima jako grupę populacji wysokiego ryzyka cukrzycy. Przewidywanie prawdopodobieństwa indywidualnego ryzyka i podatności na choroby przewlekłe, takie jak cukrzyca, jest ważnym zadaniem w poprawie zdrowia i samopoczucia tej często niedoreprezentowanej grupy mniejszościowej.

Używamy Publiczny zbiór danych dotyczących indyjskiej cukrzycy Pima do przewidywania podatności osoby na cukrzycę. Skupiamy się na nowej integracji między Data Wrangler i Autopilot, aby przygotować dane i automatycznie stworzyć model ML bez pisania ani jednej linii kodu.

Zestaw danych zawiera informacje o kobietach Indian Pima w wieku 21 lat lub starszych i obejmuje kilka medycznych zmiennych predykcyjnych (niezależnych) oraz jedną zmienną docelową (zależną), wynik. Poniższy wykres opisuje kolumny w naszym zbiorze danych.

Kolumna Imię	Opis
Ciąża	Ile razy w ciąży
Glukoza	Stężenie glukozy w osoczu w doustnym teście tolerancji glukozy w ciągu 2 godzin
Ciśnienie krwi	Rozkurczowe ciśnienie krwi (mm Hg)
Grubość skóry	Grubość fałdu skórnego na triceps (mm)
Insulina	2-godzinna insulina w surowicy (j j./ml)
BMI	Wskaźnik masy ciała (waga w kg/(wzrost w m)^2)
Cukrzyca Rodowód	Funkcja rodowodu cukrzycy
Wiek	Wiek od lat
Wynik	Zmienna docelowa

Zbiór danych zawiera 768 rekordów, łącznie z 9 funkcjami. Przechowujemy ten zbiór danych w Proste wiadro do przechowywania Amazon (Amazon S3) jako plik CSV, a następnie zaimportuj plik CSV bezpośrednio do przepływu Data Wrangler z Amazon S3.

Omówienie rozwiązania

Poniższy diagram podsumowuje to, co osiągamy w tym poście.[KT1]

Naukowcy zajmujący się danymi, lekarze i inni eksperci z dziedziny medycyny dostarczają dane pacjentów z informacjami o poziomie glukozy, ciśnieniu krwi, wskaźniku masy ciała i innych cechach wykorzystywanych do przewidywania prawdopodobieństwa zachorowania na cukrzycę. Dzięki zestawowi danych w Amazon S3 importujemy zestaw danych do Data Wrangler, aby przeprowadzić eksploracyjną analizę danych (EDA), profilowanie danych, inżynierię funkcji oraz podzielenie zestawu danych na pociąg i test w celu budowania i oceny modelu.

Następnie używamy nowej integracji funkcji Autopilota, aby szybko zbudować model bezpośrednio z interfejsu Data Wrangler. Wybieramy najlepszy model Autopilota na podstawie modelu z najwyższym wynikiem F-beta. Po tym, jak Autopilot znajdzie najlepszy model, uruchamiamy Transformacja wsadowa SageMaker praca na zestawie testowym (holdout) z artefaktami modelu najlepszego modelu do oceny.

Eksperci medyczni mogą dostarczyć nowe dane do zwalidowanego modelu, aby uzyskać prognozę, aby sprawdzić, czy pacjent prawdopodobnie będzie miał cukrzycę. Dzięki tym spostrzeżeniom eksperci medyczni mogą wcześnie rozpocząć leczenie, aby poprawić zdrowie i samopoczucie wrażliwych populacji. Eksperci medyczni mogą również wyjaśnić przewidywania modelu, odwołując się do szczegółów modelu w Autopilocie, ponieważ mają pełny wgląd w możliwości wyjaśnienia, wydajność i artefakty modelu. Ta widoczność w połączeniu z walidacją modelu z zestawu testowego daje ekspertom medycznym większą pewność co do zdolności predykcyjnej modelu.

Przeprowadzimy Cię przez następujące etapy wysokiego poziomu.

1. Zaimportuj zestaw danych z Amazon S3.
2. Wykonuj EDA i profilowanie danych za pomocą Data Wrangler.
3. Wykonaj inżynierię funkcji, aby obsłużyć wartości odstające i brakujące wartości.
4. Podziel dane na pociągi i zestawy testowe.
5. Trenuj i buduj model za pomocą Autopilota.
6. Przetestuj model na próbce do przechowywania za pomocą notebooka SageMaker.
7. Analizuj walidację i wydajność zestawu testowego.

Wymagania wstępne

Wykonaj następujące wymagane kroki:

1. Prześlij zbiór danych do wybranego wiadra S3.
2. Upewnij się, że masz niezbędne uprawnienia. Aby uzyskać więcej informacji, zobacz Zacznij korzystać z Data Wranglera.
3. Skonfiguruj domenę SageMaker skonfigurowaną do korzystania z aplikacji Data Wrangler. Aby uzyskać instrukcje, zobacz Na pokładzie do domeny Amazon SageMaker.

Importuj swój zbiór danych za pomocą Data Wrangler

Możesz zintegrować przepływ danych Data Wrangler z przepływami pracy ML, aby uprościć i usprawnić wstępne przetwarzanie danych i inżynierię funkcji przy niewielkim lub zerowym kodowaniu. Wykonaj następujące kroki:

1. Stwórz nowy Przepływ danych Wranglera.

Jeśli po raz pierwszy otwierasz Data Wrangler, być może będziesz musiał poczekać kilka minut, aż będzie gotowy.

2. Wybierz zestaw danych przechowywany w Amazon S3 i zaimportuj go do Data Wrangler.

Po zaimportowaniu zestawu danych powinieneś zobaczyć początki przepływu danych w interfejsie użytkownika Data Wrangler. Masz teraz diagram przepływu.

3. Wybierz znak plus obok Typy danych i wybierz Edytuj aby potwierdzić, że Data Wrangler automatycznie wywnioskował prawidłowe typy danych dla Twoich kolumn danych.

Jeśli typy danych nie są poprawne, możesz je łatwo zmodyfikować za pomocą interfejsu użytkownika. Jeśli istnieje wiele źródeł danych, możesz je łączyć lub łączyć.

Możemy teraz stworzyć analizę i dodać przekształcenia.

Przeprowadź eksploracyjną analizę danych za pomocą raportu szczegółowego o danych

Eksploracyjna analiza danych jest krytyczną częścią przepływu pracy ML. Możemy wykorzystać nowy raport analizy danych od Data Wrangler, aby lepiej zrozumieć profil i dystrybucję naszych danych. Raport zawiera statystyki podsumowujące, ostrzeżenia dotyczące jakości danych, szczegółowe informacje o kolumnach docelowych, szybki model oraz informacje o nietypowych i zduplikowanych wierszach.

1. Wybierz znak plus obok Typy danych i wybierz Uzyskaj wgląd w dane.

2. W razie zamówieenia projektu cel kolumnawybierz Wynik.
3. W razie zamówieenia projektu Typ problemui (opcjonalnie) wybierz Klasyfikacja.
4. Dodaj Stwórz.

Wyniki pokazują dane podsumowujące ze statystykami zestawu danych.

Możemy również wyświetlić rozkład oznaczonych wierszy za pomocą histogramu, oszacowanie oczekiwanej przewidywanej jakości modelu za pomocą funkcji szybkiego modelu oraz tabelę podsumowania funkcji.

Nie wchodzimy w szczegóły analizy raportu wglądu w dane; odnosić się do Przyspiesz przygotowywanie danych dzięki jakości danych i wglądowi w Amazon SageMaker Data Wrangler aby uzyskać dodatkowe informacje o tym, jak wykorzystać raport szczegółowych informacji o danych, aby przyspieszyć etapy przygotowywania danych.

Wykonaj inżynierię funkcji

Teraz, gdy opracowaliśmy i przeanalizowaliśmy dystrybucję naszych kolumn wejściowych na wysokim poziomie, pierwszą kwestią dotyczącą poprawy jakości naszych danych może być obsługa brakujących wartości.

Na przykład wiemy, że zera (0) dla Insulin kolumna reprezentuje brakujące wartości. Moglibyśmy postąpić zgodnie z zaleceniem zastąpienia zer przez NaN. Ale po bliższej analizie okazuje się, że minimalna wartość wynosi 0 dla innych kolumn, takich jak Glucose, BloodPressure, SkinThickness, BMI. Potrzebujemy sposobu na obsługę brakujących wartości, ale musimy być wrażliwi na kolumny z zerami jako prawidłowymi danymi. Zobaczmy, jak możemy to naprawić.

W Szczegóły funkcji sekcji, raport podnosi a Ukryta brakująca wartość ostrzeżenie dla funkcji Insulin.

Ponieważ zera w Insulin w kolumnie faktycznie brakuje danych, używamy Konwertuj wyrażenie regularne na brakujące przekształć, aby przekształcić wartości zerowe w puste (brakujące wartości).

1. Wybierz znak plus obok Dane typy i wybierz Dodaj przekształcać.
2.  Dodaj Szukaj i edytuj.
3. W razie zamówieenia projektu Przekształcaćwybierz Konwertuj wyrażenie regularne na brakujące.
4. W razie zamówieenia projektu Wkład kolumny, wybierz kolumny Insulin, Glucose, BloodPressure, SkinThickness, BMI.
5. W razie zamówieenia projektu Wzór, wchodzić 0.
6. Dodaj Podgląd i Dodaj aby zapisać ten krok.

0 wpisów poniżej Insulin, Glucose, BloodPressure, SkinThickness, BMI są teraz brakujące wartości.

Data Wrangler oferuje kilka innych opcji naprawy brakujących wartości.

7. Brakujące wartości obsługujemy, przypisując przybliżoną medianę dla Glucose Kolumna.

Chcemy również zapewnić, że nasze funkcje są na taką samą skalę. Nie chcemy przypadkowo nadać większej wagi określonej funkcji tylko dlatego, że zawierają one większy zakres liczbowy. W tym celu normalizujemy nasze funkcje.

8. Dodaj nowy Proces numeryczny przekształć i wybierz Skaluj wartości.
9. W razie zamówieenia projektu Skalerwybierz Skaler min-max.
10. W razie zamówieenia projektu Kolumny wejściowe, wybierz kolumny Pregnancies, BloodPressure, Glucose, SkinThickness, Insulin, BMI, Age.
11. Zestaw Min do 0 i Max do 1.

Daje to pewność, że nasze cechy są pomiędzy wartościami 0 i 1.

Po utworzeniu kilku funkcji dzielimy nasz zbiór danych na trening i testowanie, zanim zbudujemy model.

Podziel dane na szkolenia i testy

W fazie tworzenia modelu przepływu pracy ML testujesz skuteczność modelu, uruchamiając prognozy wsadowe. Możesz odłożyć testowy lub wstrzymany zestaw danych do oceny, aby zobaczyć, jak działa Twój model, porównując przewidywania z podstawowymi danymi. Ogólnie, jeśli więcej prognoz modelu pasuje do true etykiety, możemy określić, że model działa dobrze.

Używamy Data Wranglera do dzielenia naszego zbioru danych do testów. Przechowujemy 90% naszego zestawu danych do szkolenia, ponieważ mamy stosunkowo mały zestaw danych. Pozostałe 10% naszego zbioru danych służy jako testowy zbiór danych. Używamy tego zbioru danych do walidacji modelu autopilota w dalszej części tego postu.

Dzielimy nasze dane wybierając Podziel dane przekształcać i wybierać Podział losowy jako metoda. Wyznaczamy 0.9 jako procent podziału dla treningu i 0.1 dla testowania.

Po zakończeniu transformacji danych i zapoznaniu się z krokami inżynierskimi jesteśmy teraz gotowi do trenowania modelu.

Szkolenie i walidacja modelu

Możemy użyć nowej integracji Data Wrangler z Autopilotem, aby bezpośrednio trenować model z interfejsu użytkownika przepływu danych Data Wrangler.

1. Wybierz znak plus obok Dataset i wybierz Trenuj model.

2. W razie zamówieenia projektu Lokalizacja Amazon S3, określ lokalizację Amazon S3, do której SageMaker eksportuje Twoje dane.

Autopilot używa tej lokalizacji do automatycznego uczenia modelu, oszczędzając czas od konieczności zdefiniowania lokalizacji wyjściowej przepływu Data Wrangler, a następnie zdefiniowania lokalizacji wejściowej danych uczących autopilota. Zapewnia to bardziej płynne wrażenia.

3. Dodaj Export i pociągiem aby rozpocząć budowanie modelu za pomocą Autopilota.

Autopilot automatycznie wybiera lokalizacje wejścia i wyjścia danych treningowych. Musisz tylko określić kolumnę docelową i kliknąć Utwórz eksperyment trenować swój model.

Przetestuj model na próbce podtrzymującej

Gdy Autopilot zakończy eksperyment, możemy wyświetlić wyniki treningu i zbadać najlepszy model.

1. Dodaj Zobacz szczegóły modelu dla żądanego modelu, a następnie wybierz Wydajność zakładka na stronie szczegółów modelu.

Połączenia Wydajność Zakładka wyświetla kilka modeli testów pomiarowych, w tym macierz pomyłek, obszar pod krzywą precyzji/przywołania (AUCPR) oraz obszar pod krzywą charakterystyki pracy odbiornika (ROC). Ilustrują one ogólną wydajność walidacji modelu, ale nie mówią nam, czy model będzie dobrze uogólniał. Nadal musimy przeprowadzać oceny na niewidocznych danych testowych, aby zobaczyć, jak dokładnie model przewiduje, czy dana osoba będzie miała cukrzycę.

Aby upewnić się, że model uogólnia się wystarczająco dobrze, odkładamy próbkę testową do niezależnego pobierania próbek. Możemy to zrobić w interfejsie przepływu Data Wrangler.

2.  Wybierz znak plus obok Datasetwybierz Eksportować doi wybierz Amazon S3.

3. Określ ścieżkę Amazon S3.

Odwołujemy się do tej ścieżki, gdy uruchamiamy wnioskowanie wsadowe w celu sprawdzenia poprawności w następnej sekcji.

4. Utwórz nowy notatnik SageMaker, aby przeprowadzić wnioskowanie wsadowe na próbce wstrzymanej i ocenić wydajność testu. Zapoznaj się z następującymi GitHub repo dla przykładowy notatnik aby uruchomić wnioskowanie wsadowe w celu sprawdzenia poprawności.

Analizuj walidację i wydajność zestawu testowego

Po zakończeniu transformacji wsadowej tworzymy macierz pomyłek w celu porównania rzeczywistych i przewidywanych wyników zestawu danych wstrzymanych.

W naszych wynikach widzimy 23 prawdziwe pozytywy i 33 prawdziwe negatywy. W naszym przypadku prawdziwie pozytywne wyniki odnoszą się do modelu prawidłowo przewidującego cukrzycę u danej osoby. W przeciwieństwie do tego, prawdziwe negatywy odnoszą się do modelu prawidłowo przewidującego, że dana osoba nie ma cukrzycy.

W naszym przypadku precyzja i przypomnienie są ważnymi parametrami. Precyzja zasadniczo mierzy wszystkie osoby, u których przewiduje się cukrzycę, ilu naprawdę ma cukrzycę? W przeciwieństwie do tego, przypominanie pomaga zmierzyć wszystkie osoby, które rzeczywiście mają cukrzycę, ilu przewidywano, że będzie miała cukrzycę? Na przykład możesz chcieć użyć modelu z dużą precyzją, ponieważ chcesz leczyć jak najwięcej osób, zwłaszcza jeśli pierwszy etap leczenia nie ma wpływu na osoby bez cukrzycy (są to wyniki fałszywie dodatnie — osoby oznaczone jako chore na cukrzycę). kiedy w rzeczywistości nie).

Wykreślamy również obszar pod krzywą ROC (AUC), aby ocenić wyniki. Im wyższe AUC, tym model lepiej rozróżnia klasy, czyli w naszym przypadku, jak dobrze model radzi sobie z rozróżnianiem pacjentów z cukrzycą i bez cukrzycy.

Wnioski

W tym poście pokazaliśmy, jak zintegrować przetwarzanie danych z inżynierią i budowaniem modeli za pomocą Data Wranglera i Autopilota. Podkreśliliśmy, w jaki sposób można łatwo trenować i dostrajać model za pomocą Autopilota bezpośrednio z interfejsu użytkownika Data Wrangler. Dzięki tej funkcji integracji możemy szybko zbudować model po ukończeniu inżynierii funkcji, bez pisania kodu. Następnie odwołaliśmy się do najlepszego modelu Autopilota, aby uruchomić prognozy wsadowe przy użyciu klasy AutoML z pakietem SageMaker Python SDK.

Rozwiązania niskokodowe i AutoML, takie jak Data Wrangler i Autopilot, eliminują potrzebę posiadania głębokiej wiedzy o kodowaniu w celu tworzenia niezawodnych modeli ML. Zacznij korzystać z Data Wranglera dzisiaj, aby przekonać się, jak łatwo jest budować modele ML za pomocą Autopilot SageMaker.

---

O autorach

Piotr Chung jest architektem rozwiązań dla AWS i pasjonuje się pomaganiem klientom w odkrywaniu wniosków z ich danych. Tworzył rozwiązania pomagające organizacjom w podejmowaniu decyzji opartych na danych zarówno w sektorze publicznym, jak i prywatnym. Posiada wszystkie certyfikaty AWS oraz dwa certyfikaty GCP. Lubi kawę, gotować, być aktywnym i spędzać czas z rodziną.

Pradeepa Reddy'ego jest starszym menedżerem produktu w zespole SageMaker Low/No Code ML, który obejmuje SageMaker Autopilot, SageMaker Automatic Model Tuner. Poza pracą Pradeep lubi czytać, biegać i geekować z komputerami wielkości dłoni, takimi jak raspberry pi, i innymi technologiami automatyki domowej.

Arunprasath Shankar jest specjalistą ds. rozwiązań w zakresie sztucznej inteligencji i uczenia maszynowego (AI / ML) w AWS, pomagając globalnym klientom skutecznie i wydajnie skalować rozwiązania AI w chmurze. W wolnym czasie Arun lubi oglądać filmy science fiction i słuchać muzyki klasycznej.

Srujan Gopu jest starszym inżynierem frontendu w SageMaker Low Code/No Code ML, pomagającym klientom produktów Autopilot i Canvas. Kiedy nie koduje, Srujan lubi biegać ze swoim psem Maxem, słuchać audiobooków i tworzyć gry VR.

• Coinsmart. Najlepsza w Europie giełda bitcoinów i kryptowalut.
• Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. DARMOWY DOSTĘP.
• CryptoJastrząb. Radar Altcoin. Bezpłatna wersja próbna.
• Źródło: https://aws.amazon.com/blogs/machine-learning/unified-data-preparation-and-model-training-with-amazon-sagemaker-data-wrangler-and-amazon-sagemaker-autopilot/