Amazon Sage Maker ma ogłosił obsługa trzech nowych kryteriów ukończenia dla Amazon SageMaker automatyczne dostrajanie modelu, zapewniając dodatkowy zestaw dźwigni do kontrolowania kryteriów zatrzymania zadania dostrajania podczas znajdowania najlepszej konfiguracji hiperparametrów dla Twojego modelu.
W tym poście omawiamy te nowe kryteria ukończenia, kiedy ich używać i niektóre korzyści, jakie przynoszą.
Automatyczne dostrajanie modelu SageMaker
Automatyczne strojenie modelu, tzw strojenie hiperparametrów, znajduje najlepszą wersję modelu mierzoną wybraną przez nas metryką. Obraca wiele zadań szkoleniowych na dostarczonym zbiorze danych, używając wybranego algorytmu i określonych zakresów hiperparametrów. Każde zadanie szkoleniowe można ukończyć wcześniej, gdy obiektywny wskaźnik nie poprawia się znacząco, co jest znane jako wczesne zatrzymanie.
Do tej pory istniały ograniczone sposoby kontrolowania ogólnego zadania dostrajania, takie jak określanie maksymalnej liczby zadań szkoleniowych. Jednak wybór wartości tego parametru jest co najwyżej heurystyczny. Większa wartość zwiększa koszty strojenia, a mniejsza wartość może nie dać najlepszej wersji modelu przez cały czas.
Automatyczne dostrajanie modelu SageMaker rozwiązuje te wyzwania, oferując wiele kryteriów ukończenia zadania dostrajania. Jest stosowany na poziomie strojenia, a nie na każdym indywidualnym poziomie zadania szkoleniowego, co oznacza, że działa na wyższej warstwie abstrakcji.
Korzyści z dostrajania kryteriów ukończenia zadania
Dzięki lepszej kontroli nad tym, kiedy zadanie dostrajania zostanie zatrzymane, uzyskujesz korzyści w postaci oszczędności kosztów, ponieważ zadanie nie jest uruchamiane przez dłuższy czas i jest kosztowne obliczeniowo. Oznacza to również, że możesz upewnić się, że praca nie zostanie zakończona zbyt wcześnie i otrzymasz model wystarczająco dobrej jakości, który spełni Twoje cele. Możesz zatrzymać zadanie dostrajania, gdy modele nie są już ulepszane po zestawie iteracji lub gdy szacowana resztkowa poprawa nie uzasadnia zasobów obliczeniowych i czasu.
Oprócz istniejącej maksymalnej liczby kryteriów ukończenia pracy szkoleniowej Maksymalna liczba zadań szkoleniowych, automatyczne dostrajanie modelu wprowadza opcję zatrzymania dostrajania na podstawie maksymalnego czasu dostrajania, monitorowania ulepszeń i wykrywania zbieżności.
Przyjrzyjmy się każdemu z tych kryteriów.
Maksymalny czas strojenia
Wcześniej można było zdefiniować maksymalną liczbę zadań szkoleniowych jako ustawienie limitu zasobów w celu kontrolowania budżetu dostrajania pod względem zasobów obliczeniowych. Może to jednak prowadzić do niepotrzebnego dłuższego lub krótszego czasu szkolenia, niż jest to potrzebne lub pożądane.
Dzięki dodaniu kryteriów maksymalnego czasu dostrajania możesz teraz alokować swój budżet szkoleniowy pod względem ilości czasu na uruchomienie zadania dostrajania i automatyczne zakończenie zadania po określonym czasie określonym w sekundach.
Jak widać powyżej, używamy tzw MaxRuntimeInSeconds
aby zdefiniować czas strojenia w sekundach. Ustawienie limitu czasu strojenia pomaga ograniczyć czas trwania zadania strojenia, a także przewidywany koszt eksperymentu.
Całkowity koszt przed rabatem umownym można oszacować za pomocą następującego wzoru:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
Maksymalny czas działania w sekundach można wykorzystać do ograniczenia kosztów i czasu działania. Innymi słowy, jest to kryterium zakończenia kontroli budżetu.
Ta funkcja jest częścią kryteriów kontroli zasobów i nie uwzględnia zbieżności modeli. Jak zobaczymy w dalszej części tego wpisu, kryteria te mogą być stosowane w połączeniu z innymi kryteriami zatrzymania w celu uzyskania kontroli kosztów bez poświęcania dokładności.
Pożądana metryka docelowa
Kolejnym wprowadzonym wcześniej kryterium jest z góry zdefiniowanie docelowego celu. Kryteria monitorują wydajność najlepszego modelu w oparciu o określoną obiektywną metrykę i zatrzymują dostrajanie, gdy modele osiągną określony próg w odniesieniu do określonej obiektywnej metryki.
Z TargetObjectiveMetricValue
kryteriów, możemy poinstruować SageMakera, aby zatrzymał dostrajanie modelu po tym, jak obiektywna metryka najlepszego modelu osiągnie określoną wartość:
W tym przykładzie poinstruowano nas, aby SageMaker przestał dostrajać model, gdy obiektywna metryka najlepszego modelu osiągnie 0.95.
Ta metoda jest przydatna, gdy masz określony cel, który ma osiągnąć Twój model, taki jak określony poziom dokładności, precyzji, przywoływania, wynik F1, AUC, utrata logów i tak dalej.
Typowym przypadkiem użycia tego kryterium byłby użytkownik, który jest już zaznajomiony z wydajnością modelu przy danych progach. Użytkownik w fazie eksploracji może najpierw dostroić model za pomocą małego podzbioru większego zbioru danych, aby zidentyfikować zadowalający próg metryki oceny, do którego należy dążyć podczas szkolenia z pełnym zbiorem danych.
Monitorowanie poprawy
To kryterium monitoruje zbieżność modeli po każdej iteracji i zatrzymuje dostrajanie, jeśli modele nie poprawią się po określonej liczbie zadań szkoleniowych. Zobacz następującą konfigurację:
W tym przypadku ustawiamy MaxNumberOfTrainingJobsNotImproving
do 10, co oznacza, że jeśli obiektywna metryka przestanie się poprawiać po 10 zadaniach szkoleniowych, dostrajanie zostanie zatrzymane i zgłoszony zostanie najlepszy model i metryka.
Monitorowanie ulepszeń powinno być wykorzystywane do dostrojenia kompromisu między jakością modelu a całkowitym czasem trwania przepływu pracy w sposób, który prawdopodobnie można przenieść między różnymi problemami optymalizacyjnymi.
Wykrywanie konwergencji
Wykrywanie zbieżności to kryterium ukończenia, które pozwala automatycznemu dostrajaniu modelu decydować, kiedy dostrajanie ma zostać zatrzymane. Ogólnie rzecz biorąc, automatyczne dostrajanie modelu zatrzyma dostrajanie, gdy oszacuje, że nie można osiągnąć znaczącej poprawy. Zobacz następującą konfigurację:
Kryteria są najlepiej dopasowane, gdy początkowo nie wiesz, jakie ustawienia zatrzymania wybrać.
Jest to również przydatne, jeśli nie wiesz, jaka metryka celu docelowego jest rozsądna dla dobrej prognozy, biorąc pod uwagę problem i zestaw danych, i wolisz, aby zadanie dostrajania zostało zakończone, gdy nie jest już poprawiane.
Eksperymentuj z porównaniem kryteriów ukończenia
W tym eksperymencie, biorąc pod uwagę zadanie regresji, przeprowadzamy 3 eksperymenty dostrajania, aby znaleźć optymalny model w przestrzeni wyszukiwania 2 hiperparametrów o łącznie 200 konfiguracjach hiperparametrów przy użyciu zbiór danych marketingu bezpośredniego.
Ponieważ wszystko inne było równe, pierwszy model został dostrojony za pomocą BestObjectiveNotImproving
kryteria ukończenia, drugi model został dostrojony z CompleteOnConvergence
a trzeci model został dostrojony bez zdefiniowanych kryteriów ukończenia.
Opisując każde zadanie, możemy zaobserwować, że ustawienie BestObjectiveNotImproving
kryteriów doprowadziło do najbardziej optymalnych zasobów i czasu w stosunku do obiektywnej miary przy znacznie mniejszej liczbie wykonywanych zadań.
Połączenia CompleteOnConvergence
kryteria było również w stanie zatrzymać dostrajanie w połowie eksperymentu, co skutkowało mniejszą liczbą zadań szkoleniowych i krótszym czasem szkolenia w porównaniu z nieustaleniem kryteriów.
Chociaż nieustalenie kryteriów ukończenia spowodowało kosztowny eksperyment, zdefiniowanie MaxRuntimeInSeconds
jako część limitu zasobów byłby jednym ze sposobów minimalizacji kosztów.
Powyższe wyniki pokazują, że podczas definiowania kryteriów ukończenia Amazon SageMaker jest w stanie inteligentnie zatrzymać proces dostrajania, gdy wykryje, że poprawa modelu poza bieżący wynik jest mniejsza.
Należy zauważyć, że kryteria ukończenia obsługiwane w automatycznym dostrajaniu modelu SageMaker nie wykluczają się wzajemnie i mogą być używane jednocześnie podczas dostrajania modelu.
Jeśli zdefiniowano więcej niż jedno kryterium zakończenia, zadanie dostrajania zostanie zakończone po spełnieniu któregokolwiek z kryteriów.
Na przykład połączenie kryteriów limitu zasobów, takich jak maksymalny czas strojenia, z kryteriami konwergencji, takimi jak monitorowanie usprawnień lub wykrywanie konwergencji, może zapewnić optymalną kontrolę kosztów i optymalne obiektywne wskaźniki.
Wnioski
W tym poście omówiliśmy, w jaki sposób możesz teraz inteligentnie zatrzymać pracę dostrajania, wybierając zestaw kryteriów ukończenia nowo wprowadzonych w SageMaker, takich jak maksymalny czas dostrajania, monitorowanie poprawy lub wykrywanie zbieżności.
W eksperymencie wykazaliśmy, że inteligentne zatrzymanie oparte na obserwacji ulepszeń w iteracjach może prowadzić do znacznie zoptymalizowanego zarządzania budżetem i czasem w porównaniu z brakiem określenia kryteriów ukończenia.
Pokazaliśmy również, że kryteria te nie wykluczają się wzajemnie i mogą być stosowane jednocześnie podczas dostrajania modelu, aby skorzystać zarówno z kontroli budżetu, jak i optymalnej konwergencji.
Aby uzyskać więcej informacji na temat konfigurowania i uruchamiania automatycznego dostrajania modelu, zobacz Określ ustawienia zadania dostrajania hiperparametrów.
O autorach
Douga Mbaya jest architektem Senior Partner Solution specjalizującym się w danych i analityce. Doug ściśle współpracuje z partnerami AWS, pomagając im integrować dane i rozwiązania analityczne w chmurze.
Chaitra Mathur jest głównym architektem rozwiązań w AWS. Prowadzi klientów i partnerów w budowaniu wysoce skalowalnych, niezawodnych, bezpiecznych i opłacalnych rozwiązań w AWS. Pasjonuje się uczeniem maszynowym i pomaga klientom przekładać ich potrzeby ML na rozwiązania wykorzystujące usługi AWS AI/ML. Posiada 5 certyfikatów, w tym certyfikat ML Specialty. W wolnym czasie lubi czytać, jogę i spędzać czas z córkami.
Jarosław Szczerbatyj jest inżynierem uczenia maszynowego w AWS. Pracuje głównie nad ulepszeniami platformy Amazon SageMaker i pomaganiem klientom w jak najlepszym wykorzystaniu jej funkcji. W wolnym czasie lubi chodzić na siłownię, uprawiać sporty na świeżym powietrzu, takie jak jazda na łyżwach lub piesze wędrówki, oraz nadrabiać zaległości w nowych badaniach nad sztuczną inteligencją.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- Zdolny
- O nas
- powyżej
- Konto
- precyzja
- Osiągać
- osiągnięty
- w poprzek
- dodatek
- Dodatkowy
- Korzyść
- Po
- AI
- ai badania
- AI / ML
- algorytm
- Wszystkie kategorie
- już
- Amazonka
- Amazon Sage Maker
- ilość
- analityka
- i
- stosowany
- automatycznie
- automatycznie
- AWS
- na podstawie
- zanim
- jest
- korzyści
- Korzyści
- BEST
- Ulepsz Swój
- pomiędzy
- Poza
- Granica
- przynieść
- budżet
- Budowanie
- nazywa
- walizka
- zapasy
- pewien
- Certyfikacja
- certyfikaty
- wyzwania
- Dodaj
- wybrany
- dokładnie
- Chmura
- połączenie
- w porównaniu
- porównanie
- kompletny
- Zakończony
- Ukończył
- ukończenia
- obliczać
- systemu
- kontrola
- Konwergencja
- Koszty:
- oszczędności
- opłacalne
- Koszty:
- mógłby
- Kryteria
- Aktualny
- Klientów
- dane
- zdefiniowane
- definiowanie
- wykazać
- życzenia
- detale
- Wykrywanie
- różne
- Zniżka
- dyskutować
- omówione
- Nie
- nie
- każdy
- Wcześnie
- włączony
- inżynier
- zapewnić
- szacunkowa
- Szacunki
- ewaluację
- wszystko
- przykład
- Ekskluzywny
- Przede wszystkim system został opracowany
- drogi
- eksperyment
- eksploracja
- odkryj
- znajomy
- Cecha
- Korzyści
- Znajdź
- znalezieniu
- znajduje
- i terminów, a
- Skupiać
- następujący
- formuła
- pełny
- ogólnie
- otrzymać
- dany
- Dający
- Go
- cel
- dobry
- Przewodniki
- sala gimnastyczna
- mający
- pomoc
- pomaga
- wyższy
- wysoko
- posiada
- W jaki sposób
- How To
- Jednak
- HTML
- HTTPS
- Optymalizacja hiperparametrów
- Dostrajanie hiperparametrów
- ICE
- zidentyfikować
- podnieść
- poprawa
- ulepszenia
- poprawy
- in
- W innych
- Włącznie z
- Zwiększenia
- indywidualny
- początkowo
- integrować
- Inteligentny
- wprowadzono
- Przedstawia
- IT
- iteracja
- iteracje
- Praca
- Oferty pracy
- Wiedzieć
- znany
- większe
- warstwa
- prowadzić
- nauka
- Doprowadziło
- pozwala
- poziom
- Prawdopodobnie
- LIMIT
- Ograniczony
- dłużej
- maszyna
- uczenie maszynowe
- i konserwacjami
- wiele
- Marketing
- max
- Maksymalizuj
- maksymalny
- znaczy
- Spełnia
- metoda
- metryczny
- Metryka
- minimalizowanie
- ML
- model
- modele
- monitorowanie
- monitory
- jeszcze
- większość
- wielokrotność
- wzajemnie
- wymagania
- Nowości
- numer
- cel
- Cele
- obserwować
- ONE
- działa
- Optymalny
- optymalizacja
- zoptymalizowane
- Option
- Inne
- ogólny
- parametr
- część
- partnerem
- wzmacniacz
- namiętny
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- okresy
- faza
- Platforma
- plato
- Analiza danych Platona
- PlatoDane
- Post
- Detaliczność
- przepowiednia
- poprzednio
- Główny
- Problem
- problemy
- wygląda tak
- produkować
- Przewiduje
- pod warunkiem,
- że
- jakość
- dosięgnąć
- osiągnięty
- Czytający
- rozsądny
- relacja
- rzetelny
- Zgłoszone
- Badania naukowe
- Zasób
- Zasoby
- dalsze
- wynikły
- Efekt
- run
- poświęcanie
- sagemaker
- Automatyczne strojenie modeli SageMaker
- Oszczędności
- skalowalny
- Szukaj
- druga
- sekund
- bezpieczne
- wybierając
- wybór
- senior
- Usługi
- zestaw
- ustawienie
- w panelu ustawień
- powinien
- pokazać
- znaczący
- znacznie
- mały
- mniejszy
- So
- rozwiązanie
- Rozwiązania
- Rozwiązuje
- kilka
- Typ przestrzeni
- Specjalność
- specyficzny
- określony
- Spędzanie
- spiny
- SPORTOWE
- Stop
- zatrzymany
- zatrzymanie
- Zatrzymuje
- taki
- wsparcie
- Utrzymany
- podpory
- Brać
- cel
- Zadanie
- REGULAMIN
- Połączenia
- ich
- Trzeci
- trzy
- próg
- Przez
- czas
- czasy
- do
- także
- Kwota produktów:
- Trening
- tłumaczyć
- typowy
- posługiwać się
- przypadek użycia
- Użytkownik
- uprawomocnienie
- wartość
- wersja
- sposoby
- Co
- który
- KIM
- będzie
- w ciągu
- bez
- słowa
- działa
- by
- Wydajność
- Joga
- You
- Twój
- zefirnet