Stale monitoruj dokładność predyktorów za pomocą prognozy Amazon

Z przyjemnością informujemy, że możesz teraz automatycznie monitorować dokładność swoich Prognoza Amazon predyktory w czasie. W miarę dostarczania nowych danych funkcja Forecast automatycznie oblicza metryki dokładności predyktorów w nowym zestawie danych, dostarczając więcej informacji do podjęcia decyzji, czy nadal używać, przeszkolić lub utworzyć nowe predyktory.

Monitorowanie jakości predyktorów i identyfikowanie pogorszenia dokładności w czasie jest ważne dla osiągnięcia celów biznesowych. Jednak procesy wymagane do ciągłego monitorowania metryk dokładności predyktorów mogą być czasochłonne w konfiguracji i trudne w zarządzaniu: prognozy muszą być oceniane, a zaktualizowane metryki dokładności muszą być obliczane. Ponadto metryki muszą być przechowywane i sporządzane na wykresach, aby zrozumieć trendy i podejmować decyzje dotyczące utrzymywania, ponownego szkolenia lub odtwarzania predyktorów. Procesy te mogą skutkować kosztownymi obciążeniami związanymi z rozwojem i utrzymaniem oraz powodować znaczący nacisk operacyjny na zespoły zajmujące się analizą danych i analitykami. A dla klientów, którzy nie chcą podejmować się tego czasochłonnego procesu (wolą przekwalifikować nowe predyktory, nawet jeśli nie są potrzebne), jest to strata czasu i obliczeń.

Wraz z dzisiejszą premierą funkcja Forecast automatycznie śledzi dokładność predyktorów w czasie w miarę importowania nowych danych. Możesz teraz określić ilościowo odchylenie swojego predyktora od początkowych metryk jakości i systematycznie oceniać jakość modelu poprzez wizualizację trendów oraz podejmować bardziej świadome decyzje dotyczące utrzymywania, ponownego szkolenia lub przebudowy modeli w miarę pojawiania się nowych danych. Monitorowanie predyktorów można włączyć dla nowych predyktorów od samego początku lub włączone dla istniejących modeli. Możesz włączyć tę funkcję jednym kliknięciem na Konsola zarządzania AWS lub przy użyciu Prognozy API.

Dokładność predyktora w czasie

Predyktor to model uczenia maszynowego utworzony w określonym momencie przy użyciu oryginalnego zestawu danych szkoleniowych. Po utworzeniu predyktora jest on używany na bieżąco przez kilka dni, tygodni lub miesięcy w przyszłość do generowania prognoz szeregów czasowych z nowymi danymi podstawowymi generowanymi przez rzeczywiste transakcje. W miarę importowania nowych danych predyktor generuje nowe prognozowane punkty danych na podstawie najnowszych dostarczonych mu danych.

Gdy predyktor jest tworzony po raz pierwszy, funkcja Forecast tworzy metryki dokładności, takie jak ważona strata kwantylowa (wQL), średni bezwzględny błąd procentowy (MAPE) lub pierwiastek błędu średniokwadratowego (RMSE) w celu ilościowego określenia dokładności predyktora. Te metryki dokładności są używane do określenia, czy predyktor zostanie wprowadzony do produkcji. Jednak wydajność predyktora będzie się zmieniać w czasie. Czynniki zewnętrzne, takie jak zmiany w środowisku gospodarczym lub zachowania konsumentów, mogą zmienić podstawowe czynniki leżące u podstaw predyktora. Inne czynniki obejmują nowe produkty, przedmioty i usługi, które mogą zostać stworzone; zmiany w otoczeniu finansowym lub gospodarczym; lub zmiany w dystrybucji danych.

Rozważmy na przykład predyktor wyszkolony, gdy określony kolor produktu był popularny. Miesiące później mogą pojawić się nowe kolory lub stać się bardziej popularne, a rozkład wartości ulega zmianie. Lub w środowisku biznesowym następuje zmiana, która modyfikuje długotrwałe wzorce zakupów (np. z produktów wysokomarżowych na produkty niskomarżowe). Biorąc to wszystko pod uwagę, predyktor może wymagać przeszkolenia lub może zaistnieć potrzeba stworzenia nowego predyktora, aby zapewnić kontynuację bardzo dokładnych predykcji.

Automatyczne monitorowanie predyktorów

Monitorowanie predyktorów jest przeznaczone do automatycznej analizy wydajności predyktora w miarę pojawiania się nowych danych szeregów czasowych opartych na rzeczywistości gruntowej, które są wykorzystywane do tworzenia nowych prognoz. To monitorowanie zapewnia ciągłe informacje o wydajności modelu i oszczędza czas, dzięki czemu nie trzeba samodzielnie konfigurować procesu.

Jeśli monitorowanie predyktorów jest włączone w Prognozie, za każdym razem, gdy importujesz nowe dane i tworzysz nową prognozę, statystyki wydajności są aktualizowane automatycznie. Do tej pory te statystyki wydajności były dostępne tylko po początkowym przeszkoleniu predyktora; teraz te statystyki są tworzone w sposób ciągły przy użyciu nowych danych dotyczących prawdy podstawowej i mogą być aktywnie monitorowane w celu oceny wydajności predyktorów.

Dzięki temu można użyć statystyk wydajności predyktora, aby zdecydować, kiedy trenować lub ponownie uczyć nowego predyktora. Na przykład, ponieważ średnia metryka wQL odbiega od początkowych wartości bazowych, można określić, czy należy ponownie nauczyć nowego predyktora. Jeśli zdecydujesz się ponownie nauczyć predyktora lub utworzyć nowy, możesz rozpocząć generowanie nowych prognozowanych punktów danych przy użyciu dokładniejszego predyktora.

Poniższe wykresy przedstawiają dwa przykłady monitorowania predykcyjnego. Na pierwszym wykresie średnia metryka wQL zmniejsza się od wartości bazowej (wartość początkowa, gdy predyktor był trenowany), co wskazuje, że dokładność prognozy rośnie w czasie. Wykres pokazuje spadek średniej wQL z 0.3 do 0.15 w ciągu kilku dni, co oznacza, że ​​dokładność prognoz rośnie. W takim przypadku nie ma potrzeby ponownego uczenia predyktora, ponieważ generuje on dokładniejsze prognozy niż podczas pierwszego uczenia.

Na następnym rysunku sytuacja jest odwrotna: średnia wQL rośnie, co wskazuje, że dokładność maleje z czasem. W takim przypadku należy rozważyć przeszkolenie lub przebudowanie predyktora przy użyciu nowych danych.

W Prognozie masz do wyboru przeszkolenie bieżącego predyktora lub przebudowanie go od zera. Przekwalifikowanie odbywa się jednym kliknięciem i zawiera bardziej aktualne dane oraz wszelkie aktualizacje i ulepszenia algorytmów prognozy. Przebudowa predyktor umożliwia wprowadzenie nowych danych wejściowych (takich jak częstotliwość prognozy, horyzont lub nowy wymiar) w celu utworzenia nowego predyktora.

Włącz monitorowanie predyktora

Możesz włączyć monitorowanie predyktora podczas tworzenia nowego predyktora lub włączyć go dla istniejących predyktorów. Kroki opisane w tej sekcji pokazują, jak wykonać te kroki przy użyciu konsoli prognozy. Jest też Jupyter notatnik który przechodzi przez sekwencję kroków, aby umożliwić monitorowanie predyktorów za pomocą interfejsów API i generowanie wyników monitorowania predyktorów.

Ten przykład wykorzystuje przykładowy zestaw danych z podziałem czasu dostępny z monitorowania predykcyjnego notatnik. W naszym przykładzie zaczynamy od zbioru danych zawierającego 100,000 XNUMX wierszy odbioru taksówki z Nowego Jorku, zawierającego znacznik czasu, identyfikator lokalizacji i wartość docelową (liczbę odbiorów żądanych podczas znacznika czasu w identyfikatorze lokalizacji).

Wykonaj następujące kroki:

1. W konsoli Prognoza wybierz Wyświetl grupy zbiorów danych w okienku nawigacji.
2. Dodaj Utwórz grupę zbiorów danych i podaj szczegóły swojej grupy zbiorów danych.
   Po utworzeniu grupy zestawu danych zostanie wyświetlony monit o utworzenie docelowego zestawu danych szeregów czasowych. Ten zestaw danych służy do trenowania predyktora i tworzenia prognoz.
3. Na Utwórz docelowy zbiór danych szeregów czasowych strony, podaj schemat, częstotliwość i lokalizację swoich danych.
4. Dodaj Start aby zaimportować docelowy zbiór danych.
   Następnie budujesz swój predyktor i trenujesz go, używając początkowego zestawu danych.
5. W okienku nawigacji wybierz Predyktory.
6. Dodaj Wytrenuj nowy predyktor.
   
7. W Ustawienia predyktora wprowadź nazwę swojego predyktora, jak długo w przyszłości chcesz prognozować i z jaką częstotliwością oraz liczbę kwantyli, dla których chcesz prognozować.
   
8. W razie zamówieenia projektu Wskaźnik optymalizacji, możesz wybrać metrykę optymalizacji do optymalizacji AutoPredictor aby dostroić model do wybranej metryki dokładności. Pozostawiamy to jako domyślne dla naszego przewodnika.
9. Aby uzyskać raport wyjaśniania predyktora, wybierz Włącz możliwość wyjaśnienia predyktora.
10. Aby włączyć monitorowanie predyktora, wybierz Włącz monitorowanie predyktora.
11. W konfiguracji danych wejściowych możesz dodać lokalne informacje o pogodzie i święta państwowe, aby uzyskać dokładniejsze prognozy popytu.
12. Dodaj Start aby rozpocząć trenowanie swojego predyktora.
    
    Prognoza teraz szkoli predyktor z tym początkowym zestawem danych. Po włączeniu monitorowania predyktorów za każdym razem, gdy w tej grupie zestawów danych są dostarczane nowe dane, funkcja Forecast jest w stanie obliczyć zaktualizowane metryki dokładności predyktorów.
13. Po przeszkoleniu predyktora wybierz go, aby ocenić początkowe metryki dokładności.
    
    Połączenia Metryka zakładka pokazuje początkowe metryki jakości predyktora. Ponieważ nie wygenerowałeś żadnych prognoz ze swojego predyktora ani nie zaimportowałeś żadnych nowych danych gruntowych, nie ma nic do pokazania na Monitorowanie patka.
    Następnym krokiem jest wygenerowanie prognozy przy użyciu nowego predyktora.
14. Dodaj Prognozy w okienku nawigacji.
15. Dodaj Utwórz prognozę aby utworzyć nową prognozę na podstawie właśnie zaimportowanych danych szeregów czasowych i ustawień predyktora.
16. Podaj nazwę prognozy, nazwę predyktora i wszelkie dodatkowe metryki kwantylowe, które chcesz obliczyć.

Po utworzeniu prognozy możesz wyświetlić i wyeksportować jej szczegóły i wyniki na Szczegóły prognozy strona.

Monitorowanie predyktorów: ocena dokładności w czasie

W miarę upływu czasu w procesach biznesowych tworzone są nowe, podstawowe dane, takie jak zaktualizowane dane dotyczące sprzedaży, poziom zatrudnienia lub wydajność produkcji. Aby utworzyć nowe prognozy na podstawie tych nowych danych, możesz zaimportować dane do utworzonego zbioru danych.

1. W konsoli Amazon Forecast na Grupy zestawów danych stronie, wybierz grupę zbiorów danych.
   
2. Wybierz swój zbiór danych.
   
3. W Import zbiorów danych Sekcja, wybierz Utwórz import zestawu danych.
   
4. Podaj dodatkowe szczegóły dotyczące zaktualizowanych danych, w tym ich lokalizację.
   
5. Dodaj Start.

Dzięki monitorowaniu predyktorów funkcja Forecast porównuje te nowe dane z poprzednią wygenerowaną prognozą i oblicza metryki dokładności dla predyktora. Zaktualizowane metryki jakości predyktorów są obliczane na bieżąco w miarę dodawania nowych danych do zestawu danych.

Możesz wykonać te kroki, aby zaimportować dodatkowe dane reprezentujące dodatkowe transakcje, które miały miejsce w czasie.

Oceń wyniki monitorowania predyktorów

Aby zobaczyć wyniki monitorowania predyktorów, musisz dodać nowe dane dotyczące prawdy gruntowej po wygenerowaniu wstępnych prognoz. Prognoza porównuje te nowe dane dotyczące prawdy gruntowej z poprzednią prognozą i generuje zaktualizowane wartości dokładności modelu do monitorowania.

1. Na Grupy zestawów danych stronie, wybierz odpowiednie grupy zbiorów danych i wybierz Docelowe Szeregi Czasowe, aby zaktualizować je o nowe dane dotyczące prawdy gruntowej.
   
2. Dodaj Utwórz import zestawu danych i dodaj nowe dane dotyczące prawdy gruntowej.
   
   Po dostarczeniu dodatkowych danych podstawowych można otworzyć predyktor i wyświetlić wstępne statystyki monitorowania predyktorów.
3. Wybierz predyktor i przejdź do Monitorowanie patka.
   

Możesz wykonać te kroki, aby uruchomić dodatkowe prognozy za pomocą tego predyktora i dodać kolejne iteracje danych podstawowych. Progresja statystyk dokładności modelu dla twojego predyktora jest dostępna na Monitorowanie patka.

Ten przykład przedstawia statystyki dokładności modelu dla predyktora, który został oceniony z czterema dodatkowymi aktualizacjami danych. Predyktor miał początkowy MAPE na poziomie 0.55, gdy był początkowo trenowany. Po załadowaniu dodatkowych danych MAPE spadł do 42 z pierwszym dodatkowym zestawem danych, wskazując na dokładniejszy predyktor, i wahał się w wąskim zakresie od 42 do 48 z kolejnymi zestawami danych.

Możesz przełączać wykres, aby wyświetlić dodatkowe dane. W poniższych przykładach MASE i średnia wQL wykazują podobne wahania w czasie od wartości bazowej.

Połączenia Historia monitorowania sekcja u dołu strony zawiera szczegółowe informacje na temat wszystkich metryk dokładności predyktorów śledzonych w czasie.

Skonfiguruj monitorowanie prognozowania na istniejącym predyktorze

Możesz łatwo włączyć monitorowanie istniejących predyktorów. Aby to zrobić, wykonaj następujące czynności:

1. W okienku nawigacji pod zbiorem danych wybierz Predyktory.
2. Stąd są dwa sposoby włączenia monitorowania:
   1. Dodaj Rozpocznij monitorowanie pod Monitorowanie Kolumna.
      
   2. Wybierz swój predyktor i na Monitorowanie karta, pod Monitoruj szczegóływybierz Uruchom monitor.
      
3. W wyskakującym oknie wybierz Start aby rozpocząć monitorowanie wybranego predyktora.
   

Połączenia Monitorowanie Ta zakładka pokazuje teraz, że rozpoczęło się monitorowanie predyktorów, a wyniki są generowane w miarę importowania większej ilości danych.

Zatrzymaj i ponownie uruchom monitorowanie predyktora

Możesz także zatrzymać i ponownie uruchomić monitorowanie predyktora. Rozważ następujące:

• Koszty: – Monitorowanie predyktorowe zużywa dodatkowe zasoby. W przypadku typowych małych zestawów danych koszt jest minimalny, ale może wzrosnąć w przypadku dużych zestawów danych (liczba elementów w wejściowym zestawie danych i horyzont prognozy).
• Prywatności – Kopia prognozy jest przechowywana podczas monitorowania. Jeśli nie chcesz przechowywać tej kopii, możesz zatrzymać monitorowanie.
• Hałas – Jeśli eksperymentujesz z predyktorem i nie chcesz widzieć szumu w wynikach predyktora, możesz tymczasowo zatrzymać monitorowanie predyktora i rozpocząć je ponownie, gdy predyktor znów się ustabilizuje.

Aby zatrzymać monitorowanie predyktora, wykonaj następujące czynności:

1. Nawiguj do Monitorowanie zakładka dla predyktora, w którym włączone jest monitorowanie.
2. Dodaj Zatrzymaj monitor aby zatrzymać monitorowanie predyktora.
   
3. Po wyświetleniu monitu zweryfikuj swój wybór.
   

Na następnej stronie pojawi się komunikat informujący, że monitorowanie predyktora zostało zatrzymane.

Możesz ponownie uruchomić monitorowanie predyktorów, wybierając Wznów monitor.

Wnioski

Monitorowanie jakości predyktorów w czasie jest ważne dla osiągnięcia celów planowania i prognozowania popytu, a ostatecznie celów biznesowych. Jednak monitorowanie predyktorów może być czasochłonnym ćwiczeniem, a procesy wymagane do utrzymania i utrzymania niezbędnych przepływów pracy mogą prowadzić do wyższych kosztów operacyjnych.

Prognoza może teraz automatycznie śledzić jakość predyktorów, co pozwala zmniejszyć wysiłki operacyjne, pomagając jednocześnie podejmować bardziej świadome decyzje dotyczące utrzymywania, ponownego szkolenia lub odbudowy predyktorów. Aby włączyć monitorowanie predyktorów, możesz wykonać kroki opisane w tym poście lub śledzić nasz notatnik GitHub.

Należy pamiętać, że monitorowanie predyktora jest dostępne tylko z AutoPredictor. Aby uzyskać więcej informacji, zobacz Nowy interfejs Amazon Forecast API, który tworzy do 40% dokładniejsze prognozy i zapewnia możliwość wyjaśnienia i Utwórz autopredyktor.

Aby dowiedzieć się więcej, zapoznaj się z Monitorowanie predyktorów. Zalecamy również przejrzenie wycena za korzystanie z tych nowych funkcji. Wszystkie te nowe możliwości są dostępne we wszystkich regionach, w których Prognoza jest publicznie dostępna. Aby uzyskać więcej informacji o dostępności regionu, zobacz Usługi regionalne AWS.

---

O autorach

Dana Sinnreicha jest starszym menedżerem produktu w Amazon Forecast. Koncentruje się na demokratyzacji uczenia maszynowego o niskim kodzie/bez kodu i jego zastosowaniu w celu poprawy wyników biznesowych. Poza pracą można go spotkać grającego w hokeja, próbującego poprawić swój serwis tenisowy i czytającego science fiction.

 Adarsh ​​Singh pracuje jako inżynier ds. rozwoju oprogramowania w zespole Amazon Forecast. W swojej obecnej roli koncentruje się na problemach inżynieryjnych i budowaniu skalowalnych systemów rozproszonych, które zapewniają największą wartość dla użytkowników końcowych. W wolnym czasie lubi oglądać anime i grać w gry wideo.

Shannon Killingsworth jest projektantem UX dla Amazon Forecast. Jego obecna praca to tworzenie konsoli, z których może korzystać każdy, oraz integrowanie nowych funkcji z konsolami. W wolnym czasie miłośnik fitnessu i motoryzacji.

• Coinsmart. Najlepsza w Europie giełda bitcoinów i kryptowalut.
• Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. DARMOWY DOSTĘP.
• CryptoJastrząb. Radar Altcoin. Bezpłatna wersja próbna.
• Źródło: https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/