Wdrażanie Amazon Forecast w branży detalicznej: podróż od POC do produkcji

Prognoza Amazon to w pełni zarządzana usługa, która wykorzystuje algorytmy statystyczne i uczenia maszynowego (ML) do dostarczania bardzo dokładnych prognoz szeregów czasowych. Niedawno, w oparciu o Amazon Forecast, pomogliśmy jednemu z naszych klientów detalicznych w uzyskaniu dokładnej prognozy popytu w ciągu 8 tygodni. Rozwiązanie poprawiło prognozę ręczną średnio o 10% w odniesieniu do WAP metryczny. Prowadzi to do bezpośrednich oszczędności 16 godzin pracy miesięcznie. Ponadto oszacowaliśmy, że realizacja prawidłowej liczby pozycji może zwiększyć sprzedaż nawet o 11.8%. W tym poście przedstawiamy przepływ pracy i krytyczne elementy do wdrożenia — od weryfikacji koncepcji (POC) do produkcji — systemu prognozowania popytu z Amazon Forecast, skoncentrowanego na wyzwaniach w branży detalicznej.

Tło i aktualne wyzwania prognozowania popytu w branży retail

Celem prognozowania popytu jest oszacowanie przyszłego popytu na podstawie danych historycznych oraz pomoc w uzupełnianiu zapasów i alokacji pojemności. Dzięki prognozowaniu popytu detaliści mogą rozmieścić odpowiednią ilość zapasów w każdej lokalizacji w swojej sieci, aby zaspokoić popyt. Dlatego dokładny system prognozowania może przynieść wiele korzyści w różnych funkcjach biznesowych, takich jak:

• Zwiększenie sprzedaży dzięki lepszej dostępności produktów i zmniejszeniu nakładu pracy związanego z odpadami związanymi z transferem między sklepami
• Zapewnienie bardziej wiarygodnego wglądu w celu poprawy wykorzystania pojemności i proaktywnego unikania wąskich gardeł w udostępnianiu pojemności
• Minimalizacja kosztów zapasów i produkcji oraz poprawa rotacji zapasów
• Przedstawienie ogólnie lepszej obsługi klienta

Techniki uczenia maszynowego mają wielką wartość, gdy występuje duża ilość danych dobrej jakości. Obecnie zarządzanie uzupełnianiem zapasów lub prognozowanie popytu w oparciu o doświadczenie jest nadal głównym nurtem większości sprzedawców detalicznych. Mając na celu poprawę obsługi klienta, coraz więcej sprzedawców detalicznych jest skłonnych zastąpić oparte na doświadczeniu systemy prognozowania popytu na prognozy oparte na ML. Detaliści napotykają jednak wiele wyzwań podczas wdrażania systemów prognozowania popytu opartych na ML do produkcji. Podsumowujemy różne wyzwania w trzech kategoriach: wyzwania związane z danymi, wyzwania związane z uczeniem się i wyzwania operacyjne.

Wyzwania dotyczące danych

Duża ilość czystych danych wysokiej jakości jest kluczowym wymogiem do prowadzenia dokładnych prognoz opartych na uczeniu maszynowym. Dane dotyczące jakości, w tym historyczne dane dotyczące sprzedaży i związane ze sprzedażą (takie jak zapasy, ceny artykułów i promocje), muszą być gromadzone i konsolidowane. Różnorodność danych z wielu zasobów wymaga nowoczesnej platformy danych, która połączy silosy danych. Ponadto dostęp do danych w odpowiednim czasie jest niezbędny do częstych i precyzyjnych prognoz popytu.

Wyzwania uczenia maszynowego

Tworzenie zaawansowanych algorytmów ML wymaga specjalistycznej wiedzy. Implementacja odpowiednich algorytmów dla właściwego problemu wymaga zarówno dogłębnej wiedzy dziedzinowej, jak i kompetencji ML. Ponadto uczenie się na podstawie dużych dostępnych zestawów danych wymaga skalowalnej infrastruktury uczenia maszynowego. Ponadto utrzymanie algorytmów ML w produkcji wymaga kompetencji ML w celu analizy pierwotnej przyczyny degradacji modelu i prawidłowego przeszkolenia modelu.

Aby rozwiązać praktyczne problemy biznesowe, tworzenie dokładnych prognoz to tylko część historii. Decydenci potrzebują prognoz probabilistycznych w różnych kwantylach, aby podejmować ważne decyzje dotyczące doświadczenia klienta w porównaniu z wynikami finansowymi. Muszą również wyjaśniać przewidywania zainteresowanym stronom i przeprowadzać analizy typu „co by było, gdyby”, aby zbadać, w jaki sposób różne scenariusze mogą wpłynąć na wyniki prognozy.

Wyzwania operacyjne

Zmniejszenie nakładów operacyjnych związanych z utrzymaniem opłacalnego systemu prognozowania to trzecie główne wyzwanie. W typowym scenariuszu prognozowania popytu każdy towar w każdej lokalizacji ma własną prognozę. Wymagany jest system, który może zarządzać setkami tysięcy prognoz w dowolnym momencie. Ponadto użytkownicy końcowi biznesowi potrzebują integracji systemu prognozowania z istniejącymi systemami niższego szczebla, takimi jak istniejące platformy zarządzania łańcuchem dostaw, aby mogli korzystać z systemów opartych na uczeniu maszynowym bez modyfikowania istniejących narzędzi i procesów.

Wyzwania te są szczególnie dotkliwe, gdy firma jest duża, dynamiczna i rozwija się. Aby sprostać tym wyzwaniom, dzielimy się historią sukcesu klienta, która zmniejsza wysiłki związane z szybką weryfikacją potencjalnego zysku biznesowego. Osiąga się to poprzez prototypowanie z Amazon Forecast — w pełni zarządzaną usługą, która zapewnia dokładne wyniki prognozowania bez konieczności zarządzania podstawowymi zasobami infrastruktury i algorytmami.

Szybkie prototypowanie dla systemu prognozowania opartego na ML z Amazon Forecast

Z naszego doświadczenia wynika, że ​​często klienci detaliczni chętnie przeprowadzają weryfikację koncepcji swoich danych sprzedażowych. Można to zrobić w ciągu kilku dni do kilku tygodni w przypadku szybkiego prototypowania, w zależności od złożoności danych i dostępnych zasobów do iteracji procesu dostrajania modelu. Podczas prototypowania sugerujemy stosowanie sprintów w celu efektywnego zarządzania procesem oraz podzielenie POC na fazy eksploracji danych, iteracyjnego doskonalenia i automatyzacji.

Eksploracja danych

Eksploracja danych często wiąże się z intensywną dyskusją z analitykami danych lub analitykami Business Intelligence w celu zapoznania się z historycznym zestawem danych dotyczących sprzedaży i dostępnymi źródłami danych, które mogą potencjalnie wpłynąć na wyniki prognoz, takimi jak zapasy i historyczne wydarzenia promocyjne. Jednym z najskuteczniejszych sposobów jest konsolidacja danych sprzedażowych, jako docelowego zbioru danych, z hurtowni danych na wczesnym etapie projektu. Jest to oparte na fakcie, że wyniki prognoz są często zdominowane przez wzorce docelowego zestawu danych. Hurtownie danych często przechowują codzienne dane biznesowe, a ich pełne zrozumienie w krótkim czasie jest trudne i czasochłonne. Nasza sugestia polega na skoncentrowaniu się na wygenerowaniu docelowego zestawu danych i upewnieniu się, że ten zestaw danych jest poprawny. Ta eksploracja danych i wyniki linii bazowej często można uzyskać w ciągu kilku dni, co może określić, czy dane docelowe można dokładnie przewidzieć. W dalszej części tego wpisu omówimy przewidywalność danych.

Iteracja

Po uzyskaniu wyników linii bazowej możemy kontynuować dodawanie kolejnych powiązanych danych, aby zobaczyć, jak mogą one wpłynąć na dokładność. Często odbywa się to poprzez głębokie zanurzenie się w dodatkowych zestawach danych; aby uzyskać więcej informacji, patrz Korzystanie z powiązanych zestawów danych szeregów czasowych i Korzystanie z zestawów danych metadanych elementu.

W niektórych przypadkach może być możliwe poprawienie dokładności prognozy Amazon poprzez uczenie modeli z podobnie zachowującymi się podzbiorami zbioru danych lub usunięcie rzadkich danych ze zbioru danych. Podczas tej iteracyjnej fazy doskonalenia najtrudniejsze — prawdziwe w przypadku wszystkich projektów ML — jest to, że bieżąca iteracja zależy od kluczowych ustaleń i spostrzeżeń poprzedniej iteracji, więc kluczem do sukcesu jest rygorystyczna analiza i raportowanie.

Analizę można przeprowadzić ilościowo i empirycznie. Aspekt ilościowy odnosi się do oceny podczas backtestingu i porównania metryki dokładności, np WAP. Aspekt empiryczny odnosi się do wizualizacji krzywej predykcji i rzeczywistych danych docelowych oraz wykorzystania wiedzy dziedzinowej do uwzględnienia potencjalnych czynników. Analizy te pomagają w szybszym wykonywaniu iteracji w celu wypełnienia luki między prognozowanymi wynikami a danymi docelowymi. Ponadto przedstawianie takich wyników w cotygodniowych raportach może często wzbudzać zaufanie użytkowników biznesowych.

Automatyzacja

Ostatni krok często obejmuje omówienie POC z procedurą produkcji i automatyzacją. Ponieważ projekt ML jest ograniczony przez całkowity czas trwania projektu, możemy nie mieć wystarczająco dużo czasu na zbadanie każdej możliwości. Dlatego wskazanie potencjalnego obszaru poprzez ustalenia w trakcie projektu często może zdobyć zaufanie. Ponadto automatyzacja może pomóc użytkownikom końcowym w biznesie ocenić prognozę dla dłuższego okresu, ponieważ mogą oni użyć istniejącego predyktora do generowania prognoz na podstawie zaktualizowanych danych.

Kryteria sukcesu można ocenić za pomocą wygenerowanych wyników, zarówno z perspektywy technicznej, jak i biznesowej. W okresie ewaluacyjnym możemy oszacować potencjalne korzyści dla:

• Zwiększenie dokładności prognozy (techniczne) – Oblicz dokładność prognozy w odniesieniu do rzeczywistych danych sprzedażowych i porównaj z istniejącym systemem prognozowania, w tym prognozami ręcznymi
• Ograniczanie odpadów (biznes) – Zmniejszenie nadmiernego prognozowania w celu zmniejszenia ilości odpadów
• Poprawa wskaźników zapasów (biznes) – Zmniejszenie niedoszacowania prognoz w celu poprawy wskaźników zapasów
• Szacowanie wzrostu zysku brutto (biznes) – Ogranicz marnotrawstwo i popraw poziom zapasów w celu zwiększenia zysku brutto

Przepływ pracy deweloperskiej podsumowujemy na poniższym diagramie.

W kolejnych sekcjach omawiamy ważne elementy, które należy wziąć pod uwagę podczas wdrażania.

Przepływ pracy krok po kroku do opracowania systemu prognozowania

Docelowe generowanie zestawu danych

Pierwszym krokiem jest wygenerowanie docelowego zestawu danych dla prognozy. W branży handlu detalicznego odnosi się to do historycznych szeregów czasowych danych dotyczących popytu i sprzedaży artykułów detalicznych (SKU). Podczas przygotowywania zestawu danych jednym z ważnych aspektów jest szczegółowość. Powinniśmy wziąć pod uwagę szczegółowość danych zarówno z wymagań biznesowych, jak i wymagań technicznych.

Firma definiuje, w jaki sposób wyniki prognozowania w systemie produkcyjnym:

• Horyzont – Liczba przewidywanych kroków czasowych. Zależy to od podstawowego problemu biznesowego. Jeśli chcemy uzupełniać stan zapasów co tydzień, odpowiednia wydaje się prognoza tygodniowa lub prognoza dzienna.
• Granularity – Szczegółowość prognoz: częstotliwość w czasie, na przykład codziennie lub co tydzień, różne lokalizacje sklepów i różne rozmiary tego samego artykułu. Ostatecznie prognoza może być kombinacją każdego kodu SKU sklepu z dziennymi punktami danych.

Chociaż wspomniany wcześniej horyzont prognozy i szczegółowość powinny zostać zdefiniowane w celu nadania priorytetu wymaganiom biznesowym, może być konieczne dokonanie kompromisów między wymaganiami a wykonalnością. Weźmy na przykład branżę obuwniczą. Jeśli chcemy przewidzieć sprzedaż każdego rozmiaru buta na każdym poziomie sklepu, dane szybko stają się rzadkie i trudno jest znaleźć wzorzec. Aby jednak uzupełnić zapasy, musimy oszacować tę szczegółowość. Aby to zrobić, alternatywne rozwiązania mogą wymagać oszacowania stosunku między różnymi rozmiarami butów i wykorzystania tego stosunku do obliczenia szczegółowych wyników.

Często musimy zrównoważyć wymagania biznesowe i wzorce danych, których można się nauczyć i które można wykorzystać do prognozowania. Aby zapewnić ilościową kwalifikację wzorców danych, proponujemy wykorzystanie prognozowalności danych.

Przewidywalność danych i klasyfikacja wzorców danych

Jednym z kluczowych spostrzeżeń, które możemy zebrać z docelowego zestawu danych, jest jego zdolność do tworzenia wysokiej jakości prognoz. Można to przeanalizować na bardzo wczesnym etapie projektu ML. Prognoza sprawdza się, gdy dane pokazują sezonowość, trendy i cykliczne wzorce.

Aby określić przewidywalność, istnieją dwa główne współczynniki: zmienność w czasie popytu i zmienność wielkości popytu. Zmienność w czasie popytu oznacza odstęp między dwoma przypadkami popytu i mierzy regularność popytu w czasie. Zmienność wielkości popytu oznacza zmienność ilości. Poniższy rysunek ilustruje różne wzorce. Dokładność prognozy silnie zależy od przewidywalności produktu. Aby uzyskać więcej informacji, patrz Klasyfikacja popytu: dlaczego przewidywalność ma znaczenie.

Warto zauważyć, że ta analiza przewidywalności dotyczy każdego szczegółowego elementu (na przykład SKU-Store-Color-Size). Dość często zdarza się, że w systemie produkcyjnym prognozowania popytu różne elementy mają różne wzorce. Dlatego ważne jest, aby rozdzielić elementy zgodnie z różnymi wzorcami danych. Typowym przykładem są szybko poruszające się i wolno poruszające się przedmioty; innym przykładem mogą być gęste i rzadkie dane. Ponadto drobnoziarnisty przedmiot ma większe szanse na uzyskanie nierównego wzoru. Na przykład w sklepie odzieżowym sprzedaż jednego popularnego artykułu może przebiegać dość płynnie każdego dnia, ale jeśli dodatkowo podzielimy sprzedaż artykułu na każdy kolor i rozmiar, wkrótce stanie się on rzadki. W związku z tym zmniejszenie stopnia szczegółowości z SKU-Store-Color-Size do SKU-Store może zmienić wzorzec danych z nierównego na gładki i odwrotnie.

Co więcej, nie wszystkie produkty w równym stopniu przyczyniają się do sprzedaży. Zaobserwowaliśmy, że udział poszczególnych pozycji często jest zgodny z rozkładem Pareto, w którym dominujące pozycje stanowią większość sprzedaży. Sprzedaż tych najlepszych produktów jest często płynna. Przedmioty o niższym rekordzie sprzedaży są często nierówne i nieregularne, a zatem trudne do oszacowania. Dodanie tych elementów może w rzeczywistości zmniejszyć dokładność najlepiej sprzedających się produktów. W oparciu o te obserwacje możemy podzielić pozycje na różne grupy, wytrenować model prognozowania na pozycjach o najwyższej sprzedaży i obsłużyć pozycje o niższej sprzedaży jako przypadki narożne.

Wzbogacanie danych i wybór dodatkowego zestawu danych

Gdy chcemy skorzystać z dodatkowych zestawów danych w celu poprawy wydajności wyników prognozy, możemy na nich polegać zestawy danych szeregów czasowych i zestawy danych metadanych. W domenie handlu detalicznego, w oparciu o intuicję i wiedzę dziedzinową, cechy takie jak zapasy, cena, promocje oraz sezony zimowe lub letnie mogą być importowane jako powiązane szeregi czasowe. Najprostszym sposobem określenia przydatności funkcji jest określenie ważności funkcji. W Prognozie odbywa się to za pomocą analizy wyjaśnialności. Prognoza Wyjaśnialność predyktora pomaga nam lepiej zrozumieć, w jaki sposób atrybuty w zestawach danych wpływają na prognozy dla celu. Prognoza wykorzystuje metrykę zwaną punktacją wpływu, aby określić ilościowo względny wpływ każdego atrybutu i określić, czy zwiększają one, czy zmniejszają wartości prognozy. Jeśli jeden lub więcej atrybutów ma wynik wpływu równy zero, atrybuty te nie mają znaczącego wpływu na wartości prognozy. W ten sposób możemy szybko usunąć funkcje, które mają mniejszy wpływ i iteracyjnie dodawać potencjalne. Należy zauważyć, że oceny wpływu mierzą względny wpływ atrybutów, który jest znormalizowany wraz z wynikami wpływu wszystkich innych atrybutów.

Podobnie jak wszystkie projekty ML, poprawa dokładności za pomocą dodatkowych funkcji wymaga iteracyjnych eksperymentów. Musisz poeksperymentować z wieloma kombinacjami zestawów danych, jednocześnie obserwując wpływ zmian przyrostowych na dokładność modelu. Możesz spróbować uruchomić wiele eksperymentów prognozy za pomocą konsoli prognozy lub za pomocą Notatniki języka Python z interfejsami API prognozy. Ponadto możesz wejść na pokład z Tworzenie chmury AWS, która wdraża AWS dostarczyła gotowe rozwiązania dla typowych przypadków użycia (np Poprawa dokładności prognoz dzięki rozwiązaniu Machine Learning). Forecast automatycznie oddziela zestaw danych i tworzy metryki dokładności do oceny predyktorów. Aby uzyskać więcej informacji, zobacz Ocena dokładności predyktorów. Pomaga to analitykom danych w szybszym wykonywaniu iteracji w celu uzyskania modelu o najwyższej wydajności.

Zaawansowane ulepszanie i obsługa przypadków narożnych

Wspomnieliśmy, że algorytmy prognozowania mogą uczyć się sezonowości, trendów i cech cyklicznych z danych. W przypadku elementów o tych cechach oraz odpowiedniej gęstości i objętości danych możemy użyć narzędzia Forecast do generowania szacunków. Jednak w przypadku nierównych wzorców danych, zwłaszcza gdy ilość danych jest niewielka, może być konieczne potraktowanie ich w inny sposób, na przykład za pomocą oszacowania empirycznego opartego na zestawie reguł.

W przypadku gęstych jednostek SKU jeszcze bardziej poprawiamy dokładność prognozy, ucząc modele z podobnie zachowującymi się podzbiorami zestawu danych szeregów czasowych. Stosowane przez nas strategie separacji podzbiorów to logika biznesowa, typ produktu, gęstość danych i wzorce wyuczone przez algorytm. Po wygenerowaniu podzbiorów możemy wyszkolić wiele modeli prognozy dla różnych podzbiorów. Aby zapoznać się z jednym takim przykładem, zob Dane szeregów czasowych klastrów do użytku z Amazon Forecast.

W stronę produkcji: aktualizacja zestawu danych, monitorowanie i ponowne szkolenie

Przyjrzyjmy się przykładowej architekturze z prognozą, jak pokazano na poniższym diagramie. Za każdym razem, gdy użytkownik końcowy konsoliduje nowy zestaw danych na Usługa Amazon Simple Storage (Amazon S3), uruchamia się Funkcje kroków AWS koordynować różne komponenty, w tym tworzenie zadania importu zestawu danych, tworzenie automatycznego predyktora i generowanie prognoz. Po wygenerowaniu wyników prognozy krok Utwórz eksport prognozy eksportuje je do Amazon S3 dla dalszych konsumentów. Aby uzyskać więcej informacji na temat sposobu aprowizacji tego zautomatyzowanego potoku, zobacz Automatyzacja z AWS CloudFormation. Wykorzystuje stos CloudFormation do automatycznego wdrażania zestawów danych w zasobniku S3 i wyzwalania potoku prognozy. Możesz użyć tego samego stosu automatyzacji do generowania prognoz z własnymi zestawami danych.

Istnieją dwa sposoby uwzględnienia najnowszych trendów w systemie prognozowania: aktualizacja danych lub ponowne uczenie predyktora.

Aby wygenerować prognozę ze zaktualizowanymi danymi odzwierciedlającymi ostatnie trendy, musisz przesłać zaktualizowany plik danych wejściowych do zasobnika S3 (zaktualizowane dane wejściowe powinny nadal zawierać wszystkie istniejące dane). Prognoza nie powoduje automatycznego ponownego uczenia predyktora podczas importowania zaktualizowanego zestawu danych. Możesz generować prognozy jak zwykle. Prognoza przewiduje horyzont prognozy począwszy od ostatniego dnia w zaktualizowanych danych wejściowych. Dlatego najnowsze trendy są uwzględniane we wszelkich nowych wnioskach generowanych przez Forecast.

Jeśli jednak chcesz, aby predyktor był uczony na podstawie nowych danych, musisz utworzyć nowy predyktor. Może być konieczne rozważenie ponownego uczenia modelu, gdy zmieniają się wzorce danych (sezonowość, trendy lub cykle). Jak wspomniano w Stale monitoruj dokładność predyktorów za pomocą prognozy Amazon, wydajność predyktora będzie się zmieniać w czasie, ze względu na takie czynniki, jak zmiany w środowisku gospodarczym lub w zachowaniu konsumentów. W związku z tym predyktor może wymagać ponownego nauczenia lub może być konieczne utworzenie nowego predyktora, aby zapewnić kontynuację wysoce dokładnych prognoz. Z pomocą monitorowanie predykcyjne, Forecast może śledzić jakość predyktorów, co pozwala ograniczyć nakłady operacyjne, a jednocześnie ułatwia podejmowanie bardziej świadomych decyzji dotyczących utrzymania, ponownego szkolenia lub odbudowy predyktorów.

Wnioski

Amazon Forecast to usługa prognozowania szeregów czasowych oparta na ML i stworzona do analizy wskaźników biznesowych. Możemy zintegrować przewidywania prognoz popytu z dużą dokładnością, łącząc historyczną sprzedaż i inne istotne informacje, takie jak zapasy, promocje lub sezon. W ciągu 8 tygodni pomogliśmy jednemu z naszych klientów detalicznych uzyskać dokładne prognozowanie popytu — 10% poprawę w porównaniu z prognozą ręczną. Prowadzi to do bezpośrednich oszczędności 16 godzin pracy miesięcznie i szacowanego wzrostu sprzedaży nawet o 11.8%.

W tym poście przedstawiono wspólne praktyki dotyczące przenoszenia projektu prognozowania od etapu weryfikacji koncepcji do produkcji. Zacznij już teraz z Prognoza Amazon aby uzyskać bardzo dokładne prognozy dla Twojej firmy.

---

O autorach

Yanwei CuiDr , jest specjalistą ds. rozwiązań w zakresie uczenia maszynowego w AWS. Rozpoczął badania nad uczeniem maszynowym w IRISA (Instytut Badawczy Informatyki i Systemów Losowych) i ma kilkuletnie doświadczenie w budowaniu aplikacji przemysłowych wykorzystujących sztuczną inteligencję w zakresie wizji komputerowej, przetwarzania języka naturalnego i przewidywania zachowań użytkowników online. W AWS dzieli się wiedzą na temat domeny i pomaga klientom w odblokowaniu potencjału biznesowego oraz osiąganiu praktycznych wyników dzięki uczeniu maszynowemu na dużą skalę. Poza pracą lubi czytać i podróżować.

Gordona Wanga jest starszym analitykiem danych w zespole usług profesjonalnych w Amazon Web Services. Wspiera klientów z wielu branż, w tym mediów, produkcji, energetyki, handlu detalicznego i opieki zdrowotnej. Pasjonuje się widzeniem komputerowym, głębokim uczeniem i MLOps. W wolnym czasie uwielbia biegać i wędrować.