Ten post jest gościnną współpracą Supratima Banerjee z More Retail Limited i Shivaprasad KT oraz Gaurav H Kankaria z Ganit Inc.
More Retail Ltd. (MRL) jest jednym z czterech największych indyjskich sprzedawców detalicznych artykułów spożywczych, z przychodami rzędu kilku miliardów dolarów. Posiada sieć sklepów składającą się z 22 hipermarketów i 624 supermarketów w całych Indiach, wspieranych przez łańcuch dostaw składający się z 13 centrów dystrybucji, 7 centrów zbiórki owoców i warzyw oraz 6 centrów przetwarzania podstawowych artykułów spożywczych.
Przy tak dużej sieci bardzo ważne jest, aby MRL dostarczał produkt o odpowiedniej jakości i wartości ekonomicznej, jednocześnie spełniając wymagania klientów i utrzymując koszty operacyjne na minimalnym poziomie. MRL współpracował z firmą Ganit jako swoim partnerem analitycznym AI, aby prognozować popyt z większą dokładnością i zbudować zautomatyzowany system zamówień, aby przezwyciężyć wąskie gardła i niedociągnięcia w ręcznej ocenie kierowników sklepów. Zastosowany NDP Prognoza Amazon zwiększenie dokładności prognozowania z 24% do 76%, co prowadzi do zmniejszenia marnotrawstwa nawet o 30% w kategorii produktów świeżych, poprawy stanu zapasów z 80% do 90% i zwiększenia zysku brutto o 25%.
Udało nam się osiągnąć te wyniki biznesowe i zbudować zautomatyzowany system zamówień z dwóch głównych powodów:
- Umiejętność eksperymentowania - Forecast zapewnia elastyczną i modułową platformę, dzięki której przeprowadziliśmy ponad 200 eksperymentów z użyciem różnych regresorów i typów modeli, w tym zarówno tradycyjnych, jak i ML. Zespół zastosował podejście Kaizen, ucząc się na wcześniej nieudanych modelach i wdrażając modele tylko wtedy, gdy odniosły sukces. Eksperymenty były kontynuowane z boku podczas wdrażania zwycięskich modeli.
- Zarządzanie zmianami - Poprosiliśmy właścicieli kategorii, którzy byli przyzwyczajeni do składania zamówień na podstawie oceny biznesowej, aby zaufali systemowi zamówień opartemu na ML. Systemowy plan przyjęcia zapewnił przechowywanie wyników narzędzia, a narzędzie działało zdyscyplinowaną kadencją, tak aby zapełnione i bieżące stany były identyfikowane i rejestrowane na czas.
Złożoność prognozowania kategorii produktów świeżych
Prognozowanie popytu na kategorię produktów świeżych jest trudne, ponieważ produkty świeże mają krótki okres przydatności do spożycia. W przypadku zawyżania prognoz sklepy sprzedają przeterminowane lub przejrzałe produkty lub wyrzucają większość swoich zapasów (określane jako skurcz). Jeśli prognozy są zaniżone, produkty mogą być niedostępne, co wpływa na wrażenia klientów. Klienci mogą porzucić koszyk, jeśli nie mogą znaleźć kluczowych pozycji na swojej liście zakupów, ponieważ nie chcą czekać w kolejkach do kasy na kilka produktów. Aby dodać do tej złożoności, MRL ma wiele SKU w ponad 600 supermarketach, co prowadzi do ponad 6,000 kombinacji sklepów i SKU.
Do końca 2019 r.MRL korzystał z tradycyjnych metod statystycznych do tworzenia modeli prognostycznych dla każdej kombinacji sklepu i SKU, co skutkowało dokładnością nawet na poziomie 40%. Prognozy były utrzymywane za pomocą wielu indywidualnych modeli, co spowodowało, że było to kosztowne obliczeniowo i operacyjnie.
Prognozowanie popytu przy składaniu zamówień
Na początku 2020 r. MRL i Ganit rozpoczęły współpracę w celu dalszej poprawy dokładności prognozowania kategorii produktów świeżych, znanej jako owoce i warzywa (F&V), oraz zmniejszenia kurczenia się.
Ganit poradził MRL, aby podzielił problem na dwie części:
- Prognozuj popyt dla każdej kombinacji sklepu i jednostki SKU
- Oblicz ilość zamówienia (wcięcia)
W kolejnych sekcjach omówimy bardziej szczegółowo każdy aspekt.
Prognozowany popyt
W tej sekcji omówimy kroki prognozowania popytu dla każdej kombinacji sklepu i jednostki SKU.
Zrozum czynniki popytu
Zespół Ganit rozpoczął swoją podróż od zrozumienia czynników, które napędzały popyt w sklepach. Obejmowało to wiele wizyt w sklepie na miejscu, dyskusje z kierownikami kategorii i spotkania dotyczące kadencji z dyrektorem generalnym supermarketu w połączeniu z wewnętrzną ekspertyzą Ganit w zakresie prognozowania w kilku innych aspektach, takich jak sezonowość, brak zapasów, czynniki społeczno-ekonomiczne i makroekonomiczne. .
Po wizytach w sklepie sformułowano około 80 hipotez dotyczących wielu czynników, aby zbadać ich wpływ na popyt na owoce i warzywa. Zespół przeprowadził kompleksowe testy hipotez przy użyciu technik takich jak korelacja, analiza dwuwymiarowa i jednowymiarowa oraz testy istotności statystycznej (test t-Studenta, testy Z) w celu ustalenia związku między popytem a istotnymi czynnikami, takimi jak daty festiwali, pogoda, promocje i wiele innych. .
Segmentacja danych
Zespół położył nacisk na opracowanie szczegółowego modelu, który umożliwiłby dokładne prognozowanie kombinacji sklepu i jednostki SKU na każdy dzień. Połączenie udziału sprzedaży i łatwości przewidywania zostało zbudowane jako schemat ABC-XYZ, gdzie ABC wskazuje udział w sprzedaży (A jest najwyższy), a XYZ wskazuje na łatwość przewidywania (Z jest najniższy). W przypadku budowania modeli pierwszą linią zainteresowania były kombinacje sklepu-SKU, które miały duży udział w sprzedaży i były najtrudniejsze do przewidzenia. Zrobiono to w celu zapewnienia, że poprawa dokładności prognozowania ma maksymalny wpływ na działalność biznesową.
Przetwarzanie danych
Dane transakcji MRL zostały zorganizowane jak konwencjonalne dane punktu sprzedaży, z polami takimi jak numer telefonu komórkowego, numer rachunku, kod pozycji, kod sklepu, data, ilość rachunków, wartość zrealizowana i wartość rabatu. Zespół wykorzystywał codzienne dane transakcyjne z ostatnich 2 lat do budowania modelu. Analiza danych historycznych pomogła zidentyfikować dwa wyzwania:
- Obecność wielu brakujących wartości
- W niektóre dni sprzedaż na poziomie rachunków była wyjątkowo wysoka lub niska, co wskazywało na obecność wartości odstających w danych
Postępowanie w przypadku braku wartości
Dogłębne przeanalizowanie brakujących wartości zidentyfikowanych przyczyn, takich jak brak zapasów w sklepie (brak dostaw lub poza sezonem) oraz zamknięcie sklepów z powodu planowanych wakacji lub ograniczeń zewnętrznych (takich jak zamknięcie regionalne lub krajowe lub prace budowlane). Brakujące wartości zastąpiono 0, a do modelu dodano odpowiednie regresory lub flagi, aby model mógł się na nich uczyć w przypadku takich przyszłych zdarzeń.
Leczenie odstające
Zespół potraktował wartości odstające na najbardziej szczegółowym poziomie rachunków, co zapewniło uwzględnienie takich czynników, jak likwidacja, zakupy hurtowe (B2B) i zła jakość. Na przykład podejście na poziomie rachunku może obejmować obserwację KPI dla każdej kombinacji SKU sklepu na poziomie dnia, jak na poniższym wykresie.
Następnie możemy oznaczyć daty, w których nienormalnie duże ilości są sprzedawane jako wartości odstające i zgłębić te zidentyfikowane wartości odstające. Dalsza analiza pokazuje, że te wartości odstające to wcześniej zaplanowane zakupy instytucjonalne.
Te wartości odstające na poziomie rachunków są następnie ograniczane maksymalną ilością sprzedaży dla tej daty. Poniższe wykresy pokazują różnicę w popycie na poziomie rachunków.
Proces prognozowania
Zespół przetestował wiele technik prognozowania, takich jak modele szeregów czasowych, modele oparte na regresji i modele głębokiego uczenia się, zanim wybrał Forecast. Głównym powodem wyboru prognozy była różnica w wydajności przy porównywaniu dokładności prognozy w przedziale XY z przedziałem Z, co było najtrudniejsze do przewidzenia. Chociaż większość konwencjonalnych technik zapewniała większą dokładność w segmencie XY, tylko algorytmy ML w prognozie zapewniały dokładność przyrostową o 10% w porównaniu z innymi modelami. Wynikało to głównie ze zdolności Forecast do uczenia się innych wzorców SKU (XY) i stosowania tej wiedzy do wysoce niestabilnych elementów w wiadrze Z. Dzięki AutoML algorytm Forecast DeepAR + został zwycięzcą i wybrany jako model prognostyczny.
Iterowanie w celu dalszej poprawy dokładności prognozowania
Po tym, jak zespół zidentyfikował Deep AR + jako zwycięski algorytm, przeprowadził kilka eksperymentów z dodatkowymi funkcjami, aby jeszcze bardziej zwiększyć dokładność. Wykonali wiele iteracji na mniejszym zestawie próbek z różnymi kombinacjami, takimi jak czyste docelowe dane szeregów czasowych (z traktowaniem wartości odstających i bez), regresory, takie jak festiwale lub zamknięcia sklepów oraz metadane pozycji sklepu (hierarchia pozycji w sklepie), aby zrozumieć najlepszą kombinację dla poprawa dokładności prognoz. Połączenie docelowych szeregów czasowych potraktowanych odstających wraz z metadanymi pozycji sklepu i regresorami zapewniło najwyższą dokładność. Zostało to przeskalowane do pierwotnego zestawu 6,230 kombinacji SKU sklepu, aby uzyskać ostateczną prognozę.
Obliczanie ilości zamówienia
Po opracowaniu przez zespół modelu prognozowania, kolejnym krokiem było skorzystanie z niego, aby zdecydować, ile zapasów należy kupić i złożyć zamówienia. Na generowanie zamówień wpływ ma prognozowany popyt, aktualny stan zapasów i inne istotne czynniki w sklepie.
Poniższy wzór posłużył jako podstawa do zaprojektowania konstrukcji zamówienia.
Zespół wziął również pod uwagę inne parametry dostosowania wcięć dla systemu automatycznego zamawiania, takie jak minimalna wielkość zamówienia, współczynnik jednostki usługowej, minimalny zapas końcowy, minimalny stan magazynu (na podstawie planogramu) i dostosowanie współczynnika wypełnienia, wypełniając w ten sposób lukę między maszyną a człowiekiem. inteligencja.
Bilansowanie scenariuszy niedoszacowania i zawyżania prognoz
Aby zoptymalizować wyjściowy koszt kurczenia się z kosztami braków w zapasach i utraconej sprzedaży, zespół wykorzystał funkcję kwantyli programu Forecast, aby przenieść odpowiedź prognozy z modelu.
W projekcie modelu wygenerowano trzy prognozy w kwantylach p40, p50 i p60, przy czym p50 jest kwantylem podstawowym. Wybór kwantyli został zaprogramowany na podstawie zapasów i marnotrawstwa w sklepach w niedawnej przeszłości. Na przykład, wyższe kwantyle były wybierane automatycznie, jeśli dana kombinacja SKU sklepu napotykała ciągłe zapasy w ciągu ostatnich 3 dni, a niższe kwantyle były wybierane automatycznie, jeśli jednostka SKU sklepu była świadkiem dużego marnotrawstwa. Kwantowy wzrost i spadek kwantyli był oparty na wielkości braków lub kurczenia się w sklepie.
Automatyczne składanie zamówień przez Oracle ERP
MRL wdrożył Forecast i systemy zamawiania odcisków w produkcji, integrując je z systemem ERP Oracle, którego MRL używa do składania zamówień. Poniższy diagram ilustruje ostateczną architekturę.
Aby wdrożyć system zamówień do produkcji, wszystkie dane MRL zostały zmigrowane do AWS. Zespół skonfigurował zadania ETL, aby przenieść tabele na żywo do Amazonka Przesunięcie ku czerwieni (hurtownia danych do pracy Business Intelligence), więc Amazon Redshift stał się jedynym źródłem danych wejściowych dla przyszłego przetwarzania danych.
Cała architektura danych została podzielona na dwie części:
- Silnik prognozowania:
- Wykorzystano historyczne dane dotyczące popytu (1-dniowe opóźnienie popytu) obecne w Amazon Redshift
- Inne dane wejściowe regresora, takie jak czas ostatniego rachunku, cena i festiwale, zostały utrzymane w Amazon Redshift
- An Elastyczna chmura obliczeniowa Amazon Wystąpienie (Amazon EC2) zostało skonfigurowane z dostosowanymi skryptami Python do obsługi transakcji, regresorów i innych metadanych
- Po zmaganiach z danymi dane zostały przeniesione do pliku Usługa Amazon Simple Storage (Amazon S3) do generowania prognoz (prognozy T + 2 dla wszystkich kombinacji sklep-SKU)
- Końcowe dane wyjściowe prognozy zostały zapisane w oddzielnym folderze w zasobniku S3
- Silnik zamówień (wcięć):
- Wszystkie dane wymagane do konwersji prognoz na zamówienia (takie jak stan zapasów, ilość przyjęta do sklepu, ostatnie 2 dni zamówień złożonych do odbioru, współczynnik jednostki usługowej oraz minimalny stan otwarcia i zamknięcia na podstawie planogramu) były przechowywane i utrzymywane w Amazon Redshift
- Ilość zamówienia została obliczona za pomocą skryptów Python uruchamianych na instancjach EC2
- Zamówienia były następnie przenoszone do systemu ERP Oracle, który składał zamówienia do dostawców
Cały system zamawiania został rozdzielony na wiele kluczowych segmentów. Zespół skonfigurował powiadomienia e-mail harmonogramu Apache Airflow dla każdego procesu, aby powiadomić odpowiednich interesariuszy o pomyślnym zakończeniu lub niepowodzeniu, aby mogli podjąć natychmiastowe działania. Zamówienia złożone przez system ERP były następnie przenoszone do tabel Amazon Redshift w celu obliczenia zamówień na kolejne dni. Łatwość integracji między systemami AWS i ERP doprowadziła do powstania kompletnego, kompleksowego, zautomatyzowanego systemu składania zamówień bez udziału człowieka.
Wnioski
Podejście oparte na ML odblokowało prawdziwą moc danych w zakresie MRL. Dzięki Forecast stworzyliśmy dwa modele krajowe dla różnych formatów sklepów, w przeciwieństwie do ponad 1,000 tradycyjnych modeli, z których korzystaliśmy.
Forecast uczy się również na podstawie szeregów czasowych. Algorytmy ML w programie Forecast umożliwiają wzajemne uczenie się między kombinacjami SKU sklepu, co pomaga poprawić dokładność prognoz.
Ponadto Forecast umożliwia dodawanie pokrewnych szeregów czasowych i metadanych pozycji, takich jak klienci, którzy wysyłają sygnały zapotrzebowania na podstawie kombinacji pozycji w ich koszyku. Prognoza uwzględnia wszystkie przychodzące informacje o popycie i dociera do jednego modelu. W przeciwieństwie do modeli konwencjonalnych, w których dodanie zmiennych prowadzi do nadmiernego dopasowania, Forecast wzbogaca model, zapewniając dokładne prognozy oparte na kontekście biznesowym. MRL zyskał możliwość kategoryzowania produktów na podstawie takich czynników jak okres przydatności do spożycia, promocje, cena, rodzaj sklepów, zamożny klaster, konkurencyjny sklep oraz przepustowość sklepów. Zalecamy wypróbowanie Amazon Forecast, aby usprawnić operacje w łańcuchu dostaw. Możesz dowiedzieć się więcej o Amazon Forecast tutaj. Aby dowiedzieć się więcej o Ganit i naszych rozwiązaniach, skontaktuj się z info@ganitinc.com uczyć się więcej.
Treść i opinie zawarte w tym poście należą do autora będącego osobą trzecią, a AWS nie ponosi odpowiedzialności za treść ani dokładność tego postu.
O autorach
Supratim Banerjee jest Główny oficer ds. Transformacji at Więcej sprzedaży detalicznej Ograniczony. Jest doświadczonym profesjonalistą z udokumentowaną historią pracy w branży venture capital i private equity. Był konsultantem w KPMG i współpracował z takimi organizacjami jak AT Kearney i India Equity Partners. Posiada tytuł MBA z zakresu finansów, uzyskany w Indian School of Business w Hyderabad.
Śiwaprasad KT jest Współzałożyciel i dyrektor generalny at Firma Ganit. Ma ponad 17-letnie doświadczenie w zapewnianiu wpływu na wyniki końcowe i końcowe za pomocą nauki o danych w Stanach Zjednoczonych, Australii, Azji i Indiach. Doradzał CXO w firmach takich jak Walmart, Sam's Club, Pfizer, Staples, Coles, Lenovo i Citibank. Posiada tytuł MBA uzyskany w SP Jain w Bombaju oraz tytuł licencjata z inżynierii uzyskany w NITK Surathkal.
Gaurav H. Kankaria jest Starszy analityk danych at Firma Ganit. Ma ponad 6-letnie doświadczenie w projektowaniu i wdrażaniu rozwiązań, które pomagają organizacjom w handlu detalicznym, CPG i BFSI w podejmowaniu decyzji opartych na danych. Posiada tytuł licencjata Uniwersytetu VIT w Vellore.
