To jest post gościnny, którego współautorami są Nafi Ahmet Turgut, Mutlu Polatcan, Pınar Baki, Mehmet İkbal Özmen, Hasan Burak Yel i Hamza Akyıldız z Getir.
przyniósł jest pionierem ultraszybkiej dostawy artykułów spożywczych. Firma technologiczna zrewolucjonizowała dostawę ostatniej mili dzięki swojej propozycji dostawy „artykułów spożywczych w kilka minut”. Getir został założony w 2015 roku i działa w Turcji, Wielkiej Brytanii, Holandii, Niemczech, Francji, Hiszpanii, Włoszech, Portugalii i Stanach Zjednoczonych. Dziś Getir to konglomerat składający się z dziewięciu pionów pod tą samą marką.
Przewidywanie przyszłego popytu jest jednym z najważniejszych spostrzeżeń dla Getir i jednym z największych wyzwań, przed którymi stoimy. Podczas podejmowania decyzji biznesowych w wielu obszarach, w tym w marketingu, produkcji, zapasach i finansach, Getir w dużym stopniu polega na dokładnych prognozach popytu na poziomie SKU. Dokładne prognozy są niezbędne do wspierania decyzji dotyczących utrzymywania zapasów i ich uzupełniania. Posiadanie jasnego i wiarygodnego obrazu przewidywanego popytu na następny dzień lub tydzień pozwala nam dostosować naszą strategię i zwiększyć naszą zdolność do osiągania celów sprzedaży i przychodów.
Getir używany Prognoza Amazon, w pełni zarządzana usługa, która wykorzystuje algorytmy uczenia maszynowego (ML) do dostarczania bardzo dokładnych prognoz szeregów czasowych, aby zwiększyć przychody o cztery procent i zmniejszyć koszty odpadów o 50 procent. W tym poście opisujemy, w jaki sposób wykorzystaliśmy Forecast, aby osiągnąć te korzyści. Opisujemy, w jaki sposób zbudowaliśmy zautomatyzowany potok prognozowania popytu przy użyciu narzędzia Forecast i zorganizowanego przez Funkcje kroków AWS przewidywać dzienne zapotrzebowanie na jednostki SKU. To rozwiązanie doprowadziło do bardzo dokładnych prognoz dla ponad 10,000 XNUMX SKU we wszystkich krajach, w których prowadzimy działalność, i znacząco przyczyniło się do naszej zdolności do opracowywania wysoce skalowalnych wewnętrznych procesów łańcucha dostaw.
Forecast automatyzuje większość procesu prognozowania szeregów czasowych, umożliwiając skupienie się na przygotowywaniu zestawów danych i interpretowaniu prognoz.
Step Functions to w pełni zarządzana usługa, która ułatwia koordynację komponentów rozproszonych aplikacji i mikrousług za pomocą wizualnych przepływów pracy. Tworzenie aplikacji z pojedynczych komponentów, z których każdy wykonuje odrębną funkcję, pomaga w łatwiejszym skalowaniu i szybszej zmianie aplikacji. Step Functions automatycznie wyzwala i śledzi każdy krok oraz ponawia próbę w przypadku wystąpienia błędów, dzięki czemu Twoja aplikacja działa w kolejności i zgodnie z oczekiwaniami.
Omówienie rozwiązania
Nad tym projektem pracowało razem sześć osób z zespołu analityki danych i zespołu ds. infrastruktury Getir. Projekt został ukończony w 3 miesiące i wdrożony do produkcji po 2 miesiącach testów.
Poniższy diagram przedstawia architekturę rozwiązania.
Rurociąg modelowy jest wykonywany oddzielnie dla każdego kraju. Architektura obejmuje cztery zadania cron Airflow działające zgodnie z określonym harmonogramem. Potok rozpoczyna się od utworzenia funkcji, która najpierw tworzy funkcje i ładuje je do Amazonka Przesunięcie ku czerwieni. Następnie zadanie przetwarzania funkcji przygotowuje codzienne funkcje przechowywane w Amazon Redshift i usuwa dane szeregów czasowych do Usługa Amazon Simple Storage (Amazon S3). Drugie zadanie Airflow jest odpowiedzialne za wyzwalanie potoku prognozy przez Most zdarzeń Amazona. Pipeline składa się z funkcji Amazon Lambda, które tworzą predyktory i prognozy na podstawie parametrów przechowywanych w Amazon S3. Forecast odczytuje dane z Amazon S3, trenuje model za pomocą optymalizacji hiperparametrów (HPO) w celu optymalizacji wydajności modelu i tworzy przyszłe prognozy dotyczące sprzedaży produktów. Następnie dla każdego kraju uruchamiany jest potok „WaitInProgress” funkcji Step Functions, co umożliwia równoległe wykonanie potoku dla każdego kraju.
Wybór algorytmu
Amazon Forecast ma sześć wbudowanych algorytmów (ARIMA, ETS, NPT, prorok, DeepAR +, CNN-QR), które są podzielone na dwie grupy: sieć statystyczna i sieć głęboka/neuronowa. Wśród tych algorytmów sieci głębokie/neuronowe są bardziej odpowiednie do prognozowania problemów e-commerce, ponieważ akceptują funkcje metadanych pozycji, funkcje wybiegające w przyszłość dla kampanii i działań marketingowych oraz – co najważniejsze – powiązane funkcje szeregów czasowych. Algorytmy sieci głębokich/neuronowych działają również bardzo dobrze w przypadku rzadkich zestawów danych i scenariuszy zimnego startu (wprowadzanie nowych elementów).
Ogólnie rzecz biorąc, w naszych eksperymentach zaobserwowaliśmy, że modele sieci głębokich/neuronowych działały znacznie lepiej niż modele statystyczne. Dlatego skupiliśmy się na naszych szczegółowych testach DeepAR+ i CNN-QR
Jedną z najważniejszych zalet Amazon Forecast jest skalowalność i dokładne wyniki dla wielu kombinacji produktów i krajów. W naszych testach zarówno algorytmy DeepAR+, jak i CNN-QR przyniosły sukces w wychwytywaniu trendów i sezonowości, pozwalając nam uzyskiwać wydajne wyniki w produktach, których popyt zmienia się bardzo często.
Deep AutoRegressive Plus (DeepAR+) to nadzorowany algorytm prognozowania jednowymiarowego oparty na rekurencyjnych sieciach neuronowych (RNN) stworzonych przez Badania Amazona. Jego głównymi zaletami są łatwość skalowania, możliwość włączania odpowiednich współzmiennych do danych (takich jak powiązane dane i metadane) oraz możliwość prognozowania pozycji zimnego startu. Zamiast dopasowywać oddzielne modele dla każdego szeregu czasowego, tworzy globalny model z powiązanych szeregów czasowych, aby obsłużyć bardzo zróżnicowane skale poprzez ponowne skalowanie i próbkowanie oparte na prędkości. Architektura RNN obejmuje prawdopodobieństwo dwumianowe do prognozowania probabilistycznego i jest zalecana przez autorów DeepAR: Prognozy probabilistyczne z autoregresyjnymi sieciami rekurencyjnymi.
Ostatecznie wybraliśmy tzw Amazon CNN-QR (Convolutional Neural Network – Quantile Regression) algorytm naszego prognozowania ze względu na jego wysoką wydajność w procesie backtestu. CNN-QR to zastrzeżony algorytm ML opracowany przez Amazon do prognozowania skalarnych (jednowymiarowych) szeregów czasowych przy użyciu przyczynowych konwolucyjnych sieci neuronowych (CNN).
Jak wspomniano wcześniej, CNN-QR może wykorzystywać powiązane szeregi czasowe i metadane dotyczące prognozowanych elementów. Metadane muszą zawierać wpis dla wszystkich unikalnych pozycji w docelowych szeregach czasowych, którymi w naszym przypadku są produkty, na które prognozujemy popyt. Aby poprawić dokładność, wykorzystaliśmy metadane kategorii i podkategorii, które pomogły modelowi zrozumieć związek między niektórymi produktami, w tym produktami uzupełniającymi i substytutami. Na przykład w przypadku napojów zapewniamy dodatkową flagę dla przekąsek, ponieważ te dwie kategorie wzajemnie się uzupełniają.
Istotną zaletą CNN-QR jest możliwość prognozowania bez szeregów czasowych związanych z przyszłością, co jest ważne, gdy nie można zapewnić powiązanych funkcji dla okna prognozy. Ta funkcja, wraz z dokładnością prognozy, oznaczała, że CNN-QR generował najlepsze wyniki z naszymi danymi i przypadkami użycia.
Wynik prognozy
Prognozy utworzone za pośrednictwem systemu są zapisywane w osobnych zasobnikach S3 po ich otrzymaniu w poszczególnych krajach. Następnie prognozy są zapisywane w Amazon Redshift na podstawie SKU i kraju z codziennymi zadaniami. Następnie przeprowadzamy codzienne planowanie zapasów produktów w oparciu o nasze prognozy.
Na bieżąco obliczamy współczynniki średniego bezwzględnego błędu procentowego (MAPE) na podstawie danych produktowych oraz optymalizujemy procesy pozyskiwania modeli i funkcji.
Wnioski
W tym poście omówiliśmy zautomatyzowany potok prognozowania popytu, który zbudowaliśmy przy użyciu Amazon Forecast i AWS Step Functions.
Dzięki Amazon Forecast poprawiliśmy nasz MAPE dla poszczególnych krajów o 10 procent. Doprowadziło to do czteroprocentowego wzrostu przychodów i obniżyło nasze koszty odpadów o 50 procent. Ponadto osiągnęliśmy 80-procentową poprawę czasów naszych treningów w dziennych prognozach pod względem skalowalności. Jesteśmy w stanie prognozować ponad 10,000 XNUMX SKU dziennie we wszystkich krajach, które obsługujemy.
Aby uzyskać więcej informacji o tym, jak rozpocząć tworzenie własnych potoków za pomocą prognozy, zobacz Zasoby dotyczące prognozy Amazon. Możesz także odwiedzić Funkcje kroków AWS aby uzyskać więcej informacji na temat tworzenia zautomatyzowanych procesów oraz organizowania i tworzenia potoków uczenia maszynowego. Powodzenia w prognozowaniu i zacznij ulepszać swój biznes już dziś!
O autorach
Nafiego Ahmeta Turguta ukończył studia magisterskie z inżynierii elektrycznej i elektronicznej i pracował jako naukowiec. Skupiał się na budowaniu algorytmów uczenia maszynowego do symulacji anomalii sieci nerwowych. Dołączył do Getir w 2019 roku i obecnie pracuje jako Senior Data Science & Analytics Manager. Jego zespół jest odpowiedzialny za projektowanie, wdrażanie i utrzymywanie kompleksowych algorytmów uczenia maszynowego oraz rozwiązań opartych na danych dla Getir.
Mutlu Polatcan jest Staff Data Engineer w Getir, specjalizującym się w projektowaniu i budowaniu natywnych platform danych w chmurze. Uwielbia łączyć projekty open source z usługami w chmurze.
Pinar Baki uzyskała tytuł magistra na Wydziale Inżynierii Komputerowej Uniwersytetu Boğaziçi. Pracowała jako analityk danych w Arcelik, koncentrując się na modelach rekomendacji części zamiennych oraz analizie wieku, płci i emocji na podstawie danych mowy. Następnie dołączyła do Getir w 2022 roku jako Senior Data Scientist pracująca nad prognozowaniem i projektami wyszukiwarek.
Mehmeta Ikbala Özmena uzyskał tytuł magistra ekonomii i pracował jako asystent naukowy. Jego obszarem badawczym były głównie ekonomiczne modele szeregów czasowych, symulacje Markowa i prognozowanie recesji. Następnie dołączył do Getir w 2019 roku i obecnie pracuje jako Data Science & Analytics Manager. Jego zespół jest odpowiedzialny za optymalizację i algorytmy prognozowania w celu rozwiązania złożonych problemów, z jakimi borykają się firmy działające w branży operacyjnej i łańcuchu dostaw.
Hasana Buraka Yela uzyskał tytuł licencjata w dziedzinie inżynierii elektrycznej i elektronicznej na Uniwersytecie Boğaziçi. Pracował w Turkcell, skupiając się głównie na prognozowaniu szeregów czasowych, wizualizacji danych i automatyzacji sieci. Do Getir dołączył w 2021 roku i obecnie pracuje jako Lead Data Scientist odpowiedzialny za Search & Recommendation Engine oraz Customer Behaviour Models.
Hamza Akyıldız uzyskał tytuł licencjata z matematyki i inżynierii komputerowej na Uniwersytecie Boğaziçi. Koncentruje się na optymalizacji algorytmów uczenia maszynowego z ich matematycznym tłem. Dołączył do Getir w 2021 roku i pracuje jako Data Scientist. Pracował przy projektach związanych z personalizacją i łańcuchem dostaw.
Esra Kayabalı jest starszym architektem rozwiązań w AWS, specjalizującym się w dziedzinie analityki, w tym hurtowni danych, jezior danych, analizy dużych zbiorów danych, strumieniowania danych wsadowych i w czasie rzeczywistym oraz integracji danych. Ma 12 lat doświadczenia w tworzeniu oprogramowania i architekturze. Pasjonatka uczenia się i nauczania technologii chmurowych.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoAiStream. Analiza danych Web3. Wiedza wzmocniona. Dostęp tutaj.
- Wybijanie przyszłości w Adryenn Ashley. Dostęp tutaj.
- Kupuj i sprzedawaj akcje spółek PRE-IPO z PREIPO®. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/demand-forecasting-at-getir-built-with-amazon-forecast/
- :ma
- :Jest
- :Gdzie
- 000
- 10
- 100
- 12
- 2015
- 2019
- 2021
- 2022
- 50
- 7
- a
- zdolność
- Zdolny
- O nas
- bezwzględny
- Akceptuj
- precyzja
- dokładny
- Osiągać
- osiągnięty
- w poprzek
- zajęcia
- dodatek
- Dodatkowy
- Korzyść
- Zalety
- Po
- wiek
- algorytm
- Algorytmy
- Wszystkie kategorie
- Pozwalać
- pozwala
- wzdłuż
- również
- Amazonka
- Prognoza Amazon
- Amazonka Przesunięcie ku czerwieni
- Amazon Web Services
- wśród
- an
- analiza
- analityka
- i
- i infrastruktura
- Zastosowanie
- aplikacje
- architektura
- SĄ
- POWIERZCHNIA
- obszary
- AS
- Asystent
- At
- Autorzy
- zautomatyzowane
- automaty
- automatycznie
- Automatyzacja
- AWS
- Funkcje kroków AWS
- tło
- Analizy historycznej
- na podstawie
- podstawa
- być
- jest
- Korzyści
- BEST
- Ulepsz Swój
- pomiędzy
- Duży
- Big Data
- Najwyższa
- obie
- marka
- przyniósł
- budować
- Budowanie
- wybudowany
- wbudowany
- biznes
- biznes
- by
- obliczać
- Kampania
- CAN
- Przechwytywanie
- nieść
- walizka
- kategorie
- Kategoria
- pewien
- łańcuch
- wyzwania
- zmiana
- Zmiany
- jasny
- Chmura
- usługi w chmurze
- kombinacje
- łączenie
- sukcesy firma
- uzupełniający
- Zakończony
- kompleks
- składniki
- komputer
- Inżynieria komputerowa
- konglomerat
- przyczyniły
- koordynować
- Koszty:
- Koszty:
- kraje
- kraj
- specyficzne dla kraju
- Stwórz
- stworzony
- tworzy
- tworzenie
- Obecnie
- klient
- zachowanie klienta
- codziennie
- dane
- Analityka danych
- nauka danych
- naukowiec danych
- zbiór danych
- Wizualizacja danych
- sterowane danymi
- zbiory danych
- dzień
- Decyzje
- zdefiniowane
- Stopień
- dostarczyć
- dostawa
- Kreowanie
- Prognozowanie popytu
- Departament
- wdrażane
- opisać
- projektowanie
- rozwijać
- rozwinięty
- oprogramowania
- dystrybuowane
- domena
- napędzany
- z powodu
- e-commerce
- każdy
- łatwiej
- z łatwością
- Gospodarczy
- ekonomia
- wydajny
- Elektronika
- Umożliwia
- umożliwiając
- koniec końców
- silnik
- inżynier
- Inżynieria
- wejście
- błąd
- Błędy
- przykład
- Wykonuje
- egzekucja
- spodziewany
- doświadczenie
- doświadczony
- Twarz
- Cecha
- Korzyści
- finansować
- i terminów, a
- dopasowywanie
- Skupiać
- koncentruje
- koncentruje
- skupienie
- następujący
- W razie zamówieenia projektu
- Prognoza
- Prognozy
- przyszłościowe
- Założony
- cztery
- Francja
- często
- od
- w pełni
- funkcjonować
- Funkcje
- przyszłość
- Płeć
- Niemcy
- otrzymać
- Globalne
- Gole
- absolwent
- Grupy
- Gość
- Guest Post
- uchwyt
- Zaoszczędzić
- mający
- he
- ciężko
- pomógł
- pomaga
- jej
- Wysoki
- wysoko
- jego
- przytrzymanie
- W jaki sposób
- How To
- HTML
- HTTPS
- Optymalizacja hiperparametrów
- wykonawczych
- ważny
- podnieść
- ulepszony
- poprawa
- poprawy
- in
- zawierać
- obejmuje
- Włącznie z
- włączać
- włączenie
- Zwiększać
- indywidualny
- Informacja
- Infrastruktura
- spostrzeżenia
- zamiast
- integracja
- wewnętrzny
- najnowszych
- Wprowadzenie
- inwentarz
- IT
- Włochy
- szt
- JEGO
- Praca
- Oferty pracy
- Dołączył
- jpg
- prowadzić
- nauka
- Doprowadziło
- poziom
- lubić
- masa
- kocha
- maszyna
- uczenie maszynowe
- Główny
- głównie
- Utrzymywanie
- WYKONUJE
- Dokonywanie
- zarządzane
- kierownik
- wiele
- Marketing
- mistrzowski
- matematyczny
- matematyka
- oznaczać
- Oznaczało
- Poznaj nasz
- wzmiankowany
- Metadane
- metody
- mikroserwisy
- ML
- model
- modele
- miesięcy
- jeszcze
- większość
- dużo
- musi
- niezbędny
- Holandia
- sieć
- sieci
- sieci neuronowe
- sieci neuronowe
- Nowości
- Następny
- uzyskać
- of
- on
- ONE
- trwający
- open source
- działać
- działa
- działanie
- optymalizacja
- Optymalizacja
- optymalizacji
- or
- orkiestrowany
- zamówienie
- Inne
- ludzkiej,
- na zewnątrz
- zarys
- Przewyższają
- koniec
- własny
- Parallel
- parametry
- namiętny
- Ludzie
- procent
- procent
- wykonać
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- personalizacja
- obraz
- pionier
- rurociąg
- planowanie
- Platformy
- plato
- Analiza danych Platona
- PlatoDane
- plus
- Portugalia
- Post
- przewidzieć
- Przewiduje
- Przewidywania
- Przygotowuje
- przygotowanie
- poprzednio
- problemy
- wygląda tak
- procesów
- przetwarzanie
- produkować
- Wytworzony
- Produkt
- Produkcja
- Produkty
- projekt
- projektowanie
- propozycja
- własność
- zapewniać
- szybko
- zasięg
- w czasie rzeczywistym
- dane w czasie rzeczywistym
- Odebrane
- recesja
- Rekomendacja
- zmniejszyć
- zmniejszenie ilości odpadów
- związane z
- związek
- rzetelny
- Badania naukowe
- odpowiedzialność
- odpowiedzialny
- Efekt
- dochód
- zrewolucjonizował
- bieganie
- sole
- taki sam
- Skalowalność
- skalowalny
- Skala
- waga
- scenariusze
- rozkład
- nauka
- Naukowiec
- Szukaj
- Wyszukiwarka
- druga
- widzieć
- wybrany
- senior
- oddzielny
- Serie
- służyć
- usługa
- Usługi
- zestaw
- ona
- Targi
- znaczący
- znacznie
- Prosty
- ponieważ
- SIX
- przekąski
- So
- Tworzenie
- rozwoju oprogramowania
- rozwiązanie
- Rozwiązania
- ROZWIĄZANIA
- Hiszpania
- specjalizujący się
- przemówienie
- Personel
- początek
- rozpoczęty
- rozpocznie
- Zjednoczone
- statystyczny
- Ewolucja krok po kroku
- stany magazynowe
- przechowywanie
- przechowywany
- Strategia
- Streaming
- sukces
- taki
- odpowiedni
- Dostawa
- łańcuch dostaw
- Wspierający
- system
- cel
- Nauczanie
- zespół
- tech
- Firma technologiczna
- Technologies
- REGULAMIN
- Testowanie
- niż
- że
- Połączenia
- Holandia
- UK
- ich
- Im
- następnie
- Tam.
- w związku z tym
- Te
- one
- to
- tych
- Przez
- czas
- Szereg czasowy
- czasy
- do
- już dziś
- razem
- tradycyjny
- Trening
- pociągi
- Trendy
- rozsierdzony
- wyzwalanie
- Turcja
- drugiej
- Uk
- Ostatecznie
- dla
- zrozumieć
- wyjątkowy
- Zjednoczony
- United States
- uniwersytet
- us
- posługiwać się
- przypadek użycia
- używany
- za pomocą
- pionowe
- początku.
- przez
- Odwiedzić
- wyobrażanie sobie
- chodził
- była
- Marnotrawstwo
- we
- sieć
- usługi internetowe
- tydzień
- DOBRZE
- jeśli chodzi o komunikację i motywację
- który
- którego
- szeroki
- Szeroki zasięg
- w
- bez
- pracował
- przepływów pracy
- pracujący
- działa
- napisany
- lat
- You
- Twój
- zefirnet