Detta är ett gästinlägg medförfattare av Nafi Ahmet Turgut, Mutlu Polatcan, Pınar Baki, Mehmet İkbal Özmen, Hasan Burak Yel och Hamza Akyıldız från Getir.
fört är pionjären inom ultrasnabb matleverans. Teknikföretaget har revolutionerat sista mils leverans med sitt "livsmedel på några minuter" leveransförslag. Getir grundades 2015 och är verksamt i Turkiet, Storbritannien, Nederländerna, Tyskland, Frankrike, Spanien, Italien, Portugal och USA. Idag är Getir ett konglomerat som innehåller nio vertikaler under samma varumärke.
Att förutsäga framtida efterfrågan är en av de viktigaste insikterna för Getir och en av de största utmaningarna vi står inför. Getir förlitar sig mycket på korrekta efterfrågeprognoser på SKU-nivå när de fattar affärsbeslut inom en lång rad områden, inklusive marknadsföring, produktion, lager och ekonomi. Exakta prognoser är nödvändiga för att stödja beslut om lagerhållning och påfyllning. Att ha en tydlig och tillförlitlig bild av förutspådd efterfrågan för nästa dag eller vecka gör att vi kan justera vår strategi och öka vår förmåga att möta försäljnings- och intäktsmål.
Getir begagnat Amazon Prognos, en helt hanterad tjänst som använder algoritmer för maskininlärning (ML) för att leverera mycket exakta tidsserieprognoser, för att öka intäkterna med fyra procent och minska avfallskostnaderna med 50 procent. I det här inlägget beskriver vi hur vi använde Forecast för att uppnå dessa fördelar. Vi beskriver hur vi byggde en automatisk efterfrågeprognoserpipeline med hjälp av Forecast och orkestrerad av AWS stegfunktioner för att förutsäga den dagliga efterfrågan på SKU:er. Denna lösning ledde till mycket exakta prognoser för över 10,000 XNUMX SKU:er i alla länder där vi är verksamma, och bidrog avsevärt till vår förmåga att utveckla högt skalbara interna processer i försörjningskedjan.
Forecast automatiserar mycket av tidsserieprognosprocessen, vilket gör att du kan fokusera på att förbereda dina datauppsättningar och tolka dina förutsägelser.
Step Functions är en helt hanterad tjänst som gör det enklare att koordinera komponenterna i distribuerade applikationer och mikrotjänster med hjälp av visuella arbetsflöden. Att bygga applikationer från individuella komponenter som var och en utför en diskret funktion hjälper dig att skala lättare och byta applikationer snabbare. Step Functions utlöser och spårar automatiskt varje steg och försöker igen när det finns fel, så din applikation körs i ordning och som förväntat.
Lösningsöversikt
Sex personer från Getirs datavetenskapsteam och infrastrukturteam arbetade tillsammans i detta projekt. Projektet slutfördes på 3 månader och distribuerades till produktion efter 2 månaders testning.
Följande diagram visar lösningens arkitektur.
Modellpipelinen exekveras separat för varje land. Arkitekturen inkluderar fyra Airflow cron-jobb som körs enligt ett definierat schema. Pipelinen börjar med att skapa funktioner som först skapar funktionerna och laddar dem till Amazon RedShift. Därefter förbereder ett funktionsbearbetningsjobb dagliga funktioner lagrade i Amazon Redshift och laddar ur tidsseriedata till Amazon enkel lagringstjänst (Amazon S3). Ett andra Airflow-jobb är ansvarigt för att trigga Prognospipeline via Amazon EventBridge. Pipelinen består av Amazon Lambda-funktioner, som skapar prediktorer och prognoser baserat på parametrar lagrade i Amazon S3. Forecast läser data från Amazon S3, tränar modellen med hyperparameteroptimering (HPO) för att optimera modellens prestanda och producerar framtida förutsägelser för produktförsäljning. Sedan utlöses pipeline för stegfunktioner "WaitInProgress" för varje land, vilket möjliggör parallell exekvering av en pipeline för varje land.
Val av algoritm
Amazon Forecast har sex inbyggda algoritmer (ARIMA, ETS, NPTS, Profet, DeepAR +, CNN-QR), som är klustrade i två grupper: statistiskt och djupt/neuralt nätverk. Bland dessa algoritmer är djupa/neurala nätverk mer lämpade för e-handelsprognosproblem eftersom de accepterar objektmetadatafunktioner, framåtblickande funktioner för kampanj- och marknadsföringsaktiviteter och – viktigast av allt – relaterade tidsseriefunktioner. Algoritmer för djupa/neurala nätverk fungerar också mycket bra på glesa datauppsättningar och i kallstartsscenarier (introduktion av ny artikel).
Sammantaget, i våra experiment, observerade vi att djupa/neurala nätverksmodeller fungerade betydligt bättre än de statistiska modellerna. Vi fokuserade därför vår djupdykningstestning på DeepAR+ och CNN-QR
En av de viktigaste fördelarna med Amazon Forecast är skalbarhet och exakta resultat för många produkt- och landskombinationer. I våra tester gav både DeepAR+ och CNN-QR algoritmer framgång i att fånga trender och säsongsvariationer, vilket gör att vi kan få effektiva resultat i produkter vars efterfrågan ändras mycket ofta.
Deep AutoRegressive Plus (DeepAR+) är en övervakad univariat prognosalgoritm baserad på återkommande neurala nätverk (RNN) skapade av Amazon Research. Dess främsta fördelar är att den är lätt skalbar, kan införliva relevanta samvarianter i data (som relaterade data och metadata) och kan förutse kallstartsobjekt. Istället för att anpassa separata modeller för varje tidsserie skapar den en global modell från relaterade tidsserier för att hantera vitt varierande skalor genom omskalning och hastighetsbaserad sampling. RNN-arkitekturen innehåller binomial sannolikhet för att producera probabilistiska prognoser och förespråkas för att överträffa traditionella enstaka prognosmetoder (som Prophet) av författarna till DeepAR: Probabilistisk prognos med autoregressiva återkommande nätverk.
Vi valde slutligen Amazon CNN-QR (Convolutional Neural Network – Quantile Regression) algoritm för vår prognos på grund av dess höga prestanda i backtestprocessen. CNN-QR är en egenutvecklad ML-algoritm utvecklad av Amazon för att prognostisera skalära (endimensionella) tidsserier med hjälp av kausala Convolutional Neural Networks (CNN).
Som tidigare nämnts kan CNN-QR använda relaterade tidsserier och metadata om de objekt som prognostiseras. Metadata måste innehålla en post för alla unika objekt i måltidsserien, som i vårt fall är de produkter vars efterfrågan vi prognostiserar. För att förbättra noggrannheten använde vi kategori- och underkategorimetadata, vilket hjälpte modellen att förstå sambandet mellan vissa produkter, inklusive komplementära och ersättningsprodukter. Till exempel för drycker tillhandahåller vi en extra flagga för snacks eftersom de två kategorierna kompletterar varandra.
En betydande fördel med CNN-QR är dess förmåga att prognostisera utan framtida relaterade tidsserier, vilket är viktigt när du inte kan tillhandahålla relaterade funktioner för prognosfönstret. Denna förmåga, tillsammans med dess prognosnoggrannhet, innebar att CNN-QR gav de bästa resultaten med vår data och vårt användningsfall.
Prognosutgång
Prognoser som skapas genom systemet skrivs till separata S3-buckets efter att de tagits emot på landsbasis. Sedan skrivs prognoser till Amazon Redshift baserat på SKU och land med dagliga jobb. Vi genomför sedan daglig produktlagerplanering utifrån våra prognoser.
På löpande basis beräknar vi genomsnittliga absoluta procentuella fel (MAPE)-förhållanden med produktbaserad data och optimerar processer för modell- och funktionsintag.
Slutsats
I det här inlägget gick vi igenom en automatisk efterfrågeprognoserpipeline som vi byggde med hjälp av Amazon Forecast och AWS Step Functions.
Med Amazon Forecast förbättrade vi vår landsspecifika MAPE med 10 procent. Detta har drivit på en intäktsökning på fyra procent och minskat våra avfallskostnader med 50 procent. Dessutom uppnådde vi en 80-procentig förbättring av våra träningstider i dagliga prognoser vad gäller skalbarhet. Vi kan prognostisera över 10,000 XNUMX SKU:er dagligen i alla länder vi betjänar.
För mer information om hur du kommer igång med att bygga dina egna pipelines med Forecast, se Amazon Forecast-resurser. Du kan också besöka AWS stegfunktioner för att få mer information om hur man bygger automatiserade processer och orkestrerar och skapar ML-pipelines. Lycka till med prognoserna och börja förbättra din verksamhet idag!
Om författarna
Nafi Ahmet Turgut avslutade sin magisterexamen i elektro- och elektronikteknik och arbetade som forskare. Hans fokus var att bygga maskininlärningsalgoritmer för att simulera nervösa nätverksavvikelser. Han började på Getir 2019 och arbetar för närvarande som Senior Data Science & Analytics Manager. Hans team ansvarar för att designa, implementera och underhålla end-to-end maskininlärningsalgoritmer och datadrivna lösningar för Getir.
Mutlu Polatcan är en Staff Data Engineer på Getir, specialiserad på att designa och bygga molnbaserade dataplattformar. Han älskar att kombinera öppen källkodsprojekt med molntjänster.
Pınar Baki tog sin magisterexamen från datateknikavdelningen vid Boğaziçi University. Hon arbetade som datavetare på Arcelik, med fokus på rekommendationsmodeller för reservdelar och analys av ålder, kön och känslor utifrån taldata. Sedan började hon på Getir 2022 som Senior Data Scientist och arbetade med prognoser och sökmotorprojekt.
Mehmet İkbal Özmen tog sin magisterexamen i nationalekonomi och arbetade som forskarassistent. Hans forskningsområde var främst ekonomiska tidsseriemodeller, Markov-simuleringar och recessionsprognoser. Han började sedan på Getir 2019 och arbetar för närvarande som Data Science & Analytics Manager. Hans team är ansvarigt för optimerings- och prognosalgoritmer för att lösa de komplexa problem som operations- och leveranskedjan upplever.
Hasan Burak Yel tog sin kandidatexamen i elektro- och elektronikteknik vid Boğaziçi University. Han arbetade på Turkcell, främst fokuserat på tidsserieprognoser, datavisualisering och nätverksautomation. Han började på Getir 2021 och arbetar för närvarande som Lead Data Scientist med ansvar för Search & Recommendation Engine och Customer Behaviour Models.
Hamza Akyıldız tog sin kandidatexamen i matematik och datateknik vid Boğaziçi University. Han fokuserar på att optimera maskininlärningsalgoritmer med deras matematiska bakgrund. Han började på Getir 2021 och har arbetat som Data Scientist. Han har arbetat med personalisering och Supply Chain-relaterade projekt.
Esra Kayabalı är en Senior Solutions Architect på AWS, specialiserad på analysdomänen inklusive datalager, datasjöar, big data-analys, batch- och realtidsdataströmning och dataintegration. Hon har 12 års erfarenhet av mjukvaruutveckling och arkitektur. Hon brinner för att lära sig och lära ut molnteknik.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoAiStream. Web3 Data Intelligence. Kunskap förstärkt. Tillgång här.
- Minting the Future med Adryenn Ashley. Tillgång här.
- Köp och sälj aktier i PRE-IPO-företag med PREIPO®. Tillgång här.
- Källa: https://aws.amazon.com/blogs/machine-learning/demand-forecasting-at-getir-built-with-amazon-forecast/
- : har
- :är
- :var
- 000
- 10
- 100
- 12
- 2015
- 2019
- 2021
- 2022
- 50
- 7
- a
- förmåga
- Able
- Om oss
- Absolut
- Acceptera
- noggrannhet
- exakt
- Uppnå
- uppnås
- tvärs
- aktiviteter
- Dessutom
- Annat
- Fördel
- fördelar
- Efter
- ålder
- algoritm
- algoritmer
- Alla
- tillåta
- tillåter
- längs
- också
- amason
- Amazon Prognos
- Amazon RedShift
- Amazon Web Services
- bland
- an
- analys
- analytics
- och
- och infrastruktur
- Ansökan
- tillämpningar
- arkitektur
- ÄR
- OMRÅDE
- områden
- AS
- Assistent
- At
- Författarna
- Automatiserad
- automatiserar
- automatiskt
- Automation
- AWS
- AWS stegfunktioner
- bakgrund
- Backtest
- baserat
- grund
- varit
- Där vi får lov att vara utan att konstant prestera,
- Fördelarna
- BÄST
- Bättre
- mellan
- Stor
- Stora data
- störst
- båda
- varumärke
- fört
- SLUTRESULTAT
- Byggnad
- byggt
- inbyggd
- företag
- företag
- by
- beräkna
- Kampanj
- KAN
- Fångande
- bära
- Vid
- kategorier
- Kategori
- vissa
- kedja
- utmaningar
- byta
- Förändringar
- klar
- cloud
- molntjänster
- kombinationer
- kombinera
- företag
- komplementär
- Avslutade
- komplex
- komponenter
- dator
- Datorteknik
- konglomerat
- bidrog
- samordna
- Pris
- Kostar
- länder
- land
- landsspecifika
- skapa
- skapas
- skapar
- skapande
- För närvarande
- kund
- kundbeteende
- dagligen
- datum
- Data Analytics
- datavetenskap
- datavetare
- datauppsättning
- datavisualisering
- data driven
- datauppsättningar
- dag
- beslut
- definierade
- Examen
- leverera
- leverans
- Efterfrågan
- Förfrågan om efterfrågan
- Avdelning
- utplacerade
- beskriva
- design
- utveckla
- utvecklade
- Utveckling
- distribueras
- domän
- driven
- grund
- e-handel
- varje
- lättare
- lätt
- Ekonomisk
- Ekonomi
- effektiv
- Elektronik
- möjliggör
- möjliggör
- början till slut
- Motor
- ingenjör
- Teknik
- inträde
- fel
- fel
- exempel
- Utför
- utförande
- förväntat
- erfarenhet
- erfaren
- Ansikte
- Leverans
- Funktioner
- finansiering
- Förnamn
- montering
- Fokus
- fokuserade
- fokuserar
- fokusering
- efter
- För
- Prognos
- prognoser
- framåtblickande
- Grundad
- fyra
- Frankrike
- ofta
- från
- fullständigt
- fungera
- funktioner
- framtida
- Kön
- Tyskland
- skaffa sig
- Välgörenhet
- Mål
- uppgradera
- Gruppens
- Gäst
- gäst inlägg
- hantera
- lyckligt
- har
- he
- kraftigt
- hjälpte
- hjälper
- här
- Hög
- höggradigt
- hans
- innehav
- Hur ser din drömresa ut
- How To
- html
- HTTPS
- Hyperparameteroptimering
- genomföra
- med Esport
- förbättra
- förbättras
- förbättring
- förbättra
- in
- innefattar
- innefattar
- Inklusive
- införliva
- införlivande
- Öka
- individuellt
- informationen
- Infrastruktur
- insikter
- istället
- integrering
- inre
- in
- Beskrivning
- lager
- IT
- Italien
- artikel
- DESS
- Jobb
- Lediga jobb
- fogade
- jpg
- leda
- inlärning
- Led
- Nivå
- tycka om
- laster
- älskar
- Maskinen
- maskininlärning
- Huvudsida
- huvudsakligen
- upprätthålla
- GÖR
- Framställning
- förvaltade
- chef
- många
- Marknadsföring
- master
- matematisk
- matematik
- betyda
- menas
- Möt
- nämnts
- metadata
- metoder
- microservices
- ML
- modell
- modeller
- månader
- mer
- mest
- mycket
- måste
- nödvändigt för
- Nederländerna
- nät
- nätverk
- neurala nätverk
- neurala nätverk
- Nya
- Nästa
- få
- of
- on
- ONE
- pågående
- öppen källkod
- driva
- fungerar
- drift
- optimering
- Optimera
- optimera
- or
- iscensatt
- beställa
- Övriga
- vår
- ut
- översikt
- Överträffa
- över
- egen
- Parallell
- parametrar
- brinner
- Personer
- procent
- procentuell
- Utföra
- prestanda
- personalisering
- Bild
- pionjär
- rörledning
- planering
- Plattformar
- plato
- Platon Data Intelligence
- PlatonData
- plus
- Portugal
- Inlägg
- förutse
- förutsagda
- Förutsägelser
- förbereder
- förbereda
- tidigare
- problem
- process
- processer
- bearbetning
- producera
- producerad
- Produkt
- Produktion
- Produkter
- projektet
- projekt
- förslag
- proprietary
- ge
- snabbt
- område
- realtid
- data i realtid
- mottagna
- lågkonjunktur
- Rekommendation
- minska
- reducera avfall
- relaterad
- relation
- relevanta
- pålitlig
- forskning
- ansvaret
- ansvarig
- Resultat
- intäkter
- revolution
- rinnande
- försäljning
- Samma
- skalbarhet
- skalbar
- Skala
- skalor
- scenarier
- tidtabellen
- Vetenskap
- Forskare
- Sök
- sökmotor
- Andra
- se
- vald
- senior
- separat
- Serier
- tjänar
- service
- Tjänster
- in
- hon
- Visar
- signifikant
- signifikant
- Enkelt
- eftersom
- SEX
- mellanmål
- So
- Mjukvara
- mjukvaruutveckling
- lösning
- Lösningar
- LÖSA
- Spanien
- specialiserat
- tal
- Personal
- starta
- igång
- startar
- Stater
- statistisk
- Steg
- lager
- förvaring
- lagras
- Strategi
- streaming
- framgång
- sådana
- lämplig
- leverera
- leveranskedjan
- Stödjande
- system
- Målet
- Undervisning
- grupp
- tech
- Teknikföretag
- Tekniken
- villkor
- Testning
- än
- den där
- Smakämnen
- Nederländerna
- Storbritannien
- deras
- Dem
- sedan
- Där.
- därför
- Dessa
- de
- detta
- de
- Genom
- tid
- Tidsföljder
- gånger
- till
- i dag
- tillsammans
- traditionell
- Utbildning
- tåg
- Trender
- triggas
- trigg
- Turkiet
- två
- Uk
- Ytterst
- under
- förstå
- unika
- United
- USA
- universitet
- us
- användning
- användningsfall
- Begagnade
- med hjälp av
- vertikaler
- mycket
- via
- Besök
- visualisering
- promenerade
- var
- Avfall
- we
- webb
- webbservice
- vecka
- VÄL
- när
- som
- vars
- bred
- Brett utbud
- med
- utan
- arbetade
- arbetsflöden
- arbetssätt
- fungerar
- skriven
- år
- Om er
- Din
- zephyrnet