Aceasta este o postare pentru invitați în colaborare cu Nafi Ahmet Turgut, Mutlu Polatcan, Pınar Baki, Mehmet İkbal Özmen, Hasan Burak Yel și Hamza Akyıldız din Getir.
adus este pionierul livrării ultrarapide de alimente. Compania de tehnologie a revoluționat livrarea pe ultimul kilometru cu propunerea de livrare „bucăruri în câteva minute”. Getir a fost fondată în 2015 și operează în Turcia, Marea Britanie, Țările de Jos, Germania, Franța, Spania, Italia, Portugalia și Statele Unite. Astăzi, Getir este un conglomerat care încorporează nouă segmente verticale sub același brand.
Prevederea cererii viitoare este una dintre cele mai importante perspective pentru Getir și una dintre cele mai mari provocări cu care ne confruntăm. Getir se bazează în mare măsură pe previziuni precise ale cererii la nivel de SKU atunci când ia decizii de afaceri într-o gamă largă de domenii, inclusiv marketing, producție, inventar și finanțe. Sunt necesare previziuni precise pentru a susține deciziile de stocare și reaprovizionare. Având o imagine clară și fiabilă a cererii estimate pentru următoarea zi sau săptămână, ne permite să ne adaptăm strategia și să ne creștem capacitatea de a îndeplini obiectivele de vânzări și venituri.
Getir folosit Prognoza Amazon, un serviciu complet gestionat care folosește algoritmi de învățare automată (ML) pentru a furniza previziuni foarte precise în serie de timp, pentru a crește veniturile cu patru procente și a reduce costul deșeurilor cu 50 la sută. În această postare, descriem cum am folosit Forecast pentru a obține aceste beneficii. Prezentăm modul în care am construit o conductă automată de prognoză a cererii folosind Forecast și orchestrată de Funcții pas AWS pentru a prezice cererea zilnică de SKU. Această soluție a condus la previziuni extrem de precise pentru peste 10,000 de SKU în toate țările în care ne desfășurăm activitatea și a contribuit în mod semnificativ la capacitatea noastră de a dezvolta procese interne de lanț de aprovizionare cu o înaltă scalabilitate.
Forecast automatizează o mare parte a procesului de prognoză în serie de timp, permițându-vă să vă concentrați pe pregătirea setului de date și pe interpretarea predicțiilor.
Step Functions este un serviciu complet gestionat care facilitează coordonarea componentelor aplicațiilor distribuite și ale microserviciilor folosind fluxuri de lucru vizuale. Crearea aplicațiilor din componente individuale care îndeplinesc fiecare o funcție discretă vă ajută să scalați mai ușor și să schimbați aplicațiile mai rapid. Step Functions declanșează și urmărește automat fiecare pas și reîncearcă atunci când există erori, astfel încât aplicația dvs. să fie executată în ordine și conform așteptărilor.
Prezentare generală a soluțiilor
Șase oameni din echipa de știință a datelor și echipa de infrastructură a Getir au lucrat împreună la acest proiect. Proiectul a fost finalizat în 3 luni și a fost implementat în producție după 2 luni de testare.
Următoarea diagramă prezintă arhitectura soluției.
Conducta modelului este executată separat pentru fiecare țară. Arhitectura include patru joburi cron Airflow care rulează pe un program definit. Conducta începe cu crearea caracteristicilor care mai întâi creează caracteristicile și le încarcă Amazon RedShift. Apoi, o lucrare de procesare a caracteristicilor pregătește funcțiile zilnice stocate în Amazon Redshift și descarcă datele din seria temporală Serviciul Amazon de stocare simplă (Amazon S3). Un al doilea job Airflow este responsabil pentru declanșarea conductei de prognoză prin Amazon EventBridge. Conducta constă din funcții Amazon Lambda, care creează predictori și prognoze bazate pe parametrii stocați în Amazon S3. Forecast citește datele de pe Amazon S3, antrenează modelul cu optimizarea hiperparametrului (HPO) pentru a optimiza performanța modelului și produce previziuni viitoare pentru vânzările de produse. Apoi, conducta „WaitInProgress” pentru funcții de pas este declanșată pentru fiecare țară, ceea ce permite execuția paralelă a unei conducte pentru fiecare țară.
Selecția algoritmului
Amazon Forecast are șase algoritmi încorporați (ARIMA, ETS, NPTS, profet, DeepAR+, CNN-QR), care sunt grupate în două grupuri: statistică și rețea profundă/neurală. Printre acești algoritmi, rețelele profunde/neurale sunt mai potrivite pentru problemele de prognoză a comerțului electronic, deoarece acceptă caracteristici de metadate ale articolelor, funcții de viitor pentru campanii și activități de marketing și – cel mai important – caracteristici legate de seria cronologică. Algoritmii de rețea profundă/neurală funcționează, de asemenea, foarte bine pe setul de date rare și în scenariile de pornire la rece (introducerea de noi elemente).
În general, în experimentele noastre, am observat că modelele de rețea profundă/neurală au funcționat semnificativ mai bine decât modelele statistice. Prin urmare, ne-am concentrat testarea în adâncime pe DeepAR+ și CNN-QR
Unul dintre cele mai importante beneficii ale Amazon Forecast este scalabilitatea și rezultatele precise pentru multe combinații de produse și țări. În testarea noastră, atât algoritmii DeepAR+, cât și CNN-QR au adus succes în captarea tendințelor și a sezonului, permițându-ne să obținem rezultate eficiente la produse a căror cerere se modifică foarte frecvent.
Deep AutoRegressive Plus (DeepAR+) este un algoritm de prognoză univariat supravegheat bazat pe rețele neuronale recurente (RNN) create de Cercetarea Amazon. Principalele sale avantaje sunt că este ușor scalabil, capabil să încorporeze covariabile relevante în date (cum ar fi datele și metadatele aferente) și capabil să prezică elemente de pornire la rece. În loc să monteze modele separate pentru fiecare serie de timp, creează un model global din seriile de timp aferente pentru a gestiona scale foarte variate prin redimensionare și eșantionare bazată pe viteză. Arhitectura RNN încorporează probabilitatea binomială pentru a produce prognoză probabilistică și este recomandată pentru a depăși metodele tradiționale de prognoză cu un singur articol (cum ar fi Prophet) de către autorii lui DeepAR: Prognoza probabilistică cu rețele recurente autoregressive.
În cele din urmă am selectat Amazon CNN-QR (Convolutional Neural Network – Quantile Regression) algoritm pentru prognoza noastră datorită performanței sale ridicate în procesul de backtest. CNN-QR este un algoritm ML proprietar dezvoltat de Amazon pentru prognoza serii temporale scalare (unidimensionale) folosind rețele neuronale convoluționale (CNN-uri) cauzale.
După cum sa menționat anterior, CNN-QR poate folosi serii cronologice și metadate legate de elementele prognozate. Metadatele trebuie să includă o intrare pentru toate articolele unice din seria temporală țintă, care în cazul nostru sunt produsele a căror cerere o prognozăm. Pentru a îmbunătăți acuratețea, am folosit metadate de categorii și subcategorii, care au ajutat modelul să înțeleagă relația dintre anumite produse, inclusiv cele complementare și cele de înlocuire. De exemplu, pentru băuturi, oferim un steag suplimentar pentru gustări, deoarece cele două categorii sunt complementare.
Un avantaj semnificativ al CNN-QR este capacitatea sa de a prognoza fără serii temporale viitoare, ceea ce este important atunci când nu puteți oferi caracteristici asociate pentru fereastra de prognoză. Această capacitate, împreună cu acuratețea prognozelor, a însemnat că CNN-QR a produs cele mai bune rezultate cu datele și cazul nostru de utilizare.
Ieșire de prognoză
Prognozele create prin sistem sunt scrise în compartimente S3 separate după ce sunt primite pe țară. Apoi, prognozele sunt scrise în Amazon Redshift pe baza SKU și a țării cu locuri de muncă zilnice. Apoi efectuăm planificarea zilnică a stocului de produse pe baza previziunilor noastre.
În mod continuu, calculăm ratele de eroare procentuală medie absolută (MAPE) cu date bazate pe produse și optimizăm procesele de asimilare a modelelor și a caracteristicilor.
Concluzie
În această postare, am parcurs o conductă automată de prognoză a cererii pe care am construit-o folosind Amazon Forecast și AWS Step Functions.
Cu Amazon Forecast ne-am îmbunătățit MAPE specific țării cu 10%. Acest lucru a condus la o creștere de patru procente a veniturilor și a redus costurile cu deșeurile noastre cu 50 la sută. În plus, am obținut o îmbunătățire cu 80 la sută a timpilor noștri de antrenament în previziunile zilnice în ceea ce privește scalabilitatea. Suntem capabili să prognozăm peste 10,000 de SKU-uri zilnic în toate țările pe care le deservim.
Pentru mai multe informații despre cum să începeți să vă construiți propriile conducte cu Forecast, consultați Resurse Amazon Forecast. Puteți vizita, de asemenea Funcții pas AWS pentru a obține mai multe informații despre cum să construiți procese automate și să orchestrați și să creați conducte ML. Prognoze fericite și începeți să vă îmbunătățiți afacerea astăzi!
Despre Autori
Nafi Ahmet Turgut și-a terminat diploma de master în inginerie electrică și electronică și a lucrat ca cercetător absolvent. Accentul său a fost construirea de algoritmi de învățare automată pentru a simula anomaliile rețelei nervoase. S-a alăturat Getir în 2019 și în prezent lucrează ca Senior Data Science & Analytics Manager. Echipa sa este responsabilă de proiectarea, implementarea și menținerea algoritmilor de învățare automată end-to-end și soluțiilor bazate pe date pentru Getir.
Mutlu Polatcan este Staff Data Engineer la Getir, specializat în proiectarea și construirea de platforme de date cloud-native. Îi place să combine proiecte open-source cu servicii cloud.
Pınar Baki și-a primit diploma de master de la Departamentul de Inginerie Calculatoare de la Universitatea Boğaziçi. Ea a lucrat ca cercetător de date la Arcelik, concentrându-se pe modele de recomandare pentru piese de schimb și pe analiza vârstei, sexului și emoțiilor din datele vorbirii. Apoi s-a alăturat Getir în 2022 în calitate de Senior Data Scientist, lucrând la proiecte de prognoză și motoare de căutare.
Mehmet İkbal Özmen și-a luat diploma de master în economie și a lucrat ca asistent de cercetare absolvent. Domeniul său de cercetare a fost în principal modele economice în serie de timp, simulări Markov și prognoza recesiunii. S-a alăturat apoi Getir în 2019 și în prezent lucrează ca Data Science & Analytics Manager. Echipa sa este responsabilă de optimizarea și algoritmii de prognoză pentru a rezolva problemele complexe cu care se confruntă activitățile de operare și lanțul de aprovizionare.
Hasan Burak Yel și-a primit diploma de licență în Inginerie Electrică și Electronică la Universitatea Boğaziçi. A lucrat la Turkcell, concentrându-se în principal pe prognoza seriilor temporale, vizualizarea datelor și automatizarea rețelei. S-a alăturat Getir în 2021 și în prezent lucrează ca Lead Data Scientist, cu responsabilitatea Motorului de căutare și recomandări și a modelelor de comportament ale clienților.
Hamza Akyıldız a primit diploma de licență în matematică și inginerie informatică la Universitatea Boğaziçi. El se concentrează pe optimizarea algoritmilor de învățare automată cu fundalul lor matematic. Sa alăturat Getir în 2021 și a lucrat ca Data Scientist. A lucrat la proiecte legate de personalizare și lanțul de aprovizionare.
Esra Kayabalı este arhitect senior de soluții la AWS, specializat în domeniul de analiză, inclusiv depozitare de date, lacuri de date, analiză de date mari, flux de date în loturi și în timp real și integrare a datelor. Are 12 ani de experiență în dezvoltare software și arhitectură. Este pasionată de învățarea și predarea tehnologiilor cloud.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoAiStream. Web3 Data Intelligence. Cunoștințe amplificate. Accesați Aici.
- Mintând viitorul cu Adryenn Ashley. Accesați Aici.
- Cumpărați și vindeți acțiuni în companii PRE-IPO cu PREIPO®. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/demand-forecasting-at-getir-built-with-amazon-forecast/
- :are
- :este
- :Unde
- 000
- 10
- 100
- 12
- 2015
- 2019
- 2021
- 2022
- 50
- 7
- a
- capacitate
- Capabil
- Despre Noi
- Absolut
- Accept
- precizie
- precis
- Obține
- realizat
- peste
- activităţi de
- plus
- Suplimentar
- Avantaj
- Avantajele
- După
- vârstă
- Algoritmul
- algoritmi
- TOATE
- Permiterea
- permite
- de-a lungul
- de asemenea
- Amazon
- Prognoza Amazon
- Amazon RedShift
- Amazon Web Services
- printre
- an
- analiză
- Google Analytics
- și
- și infrastructură
- aplicație
- aplicatii
- arhitectură
- SUNT
- ZONĂ
- domenii
- AS
- Asistent
- At
- Autorii
- Automata
- automate
- în mod automat
- Automatizare
- AWS
- Funcții pas AWS
- fundal
- Backtest
- bazat
- bază
- fost
- fiind
- Beneficiile
- CEL MAI BUN
- Mai bine
- între
- Mare
- Datele mari
- Cea mai mare
- atât
- marca
- adus
- construi
- Clădire
- construit
- construit-in
- afaceri
- întreprinderi
- by
- calcula
- Campanie
- CAN
- capturarea
- transporta
- caz
- categorii
- Categorii
- sigur
- lanţ
- provocări
- Schimbare
- Modificări
- clar
- Cloud
- servicii de tip cloud
- combinaţii
- combinând
- companie
- complementar
- Terminat
- complex
- componente
- calculator
- Inginerie calculator
- conglomerat
- Contribuit
- coordona
- A costat
- Cheltuieli
- țări
- ţară
- Specifice fiecărei țări
- crea
- a creat
- creează
- creaţie
- În prezent
- client
- comportamentul clienților
- zilnic
- de date
- Analiza datelor
- știința datelor
- om de știință de date
- set de date
- vizualizarea datelor
- Pe bază de date
- seturi de date
- zi
- Deciziile
- definit
- Grad
- livra
- livrare
- Cerere
- Prognoza cererii
- Departament
- dislocate
- descrie
- proiect
- dezvolta
- dezvoltat
- Dezvoltare
- distribuite
- domeniu
- condus
- două
- e-commerce
- fiecare
- mai ușor
- cu ușurință
- Economic
- Economie
- eficient
- Componente electronice
- permite
- permițând
- un capăt la altul
- Motor
- inginer
- Inginerie
- intrare
- eroare
- Erori
- exemplu
- Executa
- execuție
- de aşteptat
- experienţă
- cu experienţă
- Față
- Caracteristică
- DESCRIERE
- finanţa
- First
- montaj
- Concentra
- concentrat
- se concentrează
- concentrându-se
- următor
- Pentru
- Prognoză
- prognoze
- de perspectivă
- Fondat
- patru
- Franţa
- frecvent
- din
- complet
- funcţie
- funcții
- viitor
- Gen
- Germania
- obține
- Caritate
- Goluri
- absolvent
- Grupului
- Oaspete
- Vizitator Mesaj
- manipula
- fericit
- având în
- he
- puternic
- a ajutat
- ajută
- ei
- Înalt
- extrem de
- lui
- deținere
- Cum
- Cum Pentru a
- HTML
- HTTPS
- Optimizarea hiperparametrului
- Punere în aplicare a
- important
- îmbunătăţi
- îmbunătățit
- îmbunătățire
- îmbunătățirea
- in
- include
- include
- Inclusiv
- incorpora
- care încorporează
- Crește
- individ
- informații
- Infrastructură
- perspective
- in schimb
- integrare
- intern
- în
- Introducere
- inventar
- IT
- Italia
- articole
- ESTE
- Loc de munca
- Locuri de munca
- alăturat
- jpg
- conduce
- învăţare
- Led
- Nivel
- ca
- loturile
- iubeste
- maşină
- masina de învățare
- Principal
- mai ales
- Mentine
- FACE
- Efectuarea
- gestionate
- manager
- multe
- Marketing
- studii de masterat
- matematic
- matematică
- însemna
- a însemnat
- Întâlni
- menționat
- Metadata
- Metode
- microservices
- ML
- model
- Modele
- luni
- mai mult
- cele mai multe
- mult
- trebuie sa
- necesar
- Olanda
- reţea
- rețele
- rețele neuronale
- rețele neuronale
- Nou
- următor
- obține
- of
- on
- ONE
- în curs de desfășurare
- open-source
- funcionar
- opereaza
- operaţie
- optimizare
- Optimizați
- optimizarea
- or
- orchestrat
- comandă
- Altele
- al nostru
- afară
- schiță
- outperform
- peste
- propriu
- Paralel
- parametrii
- pasionat
- oameni
- la sută
- procent
- Efectua
- performanță
- personalizare
- imagine
- pionier
- conducte
- planificare
- Platforme
- Plato
- Informații despre date Platon
- PlatoData
- la care se adauga
- Portugalia
- Post
- prezice
- a prezis
- Predictii
- Se pregătește
- pregătirea
- în prealabil
- probleme
- proces
- procese
- prelucrare
- produce
- Produs
- Produs
- producere
- Produse
- proiect
- Proiecte
- propunere
- proprietate
- furniza
- repede
- gamă
- în timp real
- date în timp real
- primit
- recesiune
- Recomandare
- reduce
- reduce deșeurile
- legate de
- relaţie
- de încredere
- cercetare
- responsabilitate
- responsabil
- REZULTATE
- venituri
- revoluționat
- funcţionare
- de vânzări
- acelaşi
- scalabilitate
- scalabil
- Scară
- cântare
- scenarii
- programa
- Ştiinţă
- Om de stiinta
- Caută
- motor de cautare
- Al doilea
- vedea
- selectate
- senior
- distinct
- serie
- servi
- serviciu
- Servicii
- set
- ea
- Emisiuni
- semnificativ
- semnificativ
- simplu
- întrucât
- SIX
- gustări
- So
- Software
- de dezvoltare de software
- soluţie
- soluţii
- REZOLVAREA
- Spania
- specializata
- discurs
- Personal
- Începe
- început
- începe
- Statele
- statistic
- Pas
- stoc
- depozitare
- stocate
- Strategie
- de streaming
- succes
- astfel de
- potrivit
- livra
- lanțului de aprovizionare
- De sprijin
- sistem
- Ţintă
- Predarea
- echipă
- tech
- Compania Tech
- Tehnologii
- termeni
- Testarea
- decât
- acea
- Olanda
- Marea Britanie
- lor
- Lor
- apoi
- Acolo.
- prin urmare
- Acestea
- ei
- acest
- aceste
- Prin
- timp
- Seria de timp
- ori
- la
- astăzi
- împreună
- tradiţional
- Pregătire
- trenuri
- Tendinţe
- a declanșat
- declanșând
- Turcia
- Două
- Uk
- în cele din urmă
- în
- înţelege
- unic
- Unit
- Statele Unite
- universitate
- us
- utilizare
- carcasa de utilizare
- utilizat
- folosind
- verticalele
- foarte
- de
- Vizita
- vizualizare
- umblat
- a fost
- Deșeuri
- we
- web
- servicii web
- săptămână
- BINE
- cand
- care
- a caror
- larg
- Gamă largă
- cu
- fără
- a lucrat
- fluxuri de lucru
- de lucru
- fabrică
- scris
- ani
- Tu
- Ta
- zephyrnet