Ceci est un article invité co-écrit par Nafi Ahmet Turgut, Mutlu Polatcan, Pınar Baki, Mehmet İkbal Özmen, Hasan Burak Yel et Hamza Akyıldız de Getir.
apporté est le pionnier de la livraison d'épicerie ultrarapide. L'entreprise technologique a révolutionné la livraison du dernier kilomètre avec sa proposition de livraison "épicerie en quelques minutes". Getir a été fondée en 2015 et opère en Turquie, au Royaume-Uni, aux Pays-Bas, en Allemagne, en France, en Espagne, en Italie, au Portugal et aux États-Unis. Aujourd'hui, Getir est un conglomérat incorporant neuf verticales sous la même marque.
La prévision de la demande future est l'une des informations les plus importantes pour Getir et l'un des plus grands défis auxquels nous sommes confrontés. Getir s'appuie fortement sur des prévisions de demande précises au niveau du SKU lorsqu'il prend des décisions commerciales dans un large éventail de domaines, notamment le marketing, la production, les stocks et la finance. Des prévisions précises sont nécessaires pour étayer les décisions de maintien et de réapprovisionnement des stocks. Avoir une image claire et fiable de la demande prévue pour le jour ou la semaine suivante nous permet d'ajuster notre stratégie et d'augmenter notre capacité à atteindre les objectifs de ventes et de revenus.
Getir utilisé Prévisions Amazon, un service entièrement géré qui utilise des algorithmes d'apprentissage automatique (ML) pour fournir des prévisions de séries chronologiques extrêmement précises, afin d'augmenter les revenus de 50 % et de réduire les coûts de gaspillage de XNUMX %. Dans cet article, nous décrivons comment nous avons utilisé Forecast pour obtenir ces avantages. Nous décrivons comment nous avons construit un pipeline de prévision de la demande automatisé à l'aide de Forecast et orchestré par Fonctions d'étape AWS pour prédire la demande quotidienne de SKU. Cette solution a conduit à des prévisions très précises pour plus de 10,000 XNUMX SKU dans tous les pays où nous opérons, et a contribué de manière significative à notre capacité à développer des processus de chaîne d'approvisionnement internes hautement évolutifs.
Forecast automatise une grande partie du processus de prévision des séries chronologiques, ce qui vous permet de vous concentrer sur la préparation de vos ensembles de données et l'interprétation de vos prévisions.
Step Functions est un service entièrement géré qui facilite la coordination des composants des applications distribuées et des microservices à l'aide de workflows visuels. La création d'applications à partir de composants individuels exécutant chacun une fonction distincte vous aide à évoluer plus facilement et à modifier les applications plus rapidement. Step Functions déclenche et suit automatiquement chaque étape et réessaye en cas d'erreur, de sorte que votre application s'exécute dans l'ordre et comme prévu.
Vue d'ensemble de la solution
Six personnes de l'équipe de science des données et de l'équipe d'infrastructure de Getir ont travaillé ensemble sur ce projet. Le projet a été achevé en 3 mois et déployé en production après 2 mois de test.
Le schéma suivant montre l'architecture de la solution.
Le pipeline modèle est exécuté séparément pour chaque pays. L'architecture comprend quatre tâches cron Airflow exécutées selon un calendrier défini. Le pipeline commence par la création de fonctionnalités qui crée d'abord les fonctionnalités et les charge dans Redshift d'Amazon. Ensuite, une tâche de traitement des fonctionnalités prépare les fonctionnalités quotidiennes stockées dans Amazon Redshift et décharge les données de la série chronologique sur Service de stockage simple Amazon (Amazon S3). Une deuxième tâche Airflow est chargée de déclencher le pipeline Forecast via Amazon Event Bridge. Le pipeline se compose de fonctions Amazon Lambda, qui créent des prédicteurs et des prévisions basés sur des paramètres stockés dans Amazon S3. Forecast lit les données d'Amazon S3, entraîne le modèle avec l'optimisation des hyperparamètres (HPO) pour optimiser les performances du modèle et produit des prévisions futures pour les ventes de produits. Ensuite, le pipeline "WaitInProgress" de Step Functions est déclenché pour chaque pays, ce qui permet l'exécution parallèle d'un pipeline pour chaque pays.
Sélection d'algorithmes
Amazon Forecast dispose de six algorithmes intégrés (ARIMA, STE, NPTS, Prophète, DeepAR+, CNN-QR), qui sont regroupés en deux groupes : statistique et réseau profond/neural. Parmi ces algorithmes, les réseaux profonds/de neurones sont plus adaptés aux problèmes de prévision du commerce électronique car ils acceptent les fonctionnalités de métadonnées des articles, les fonctionnalités prospectives pour les activités de campagne et de marketing et, surtout, les fonctionnalités de séries chronologiques associées. Les algorithmes de réseau profond/neural fonctionnent également très bien sur des ensembles de données clairsemés et dans des scénarios de démarrage à froid (introduction de nouveaux éléments).
Dans l'ensemble, dans nos expérimentations, nous avons observé que les modèles de réseaux profonds/de neurones fonctionnaient nettement mieux que les modèles statistiques. Nous avons donc concentré nos tests approfondis sur DeepAR+ et CNN-QR
L'un des avantages les plus importants d'Amazon Forecast est l'évolutivité et des résultats précis pour de nombreuses combinaisons de produits et de pays. Lors de nos tests, les algorithmes DeepAR+ et CNN-QR ont réussi à capturer les tendances et la saisonnalité, nous permettant d'obtenir des résultats efficaces pour les produits dont la demande change très fréquemment.
Deep AutoRegressive Plus (DeepAR+) est un algorithme de prévision univarié supervisé basé sur des réseaux de neurones récurrents (RNN) créés par Recherche Amazone. Ses principaux avantages sont qu'il est facilement évolutif, capable d'incorporer des covariables pertinentes dans les données (telles que des données et des métadonnées associées) et capable de prévoir des éléments de démarrage à froid. Au lieu d'ajuster des modèles distincts pour chaque série chronologique, il crée un modèle global à partir de séries chronologiques connexes pour gérer des échelles très variables grâce à la remise à l'échelle et à l'échantillonnage basé sur la vitesse. L'architecture RNN intègre la vraisemblance binomiale pour produire des prévisions probabilistes et est préconisée par les auteurs de DeepAR : prévision probabiliste avec réseaux récurrents autorégressifs.
Nous avons finalement sélectionné le Amazon CNN QR (Convolutional Neural Network - Quantile Regression) pour nos prévisions en raison de ses hautes performances dans le processus de backtest. CNN-QR est un algorithme ML propriétaire développé par Amazon pour prévoir des séries chronologiques scalaires (unidimensionnelles) à l'aide de réseaux de neurones convolutifs causals (CNN).
Comme mentionné précédemment, CNN-QR peut utiliser des séries chronologiques et des métadonnées associées sur les éléments prévus. Les métadonnées doivent inclure une entrée pour tous les éléments uniques de la série chronologique cible, qui dans notre cas sont les produits dont nous prévoyons la demande. Pour améliorer la précision, nous avons utilisé des métadonnées de catégorie et de sous-catégorie, ce qui a aidé le modèle à comprendre la relation entre certains produits, y compris les produits complémentaires et les substituts. Par exemple, pour les boissons, nous fournissons un drapeau supplémentaire pour les collations puisque les deux catégories sont complémentaires.
L'un des principaux avantages de CNN-QR est sa capacité à effectuer des prévisions sans futures séries chronologiques associées, ce qui est important lorsque vous ne pouvez pas fournir de fonctionnalités associées pour la fenêtre de prévision. Cette capacité, ainsi que la précision de ses prévisions, signifient que CNN-QR a produit les meilleurs résultats avec nos données et notre cas d'utilisation.
Sortie de prévision
Les prévisions créées via le système sont écrites dans des compartiments S3 séparés après leur réception par pays. Ensuite, les prévisions sont écrites dans Amazon Redshift en fonction du SKU et du pays avec des tâches quotidiennes. Nous réalisons ensuite une planification quotidienne des stocks de produits en fonction de nos prévisions.
Sur une base continue, nous calculons les ratios moyens d'erreur absolue en pourcentage (MAPE) avec des données basées sur les produits, et optimisons les processus d'ingestion de modèles et de fonctionnalités.
Conclusion
Dans cet article, nous avons parcouru un pipeline de prévision de la demande automatisé que nous avons construit à l'aide d'Amazon Forecast et d'AWS Step Functions.
Avec Amazon Forecast, nous avons amélioré de 10 % notre MAPE spécifique à chaque pays. Cela a entraîné une augmentation de 50 % des revenus et réduit nos coûts de déchets de 80 %. De plus, nous avons amélioré de 10,000 % nos temps de formation dans les prévisions quotidiennes en termes d'évolutivité. Nous sommes en mesure de prévoir plus de XNUMX XNUMX références par jour dans tous les pays que nous desservons.
Pour plus d'informations sur la création de vos propres pipelines avec Forecast, consultez Ressources Amazon Forecast. Vous pouvez également visiter Fonctions d'étape AWS pour obtenir plus d'informations sur la façon de créer des processus automatisés et d'orchestrer et de créer des pipelines de ML. Bonnes prévisions et commencez à améliorer votre entreprise dès aujourd'hui !
À propos des auteurs
Nafi Ahmet Turgut a terminé sa maîtrise en génie électrique et électronique et a travaillé comme chercheur diplômé. Son objectif était de créer des algorithmes d'apprentissage automatique pour simuler les anomalies du réseau nerveux. Il a rejoint Getir en 2019 et travaille actuellement en tant que Senior Data Science & Analytics Manager. Son équipe est responsable de la conception, de la mise en œuvre et de la maintenance des algorithmes d'apprentissage automatique de bout en bout et des solutions basées sur les données pour Getir.
Mutlu Polatcan est ingénieur de données chez Getir, spécialisé dans la conception et la construction de plates-formes de données natives du cloud. Il aime combiner des projets open source avec des services cloud.
Pinar Baki a obtenu sa maîtrise du département de génie informatique de l'université de Boğaziçi. Elle a travaillé comme data scientist chez Arcelik, se concentrant sur les modèles de recommandation de pièces détachées et l'analyse de l'âge, du sexe et des émotions à partir des données de parole. Elle a ensuite rejoint Getir en 2022 en tant que Senior Data Scientist travaillant sur des projets de prévisions et de moteurs de recherche.
Mehmet Ikbal Özmen a obtenu sa maîtrise en économie et a travaillé comme assistant de recherche diplômé. Son domaine de recherche était principalement les modèles de séries chronologiques économiques, les simulations de Markov et la prévision de la récession. Il a ensuite rejoint Getir en 2019 et travaille actuellement en tant que Data Science & Analytics Manager. Son équipe est responsable des algorithmes d'optimisation et de prévision pour résoudre les problèmes complexes rencontrés par les entreprises d'exploitation et de chaîne d'approvisionnement.
Hassan Burak Yel a obtenu son baccalauréat en génie électrique et électronique à l'Université de Boğaziçi. Il a travaillé chez Turkcell, se concentrant principalement sur la prévision des séries chronologiques, la visualisation des données et l'automatisation du réseau. Il a rejoint Getir en 2021 et travaille actuellement en tant que Lead Data Scientist avec la responsabilité du moteur de recherche et de recommandation et des modèles de comportement client.
Hamza Akyildiz a obtenu son baccalauréat en mathématiques et en génie informatique à l'Université de Boğaziçi. Il se concentre sur l'optimisation des algorithmes d'apprentissage automatique avec leur arrière-plan mathématique. Il a rejoint Getir en 2021 et a travaillé en tant que Data Scientist. Il a travaillé sur des projets liés à la personnalisation et à la chaîne d'approvisionnement.
Esra Kayabali est un architecte de solutions senior chez AWS, spécialisé dans le domaine de l'analyse, y compris l'entreposage de données, les lacs de données, l'analyse de données volumineuses, la diffusion de données par lots et en temps réel et l'intégration de données. Elle a 12 ans d'expérience en développement de logiciels et en architecture. Elle est passionnée par l'apprentissage et l'enseignement des technologies cloud.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoAiStream. Intelligence des données Web3. Connaissance Amplifiée. Accéder ici.
- Frapper l'avenir avec Adryenn Ashley. Accéder ici.
- Achetez et vendez des actions de sociétés PRE-IPO avec PREIPO®. Accéder ici.
- La source: https://aws.amazon.com/blogs/machine-learning/demand-forecasting-at-getir-built-with-amazon-forecast/
- :possède
- :est
- :où
- 000
- 10
- 100
- 12
- 2015
- 2019
- 2021
- 2022
- 50
- 7
- a
- capacité
- Capable
- A Propos
- Absolute
- Accepter
- précision
- Avec cette connaissance vient le pouvoir de prendre
- atteindre
- atteint
- à travers
- d'activités
- ajout
- Supplémentaire
- Avantage
- avantages
- Après
- âge
- algorithme
- algorithmes
- Tous
- Permettre
- permet
- le long de
- aussi
- Amazon
- Prévisions Amazon
- Redshift d'Amazon
- Amazon Web Services
- parmi
- an
- selon une analyse de l’Université de Princeton
- analytique
- ainsi que
- et infrastructure
- Application
- applications
- architecture
- SONT
- Réservé
- domaines
- AS
- Assistante gérante
- At
- auteurs
- Automatisation
- Automates
- automatiquement
- Automation
- AWS
- Fonctions d'étape AWS
- fond
- Backtest
- basé
- base
- était
- va
- avantages.
- LES MEILLEURS
- Améliorée
- jusqu'à XNUMX fois
- Big
- Big Data
- Le plus grand
- tous les deux
- brand
- Apporté
- construire
- Développement
- construit
- intégré
- la performance des entreprises
- entreprises
- by
- calculer
- Campagne
- CAN
- Capturer
- porter
- maisons
- catégories
- Catégories
- certaines
- chaîne
- globaux
- Change
- Modifications
- clair
- le cloud
- services de cloud computing
- комбинации
- combinant
- Société
- complémentaire
- Complété
- complexe
- composants électriques
- ordinateur
- Ingénierie informatique
- conglomérat
- contribué
- coordonner
- Prix
- Costs
- d'exportation
- Pays
- spécifique au pays
- engendrent
- créée
- crée des
- création
- Lecture
- des clients
- comportement de la clientèle
- Tous les jours
- données
- Analyse de Donnée
- science des données
- Data Scientist
- ensemble de données
- visualisation de données
- data-driven
- ensembles de données
- journée
- décisions
- défini
- Degré
- livrer
- page de livraison.
- Demande
- Prévision de la demande
- Département
- déployé
- décrire
- conception
- développer
- développé
- Développement
- distribué
- domaine
- entraîné
- deux
- e-commerce
- chacun
- plus facilement
- même
- Économique
- Économie
- efficace
- Electronique
- permet
- permettant
- end-to-end
- Moteur
- ingénieur
- ENGINEERING
- entrée
- erreur
- Erreurs
- exemple
- Exécute
- exécution
- attendu
- d'experience
- expérimenté
- Visage
- Fonctionnalité
- Fonctionnalités:
- finance
- Prénom
- raccord
- Focus
- concentré
- se concentre
- mettant l'accent
- Abonnement
- Pour
- Prévision
- prévisions
- tourné vers l'avenir
- Fondée
- quatre
- France
- fréquemment
- De
- d’étiquettes électroniques entièrement
- fonction
- fonctions
- avenir
- Genre
- Allemagne
- obtenez
- Global
- Objectifs
- diplôme
- Groupes
- GUEST
- Invité Message
- manipuler
- heureux vous
- ayant
- he
- fortement
- a aidé
- aide
- ici
- Haute
- très
- sa
- tenue
- Comment
- How To
- HTML
- HTTPS
- Optimisation hyperparamétrique
- la mise en œuvre
- important
- améliorer
- amélioré
- amélioration
- l'amélioration de
- in
- comprendre
- inclut
- Y compris
- intégrer
- incorporation
- Améliore
- individuel
- d'information
- Infrastructure
- idées.
- plutôt ;
- l'intégration
- interne
- développement
- Introduction
- inventaire
- IT
- Italie
- articles
- SES
- Emploi
- Emplois
- rejoint
- jpg
- conduire
- apprentissage
- LED
- Niveau
- comme
- charges
- aime
- click
- machine learning
- Entrée
- principalement
- Maintenir
- FAIT DU
- Fabrication
- gérés
- manager
- de nombreuses
- Stratégie
- maîtrise
- mathématique
- mathématiques
- signifier
- signifiait
- Découvrez
- mentionné
- Métadonnées
- méthodes
- microservices
- ML
- modèle
- numériques jumeaux (digital twin models)
- mois
- PLUS
- (en fait, presque toutes)
- beaucoup
- must
- nécessaire
- Netherlands
- réseau et
- réseaux
- Réseau neuronal
- les réseaux de neurones
- Nouveauté
- next
- obtenir
- of
- on
- ONE
- en cours
- open source
- fonctionner
- exploite
- opération
- à mettre en œuvre pour gérer une entreprise rentable. Ce guide est basé sur trois décennies d'expérience
- Optimiser
- l'optimisation
- or
- orchestrée
- de commander
- Autre
- nos
- ande
- contour
- Surpasser
- plus de
- propre
- Parallèle
- paramètres
- passionné
- Personnes
- pour cent
- pourcentage
- Effectuer
- performant
- Personnalisation
- image
- Pioneer
- pipeline
- et la planification de votre patrimoine
- Plateformes
- Platon
- Intelligence des données Platon
- PlatonDonnées
- plus
- Portugal
- Post
- prévoir
- prédit
- Prédictions
- Prépare
- en train de préparer
- précédemment
- d'ouvrabilité
- processus
- les process
- traitement
- produire
- Produit
- Produit
- Vidéo
- Produits
- Projet
- projets
- proposition
- propriétaire
- fournir
- vite.
- gamme
- en temps réel
- données en temps réel à grande vitesse.
- reçu
- récession
- Recommandation
- réduire
- réduire les déchets
- en relation
- relation amoureuse
- pertinent
- fiable
- un article
- responsabilité
- responsables
- Résultats
- de revenus
- révolutionné
- pour le running
- vente
- même
- Évolutivité
- évolutive
- Escaliers intérieurs
- Balance
- scénarios
- calendrier
- Sciences
- Scientifique
- Rechercher
- moteur de recherche
- Deuxièmement
- sur le lien
- choisi
- supérieur
- séparé
- Série
- besoin
- service
- Services
- set
- elle
- Spectacles
- significative
- de façon significative
- étapes
- depuis
- SIX
- collations
- So
- Logiciels
- développement de logiciels
- sur mesure
- Solutions
- RÉSOUDRE
- Espagne
- spécialisation
- discours
- L'équipe
- Commencer
- j'ai commencé
- départs
- États
- statistique
- étapes
- stock
- storage
- stockée
- de Marketing
- streaming
- succès
- tel
- convient
- la quantité
- chaîne d'approvisionnement
- Appuyer
- combustion propre
- Target
- Enseignement
- équipe
- technologie
- Entreprise technologique
- Les technologies
- conditions
- Essais
- que
- qui
- La
- Pays-Bas
- au Royaume-Uni
- leur
- Les
- puis
- Là.
- donc
- Ces
- l'ont
- this
- ceux
- Avec
- fiable
- Des séries chronologiques
- fois
- à
- aujourd'hui
- ensemble
- traditionnel
- Formation
- les trains
- Trends
- déclenché
- déclenchement
- Turquie
- deux
- Uk
- En fin de compte
- sous
- comprendre
- expérience unique et authentique
- Uni
- États-Unis
- université
- us
- utilisé
- cas d'utilisation
- d'utiliser
- en utilisant
- verticales
- très
- via
- Visiter
- visualisation
- marcha
- était
- Déchets
- we
- web
- services Web
- semaine
- WELL
- quand
- qui
- dont
- large
- Large gamme
- comprenant
- sans
- travaillé
- workflows
- de travail
- vos contrats
- code écrit
- années
- Vous n'avez
- Votre
- zéphyrnet