Mise en œuvre d'Amazon Forecast dans le secteur de la vente au détail : un parcours du POC à la production

Prévisions Amazon est un service entièrement géré qui utilise des algorithmes statistiques et d'apprentissage automatique (ML) pour fournir des prévisions de séries chronologiques très précises. Récemment, sur la base d'Amazon Forecast, nous avons aidé l'un de nos clients détaillants à obtenir une prévision précise de la demande, dans un délai de 8 semaines. La solution a amélioré la prévision manuelle de 10 % en moyenne par rapport à la WAPE métrique. Cela conduit à une économie directe de 16 heures de travail par mois. De plus, nous avons estimé qu'en remplissant le bon nombre d'articles, les ventes pourraient augmenter jusqu'à 11.8 %. Dans cet article, nous présentons le flux de travail et les éléments critiques à mettre en œuvre - de la preuve de concept (POC) à la production - un système de prévision de la demande avec Amazon Forecast, axé sur les défis du secteur de la vente au détail.

Contexte et défis actuels de la prévision de la demande dans le commerce de détail

L'objectif de la prévision de la demande est d'estimer la demande future à partir de données historiques et d'aider au réapprovisionnement des magasins et à l'allocation de capacité. Grâce à la prévision de la demande, les détaillants sont en mesure de positionner la bonne quantité de stocks à chaque emplacement de leur réseau pour répondre à la demande. Par conséquent, un système de prévision précis peut générer un large éventail d'avantages dans différentes fonctions commerciales, telles que :

• Augmenter les ventes grâce à une meilleure disponibilité des produits et réduire l'effort de transfert inter-magasins
• Fournir des informations plus fiables pour améliorer l'utilisation de la capacité et éviter de manière proactive les goulots d'étranglement dans le provisionnement de la capacité
• Minimiser les stocks et les coûts de production et améliorer la rotation des stocks
• Présenter une meilleure expérience client globale

Les techniques de ML s'avèrent très utiles lorsqu'un grand volume de données de bonne qualité est présent. Aujourd'hui, la gestion du réapprovisionnement basée sur l'expérience ou la prévision de la demande est toujours courante pour la plupart des détaillants. Dans le but d'améliorer l'expérience client, de plus en plus de détaillants sont prêts à remplacer les systèmes de prévision de la demande basés sur l'expérience par des prévisions basées sur le ML. Cependant, les détaillants sont confrontés à de multiples défis lors de la mise en œuvre de systèmes de prévision de la demande basés sur le ML dans la production. Nous résumons les différents défis en trois catégories : les défis liés aux données, les défis du ML et les défis opérationnels.

Défis liés aux données

Un grand volume de données propres et de qualité est une exigence clé pour générer des prédictions précises basées sur le ML. Les données de qualité, y compris les ventes historiques et les données liées aux ventes (telles que l'inventaire, le prix des articles et les promotions), doivent être collectées et consolidées. La diversité des données provenant de multiples ressources nécessite une plate-forme de données moderne pour unir les silos de données. De plus, l'accès aux données en temps opportun est nécessaire pour des prévisions de demande fréquentes et précises.

Défis du machine learning

Le développement d'algorithmes ML avancés nécessite une expertise. La mise en œuvre des bons algorithmes pour le bon problème nécessite à la fois une connaissance approfondie du domaine et des compétences en ML. De plus, l'apprentissage à partir de grands ensembles de données disponibles nécessite une infrastructure ML évolutive. De plus, le maintien des algorithmes ML en production nécessite des compétences ML afin d'analyser la cause racine de la dégradation du modèle et de recycler correctement le modèle.

Pour résoudre des problèmes commerciaux pratiques, la production de prévisions précises n'est qu'une partie de l'histoire. Les décideurs ont besoin de prévisions probabilistes à différents quantiles pour prendre d'importantes décisions de compromis entre l'expérience client et les résultats financiers. Ils doivent également expliquer les prévisions aux parties prenantes et effectuer des analyses de simulation pour étudier comment différents scénarios peuvent affecter les résultats des prévisions.

Défis opérationnels

La réduction de l'effort opérationnel de maintien d'un système de prévision rentable est le troisième défi principal. Dans un scénario courant de prévision de la demande, chaque article à chaque emplacement a sa propre prévision. Un système capable de gérer des centaines de milliers de prévisions à tout moment est nécessaire. De plus, les utilisateurs finaux commerciaux ont besoin que le système de prévision soit intégré dans les systèmes en aval existants, tels que les plates-formes de gestion de la chaîne d'approvisionnement existantes, afin qu'ils puissent utiliser des systèmes basés sur ML sans modifier les outils et processus existants.

Ces défis sont particulièrement aigus lorsque les entreprises sont grandes, dynamiques et en croissance. Pour relever ces défis, nous partageons une histoire de réussite client qui réduit les efforts pour valider rapidement le gain commercial potentiel. Ceci est réalisé grâce au prototypage avec Amazon Forecast, un service entièrement géré qui fournit des résultats de prévision précis sans qu'il soit nécessaire de gérer les ressources et les algorithmes de l'infrastructure sous-jacente.

Prototypage rapide pour un système de prévision basé sur ML avec Amazon Forecast

Sur la base de notre expérience, nous constatons souvent que les clients de détail sont prêts à initier une preuve de concept sur leurs données de vente. Cela peut être fait dans un délai de quelques jours à quelques semaines pour un prototypage rapide, en fonction de la complexité des données et des ressources disponibles pour parcourir le processus de réglage du modèle. Lors du prototypage, nous suggérons d'utiliser des sprints pour gérer efficacement le processus et de séparer le POC en phases d'exploration de données, d'amélioration itérative et d'automatisation.

Exploration de données

L'exploration des données implique souvent des discussions intenses avec des scientifiques des données ou des analystes de l'informatique décisionnelle pour se familiariser avec l'ensemble de données de ventes historiques et les sources de données disponibles qui peuvent potentiellement avoir un impact sur les résultats des prévisions, tels que l'inventaire et les événements promotionnels historiques. L'un des moyens les plus efficaces consiste à consolider les données de vente, en tant qu'ensemble de données cible, à partir de l'entrepôt de données au début du projet. Ceci est basé sur le fait que les résultats des prévisions sont souvent dominés par les modèles d'ensemble de données cibles. Les entrepôts de données stockent souvent des données commerciales quotidiennes, et une compréhension exhaustive dans un court laps de temps est difficile et prend du temps. Notre suggestion est de se concentrer sur la génération de l'ensemble de données cible et de s'assurer que cet ensemble de données est correct. Ces résultats d'exploration de données et de référence peuvent souvent être obtenus en quelques jours, ce qui peut déterminer si les données cibles peuvent être prévues avec précision. Nous discutons de la prévisibilité des données plus loin dans cet article.

Itération

Une fois que nous avons les résultats de base, nous pouvons continuer à ajouter d'autres données connexes pour voir comment celles-ci peuvent avoir un impact sur la précision. Cela se fait souvent par une plongée approfondie dans des ensembles de données supplémentaires ; pour plus d'informations, reportez-vous à Utilisation d'ensembles de données de séries chronologiques connexes ainsi que Utilisation des ensembles de données de métadonnées d'élément.

Dans certains cas, il peut être possible d'améliorer la précision d'Amazon Forecast en formant les modèles avec des sous-ensembles de l'ensemble de données au comportement similaire, ou en supprimant les données éparses de l'ensemble de données. Au cours de cette phase d'amélioration itérative, la partie difficile - vraie pour tous les projets ML - est que l'itération actuelle dépend des principales conclusions et informations de l'itération précédente, de sorte qu'une analyse et des rapports rigoureux sont la clé du succès.

L'analyse peut être faite quantitativement et empiriquement. L'aspect quantitatif fait référence à l'évaluation lors du backtesting et à la comparaison de la métrique de précision, telle que WAPE. L'aspect empirique fait référence à la visualisation de la courbe de prédiction et des données cibles réelles, et à l'utilisation des connaissances du domaine pour incorporer des facteurs potentiels. Ces analyses vous aident à itérer plus rapidement pour combler l'écart entre les résultats prévus et les données cibles. En outre, la présentation de ces résultats via un rapport hebdomadaire peut souvent donner confiance aux utilisateurs finaux professionnels.

Automation

La dernière étape implique souvent la discussion du POC à la procédure de production et à l'automatisation. Étant donné que le projet ML est limité par la durée totale du projet, nous n'avons peut-être pas assez de temps pour explorer toutes les possibilités. Par conséquent, indiquer la zone potentielle tout au long des découvertes au cours du projet peut souvent gagner la confiance. En outre, l'automatisation peut aider les utilisateurs finaux professionnels à évaluer Forecast sur une période plus longue, car ils peuvent utiliser un prédicteur existant pour générer des prévisions avec les données mises à jour.

Les critères de succès peuvent être évalués avec les résultats générés, tant du point de vue technique que commercial. Au cours de la période d'évaluation, nous pouvons estimer les avantages potentiels pour les éléments suivants :

• Augmenter la précision des prévisions (technique) – Calculer la précision des prévisions en ce qui concerne les données de vente réelles et comparer avec le système de prévision existant, y compris les prévisions manuelles
• Réduction des déchets (entreprise) – Réduire les sur-prévisions afin de réduire le gaspillage
• Amélioration des taux de stock (entreprise) – Réduire les sous-prévisions afin d'améliorer les taux d'encours
• Estimation de l'augmentation de la marge brute (entreprise) – Réduire le gaspillage et améliorer les taux de stocks afin d'augmenter la marge brute

Nous résumons le workflow de développement dans le diagramme suivant.

Dans les sections suivantes, nous discutons des éléments importants à prendre en considération lors de la mise en œuvre.

Flux de travail étape par étape pour développer un système de prévision

Génération de jeu de données cible

La première étape consiste à générer le jeu de données cible pour Forecast. Dans le secteur de la vente au détail, il s'agit des données chronologiques historiques sur la demande et les ventes d'articles de vente au détail (SKU). Lors de la préparation de l'ensemble de données, un aspect important est la granularité. Nous devons tenir compte de la granularité des données à la fois des exigences commerciales et des exigences techniques.

L'entreprise définit la façon dont la prévision aboutit au système de production :

• Horizon – Le nombre de pas de temps prévus. Cela dépend du problème commercial sous-jacent. Si nous voulons réapprovisionner le niveau de stock chaque semaine, alors une prévision hebdomadaire ou une prévision quotidienne semble appropriée.
• granularité – La granularité de vos prévisions : fréquence de temps telle que quotidienne ou hebdomadaire, différents emplacements de magasins et différentes tailles d'un même article. Au final, la prédiction peut être une combinaison de chaque SKU de magasin, avec des points de données quotidiens.

Bien que l'horizon de prévision et la granularité susmentionnés doivent être définis pour hiérarchiser les exigences commerciales, nous devrons peut-être faire des compromis entre les exigences et la faisabilité. Prenons l'exemple de l'industrie de la chaussure. Si nous voulons prédire les ventes de chaque taille de chaussure à chaque niveau de magasin, les données deviennent rapidement rares et le modèle est difficile à trouver. Cependant, pour réapprovisionner le stock, nous devons estimer cette granularité. Pour ce faire, des solutions alternatives peuvent nécessiter l'estimation d'un rapport entre différentes pointures de chaussures et l'utilisation de ce rapport pour calculer des résultats précis.

Nous avons souvent besoin d'équilibrer les besoins de l'entreprise et le modèle de données qui peut être appris et utilisé pour les prévisions. Pour fournir une qualification quantitative des modèles de données, nous proposons d'utiliser la prévisibilité des données.

Prévisibilité des données et classification des modèles de données

L'une des principales informations que nous pouvons recueillir à partir de l'ensemble de données cible est sa capacité à produire des prévisions de qualité. Cela peut être analysé à la toute première phase du projet ML. Les prévisions brillent lorsque les données montrent la saisonnalité, les tendances et les modèles cycliques.

Pour déterminer la prévisibilité, il existe deux coefficients principaux : la variabilité du moment de la demande et la variabilité de la quantité de la demande. La variabilité de la synchronisation de la demande désigne l'intervalle entre deux instances de demande et mesure la régularité de la demande dans le temps. La variabilité de la quantité demandée signifie une variation des quantités. La figure suivante illustre quelques modèles différents. La précision des prévisions dépend fortement de la prévisibilité du produit. Pour plus d'informations, reportez-vous à Classification de la demande : pourquoi la prévisibilité est importante.

Il convient de noter que cette analyse de prévisibilité concerne chaque article à granularité fine (par exemple, SKU-Store-Color-Size). Il est assez courant que dans un système de production de prévision de la demande, différents articles suivent des modèles différents. Par conséquent, il est important de séparer les éléments selon différents modèles de données. Un exemple typique est celui des articles à rotation rapide et à rotation lente; un autre exemple serait des données denses et clairsemées. De plus, un élément à grain fin a plus de chances de produire un motif grumeleux. Par exemple, dans un magasin de vêtements, les ventes d'un article populaire peuvent être assez fluides au quotidien, mais si nous séparons davantage les ventes de l'article pour chaque couleur et taille, elles deviennent rapidement rares. Par conséquent, la réduction de la granularité de SKU-Store-Color-Size à SKU-Store peut modifier le modèle de données de grumeleux à lisse, et vice versa.

De plus, tous les articles ne contribuent pas de la même manière aux ventes. Nous avons observé que la contribution des articles suit souvent la distribution de Pareto, dans laquelle les articles les plus importants contribuent à la plupart des ventes. Les ventes de ces articles phares sont souvent fluides. Les articles avec un record de ventes inférieur sont souvent grumeleux et irréguliers, et donc difficiles à estimer. L'ajout de ces éléments peut en fait diminuer la précision des éléments les plus vendus. Sur la base de ces observations, nous pouvons séparer les éléments en différents groupes, entraîner le modèle de prévision sur les éléments les plus vendus et gérer les éléments les moins vendus comme des cas extrêmes.

Enrichissement des données et sélection de jeux de données supplémentaires

Lorsque nous voulons utiliser des ensembles de données supplémentaires pour améliorer les performances des résultats de prévision, nous pouvons compter sur ensembles de données de séries chronologiques ainsi que ensembles de données de métadonnées. Dans le domaine de la vente au détail, sur la base de l'intuition et de la connaissance du domaine, des caractéristiques telles que l'inventaire, le prix, la promotion et les saisons d'hiver ou d'été pourraient être importées en tant que séries chronologiques associées. Le moyen le plus simple d'identifier l'utilité des fonctionnalités est via l'importance des fonctionnalités. Dans Forecast, cela se fait par une analyse d'explicabilité. Prévoir Explicabilité du prédicteur nous aide à mieux comprendre l'impact des attributs des jeux de données sur les prévisions pour la cible. Les prévisions utilisent une métrique appelée scores d'impact pour quantifier l'impact relatif de chaque attribut et déterminer s'ils augmentent ou diminuent les valeurs de prévision. Si un ou plusieurs attributs ont un score d'impact de zéro, ces attributs n'ont pas d'impact significatif sur les valeurs de prévision. De cette façon, nous pouvons supprimer rapidement les fonctionnalités qui ont moins d'impact et ajouter les potentielles de manière itérative. Il est important de noter que les scores d'impact mesurent l'impact relatif des attributs, qui sont normalisés avec les scores d'impact de tous les autres attributs.

Comme tous les projets ML, l'amélioration de la précision avec des fonctionnalités supplémentaires nécessite des expériences itératives. Vous devez expérimenter plusieurs combinaisons d'ensembles de données, tout en observant l'impact des modifications incrémentielles sur la précision du modèle. Vous pouvez essayer d'exécuter plusieurs tests Forecast via la console Forecast ou avec Blocs-notes Python avec API Forecast. De plus, vous pouvez embarquer avec AWS CloudFormation, qui déploie des solutions prêtes à l'emploi fournies par AWS pour les cas d'utilisation courants (par exemple, le Amélioration de la précision des prévisions avec une solution d'apprentissage automatique). Forecast sépare automatiquement l'ensemble de données et produit des métriques de précision pour évaluer les prédicteurs. Pour plus d'informations, voir Évaluation de la précision des prédicteurs. Cela aide les data scientists à itérer plus rapidement pour obtenir le modèle le plus performant.

Amélioration avancée et traitement des cas critiques

Nous avons mentionné que les algorithmes de prévision peuvent apprendre la saisonnalité, les tendances et les caractéristiques cycliques à partir des données. Pour les éléments présentant ces caractéristiques, ainsi que la densité et le volume de données appropriés, nous pouvons utiliser Forecast pour générer des estimations. Cependant, lorsque nous sommes confrontés à des modèles de données grumeleux, en particulier lorsque le volume de données est faible, nous devrons peut-être les traiter différemment, par exemple avec une estimation empirique basée sur un ensemble de règles.

Pour les SKU denses, nous améliorons encore la précision des prévisions en entraînant les modèles avec des sous-ensembles au comportement similaire de l'ensemble de données de la série chronologique. Les stratégies de séparation des sous-ensembles que nous avons utilisées sont la logique métier, le type de produit, la densité des données et les modèles appris par l'algorithme. Une fois les sous-ensembles générés, nous pouvons entraîner plusieurs modèles de prévision pour les différents sous-ensembles. Pour un tel exemple, reportez-vous à Données de séries chronologiques de cluster à utiliser avec Amazon Forecast.

Vers la production : mise à jour de l'ensemble de données, surveillance et recyclage

Explorons un exemple d'architecture avec Forecast, comme illustré dans le diagramme suivant. Chaque fois qu'un utilisateur final consolide un nouvel ensemble de données sur Service de stockage simple Amazon (Amazon S3), il déclenche Fonctions d'étape AWS pour orchestrer différents composants, y compris la création de la tâche d'importation de l'ensemble de données, la création d'un prédicteur automatique et la génération de prévisions. Une fois les résultats de prévision générés, l'étape Créer une exportation de prévision les exporte vers Amazon S3 pour les consommateurs en aval. Pour plus d'informations sur la mise en service de ce pipeline automatisé, reportez-vous à Automatisation avec AWS CloudFormation. Il utilise une pile CloudFormation pour déployer automatiquement des ensembles de données dans un compartiment S3 et déclencher un pipeline Forecast. Vous pouvez utiliser la même pile d'automatisation pour générer des prévisions avec vos propres ensembles de données.

Il existe deux manières d'intégrer les tendances récentes dans le système de prévision : mettre à jour les données ou recycler le prédicteur.

Pour générer la prévision avec des données mises à jour reflétant les tendances récentes, vous devez charger le fichier de données d'entrée mis à jour dans un compartiment S3 (les données d'entrée mises à jour doivent toujours contenir toutes vos données existantes). La prévision ne recycle pas automatiquement un prédicteur lorsque vous importez un jeu de données mis à jour. Tu peux générer des prévisions comme vous le faites habituellement. La prévision prédit l'horizon de prévision à partir du dernier jour dans les données d'entrée mises à jour. Par conséquent, les tendances récentes sont incorporées dans toutes les nouvelles inférences produites par Forecast.

Toutefois, si vous souhaitez que votre prédicteur soit entraîné à partir des nouvelles données, vous devez créer un nouveau prédicteur. Vous devrez peut-être envisager de recycler le modèle lorsque les modèles de données (saisonnalité, tendances ou cycles) changent. Comme mentionné dans Surveillez en continu la précision des prédicteurs avec Amazon Forecast, la performance d'un prédicteur fluctuera dans le temps, en raison de facteurs tels que des changements dans l'environnement économique ou dans le comportement des consommateurs. Par conséquent, le prédicteur peut devoir être recyclé ou un nouveau prédicteur peut devoir être créé pour garantir que des prédictions très précises continuent d'être effectuées. Avec l'aide de surveillance des prédicteurs, Forecast peut suivre la qualité de vos prédicteurs, ce qui vous permet de réduire les efforts opérationnels, tout en vous aidant à prendre des décisions plus éclairées concernant la conservation, le recyclage ou la reconstruction de vos prédicteurs.

Conclusion

Amazon Forecast est un service de prévision de séries chronologiques basé sur ML et conçu pour l'analyse des métriques commerciales. Nous pouvons intégrer la prévision de la demande avec une grande précision en combinant les ventes historiques et d'autres informations pertinentes telles que l'inventaire, les promotions ou la saison. En 8 semaines, nous avons aidé l'un de nos clients détaillants à obtenir une prévision précise de la demande, soit une amélioration de 10 % par rapport à la prévision manuelle. Cela conduit à une économie directe de 16 heures de travail par mois et à une augmentation des ventes estimée jusqu'à 11.8 %.

Cet article a partagé des pratiques courantes pour faire passer votre projet de prévision de la preuve de concept à la production. Commencez maintenant avec Prévisions Amazon pour obtenir des prévisions très précises pour votre entreprise.

---

À propos des auteurs

Yanwei Cui, PhD, est un architecte de solutions spécialiste en apprentissage automatique chez AWS. Il a commencé des recherches sur l'apprentissage automatique à l'IRISA (Institut de recherche en informatique et systèmes aléatoires) et a plusieurs années d'expérience dans la création d'applications industrielles basées sur l'intelligence artificielle dans les domaines de la vision par ordinateur, du traitement du langage naturel et de la prédiction du comportement des utilisateurs en ligne. Chez AWS, il partage l'expertise du domaine et aide les clients à libérer les potentiels commerciaux et à générer des résultats exploitables grâce à l'apprentissage automatique à grande échelle. En dehors du travail, il aime lire et voyager.

Gordon Wang est un scientifique principal des données au sein de l'équipe des services professionnels d'Amazon Web Services. Il assiste des clients dans de nombreux secteurs, notamment les médias, la fabrication, l'énergie, la vente au détail et la santé. Il est passionné par la vision par ordinateur, l'apprentissage en profondeur et les MLOps. Dans ses temps libres, il aime courir et faire de la randonnée.