Surveillez en continu la précision des prédicteurs avec Amazon Forecast

Nous sommes ravis d'annoncer que vous pouvez désormais surveiller automatiquement l'exactitude de votre Prévisions Amazon prédicteurs dans le temps. Au fur et à mesure que de nouvelles données sont fournies, Forecast calcule automatiquement les métriques de précision des prédicteurs sur le nouvel ensemble de données, vous fournissant plus d'informations pour décider de continuer à utiliser, de recycler ou de créer de nouveaux prédicteurs.

La surveillance de la qualité des prédicteurs et l'identification de la détérioration de la précision au fil du temps sont importantes pour atteindre les objectifs commerciaux. Cependant, les processus requis pour surveiller en permanence les métriques de précision des prédicteurs peuvent être longs à mettre en place et difficiles à gérer : les prévisions doivent être évaluées et des métriques de précision mises à jour doivent être calculées. De plus, les métriques doivent être stockées et représentées graphiquement pour comprendre les tendances et prendre des décisions concernant la conservation, le recyclage ou la recréation des prédicteurs. Ces processus peuvent entraîner des charges de développement et de maintenance coûteuses et imposer un stress opérationnel important aux équipes de science des données et d'analystes. Et pour les clients qui ne souhaitent pas entreprendre ce processus chronophage (ils préféreraient recycler de nouveaux prédicteurs même lorsqu'ils ne sont pas nécessaires), cela fait perdre du temps et du calcul.

Avec le lancement d'aujourd'hui, Forecast suit automatiquement la précision des prédicteurs au fil du temps à mesure que de nouvelles données sont importées. Vous pouvez désormais quantifier l'écart de votre prédicteur par rapport aux métriques de qualité initiales et évaluer systématiquement la qualité du modèle en visualisant les tendances, et prendre des décisions plus éclairées concernant la conservation, le recyclage ou la reconstruction de vos modèles à mesure que de nouvelles données arrivent. La surveillance des prédicteurs peut être activée pour les nouveaux prédicteurs dès le départ. , ou activé pour les modèles existants. Vous pouvez activer cette fonctionnalité en un clic sur le Console de gestion AWS Ou en utilisant API de prévision.

Précision du prédicteur dans le temps

Un prédicteur est un modèle d'apprentissage automatique créé à un moment donné, à l'aide d'un ensemble original de données d'apprentissage. Une fois qu'un prédicteur est créé, il est utilisé de manière continue pendant des jours, des semaines ou des mois dans le futur pour générer des prévisions de séries chronologiques avec de nouvelles données de vérité terrain générées par des transactions réelles. Au fur et à mesure que de nouvelles données sont importées, le prédicteur génère de nouveaux points de données prévus sur la base des dernières données qui lui sont fournies.

Lorsqu'un prédicteur est créé pour la première fois, Forecast produit des métriques de précision telles que la perte quantile pondérée (wQL), l'erreur absolue moyenne en pourcentage (MAPE) ou l'erreur quadratique moyenne (RMSE) pour quantifier la précision du prédicteur. Ces métriques de précision sont utilisées pour déterminer si un prédicteur sera mis en production. Cependant, les performances d'un prédicteur fluctuent dans le temps. Des facteurs externes tels que des changements dans l'environnement économique ou dans le comportement des consommateurs peuvent modifier les facteurs fondamentaux sous-jacents à un prédicteur. D'autres facteurs incluent les nouveaux produits, articles et services qui peuvent être créés ; les changements dans l'environnement financier ou économique ; ou des changements dans la distribution des données.

Par exemple, considérez un prédicteur formé lorsqu'une certaine couleur d'un produit était populaire. Des mois plus tard, de nouvelles couleurs peuvent apparaître ou devenir plus populaires et la répartition des valeurs changer. Ou un changement se produit dans l'environnement commercial qui modifie les habitudes d'achat de longue date (comme des produits à marge élevée vers des produits à faible marge). Tout bien considéré, il se peut que le prédicteur doive être recyclé ou qu'un nouveau prédicteur doive être créé pour garantir que des prédictions très précises continuent d'être faites.

Surveillance automatisée des prédicteurs

La surveillance des prédicteurs est conçue pour analyser automatiquement les performances de votre prédicteur à mesure que de nouvelles données de séries chronologiques de vérité terrain deviennent disponibles et sont utilisées pour créer de nouvelles prévisions. Cette surveillance vous fournit des informations continues sur les performances du modèle et vous fait gagner du temps, vous évitant ainsi de configurer le processus vous-même.

Si la surveillance des prédicteurs est activée dans Forecast, chaque fois que vous importez de nouvelles données et produisez une nouvelle prévision, les statistiques de performances sont mises à jour automatiquement. Jusqu'à présent, ces statistiques de performances n'étaient disponibles que lors de la formation initiale du prédicteur ; désormais, ces statistiques sont produites en continu à l'aide de nouvelles données de terrain et peuvent être activement surveillées pour évaluer les performances des prédicteurs.

Cela vous permet d'utiliser les statistiques de performances des prédicteurs pour décider quand former ou recycler un nouveau prédicteur. Par exemple, lorsque la métrique wQL moyenne s'écarte des valeurs de référence initiales, vous pouvez déterminer s'il faut recycler un nouveau prédicteur. Si vous décidez de recycler un prédicteur ou d'en créer un nouveau, vous pouvez commencer à générer de nouveaux points de données prévus à l'aide du prédicteur le plus précis.

Les graphiques suivants fournissent deux exemples de surveillance des prédicteurs. Dans le premier graphique, la métrique wQL moyenne diminue par rapport à la ligne de base (la valeur initiale lorsque le prédicteur a été formé), ce qui indique que la précision des prévisions augmente avec le temps. Le graphique montre que le wQL moyen passe de 0.3 à 0.15 en quelques jours, ce qui signifie que la précision des prévisions augmente. Dans ce cas, il n'est pas nécessaire de recycler le prédicteur, car il produit des prévisions plus précises que lors de sa première formation.

Dans la figure suivante, l'inverse est vrai : le wQL moyen augmente, ce qui indique que la précision diminue avec le temps. Dans ce cas, vous devez envisager de recycler ou de reconstruire le prédicteur avec de nouvelles données.

Dans Forecast, vous avez le choix de recycler le prédicteur actuel ou de le reconstruire à partir de zéro. Reconversion se fait en un clic et intègre des données plus à jour et toutes les mises à jour et améliorations des algorithmes de prévision. Reconstitution le prédicteur vous permet de fournir de nouvelles entrées (telles que la fréquence de prévision, l'horizon ou une nouvelle dimension) pour créer un nouveau prédicteur.

Activer la surveillance des prédicteurs

Vous pouvez activer la surveillance des prédicteurs lors de la création d'un nouveau prédicteur ou l'activer pour les prédicteurs existants. Les étapes de cette section montrent comment effectuer ces étapes à l'aide de la console Forecast. Il y a aussi un Jupyter cahier qui parcourt une séquence d'étapes pour activer la surveillance des prédicteurs à l'aide d'API et générer des résultats de surveillance des prédicteurs.

Cet exemple utilise l'ensemble de données échantillon par tranches temporelles disponible à partir de la surveillance des prédicteurs cahier. Dans notre exemple, nous commençons avec un ensemble de données de 100,000 XNUMX lignes de ramassages de taxis à New York contenant un horodatage, un ID d'emplacement et une valeur cible (le nombre de ramassages demandés pendant l'horodatage à l'ID d'emplacement).

Effectuez les étapes suivantes:

1. Sur la console des prévisions, choisissez Afficher les groupes d'ensembles de données dans le volet de navigation.
2. Selectionnez Créer un groupe de jeux de données et fournissez les détails de votre groupe d'ensembles de données.
   Après avoir créé le groupe d'ensembles de données, vous êtes invité à créer un ensemble de données de série chronologique cible. Vous utilisez cet ensemble de données pour entraîner le prédicteur et créer des prévisions.
3. Sur le Créer un ensemble de données de série chronologique cible page, fournissez le schéma, la fréquence et l'emplacement de vos données.
4. Selectionnez Accueil pour importer votre jeu de données cible.
   Ensuite, vous créez votre prédicteur et vous l'entraînez à l'aide de votre ensemble de données initial.
5. Dans le volet de navigation, choisissez Prédicteurs.
6. Selectionnez Former un nouveau prédicteur.
   
7. Dans le Paramètres du prédicteur , entrez un nom pour votre prédicteur, combien de temps dans le futur vous voulez prévoir et à quelle fréquence, et le nombre de quantiles que vous voulez prévoir.
   
8. Pour Métrique d'optimisation, vous pouvez choisir une statistique d'optimisation pour optimiser AutoPredictor pour régler un modèle pour une métrique de précision spécifique de votre choix. Nous le laissons par défaut pour notre procédure pas à pas.
9. Pour obtenir le rapport d'explicabilité des prédicteurs, sélectionnez Activer l'explicabilité des prédicteurs.
10. Pour activer la surveillance des prédicteurs, sélectionnez Activer la surveillance des prédicteurs.
11. Sous la configuration des données d'entrée, vous pouvez ajouter des informations météorologiques locales et des jours fériés nationaux pour des prévisions de demande plus précises.
12. Selectionnez Accueil pour commencer à entraîner votre prédicteur.
    
    Forecast forme maintenant le prédicteur avec cet ensemble de données initial. Lorsque la surveillance des prédicteurs est activée, chaque fois que de nouvelles données sont fournies dans ce groupe d'ensembles de données, Forecast est en mesure de calculer des métriques de précision des prédicteurs mises à jour.
13. Une fois le prédicteur formé, choisissez-le pour évaluer les métriques de précision initiales.
    
    La Métrique L'onglet affiche les métriques de qualité initiales des prédicteurs. Étant donné que vous n'avez généré aucune prévision à partir de votre prédicteur ou importé de nouvelles données de vérité terrain, il n'y a rien à afficher sur le Le Monitoring languette.
    L'étape suivante consiste à générer une prévision à l'aide du nouveau prédicteur.
14. Selectionnez Prévisions dans le volet de navigation.
15. Selectionnez Créer une prévision pour créer une nouvelle prévision basée sur les données de séries chronologiques que vous venez d'importer et les paramètres du prédicteur.
16. Fournissez le nom de la prévision, le nom du prédicteur et toute mesure de quantile supplémentaire que vous souhaitez calculer.

Après avoir créé la prévision, vous pouvez afficher et exporter ses détails et résultats sur le Détails des prévisions .

Surveillance des prédicteurs : évaluation de la précision dans le temps

Au fil du temps, de nouvelles données de terrain sont créées par vos processus métier, par exemple, les chiffres de vente mis à jour, les niveaux de dotation en personnel ou la production manufacturière. Pour créer de nouvelles prévisions basées sur ces nouvelles données, vous pouvez importer vos données dans l'ensemble de données que vous avez créé.

1. Sur la console Amazon Forecast, sur le Groupes de jeux de données page, choisissez votre groupe d'ensembles de données.
   
2. Choisissez votre ensemble de données.
   
3. Dans le Importations de jeux de données section, choisissez Créer une importation de jeu de données.
   
4. Fournissez des détails supplémentaires sur vos données mises à jour, y compris leur emplacement.
   
5. Selectionnez Accueil.

Avec la surveillance des prédicteurs, Forecast compare ces nouvelles données à la précédente prévision générée et calcule les métriques de précision pour le prédicteur. Les métriques de qualité des prédicteurs mises à jour sont calculées en continu à mesure que de nouvelles données sont ajoutées à l'ensemble de données.

Vous pouvez suivre ces étapes pour importer des données supplémentaires, représentant des transactions supplémentaires qui se sont produites au fil du temps.

Évaluer les résultats de la surveillance des prédicteurs

Pour voir les résultats de la surveillance des prédicteurs, vous devez ajouter de nouvelles données de vérité terrain après avoir généré les prévisions initiales. Forecast compare ces nouvelles données de vérité terrain aux prévisions précédentes et produit des valeurs de précision de modèle mises à jour pour la surveillance.

1. Sur le Groupes de jeux de données , choisissez les groupes d'ensembles de données pertinents et sélectionnez la série chronologique cible pour la mettre à jour avec de nouvelles données de vérité terrain.
   
2. Selectionnez Créer une importation de jeu de données et ajoutez vos nouvelles données de vérité terrain.
   
   Après avoir fourni les données de vérité terrain supplémentaires, vous pouvez ouvrir votre prédicteur et afficher les statistiques de surveillance initiales du prédicteur.
3. Choisissez votre prédicteur et accédez au Le Monitoring languette.
   

Vous pouvez suivre ces étapes pour exécuter des prévisions supplémentaires à l'aide de ce prédicteur et ajouter d'autres itérations de données de vérité terrain. La progression des statistiques de précision du modèle pour votre prédicteur est disponible sur le Le Monitoring languette.

Cet exemple montre les statistiques de précision du modèle pour un prédicteur qui a été évalué avec quatre mises à jour de données supplémentaires. Le prédicteur avait une MAPE de base initiale de 0.55 lors de sa formation initiale. Au fur et à mesure que des données supplémentaires étaient chargées, le MAPE est tombé à 42 avec le premier ensemble de données supplémentaires, indiquant un prédicteur plus précis, et a fluctué dans une fourchette étroite de 42 à 48 avec les ensembles de données suivants.

Vous pouvez basculer le graphique pour afficher des mesures supplémentaires. Dans les exemples suivants, MASE et wQL moyen montrent des fluctuations similaires par rapport à la ligne de base au fil du temps.

La Historique de surveillance La section en bas de la page fournit des détails complets sur toutes les mesures de précision des prédicteurs suivies au fil du temps.

Configurer la surveillance des prédictions sur un prédicteur existant

Vous pouvez facilement activer la surveillance des prédicteurs existants. Pour ce faire, procédez comme suit :

1. Dans le volet de navigation, sous votre ensemble de données, choisissez Prédicteurs.
2. À partir de là, il existe deux façons d'activer la surveillance :
   1. Selectionnez Commencer la surveillance sous le Le Monitoring colonne.
      
   2. Choisissez votre prédicteur et sur le Le Monitoring onglet, sous Détails du moniteur, choisissez Démarrer le moniteur.
      
3. Dans la boîte de dialogue contextuelle, choisissez Accueil pour démarrer la surveillance du prédicteur sélectionné.
   

La Le Monitoring L'onglet indique maintenant que la surveillance des prédicteurs a commencé et les résultats sont générés au fur et à mesure que vous importez davantage de données.

Arrêter et redémarrer la surveillance des prédicteurs

Vous pouvez également arrêter et redémarrer la surveillance des prédicteurs. Considérer ce qui suit:

• Prix – La surveillance des prédicteurs consomme des ressources supplémentaires. Avec de petits ensembles de données typiques, le coût est minime, mais peut augmenter avec de grands ensembles de données (nombre d'éléments dans l'ensemble de données d'entrée et horizon de prévision).
• Confidentialité – Une copie de vos prévisions est stockée pendant la surveillance. Si vous ne souhaitez pas stocker cette copie, vous pouvez arrêter la surveillance.
• Bruit – Si vous testez un prédicteur et que vous ne souhaitez pas voir de bruit dans les résultats de votre moniteur de prédicteur, vous pouvez temporairement arrêter la surveillance du prédicteur et la redémarrer lorsque votre prédicteur est à nouveau stable.

Pour arrêter la surveillance des prédicteurs, procédez comme suit :

1. Accédez à la Le Monitoring onglet pour un prédicteur où la surveillance est activée.
2. Selectionnez Arrêter le moniteur pour arrêter la surveillance du prédicteur.
   
3. Vérifiez votre choix lorsque vous y êtes invité.
   

Un message s'affiche sur la page suivante pour indiquer que la surveillance du prédicteur est arrêtée.

Vous pouvez redémarrer la surveillance des prédicteurs en choisissant Moniteur de reprise.

Conclusion

Il est important de surveiller la qualité de vos prédicteurs au fil du temps pour atteindre vos objectifs de planification et de prévision de la demande, et en fin de compte vos objectifs commerciaux. Cependant, la surveillance des prédicteurs peut être un exercice chronophage, et les processus requis pour mettre en place et maintenir les flux de travail nécessaires peuvent entraîner des coûts opérationnels plus élevés.

Forecast peut désormais suivre automatiquement la qualité de vos prédicteurs, ce qui vous permet de réduire les efforts opérationnels, tout en vous aidant à prendre des décisions plus éclairées concernant la conservation, le recyclage ou la reconstruction de vos prédicteurs. Pour activer la surveillance des prédicteurs, vous pouvez suivre les étapes décrites dans cet article ou suivre notre bloc-notes GitHub.

Veuillez noter que la surveillance des prédicteurs n'est disponible qu'avec AutoPredictor. Pour plus d'informations, reportez-vous à Nouvelle API Amazon Forecast qui crée des prévisions jusqu'à 40 % plus précises et offre une explicabilité ainsi que Créer un prédicteur automatique.

Pour en savoir plus, consultez Surveillance des prédicteurs. Nous vous recommandons également de consulter le établissement des prix pour utiliser ces nouvelles fonctionnalités. Toutes ces nouvelles fonctionnalités sont disponibles dans toutes les régions où Forecast est accessible au public. Pour plus d'informations sur la disponibilité de la région, voir Services régionaux AWS.

---

À propos des auteurs

Dan Sinnreich est chef de produit senior pour Amazon Forecast. Il se concentre sur la démocratisation de l'apprentissage automatique low code/no code et son application pour améliorer les résultats commerciaux. En dehors du travail, on peut le trouver en train de jouer au hockey, d'essayer d'améliorer son service au tennis et de lire de la science-fiction.

 Adarsh ​​Singh travaille en tant qu'ingénieur en développement logiciel dans l'équipe Amazon Forecast. Dans son rôle actuel, il se concentre sur les problèmes d'ingénierie et sur la construction de systèmes distribués évolutifs qui offrent le plus de valeur aux utilisateurs finaux. Dans ses temps libres, il aime regarder des dessins animés et jouer à des jeux vidéo.

Shannon Killingsworth est un concepteur UX pour Amazon Forecast. Son travail actuel consiste à créer des expériences de console utilisables par tout le monde et à intégrer de nouvelles fonctionnalités dans l'expérience de la console. Dans ses temps libres, il est un passionné de fitness et d'automobile.

• Coinsmart. Le meilleur échange Bitcoin et Crypto d'Europe.
• Platoblockchain. Intelligence métaverse Web3. Connaissance amplifiée. ACCÈS LIBRE.
• CryptoHawk. Radar Altcoins. Essai gratuit.
• Source : https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/