Überwachen Sie kontinuierlich die Vorhersagegenauigkeit mit Amazon Forecast

Wir freuen uns, Ihnen mitteilen zu können, dass Sie jetzt die Genauigkeit Ihrer Daten automatisch überwachen können Amazon-Prognose Prädiktoren im Laufe der Zeit. Wenn neue Daten bereitgestellt werden, berechnet Forecast automatisch Prädiktorgenauigkeitsmetriken für den neuen Datensatz und stellt Ihnen mehr Informationen zur Verfügung, mit denen Sie entscheiden können, ob Sie Prädiktoren weiterhin verwenden, neu trainieren oder neue Prädiktoren erstellen möchten.

Um die Geschäftsziele zu erreichen, ist es wichtig, die Qualität der Prädiktoren zu überwachen und eine Verschlechterung der Genauigkeit im Laufe der Zeit zu erkennen. Die für die kontinuierliche Überwachung der Prädiktorgenauigkeitsmetriken erforderlichen Prozesse können jedoch zeitaufwändig einzurichten und schwierig zu verwalten sein: Prognosen müssen ausgewertet und aktualisierte Genauigkeitsmetriken berechnet werden. Darüber hinaus müssen Metriken gespeichert und grafisch dargestellt werden, um Trends zu verstehen und Entscheidungen über die Beibehaltung, Umschulung oder Neuerstellung von Prädiktoren zu treffen. Diese Prozesse können zu kostspieligem Entwicklungs- und Wartungsaufwand führen und eine erhebliche betriebliche Belastung für Datenwissenschafts- und Analystenteams darstellen. Und für Kunden, die nicht bereit sind, diesen zeitaufwändigen Prozess zu übernehmen (sie würden es vorziehen, neue Prädiktoren neu zu trainieren, auch wenn sie nicht benötigt werden), verschwendet dies Zeit und Rechenaufwand.

Mit der heutigen Einführung verfolgt Forecast nun automatisch die Vorhersagegenauigkeit im Laufe der Zeit, wenn neue Daten importiert werden. Sie können jetzt die Abweichung Ihres Prädiktors von anfänglichen Qualitätsmetriken quantifizieren und die Modellqualität systematisch bewerten, indem Sie Trends visualisieren und fundiertere Entscheidungen über die Beibehaltung, Neuschulung oder Neuerstellung Ihrer Modelle treffen, wenn neue Daten eingehen. Die Prädiktorüberwachung kann zu Beginn für neue Prädiktoren aktiviert werden , oder für vorhandene Modelle aktiviert. Sie können diese Funktion mit einem Klick auf aktivieren AWS-Managementkonsole oder mit Prognose-APIs.

Prädiktorgenauigkeit im Zeitverlauf

Ein Prädiktor ist ein maschinelles Lernmodell, das zu einem bestimmten Zeitpunkt unter Verwendung eines ursprünglichen Satzes von Trainingsdaten erstellt wird. Nachdem ein Prädiktor erstellt wurde, wird er kontinuierlich über Tage, Wochen oder Monate in der Zukunft verwendet, um Zeitreihenprognosen mit neuen Ground-Truth-Daten zu erstellen, die durch tatsächliche Transaktionen generiert werden. Wenn neue Daten importiert werden, generiert der Prädiktor neue prognostizierte Datenpunkte basierend auf den neuesten ihm bereitgestellten Daten.

Wenn ein Prädiktor zum ersten Mal erstellt wird, erstellt Forecast Genauigkeitsmetriken wie den gewichteten Quantilverlust (wQL), den mittleren absoluten prozentualen Fehler (MAPE) oder den quadratischen Mittelwert (Root Mean Square Error, RMSE), um die Genauigkeit des Prädiktors zu quantifizieren. Diese Genauigkeitsmetriken werden verwendet, um zu bestimmen, ob ein Prädiktor in Produktion geht. Allerdings schwankt die Leistung eines Prädiktors im Laufe der Zeit. Externe Faktoren wie Veränderungen im wirtschaftlichen Umfeld oder im Verbraucherverhalten können die einem Prädiktor zugrunde liegenden fundamentalen Faktoren verändern. Zu den weiteren Faktoren gehören möglicherweise neue Produkte, Artikel und Dienstleistungen; Veränderungen im finanziellen oder wirtschaftlichen Umfeld; oder Änderungen in der Datenverteilung.

Stellen Sie sich beispielsweise einen Prädiktor vor, der darauf trainiert wurde, wann eine bestimmte Farbe eines Produkts beliebt war. Monate später können neue Farben auftauchen oder beliebter werden und sich die Werteverteilung ändern. Oder es kommt zu einer Verschiebung im Geschäftsumfeld, die langjährige Kaufmuster verändert (z. B. von Produkten mit hohen Margen zu Produkten mit niedrigen Margen). Alles in allem muss der Prädiktor möglicherweise neu trainiert werden oder es muss ein neuer Prädiktor erstellt werden, um sicherzustellen, dass weiterhin hochpräzise Vorhersagen getroffen werden.

Automatisierte Prädiktorüberwachung

Die Vorhersageüberwachung dient zur automatischen Analyse der Leistung Ihres Vorhersagers, sobald neue Ground-Truth-Zeitreihendaten verfügbar werden, und wird zur Erstellung neuer Prognosen verwendet. Durch diese Überwachung erhalten Sie kontinuierlich Informationen zur Modellleistung und sparen Zeit, da Sie den Prozess nicht selbst einrichten müssen.

Wenn die Vorhersageüberwachung in Prognose aktiviert ist, werden die Leistungsstatistiken jedes Mal automatisch aktualisiert, wenn Sie neue Daten importieren und eine neue Prognose erstellen. Bisher waren diese Leistungsstatistiken nur verfügbar, als der Prädiktor zum ersten Mal trainiert wurde; Jetzt werden diese Statistiken kontinuierlich anhand neuer Ground-Truth-Daten erstellt und können aktiv überwacht werden, um die Leistung der Prädiktoren zu messen.

Auf diese Weise können Sie Statistiken zur Prädiktorleistung verwenden, um zu entscheiden, wann ein neuer Prädiktor trainiert oder neu trainiert werden soll. Wenn beispielsweise die durchschnittliche wQL-Metrik von den anfänglichen Basiswerten abweicht, können Sie bestimmen, ob ein neuer Prädiktor neu trainiert werden soll. Wenn Sie sich entscheiden, einen Prädiktor neu zu trainieren oder einen neuen zu erstellen, können Sie mit der Generierung neuer prognostizierter Datenpunkte mithilfe des genaueren Prädiktors beginnen.

Die folgenden Diagramme zeigen zwei Beispiele für die Vorhersageüberwachung. Im ersten Diagramm nimmt die durchschnittliche wQL-Metrik gegenüber der Basislinie (dem Anfangswert, als der Prädiktor trainiert wurde) ab, was darauf hindeutet, dass die Prognosegenauigkeit mit der Zeit zunimmt. Das Diagramm zeigt, dass der durchschnittliche wQL im Laufe weniger Tage von 0.3 auf 0.15 sinkt, was bedeutet, dass die Prognosegenauigkeit zunimmt. In diesem Fall muss der Prädiktor nicht erneut trainiert werden, da er genauere Prognosen erstellt als beim ersten Training.

In der nächsten Abbildung ist das Gegenteil der Fall: Der durchschnittliche wQL steigt, was darauf hindeutet, dass die Genauigkeit mit der Zeit abnimmt. In diesem Fall sollten Sie erwägen, den Prädiktor erneut zu trainieren oder mit neuen Daten neu zu erstellen.

In Forecast haben Sie die Wahl, den aktuellen Prädiktor neu zu trainieren oder ihn von Grund auf neu zu erstellen. Umschulung ist mit einem Klick erledigt und integriert aktuellere Daten sowie alle Aktualisierungen und Verbesserungen der Prognosealgorithmen. Wiederaufbau Mit dem Prädiktor können Sie neue Eingaben (z. B. Prognosehäufigkeit, Horizont oder neue Dimension) bereitstellen, um einen neuen Prädiktor zu erstellen.

Aktivieren Sie die Vorhersageüberwachung

Sie können die Prädiktorüberwachung aktivieren, wenn Sie einen neuen Prädiktor erstellen, oder sie für vorhandene Prädiktoren aktivieren. Die Schritte in diesem Abschnitt veranschaulichen, wie Sie diese Schritte mithilfe der Prognosekonsole ausführen. Es gibt auch einen Jupyter Notizbuch Es führt Sie durch eine Abfolge von Schritten, um die Prädiktorüberwachung mithilfe von APIs zu aktivieren und Ergebnisse der Prädiktorüberwachung zu generieren.

In diesem Beispiel wird der zeitgeschnittene Beispieldatensatz verwendet, der aus der Prädiktorüberwachung verfügbar ist Notizbuch. In unserem Beispiel beginnen wir mit einem 100,000 Zeilen umfassenden Datensatz von Taxiabholungen in New York City, der einen Zeitstempel, eine Standort-ID und einen Zielwert (die Anzahl der während des Zeitstempels an der Standort-ID angeforderten Abholungen) enthält.

Führen Sie die folgenden Schritte aus:

1. Wählen Sie in der Prognosekonsole Datensatzgruppen anzeigen im Navigationsbereich.
2. Auswählen Datensatzgruppe erstellen und geben Sie die Details Ihrer Datensatzgruppe an.
   Nachdem Sie die Datensatzgruppe erstellt haben, werden Sie aufgefordert, einen Zielzeitreihendatensatz zu erstellen. Sie verwenden diesen Datensatz, um den Prädiktor zu trainieren und Prognosen zu erstellen.
3. Auf dem Zielzeitreihendatensatz erstellen Geben Sie auf der Seite das Schema, die Häufigkeit und den Speicherort Ihrer Daten an.
4. Auswählen Startseite um Ihren Zieldatensatz zu importieren.
   Als Nächstes erstellen Sie Ihren Prädiktor und trainieren ihn mithilfe Ihres ursprünglichen Datensatzes.
5. Wählen Sie im Navigationsbereich Prädiktoren.
6. Auswählen Trainieren Sie einen neuen Prädiktor.
   
7. Im Predictor-Einstellungen Geben Sie im Abschnitt „Prädiktor“ einen Namen für Ihren Prädiktor ein, geben Sie an, wie lange in der Zukunft Sie mit welcher Häufigkeit prognostizieren möchten und wie viele Quantile Sie prognostizieren möchten.
   
8. Aussichten für Optimierungsmetrikkönnen Sie eine Optimierungsmetrik zur Optimierung auswählen AutoPredictor um ein Modell für eine bestimmte Genauigkeitsmetrik Ihrer Wahl abzustimmen. Wir belassen dies als Standardeinstellung für unsere exemplarische Vorgehensweise.
9. Um den Bericht zur Erklärbarkeit des Prädiktors zu erhalten, wählen Sie aus Aktivieren Sie die Erklärbarkeit von Prädiktoren.
10. Um die Vorhersageüberwachung zu aktivieren, wählen Sie aus Aktivieren Sie die Vorhersageüberwachung.
11. Unter der Eingabedatenkonfiguration können Sie lokale Wetterinformationen und nationale Feiertage hinzufügen, um genauere Bedarfsprognosen zu erhalten.
12. Auswählen Startseite um mit dem Training Ihres Prädiktors zu beginnen.
    
    Forecast trainiert nun den Prädiktor mit diesem anfänglichen Datensatz. Wenn die Prädiktorüberwachung aktiviert ist, kann Forecast jedes Mal, wenn in dieser Datensatzgruppe neue Daten bereitgestellt werden, aktualisierte Prädiktorgenauigkeitsmetriken berechnen.
13. Nachdem der Prädiktor trainiert wurde, wählen Sie ihn aus, um die anfänglichen Genauigkeitsmetriken auszuwerten.
    
    Das Metrik Auf der Registerkarte werden die anfänglichen Qualitätsmetriken des Prädiktors angezeigt. Da Sie mit Ihrem Prädiktor keine Prognosen erstellt oder neue Ground-Truth-Daten importiert haben, ist auf dem nichts anzuzeigen Netzwerk Performance Tab.
    Der nächste Schritt besteht darin, mithilfe des neuen Prädiktors eine Prognose zu erstellen.
14. Auswählen Prognosen im Navigationsbereich.
15. Auswählen Prognose erstellen , um eine neue Prognose basierend auf den soeben importierten Zeitreihendaten und den Prädiktoreinstellungen zu erstellen.
16. Geben Sie den Prognosenamen, den Prädiktornamen und alle zusätzlichen Quantilmetriken an, die Sie berechnen möchten.

Nachdem Sie die Prognose erstellt haben, können Sie deren Details und Ergebnisse im anzeigen und exportieren Prognosedetails

Prädiktorüberwachung: Bewertung der Genauigkeit im Zeitverlauf

Im Laufe der Zeit entstehen durch Ihre Geschäftsprozesse neue grundlegende Daten, beispielsweise aktualisierte Verkaufszahlen, Personalbestände oder Produktionsleistung. Um auf der Grundlage dieser neuen Daten neue Prognosen zu erstellen, können Sie Ihre Daten in den von Ihnen erstellten Datensatz importieren.

1. Auf der Amazon Forecast-Konsole auf der Datensatzgruppen Wählen Sie auf der Seite Ihre Datensatzgruppe aus.
   
2. Wählen Sie Ihren Datensatz.
   
3. Im Datensatzimporte Wählen Sie im Abschnitt Datensatzimport erstellen.
   
4. Geben Sie zusätzliche Details zu Ihren aktualisierten Daten an, einschließlich des Speicherorts.
   
5. Auswählen Startseite.

Bei der Prädiktorüberwachung vergleicht Forecast diese neuen Daten mit der zuvor generierten Prognose und berechnet Genauigkeitsmetriken für den Prädiktor. Aktualisierte Prädiktorqualitätsmetriken werden fortlaufend berechnet, wenn dem Datensatz neue Daten hinzugefügt werden.

Sie können diese Schritte ausführen, um zusätzliche Daten zu importieren, die zusätzliche Transaktionen darstellen, die im Laufe der Zeit stattgefunden haben.

Bewerten Sie die Ergebnisse der Prädiktorüberwachung

Um die Ergebnisse der Vorhersageüberwachung anzuzeigen, müssen Sie nach der Erstellung der ersten Prognosen neue Ground-Truth-Daten hinzufügen. Forecast vergleicht diese neuen Ground-Truth-Daten mit der vorherigen Prognose und erstellt aktualisierte Modellgenauigkeitswerte für die Überwachung.

1. Auf dem Datensatzgruppen Wählen Sie auf der Seite die relevanten Datensatzgruppen und die Zielzeitreihe aus, um sie mit neuen Ground-Truth-Daten zu aktualisieren.
   
2. Auswählen Datensatzimport erstellen und fügen Sie Ihre neuen Ground-Truth-Daten hinzu.
   
   Nachdem Sie die zusätzlichen Ground-Truth-Daten bereitgestellt haben, können Sie Ihren Prädiktor öffnen und erste Statistiken zur Prädiktorüberwachung anzeigen.
3. Wählen Sie Ihren Prädiktor und navigieren Sie zu Netzwerk Performance Tab.
   

Sie können diese Schritte ausführen, um mit diesem Prädiktor zusätzliche Prognosen durchzuführen und weitere Iterationen von Ground-Truth-Daten hinzuzufügen. Die Fortschrittsstatistiken zur Modellgenauigkeit für Ihren Prädiktor sind auf der verfügbar Netzwerk Performance Tab.

Dieses Beispiel zeigt Modellgenauigkeitsstatistiken für einen Prädiktor, der mit vier zusätzlichen Datenaktualisierungen ausgewertet wurde. Der Prädiktor hatte beim ersten Training einen anfänglichen Basis-MAPE von 0.55. Als zusätzliche Daten geladen wurden, fiel der MAPE beim ersten zusätzlichen Datensatz auf 42, was auf einen genaueren Prädiktor hindeutet, und schwankte bei nachfolgenden Datensätzen in einem engen Bereich von 42 bis 48.

Sie können das Diagramm umschalten, um zusätzliche Metriken anzuzeigen. In den folgenden Beispielen zeigen MASE und durchschnittlicher wQL im Laufe der Zeit ähnliche Schwankungen gegenüber der Basislinie.

Das Überwachungsverlauf Der Abschnitt unten auf der Seite enthält ausführliche Informationen zu allen im Laufe der Zeit verfolgten Prädiktorgenauigkeitsmetriken.

Richten Sie die Vorhersageüberwachung für einen vorhandenen Prädiktor ein

Sie können die Überwachung für vorhandene Prädiktoren ganz einfach aktivieren. Führen Sie dazu die folgenden Schritte aus:

1. Wählen Sie im Navigationsbereich unter Ihrem Datensatz die Option Prädiktoren.
2. Von hier aus gibt es zwei Möglichkeiten, die Überwachung zu aktivieren:
   1. Auswählen Starten Sie die Überwachung unter dem Netzwerk Performance Spalte.
      
   2. Wählen Sie Ihren Prädiktor und weiter Netzwerk Performance Registerkarte unter Details überwachen, wählen Monitor starten.
      
3. Wählen Sie im Popup-Dialogfeld aus Startseite , um die Überwachung für den ausgewählten Prädiktor zu starten.
   

Das Netzwerk Performance Auf der Registerkarte wird nun angezeigt, dass die Prädiktorüberwachung gestartet wurde und Ergebnisse generiert werden, wenn Sie weitere Daten importieren.

Stoppen Sie die Prädiktorüberwachung und starten Sie sie neu

Sie können die Vorhersageüberwachung auch stoppen und neu starten. Folgendes berücksichtigen:

• Kosten – Die Vorhersageüberwachung verbraucht zusätzliche Ressourcen. Bei typischen kleinen Datensätzen sind die Kosten minimal, können jedoch bei großen Datensätzen (Anzahl der Elemente im Eingabedatensatz und Prognosehorizont) steigen.
• Datenschutz – Während der Überwachung wird eine Kopie Ihrer Prognose gespeichert. Wenn Sie diese Kopie nicht speichern möchten, können Sie die Überwachung beenden.
• Lärm – Wenn Sie mit einem Prädiktor experimentieren und kein Rauschen in den Ergebnissen Ihrer Prädiktorüberwachung sehen möchten, können Sie die Überwachung des Prädiktors vorübergehend stoppen und erneut starten, wenn Ihr Prädiktor wieder stabil ist.

Um die Vorhersageüberwachung zu stoppen, führen Sie die folgenden Schritte aus:

1. Navigieren Sie zu der Netzwerk Performance Registerkarte für einen Prädiktor, bei dem die Überwachung aktiviert ist.
2. Auswählen Stoppen Sie den Monitor um die Überwachung des Prädiktors zu stoppen.
   
3. Bestätigen Sie Ihre Auswahl, wenn Sie dazu aufgefordert werden.
   

Auf der nächsten Seite wird eine Meldung angezeigt, die darauf hinweist, dass die Vorhersageüberwachung gestoppt wurde.

Sie können die Prädiktorüberwachung erneut starten, indem Sie wählen Fortsetzen des Monitors.

Zusammenfassung

Die Überwachung der Qualität Ihrer Prädiktoren im Laufe der Zeit ist wichtig, um Ihre Bedarfsplanungs- und Prognoseziele und letztendlich Ihre Geschäftsziele zu erreichen. Die Vorhersageüberwachung kann jedoch eine zeitaufwändige Aufgabe sein, und die Prozesse, die zur Aufrechterhaltung und Aufrechterhaltung der erforderlichen Arbeitsabläufe erforderlich sind, können zu höheren Betriebskosten führen.

Forecast kann jetzt automatisch die Qualität Ihrer Prädiktoren verfolgen, sodass Sie den betrieblichen Aufwand reduzieren und gleichzeitig fundiertere Entscheidungen über die Beibehaltung, Umschulung oder Neuerstellung Ihrer Prädiktoren treffen können. Um die Vorhersageüberwachung zu aktivieren, können Sie die in diesem Beitrag beschriebenen Schritte ausführen oder unserem GitHub-Notizbuch folgen.

Bitte beachten Sie, dass die Prädiktorüberwachung nur mit verfügbar ist AutoPredictor. Weitere Informationen finden Sie unter Neue Amazon Forecast API, die bis zu 40 % genauere Prognosen erstellt und Erklärbarkeit bietet und CreateAutoPredictor.

Weitere Informationen finden Sie unter Prädiktorüberwachung. Wir empfehlen auch, die zu überprüfen gebühr für die Nutzung dieser neuen Funktionen. Alle diese neuen Funktionen sind in allen Regionen verfügbar, in denen Forecast öffentlich verfügbar ist. Weitere Informationen zur Regionsverfügbarkeit finden Sie unter Regionale AWS-Services.

---

Über die Autoren

Dan Sinnreich ist Senior Product Manager für Amazon Forecast. Sein Schwerpunkt liegt auf der Demokratisierung des Low-Code/No-Code-Maschinenlernens und seiner Anwendung zur Verbesserung der Geschäftsergebnisse. Außerhalb der Arbeit spielt er Hockey, versucht seinen Tennisaufschlag zu verbessern und liest Science-Fiction.

 Adarsh ​​Singh arbeitet als Softwareentwicklungsingenieur im Amazon Forecast-Team. In seiner aktuellen Rolle konzentriert er sich auf technische Probleme und den Aufbau skalierbarer verteilter Systeme, die den Endbenutzern den größten Nutzen bieten. In seiner Freizeit schaut er gerne Animes und spielt Videospiele.

Shannon Killingsworth ist UX-Designer für Amazon Forecast. Seine aktuelle Arbeit besteht darin, Konsolenerlebnisse zu schaffen, die für jedermann nutzbar sind, und neue Funktionen in das Konsolenerlebnis zu integrieren. In seiner Freizeit ist er ein Fitness- und Automobilliebhaber.

• Coinsmart. Europas beste Bitcoin- und Krypto-Börse.
• Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. DEN FREIEN ZUGANG.
• CryptoHawk. Altcoin-Radar. Kostenlose Testphase.
• Quelle: https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/