Beschleunigen Sie die Zeit bis zur Einsicht mit MongoDB-Zeitreihensammlungen und Amazon SageMaker Canvas | Amazon Web Services

Dies ist ein Gastbeitrag, der gemeinsam mit Babu Srinivasan von MongoDB verfasst wurde.

Da sich Branchen in der heutigen schnelllebigen Geschäftslandschaft weiterentwickeln, stellt die Unfähigkeit, Echtzeitprognosen zu erstellen, erhebliche Herausforderungen für Branchen dar, die stark auf genaue und zeitnahe Erkenntnisse angewiesen sind. Das Fehlen von Echtzeitprognosen in verschiedenen Branchen stellt drängende geschäftliche Herausforderungen dar, die sich erheblich auf die Entscheidungsfindung und die betriebliche Effizienz auswirken können. Ohne Einblicke in Echtzeit fällt es Unternehmen schwer, sich an dynamische Marktbedingungen anzupassen, die Kundennachfrage genau vorherzusagen, Lagerbestände zu optimieren und proaktive strategische Entscheidungen zu treffen. Branchen wie Finanzen, Einzelhandel, Lieferkettenmanagement und Logistik sind dem Risiko verpasster Chancen, erhöhter Kosten, ineffizienter Ressourcenzuweisung und der Unfähigkeit, Kundenerwartungen zu erfüllen, ausgesetzt. Durch die Auseinandersetzung mit diesen Herausforderungen können Unternehmen die Bedeutung von Echtzeitprognosen erkennen und innovative Lösungen zur Überwindung dieser Hürden erkunden, damit sie im heutigen schnelllebigen Geschäftsumfeld wettbewerbsfähig bleiben, fundierte Entscheidungen treffen und erfolgreich sein können.

Durch die Nutzung des transformativen Potenzials von MongoDBs Native Zeitfolgen Datenfunktionen und deren Integration mit der Leistungsfähigkeit von Amazon SageMaker-Leinwandkönnen Unternehmen diese Herausforderungen meistern und neue Ebenen der Agilität erschließen. Das robuste Zeitreihen-Datenmanagement von MongoDB ermöglicht das Speichern und Abrufen großer Mengen an Zeitreihendaten in Echtzeit, während fortschrittliche Algorithmen für maschinelles Lernen und Vorhersagefunktionen mit SageMaker Canvas genaue und dynamische Prognosemodelle bereitstellen.

In diesem Beitrag werden wir das Potenzial der Verwendung der Zeitreihendaten von MongoDB und SageMaker Canvas als umfassende Lösung untersuchen.

MongoDB-Atlas

MongoDB-Atlas ist eine vollständig verwaltete Entwicklerdatenplattform, die die Bereitstellung und Skalierung von MongoDB-Datenbanken in der Cloud vereinfacht. Es handelt sich um einen dokumentbasierten Speicher, der eine vollständig verwaltete Datenbank mit integriertem Volltext und Vektor bietet Suche, Unterstützung für Geospatial Anfragen, Charts und native Unterstützung für effiziente Zeitfolgen Speicher- und Abfragefunktionen. MongoDB Atlas bietet automatisches Sharding, horizontale Skalierbarkeit und flexible Indizierung für die Aufnahme großer Datenmengen. Besonders hervorzuheben sind die nativen Zeitreihenfunktionen, die es ideal für die Verwaltung großer Mengen an Zeitreihendaten wie geschäftskritischen Anwendungsdaten, Telemetrie, Serverprotokollen und mehr machen. Mit effizienten Abfragen, Aggregationen und Analysen können Unternehmen wertvolle Erkenntnisse aus zeitgestempelten Daten gewinnen. Mithilfe dieser Funktionen können Unternehmen Zeitreihendaten effizient speichern, verwalten und analysieren, datengesteuerte Entscheidungen ermöglichen und sich einen Wettbewerbsvorteil verschaffen.

Amazon SageMaker-Leinwand

Amazon SageMaker-Leinwand ist ein Dienst für visuelles maschinelles Lernen (ML), der es Geschäftsanalysten und Datenwissenschaftlern ermöglicht, benutzerdefinierte ML-Modelle zu erstellen und bereitzustellen, ohne dass ML-Erfahrung erforderlich ist oder eine einzige Codezeile geschrieben werden muss. SageMaker Canvas unterstützt eine Reihe von Anwendungsfällen, darunter Zeitreihenvorhersage, die es Unternehmen ermöglicht, zukünftige Nachfrage, Verkäufe, Ressourcenanforderungen und andere Zeitreihendaten genau vorherzusagen. Der Dienst nutzt Deep-Learning-Techniken, um komplexe Datenmuster zu verarbeiten und ermöglicht es Unternehmen, selbst mit minimalen historischen Daten genaue Prognosen zu erstellen. Durch die Nutzung der Funktionen von Amazon SageMaker Canvas können Unternehmen fundierte Entscheidungen treffen, Lagerbestände optimieren, die betriebliche Effizienz verbessern und die Kundenzufriedenheit steigern.

Mit der SageMaker Canvas-Benutzeroberfläche können Sie Datenquellen aus der Cloud oder vor Ort nahtlos integrieren, Datensätze mühelos zusammenführen, präzise Modelle trainieren und Vorhersagen mit neuen Daten treffen – alles ohne Programmieraufwand. Wenn Sie einen automatisierten Workflow oder eine direkte Integration von ML-Modellen in Apps benötigen, sind die Prognosefunktionen von Canvas über verfügbar APIs.

Lösungsüberblick

Benutzer behalten ihre Transaktionszeitreihendaten im MongoDB Atlas bei. Über Atlas Data Federation werden Daten in den Amazon S3-Bucket extrahiert. Amazon SageMaker Canvas greift auf die Daten zu, um Modelle zu erstellen und Prognosen zu erstellen. Die Ergebnisse der Prognose werden in einem S3-Bucket gespeichert. Mithilfe der MongoDB Data Federation-Dienste werden die Prognosen visuell über MongoDB Charts dargestellt.

Das folgende Diagramm skizziert die vorgeschlagene Lösungsarchitektur.

Voraussetzungen:

Für diese Lösung verwenden wir MongoDB Atlas zum Speichern von Zeitreihendaten, Amazon SageMaker Canvas zum Trainieren eines Modells und Erstellen von Prognosen und Amazon S3 zum Speichern von aus MongoDB Atlas extrahierten Daten.

Stellen Sie sicher, dass Sie die folgenden Voraussetzungen erfüllen:

Konfigurieren Sie den MongoDB Atlas-Cluster

Erstellen Sie einen kostenlosen MongoDB Atlas-Cluster, indem Sie den Anweisungen unter folgen Erstellen Sie einen Cluster. Richten Sie das ein Datenbankzugriff und Netzwerkzugang.

Füllen Sie eine Zeitreihensammlung in MongoDB Atlas

Für diese Demonstration können Sie einen Beispieldatensatz von verwenden Kaggle und laden Sie dasselbe mit der MongoDB auf MongoDB Atlas hoch Werkzeuge , Vorzugsweise MongoDB-Kompass.

Der folgende Code zeigt einen Beispieldatensatz für eine Zeitreihensammlung:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

Der folgende Screenshot zeigt die Beispielzeitreihendaten in MongoDB Atlas:

Erstellen Sie einen S3-Bucket

Erstellen ein S3-Bucket in AWS, in dem die Zeitreihendaten gespeichert und analysiert werden müssen. Beachten Sie, dass wir zwei Ordner haben. sales-train-data wird zum Speichern von aus MongoDB Atlas extrahierten Daten verwendet sales-forecast-output enthält Vorhersagen von Canvas.

Erstellen Sie die Datenföderation

Richten Sie die Datenföderation in Atlas und registrieren Sie den zuvor erstellten S3-Bucket als Teil der Datenquelle. Beachten Sie, dass im Datenverbund für den Atlas-Cluster drei verschiedene Datenbanken/Sammlungen, ein S3-Bucket für MongoDB-Atlas-Daten und ein S3-Bucket zum Speichern der Canvas-Ergebnisse erstellt werden.

Die folgenden Screenshots zeigen den Aufbau der Datenföderation.

Richten Sie den Atlas-Anwendungsdienst ein

erstellen Sie MongoDB-Anwendungsdienste um die Funktionen zum Übertragen der Daten vom MongoDB Atlas-Cluster in den S3-Bucket bereitzustellen $aus Anhäufung.

Überprüfen Sie die Datenquellenkonfiguration

Die Anwendungsdienste erstellen einen neuen Altas-Dienstnamen, der in der folgenden Funktion als Datendienste bezeichnet werden muss. Stellen Sie sicher, dass der Atlas-Dienstname erstellt wurde, und notieren Sie ihn zur späteren Bezugnahme.

Erstellen Sie die Funktion

Richten Sie die Atlas-Anwendungsdienste ein, um die zu erstellen Auslöser und Funktionen. Die Auslöser müssen so geplant werden, dass sie die Daten in regelmäßigen Abständen in S3 schreiben, basierend auf dem Geschäftsbedarf für das Training der Modelle.

Das folgende Skript zeigt die Funktion zum Schreiben in den S3-Bucket:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Beispielfunktion

Die Funktion kann über die Registerkarte „Ausführen“ ausgeführt werden und die Fehler können mithilfe der Protokollfunktionen in den Anwendungsdiensten debuggt werden. Darüber hinaus können die Fehler über das Menü „Protokolle“ im linken Bereich debuggt werden.

Der folgende Screenshot zeigt die Ausführung der Funktion zusammen mit der Ausgabe:

Erstellen Sie einen Datensatz in Amazon SageMaker Canvas

Bei den folgenden Schritten wird davon ausgegangen, dass Sie eine SageMaker-Domäne und ein Benutzerprofil erstellt haben. Falls Sie dies noch nicht getan haben, stellen Sie sicher, dass Sie das konfigurieren SageMaker-Domäne und Benutzerprofil. Aktualisieren Sie im Benutzerprofil Ihren S3-Bucket so, dass er benutzerdefiniert ist, und geben Sie Ihren Bucket-Namen an.

Wenn Sie fertig sind, navigieren Sie zu SageMaker Canvas, wählen Sie Ihre Domäne und Ihr Profil aus und wählen Sie Canvas.

Erstellen Sie einen Datensatz, der die Datenquelle bereitstellt.

Wählen Sie als Datensatzquelle S3 aus

Wählen Sie den Datenspeicherort aus dem S3-Bucket aus und wählen Sie „Datensatz erstellen“.

Überprüfen Sie das Schema und klicken Sie auf Datensatz erstellen

Nach erfolgreichem Import wird der Datensatz in der Liste angezeigt, wie im folgenden Screenshot dargestellt.

Trainiere das Modell

Als Nächstes verwenden wir Canvas, um das Training des Modells einzurichten. Wählen Sie den Datensatz aus und klicken Sie auf Erstellen.

Erstellen Sie einen Modellnamen, wählen Sie „Vorhersageanalyse“ und dann „Erstellen“ aus.

Zielspalte auswählen

Klicken Sie anschließend auf „Zeitreihenmodell konfigurieren“ und wählen Sie „item_id“ als Spalte „Artikel-ID“ aus.

Auswählen tm für die Zeitstempelspalte

Um den Zeitraum anzugeben, den Sie prognostizieren möchten, wählen Sie 8 Wochen aus.

Jetzt können Sie eine Vorschau des Modells anzeigen oder den Erstellungsprozess starten.

Nachdem Sie eine Vorschau des Modells angezeigt oder den Build gestartet haben, wird Ihr Modell erstellt. Dies kann bis zu vier Stunden dauern. Sie können den Bildschirm verlassen und zurückkehren, um den Trainingsstatus des Modells anzuzeigen.

Wenn das Modell fertig ist, wählen Sie das Modell aus und klicken Sie auf die neueste Version

Überprüfen Sie die Modellmetriken und Spaltenauswirkungen. Wenn Sie mit der Modellleistung zufrieden sind, klicken Sie auf „Vorhersagen“.

Wählen Sie als Nächstes „Batch-Vorhersage“ und klicken Sie auf „Datensatz auswählen“.

Wählen Sie Ihren Datensatz aus und klicken Sie auf Datensatz auswählen.

Klicken Sie anschließend auf Vorhersagen starten.

Beobachten Sie einen erstellten Job oder beobachten Sie den Jobfortschritt in SageMaker unter Inferenz, Batch-Transformationsjobs.

Wenn der Auftrag abgeschlossen ist, wählen Sie den Auftrag aus und notieren Sie den S3-Pfad, in dem Canvas die Vorhersagen gespeichert hat.

Visualisieren Sie Prognosedaten in Atlas-Diagrammen

Um Prognosedaten zu visualisieren, erstellen Sie die MongoDB Atlas-Diagramme basierend auf den Federated-Daten (amazon-forecast-data) für P10-, P50- und P90-Prognosen, wie in der folgenden Tabelle dargestellt.

Aufräumen

• Löschen Sie den MongoDB Atlas-Cluster
• Löschen Sie die Atlas Data Federation-Konfiguration
• Löschen Sie die Atlas Application Service App
• Löschen Sie den S3-Bucket
• Löschen Sie den Amazon SageMaker Canvas-Datensatz und die Modelle
• Löschen Sie die Atlas-Diagramme
• Melden Sie sich von Amazon SageMaker Canvas ab

Zusammenfassung

In diesem Beitrag haben wir Zeitreihendaten aus der MongoDB-Zeitreihensammlung extrahiert. Hierbei handelt es sich um eine spezielle Sammlung, die für die Speicherung und Abfragegeschwindigkeit von Zeitreihendaten optimiert ist. Wir haben Amazon SageMaker Canvas verwendet, um Modelle zu trainieren und Vorhersagen zu generieren, und wir haben die Vorhersagen in Atlas Charts visualisiert.

Weitere Informationen finden Sie in den folgenden Ressourcen.

---

Über die Autoren

Igor Alexejew ist Senior Partner Solution Architect bei AWS im Bereich Data and Analytics. In seiner Funktion arbeitet Igor mit strategischen Partnern zusammen und hilft ihnen beim Aufbau komplexer, AWS-optimierter Architekturen. Bevor er zu AWS kam, implementierte er als Data/Solution Architect viele Projekte im Bereich Big Data, darunter mehrere Data Lakes im Hadoop-Ökosystem. Als Data Engineer war er an der Anwendung von KI/ML zur Betrugserkennung und Büroautomatisierung beteiligt.

Babu Srinivasan ist Senior Partner Solutions Architect bei MongoDB. In seiner derzeitigen Rolle arbeitet er mit AWS zusammen, um die technischen Integrationen und Referenzarchitekturen für die AWS- und MongoDB-Lösungen zu erstellen. Er verfügt über mehr als zwei Jahrzehnte Erfahrung in Datenbank- und Cloud-Technologien. Seine Leidenschaft gilt der Bereitstellung technischer Lösungen für Kunden, die mit mehreren globalen Systemintegratoren (GSIs) in mehreren Regionen zusammenarbeiten.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/