Accelerazione del time-to-insight con le raccolte di serie temporali MongoDB e Amazon SageMaker Canvas | Servizi Web di Amazon

Questo è un guest post scritto in collaborazione con Babu Srinivasan di MongoDB.

Man mano che i settori si evolvono nel frenetico panorama aziendale di oggi, l’incapacità di avere previsioni in tempo reale pone sfide significative per i settori che dipendono fortemente da informazioni accurate e tempestive. L’assenza di previsioni in tempo reale in vari settori presenta sfide aziendali pressanti che possono avere un impatto significativo sul processo decisionale e sull’efficienza operativa. Senza informazioni in tempo reale, le aziende faticano ad adattarsi alle condizioni dinamiche del mercato, ad anticipare con precisione la domanda dei clienti, a ottimizzare i livelli di inventario e a prendere decisioni strategiche proattive. Settori come quello finanziario, della vendita al dettaglio, della gestione della catena di fornitura e della logistica si trovano ad affrontare il rischio di opportunità mancate, aumento dei costi, allocazione inefficiente delle risorse e incapacità di soddisfare le aspettative dei clienti. Esplorando queste sfide, le organizzazioni possono riconoscere l’importanza delle previsioni in tempo reale ed esplorare soluzioni innovative per superare questi ostacoli, consentendo loro di rimanere competitive, prendere decisioni informate e prosperare nel frenetico ambiente aziendale di oggi.

Sfruttando il potenziale di trasformazione del nativo di MongoDB serie temporali capacità dei dati e integrandoli con la potenza di Tela di Amazon SageMaker, le organizzazioni possono superare queste sfide e sbloccare nuovi livelli di agilità. La solida gestione dei dati delle serie temporali di MongoDB consente l'archiviazione e il recupero di grandi volumi di dati delle serie temporali in tempo reale, mentre algoritmi avanzati di apprendimento automatico e capacità predittive forniscono modelli di previsione accurati e dinamici con SageMaker Canvas.

In questo post esploreremo il potenziale dell'utilizzo dei dati delle serie temporali di MongoDB e di SageMaker Canvas come soluzione completa.

Atlante MongoDB

Atlante MongoDB è una piattaforma dati per sviluppatori completamente gestita che semplifica l'implementazione e il ridimensionamento dei database MongoDB nel cloud. Si tratta di un archivio basato su documenti che fornisce un database completamente gestito, con testo completo e vettoriale integrati Cerca, supporto per Geospatial interrogazioni, Grafici e supporto nativo per un efficiente serie temporali capacità di archiviazione e interrogazione. MongoDB Atlas offre sharding automatico, scalabilità orizzontale e indicizzazione flessibile per l'acquisizione di volumi elevati di dati. Tra tutte, le funzionalità di serie temporali native sono una caratteristica straordinaria, che lo rendono ideale per la gestione di volumi elevati di dati di serie temporali, come dati di applicazioni aziendali critici, telemetria, registri di server e altro ancora. Con query, aggregazione e analisi efficienti, le aziende possono estrarre informazioni preziose dai dati con timestamp. Utilizzando queste funzionalità, le aziende possono archiviare, gestire e analizzare in modo efficiente i dati delle serie temporali, consentendo decisioni basate sui dati e ottenendo un vantaggio competitivo.

Tela di Amazon SageMaker

Tela di Amazon SageMaker è un servizio di machine learning (ML) visivo che consente agli analisti aziendali e ai data scientist di creare e distribuire modelli ML personalizzati senza richiedere alcuna esperienza di ML o dover scrivere una singola riga di codice. SageMaker Canvas supporta una serie di casi d'uso, tra cui previsione di serie temporali, che consente alle aziende di prevedere con precisione la domanda futura, le vendite, i requisiti di risorse e altri dati di serie temporali. Il servizio utilizza tecniche di deep learning per gestire modelli di dati complessi e consente alle aziende di generare previsioni accurate anche con dati storici minimi. Utilizzando le funzionalità di Amazon SageMaker Canvas, le aziende possono prendere decisioni informate, ottimizzare i livelli di inventario, migliorare l'efficienza operativa e aumentare la soddisfazione dei clienti.

L'interfaccia utente di SageMaker Canvas ti consente di integrare perfettamente origini dati dal cloud o in locale, unire facilmente set di dati, addestrare modelli precisi e fare previsioni con i dati emergenti, il tutto senza codifica. Se hai bisogno di un flusso di lavoro automatizzato o di un'integrazione diretta del modello ML nelle app, le funzioni di previsione di Canvas sono accessibili tramite API.

Panoramica della soluzione

Gli utenti mantengono i dati delle serie temporali transazionali in MongoDB Atlas. Attraverso Atlas Data Federation, i dati vengono estratti nel bucket Amazon S3. Amazon SageMaker Canvas accede ai dati per creare modelli e creare previsioni. I risultati della previsione vengono archiviati in un bucket S3. Utilizzando i servizi MongoDB Data Federation, le previsioni vengono presentate visivamente attraverso MongoDB Charts.

Il diagramma seguente delinea l'architettura della soluzione proposta.

Prerequisiti

Per questa soluzione utilizziamo MongoDB Atlas per archiviare dati di serie temporali, Amazon SageMaker Canvas per addestrare un modello e produrre previsioni e Amazon S3 per archiviare i dati estratti da MongoDB Atlas.

Assicurati di avere i seguenti prerequisiti:

Configura il cluster MongoDB Atlas

Crea un cluster MongoDB Atlas gratuito seguendo le istruzioni in Crea un cluster. Imposta il Accesso al database ed Accesso alla rete.

Compila una raccolta di serie temporali in MongoDB Atlas

Ai fini di questa dimostrazione, puoi utilizzare un set di dati di esempio da from Kaggle e carica lo stesso su MongoDB Atlas con MongoDB strumenti , Preferibilmente Bussola MongoDB.

Il codice seguente mostra un set di dati di esempio per una raccolta di serie temporali:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

Lo screenshot seguente mostra i dati delle serie temporali di esempio in MongoDB Atlas:

Crea un secchio S3

Creare un bucket S3 in AWS, in cui i dati delle serie temporali devono essere archiviati e analizzati. Nota che abbiamo due cartelle. sales-train-data viene utilizzato per archiviare i dati estratti da MongoDB Atlas, mentre sales-forecast-output contiene previsioni da  Canvas.

Creare la Federazione dei dati

Imposta il Federazione dei dati in Atlas e registrare il bucket S3 creato in precedenza come parte dell'origine dati. Si noti che i tre diversi database/raccolte vengono creati in Data Federation per il cluster Atlas, nel bucket S3 per i dati Atlas MongoDB e nel bucket S3 per archiviare i risultati Canvas.

Le schermate seguenti mostrano la configurazione della Data Federation.

Configura il servizio dell'applicazione Atlas

creare il Servizi applicativi MongoDB per distribuire le funzioni per trasferire i dati dal cluster MongoDB Atlas al bucket S3 utilizzando il file $fuori aggregazione.

Verificare la configurazione dell'origine dati

I servizi dell'applicazione creano un nuovo nome del servizio Altas che deve essere indicato come servizi dati nella funzione seguente. Verificare che il nome del servizio Atlas sia stato creato e annotarlo per riferimento futuro.

Crea la funzione

Configura i servizi dell'applicazione Atlas per creare il file grilletto e funzioni. È necessario pianificare i trigger per scrivere i dati su S3 con una frequenza periodica basata sulle esigenze aziendali di training dei modelli.

Il seguente script mostra la funzione per scrivere nel bucket S3:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Funzione campione

La funzione può essere eseguita tramite la scheda Esegui ed è possibile eseguire il debug degli errori utilizzando le funzionalità di registro nei Servizi applicativi. Inoltre, è possibile eseguire il debug degli errori utilizzando il menu Registri nel riquadro di sinistra.

La seguente schermata mostra l'esecuzione della funzione insieme all'output:

Crea set di dati in Amazon SageMaker Canvas

I passaggi seguenti presuppongono che tu abbia creato un dominio e un profilo utente SageMaker. Se non lo hai già fatto, assicurati di configurare il file Dominio e profilo utente SageMaker. Nel profilo utente, aggiorna il tuo bucket S3 in modo che sia personalizzato e fornisci il nome del tuo bucket.

Al termine, vai a SageMaker Canvas, seleziona il tuo dominio e profilo e seleziona Canvas.

Creare un set di dati che fornisca l'origine dati.

Seleziona l'origine del set di dati come S3

Seleziona la posizione dei dati dal bucket S3 e seleziona Crea set di dati.

Esaminare lo schema e fare clic su Crea set di dati

Una volta importata con successo, il set di dati verrà visualizzato nell'elenco come mostrato nello screenshot seguente.

Allena il modello

Successivamente, utilizzeremo Canvas per configurare l'addestramento del modello. Selezionare il set di dati e fare clic su Crea.

Creare un nome di modello, selezionare Analisi predittiva e selezionare Crea.

Seleziona la colonna di destinazione

Successivamente, fai clic su Configura modello di serie temporale e seleziona item_id come colonna ID articolo.

Seleziona tm per la colonna timestamp

Per specificare la quantità di tempo che desideri prevedere, scegli 8 settimane.

Ora sei pronto per visualizzare l'anteprima del modello o avviare il processo di creazione.

Dopo aver visualizzato l'anteprima del modello o avviato la build, il modello verrà creato e potrebbe richiedere fino a quattro ore. È possibile uscire dalla schermata e tornare per visualizzare lo stato di addestramento del modello.

Quando il modello è pronto, seleziona il modello e fai clic sulla versione più recente

Esamina le metriche del modello e l'impatto delle colonne e, se sei soddisfatto delle prestazioni del modello, fai clic su Prevedi.

Successivamente, scegli Previsione batch e fai clic su Seleziona set di dati.

Seleziona il tuo set di dati e fai clic su Scegli set di dati.

Successivamente, fai clic su Avvia previsioni.

Osservare un lavoro creato o osservare l'avanzamento del lavoro in SageMaker in Inferenza, Lavori di trasformazione batch.

Una volta completato il lavoro, seleziona il lavoro e prendi nota del percorso S3 in cui Canvas ha archiviato le previsioni.

Visualizza i dati previsionali nei grafici Atlas

Per visualizzare i dati di previsione, creare il file Grafici Atlas MongoDB in base ai dati federati (amazon-forecast-data) per le previsioni P10, P50 e P90 come mostrato nel grafico seguente.

ripulire

• Elimina il cluster MongoDB Atlas
• Elimina la configurazione di Atlas Data Federation
• Elimina l'app del servizio applicazioni Atlas
• Elimina il bucket S3
• Elimina set di dati e modelli Amazon SageMaker Canvas
• Elimina i grafici dell'Atlante
• Esci da Amazon SageMaker Canvas

Conclusione

In questo post abbiamo estratto i dati delle serie temporali dalla raccolta delle serie temporali MongoDB. Si tratta di una raccolta speciale ottimizzata per l'archiviazione e la velocità di interrogazione dei dati delle serie temporali. Abbiamo utilizzato Amazon SageMaker Canvas per addestrare modelli e generare previsioni e abbiamo visualizzato le previsioni nei grafici Atlas.

Per ulteriori informazioni, fare riferimento alle seguenti risorse.

---

Circa gli autori

Igor Alekseev è Senior Partner Solution Architect presso AWS nel dominio Dati e analisi. Nel suo ruolo Igor sta lavorando con partner strategici aiutandoli a costruire complesse architetture ottimizzate per AWS. Prima di entrare in AWS, come Data/Solution Architect ha implementato molti progetti nel dominio dei Big Data, inclusi diversi data lake nell'ecosistema Hadoop. In qualità di Data Engineer, è stato coinvolto nell'applicazione di AI/ML al rilevamento delle frodi e all'automazione dell'ufficio.

Babu Srivasan è Senior Partner Solutions Architect presso MongoDB. Nel suo ruolo attuale, sta lavorando con AWS per creare le integrazioni tecniche e le architetture di riferimento per le soluzioni AWS e MongoDB. Ha più di due decenni di esperienza nelle tecnologie Database e Cloud. È appassionato di fornire soluzioni tecniche ai clienti che lavorano con più Global System Integrator (GSI) in più aree geografiche.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/