Accelererer tid til indsigt med MongoDB tidsseriesamlinger og Amazon SageMaker Canvas | Amazon Web Services

Dette er et gæsteindlæg skrevet sammen med Babu Srinivasan fra MongoDB.

Efterhånden som industrier udvikler sig i nutidens hurtige forretningslandskab, udgør manglende evne til at have prognoser i realtid betydelige udfordringer for industrier, der er stærkt afhængige af nøjagtige og rettidige indsigter. Fraværet af realtidsprognoser i forskellige brancher giver presserende forretningsmæssige udfordringer, som kan påvirke beslutningstagning og operationel effektivitet markant. Uden indsigt i realtid kæmper virksomheder med at tilpasse sig dynamiske markedsforhold, præcist forudse kundernes efterspørgsel, optimere lagerniveauer og træffe proaktive strategiske beslutninger. Industrier som finans, detailhandel, Supply Chain Management og Logistik står over for risikoen for forpassede muligheder, øgede omkostninger, ineffektiv ressourceallokering og manglende evne til at opfylde kundernes forventninger. Ved at udforske disse udfordringer kan organisationer erkende vigtigheden af ​​realtidsprognoser og udforske innovative løsninger til at overvinde disse forhindringer, hvilket gør dem i stand til at forblive konkurrencedygtige, træffe informerede beslutninger og trives i nutidens hurtige forretningsmiljø.

Ved at udnytte det transformative potentiale hos MongoDBs indfødte tidsserier datakapaciteter og integrere det med kraften i Amazon SageMaker lærred, kan organisationer overvinde disse udfordringer og låse op for nye niveauer af smidighed. MongoDBs robuste tidsseriedatastyring giver mulighed for lagring og genfinding af store mængder tidsseriedata i realtid, mens avancerede maskinlæringsalgoritmer og forudsigelige muligheder giver nøjagtige og dynamiske prognosemodeller med SageMaker Canvas.

I dette indlæg vil vi udforske potentialet ved at bruge MongoDBs tidsseriedata og SageMaker Canvas som en omfattende løsning.

MongoDB Atlas

MongoDB Atlas er en fuldt administreret udviklerdataplatform, der forenkler implementeringen og skaleringen af ​​MongoDB-databaser i skyen. Det er et dokumentbaseret lager, der giver en fuldt administreret database med indbygget fuldtekst og vektor Søg, støtte for Geospatial forespørgsler, Diagrammer og indbygget støtte til effektiv tidsserier lagrings- og forespørgselsfunktioner. MongoDB Atlas tilbyder automatisk sharding, horisontal skalerbarhed og fleksibel indeksering til dataindtagelse i store mængder. Blandt alt er de indbyggede tidsseriefunktioner en iøjnefaldende funktion, hvilket gør den ideel til håndtering af store mængder tidsseriedata, såsom forretningskritiske applikationsdata, telemetri, serverlogfiler og mere. Med effektiv forespørgsel, aggregering og analyser kan virksomheder udtrække værdifuld indsigt fra tidsstemplede data. Ved at bruge disse funktioner kan virksomheder effektivt lagre, administrere og analysere tidsseriedata, hvilket muliggør datadrevne beslutninger og opnår en konkurrencefordel.

Amazon SageMaker lærred

Amazon SageMaker lærred er en visuel maskinlæringstjeneste (ML), der gør det muligt for forretningsanalytikere og dataforskere at bygge og implementere brugerdefinerede ML-modeller uden at kræve nogen ML-erfaring eller at skulle skrive en enkelt linje kode. SageMaker Canvas understøtter en række use cases, bl.a tidsserie prognose, som giver virksomheder mulighed for at forudsige fremtidig efterspørgsel, salg, ressourcekrav og andre tidsseriedata nøjagtigt. Tjenesten bruger deep learning-teknikker til at håndtere komplekse datamønstre og gør det muligt for virksomheder at generere nøjagtige prognoser selv med minimale historiske data. Ved at bruge Amazon SageMaker Canvas-kapaciteter kan virksomheder træffe informerede beslutninger, optimere lagerniveauer, forbedre driftseffektiviteten og øge kundetilfredsheden.

SageMaker Canvas UI giver dig mulighed for problemfrit at integrere datakilder fra skyen eller på stedet, flette datasæt uden besvær, træne præcise modeller og lave forudsigelser med nye data – alt sammen uden kodning. Hvis du har brug for en automatiseret arbejdsgang eller direkte ML-modelintegration i apps, er Canvas prognosefunktioner tilgængelige via API'er.

Løsningsoversigt

Brugere bevarer deres transaktionelle tidsseriedata i MongoDB Atlas. Gennem Atlas Data Federation udtrækkes data i Amazon S3-bøtten. Amazon SageMaker Canvas får adgang til dataene for at bygge modeller og lave prognoser. Resultaterne af prognosen gemmes i en S3-spand. Ved at bruge MongoDB Data Federation-tjenesterne præsenteres prognoserne visuelt gennem MongoDB-diagrammer.

Følgende diagram skitserer den foreslåede løsningsarkitektur.

Forudsætninger

Til denne løsning bruger vi MongoDB Atlas til at gemme tidsseriedata, Amazon SageMaker Canvas til at træne en model og producere prognoser og Amazon S3 til at gemme data udtrukket fra MongoDB Atlas.

Sørg for, at du har følgende forudsætninger:

Konfigurer MongoDB Atlas-klynge

Opret en gratis MongoDB Atlas-klynge ved at følge instruktionerne i Opret en klynge. Indstil Adgang til database , Netværksadgang.

Udfyld en tidsseriesamling i MongoDB Atlas

Til formålet med denne demonstration kan du bruge et eksempeldatasæt fra fra Kaggle og upload det samme til MongoDB Atlas med MongoDB værktøjer , Fortrinsvis MongoDB kompas.

Følgende kode viser et eksempeldatasæt for en tidsserieindsamling:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

Følgende skærmbillede viser eksempeltidsseriedata i MongoDB Atlas:

Opret en S3 Bucket

Opret en S3 bucket i AWS, hvor tidsseriedata skal lagres og analyseres. Bemærk, at vi har to mapper. sales-train-data bruges til at gemme data udtrukket fra MongoDB Atlas, mens sales-forecast-output indeholder forudsigelser fra Canvas.

Opret dataføderationen

Opsætning af Dataforbund i Atlas og registrer den tidligere oprettede S3-bøtte som en del af datakilden. Bemærk, at de tre forskellige databaser/samlinger er oprettet i datasammenslutningen for Atlas-klyngen, S3-bucket for MongoDB Atlas-data og S3-bucket for at gemme Canvas-resultaterne.

Følgende skærmbilleder viser opsætningen af ​​dataføderationen.

Konfigurer Atlas-applikationstjenesten

Opret MongoDB Application Services at implementere funktionerne til at overføre data fra MongoDB Atlas-klyngen til S3-bøtten ved hjælp af $ ud sammenlægning.

Bekræft datakildekonfigurationen

Applikationstjenesterne opretter et nyt Altas-tjenestenavn, der skal henvises til som datatjenesterne i den følgende funktion. Bekræft, at Atlas-tjenestenavnet er oprettet, og noter det til fremtidig reference.

Opret funktionen

Konfigurer Atlas Application-tjenesterne for at oprette trigger og funktioner. Triggerne skal planlægges til at skrive dataene til S3 med en periodefrekvens baseret på virksomhedens behov for træning af modellerne.

Følgende script viser funktionen til at skrive til S3-bøtten:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Eksempel funktion

Funktionen kan køres gennem fanen Kør, og fejlene kan fejlsøges ved hjælp af logfunktionerne i Application Services. Derudover kan fejlene fejlfindes ved hjælp af menuen Logs i venstre rude.

Følgende skærmbillede viser udførelsen af ​​funktionen sammen med outputtet:

Opret datasæt i Amazon SageMaker Canvas

De følgende trin forudsætter, at du har oprettet et SageMaker-domæne og en brugerprofil. Hvis du ikke allerede har gjort det, skal du sørge for at konfigurere SageMaker domæne og brugerprofil. I brugerprofilen skal du opdatere din S3-spand, så den er tilpasset, og angive dit spandnavn.

Når du er færdig, skal du navigere til SageMaker Canvas, vælge dit domæne og din profil og vælge Canvas.

Opret et datasæt, der leverer datakilden.

Vælg datasætkilden som S3

Vælg dataplaceringen fra S3-bøtten, og vælg Opret datasæt.

Gennemgå skemaet, og klik på Opret datasæt

Efter vellykket import vil datasættet blive vist på listen som vist på det følgende skærmbillede.

Træn modellen

Dernæst vil vi bruge Canvas til at sætte op til at træne modellen. Vælg datasættet, og klik på Opret.

Opret et modelnavn, vælg Prediktiv analyse, og vælg Opret.

Vælg målkolonne

Klik derefter på Konfigurer tidsseriemodel og vælg item_id som kolonnen Item ID.

Type tm for tidsstempelkolonnen

Vælg 8 uger for at angive, hvor lang tid du vil prognose.

Nu er du klar til at forhåndsvise modellen eller starte byggeprocessen.

Når du har forhåndsvist modellen eller har startet buildet, oprettes din model og kan tage op til fire timer. Du kan forlade skærmen og vende tilbage for at se modellens træningsstatus.

Når modellen er klar, skal du vælge modellen og klikke på den seneste version

Gennemgå modelmetrics og kolonnepåvirkning, og hvis du er tilfreds med modellens ydeevne, skal du klikke på Forudsig.

Vælg derefter Batch-forudsigelse, og klik på Vælg datasæt.

Vælg dit datasæt, og klik på Vælg datasæt.

Klik derefter på Start forudsigelser.

Observer et job, der er oprettet, eller observer jobfremskridtet i SageMaker under Inference, Batch transform jobs.

Når jobbet er fuldført, skal du vælge jobbet og notere S3-stien, hvor Canvas gemte forudsigelserne.

Visualiser prognosedata i Atlas-diagrammer

For at visualisere prognosedata skal du oprette MongoDB Atlas diagrammer baseret på de fødererede data (amazon-forecast-data) for P10-, P50- og P90-prognoser som vist i følgende diagram.

Ryd op

• Slet MongoDB Atlas-klyngen
• Slet Atlas Data Federation Configuration
• Slet Atlas Application Service App
• Slet S3 Bucket
• Slet Amazon SageMaker Canvas-datasæt og modeller
• Slet Atlas Charts
• Log ud af Amazon SageMaker Canvas

Konklusion

I dette indlæg udtog vi tidsseriedata fra MongoDB-tidsseriesamling. Dette er en speciel samling, der er optimeret til lagring og forespørgselshastighed for tidsseriedata. Vi brugte Amazon SageMaker Canvas til at træne modeller og generere forudsigelser, og vi visualiserede forudsigelserne i Atlas Charts.

For mere information henvises til følgende ressourcer.

---

Om forfatterne

Igor Alekseev er Senior Partner Solution Architect hos AWS i data- og analysedomæne. I sin rolle arbejder Igor med strategiske partnere, der hjælper dem med at bygge komplekse, AWS-optimerede arkitekturer. Før han kom til AWS, implementerede han som Data/Solution Architect mange projekter i Big Data-domænet, herunder flere datasøer i Hadoop-økosystemet. Som dataingeniør var han involveret i at anvende AI/ML til svindeldetektion og kontorautomatisering.

Babu Srinivasan er Senior Partner Solutions Architect hos MongoDB. I sin nuværende rolle arbejder han sammen med AWS for at bygge de tekniske integrationer og referencearkitekturer til AWS- og MongoDB-løsningerne. Han har mere end to årtiers erfaring med database- og cloud-teknologier. Han brænder for at levere tekniske løsninger til kunder, der arbejder med flere globale systemintegratorer (GSI'er) på tværs af flere geografiske områder.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
• Kilde: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/