Akselererer tid til innsikt med MongoDB-tidsseriesamlinger og Amazon SageMaker Canvas | Amazon Web Services

Dette er et gjesteinnlegg skrevet sammen med Babu Srinivasan fra MongoDB.

Ettersom bransjer utvikler seg i dagens raske forretningslandskap, utgjør manglende evne til å ha sanntidsprognoser betydelige utfordringer for bransjer som er sterkt avhengige av nøyaktig og tidsriktig innsikt. Fraværet av sanntidsprognoser i ulike bransjer byr på presserende forretningsutfordringer som kan påvirke beslutningstaking og operasjonell effektivitet betydelig. Uten sanntidsinnsikt sliter bedrifter med å tilpasse seg dynamiske markedsforhold, nøyaktig forutse kundebehov, optimalisere lagernivåer og ta proaktive strategiske beslutninger. Bransjer som finans, detaljhandel, forsyningskjedestyring og logistikk står overfor risikoen for tapte muligheter, økte kostnader, ineffektiv ressursallokering og manglende evne til å møte kundenes forventninger. Ved å utforske disse utfordringene kan organisasjoner erkjenne viktigheten av sanntidsprognoser og utforske innovative løsninger for å overvinne disse hindringene, slik at de kan holde seg konkurransedyktige, ta informerte beslutninger og trives i dagens raske forretningsmiljø.

Ved å utnytte det transformative potensialet til MongoDBs innfødte tidsserier datafunksjoner og integrering med kraften til Amazon SageMaker Canvas, kan organisasjoner overvinne disse utfordringene og låse opp nye nivåer av smidighet. MongoDBs robuste tidsseriedatabehandling gjør det mulig å lagre og hente store mengder tidsseriedata i sanntid, mens avanserte maskinlæringsalgoritmer og prediktive muligheter gir nøyaktige og dynamiske prognosemodeller med SageMaker Canvas.

I dette innlegget vil vi utforske potensialet ved å bruke MongoDBs tidsseriedata og SageMaker Canvas som en omfattende løsning.

MongoDB Atlas

MongoDB Atlas er en fullstendig administrert utviklerdataplattform som forenkler distribusjon og skalering av MongoDB-databaser i skyen. Det er en dokumentbasert lagring som gir en fullstendig administrert database, med innebygd fulltekst og vektor Søk, Støtte for Geospatial spørsmål, Topplisten og innfødt støtte for effektiv tidsserier lagrings- og spørringsmuligheter. MongoDB Atlas tilbyr automatisk sharding, horisontal skalerbarhet og fleksibel indeksering for datainntak i store mengder. Blant alt er de opprinnelige tidsseriefunksjonene en enestående funksjon, noe som gjør den ideell for å administrere store mengder tidsseriedata, for eksempel forretningskritiske applikasjonsdata, telemetri, serverlogger og mer. Med effektiv spørring, aggregering og analyser kan bedrifter trekke ut verdifull innsikt fra tidsstemplede data. Ved å bruke disse egenskapene kan bedrifter effektivt lagre, administrere og analysere tidsseriedata, noe som muliggjør datadrevne beslutninger og oppnår et konkurransefortrinn.

Amazon SageMaker Canvas

Amazon SageMaker Canvas er en visuell maskinlæringstjeneste (ML) som gjør det mulig for forretningsanalytikere og dataforskere å bygge og distribuere tilpassede ML-modeller uten å kreve noen ML-erfaring eller å måtte skrive en enkelt linje med kode. SageMaker Canvas støtter en rekke brukstilfeller, inkludert tidsserieprognoser, som gir bedrifter mulighet til å forutsi fremtidig etterspørsel, salg, ressursbehov og andre tidsseriedata nøyaktig. Tjenesten bruker dyplæringsteknikker for å håndtere komplekse datamønstre og gjør det mulig for virksomheter å generere nøyaktige prognoser selv med minimale historiske data. Ved å bruke Amazon SageMaker Canvas-funksjoner kan bedrifter ta informerte beslutninger, optimalisere lagernivåer, forbedre driftseffektiviteten og forbedre kundetilfredsheten.

SageMaker Canvas UI lar deg sømløst integrere datakilder fra skyen eller lokale, slå sammen datasett uten problemer, trene presise modeller og lage spådommer med nye data – alt uten koding. Hvis du trenger en automatisert arbeidsflyt eller direkte ML-modellintegrasjon i apper, er Canvas prognosefunksjoner tilgjengelige via APIer.

Løsningsoversikt

Brukere vedvarer sine transaksjonelle tidsseriedata i MongoDB Atlas. Gjennom Atlas Data Federation trekkes data ut i Amazon S3-bøtte. Amazon SageMaker Canvas får tilgang til dataene for å bygge modeller og lage prognoser. Resultatene av prognosen lagres i en S3-bøtte. Ved å bruke MongoDB Data Federation-tjenestene presenteres prognosene visuelt gjennom MongoDB-diagrammer.

Følgende diagram skisserer den foreslåtte løsningsarkitekturen.

Forutsetninger

For denne løsningen bruker vi MongoDB Atlas til å lagre tidsseriedata, Amazon SageMaker Canvas til å trene en modell og produsere prognoser, og Amazon S3 til å lagre data hentet fra MongoDB Atlas.

Sørg for at du har følgende forutsetninger:

Konfigurer MongoDB Atlas-klyngen

Lag en gratis MongoDB Atlas-klynge ved å følge instruksjonene i Opprett en klynge. Sett opp Databasetilgang og Nettverkstilgang.

Fyll ut en tidsseriesamling i MongoDB Atlas

For formålet med denne demonstrasjonen kan du bruke et eksempeldatasett fra fra kaggle og last opp det samme til MongoDB Atlas med MongoDB verktøy , Helst MongoDB kompass.

Følgende kode viser et eksempeldatasett for en tidsseriesamling:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

Følgende skjermbilde viser eksempeltidsseriedata i MongoDB Atlas:

Lag en S3-bøtte

Opprett en S3-bøtte i AWS , hvor tidsseriedataene må lagres og analyseres. Merk at vi har to mapper. sales-train-data brukes til å lagre data hentet fra MongoDB Atlas, mens sales-forecast-output inneholder spådommer fra  Canvas.

Opprett dataføderasjonen

Sett opp Dataforbund i Atlas og registrer S3-bøtten som er opprettet tidligere som en del av datakilden. Legg merke til at de tre forskjellige databasene/samlingene er opprettet i dataføderasjonen for Atlas-klyngen, S3-bøtte for MongoDB Atlas-data og S3-bøtte for å lagre Canvas-resultatene.

Følgende skjermbilder viser oppsettet av dataforbundet.

Konfigurer Atlas-applikasjonstjenesten

Opprett MongoDB applikasjonstjenester å distribuere funksjonene for å overføre data fra MongoDB Atlas-klyngen til S3-bøtte ved hjelp av $ut aggregering.

Bekreft datakildekonfigurasjonen

Applikasjonstjenestene oppretter et nytt Altas-tjenestenavn som må refereres til som datatjenestene i følgende funksjon. Bekreft at Atlas-tjenestenavnet er opprettet og noter det for fremtidig referanse.

Lag funksjonen

Konfigurer Atlas-applikasjonstjenestene for å lage trigger og funksjoner. Utløserne må planlegges for å skrive dataene til S3 med en periodefrekvens basert på virksomhetens behov for opplæring av modellene.

Følgende skript viser funksjonen for å skrive til S3-bøtten:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Eksempelfunksjon

Funksjonen kan kjøres gjennom fanen Kjør og feilene kan feilsøkes ved å bruke loggfunksjonene i applikasjonstjenestene. I tillegg kan feilene feilsøkes ved å bruke Logg-menyen i venstre rute.

Følgende skjermbilde viser utførelsen av funksjonen sammen med utgangen:

Lag datasett i Amazon SageMaker Canvas

De følgende trinnene forutsetter at du har opprettet et SageMaker-domene og en brukerprofil. Hvis du ikke allerede har gjort det, sørg for at du konfigurerer SageMaker domene og brukerprofil. I brukerprofilen oppdaterer du S3-bøtten til å være tilpasset og oppgir bøttenavnet ditt.

Når du er ferdig, naviger til SageMaker Canvas, velg domene og profil, og velg Canvas.

Opprett et datasett som leverer datakilden.

Velg datasettkilden som S3

Velg dataplasseringen fra S3-bøtten og velg Opprett datasett.

Se gjennom skjemaet og klikk på Opprett datasett

Ved vellykket import vil datasettet vises i listen som vist i følgende skjermbilde.

Tren modellen

Deretter vil vi bruke Canvas til å sette opp for å trene modellen. Velg datasettet og klikk på Opprett.

Opprett et modellnavn, velg Prediktiv analyse og velg Opprett.

Velg målkolonne

Klikk deretter på Konfigurer tidsseriemodell og velg item_id som vare-ID-kolonnen.

Plukke ut tm for tidsstempelkolonnen

Velg 8 uker for å angi hvor lang tid du vil forutsi.

Nå er du klar til å forhåndsvise modellen eller starte byggeprosessen.

Etter at du forhåndsviser modellen eller har startet bygget, opprettes modellen din og kan ta opptil fire timer. Du kan forlate skjermen og gå tilbake for å se modelltreningsstatusen.

Når modellen er klar, velg modell og klikk på siste versjon

Se gjennom modellberegningene og kolonneeffekten, og hvis du er fornøyd med modellens ytelse, klikker du på Forutsig.

Deretter velger du Batch-prediksjon og klikker på Velg datasett.

Velg datasettet ditt, og klikk Velg datasett.

Klikk deretter på Start spådommer.

Observer en jobb som er opprettet, eller observer jobbfremgangen i SageMaker under Inference, Batch transform jobs.

Når jobben er fullført, velg jobben og legg merke til S3-banen der Canvas lagret spådommene.

Visualiser prognosedata i Atlas Charts

For å visualisere prognosedata, lag MongoDB Atlas-diagrammer basert på Federated data (amazon-forecast-data) for P10-, P50- og P90-prognoser som vist i følgende diagram.

Rydd opp

• Slett MongoDB Atlas-klyngen
• Slett Atlas Data Federation Configuration
• Slett Atlas Application Service App
• Slett S3-bøtten
• Slett Amazon SageMaker Canvas datasett og modeller
• Slett Atlas-diagrammene
• Logg ut av Amazon SageMaker Canvas

konklusjonen

I dette innlegget hentet vi tidsseriedata fra MongoDB tidsseriesamling. Dette er en spesiell samling optimalisert for lagring og spørrehastighet for tidsseriedata. Vi brukte Amazon SageMaker Canvas til å trene modeller og generere spådommer, og vi visualiserte spådommene i Atlas Charts.

For mer informasjon, se følgende ressurser.

---

Om forfatterne

Igor Alekseev er Senior Partner Solution Architect hos AWS i data- og analysedomene. I sin rolle jobber Igor med strategiske partnere som hjelper dem med å bygge komplekse, AWS-optimaliserte arkitekturer. Før han begynte i AWS, implementerte han som Data/Solution Architect mange prosjekter i Big Data-domenet, inkludert flere datainnsjøer i Hadoop-økosystemet. Som dataingeniør var han involvert i å bruke AI/ML til svindeldeteksjon og kontorautomatisering.

Babu Srinivasan er Senior Partner Solutions Architect hos MongoDB. I sin nåværende rolle jobber han med AWS for å bygge de tekniske integrasjonene og referansearkitekturene for AWS- og MongoDB-løsningene. Han har mer enn to tiår med erfaring innen database- og skyteknologier. Han brenner for å tilby tekniske løsninger til kunder som arbeider med flere globale systemintegratorer (GSI) på tvers av flere geografier.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• kilde: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/