Accelererar tiden till insikt med MongoDB-tidsseriesamlingar och Amazon SageMaker Canvas | Amazon webbtjänster

Det här är ett gästinlägg som skrivits tillsammans med Babu Srinivasan från MongoDB.

När branscher utvecklas i dagens snabba affärslandskap, innebär oförmågan att ha realtidsprognoser betydande utmaningar för industrier som är starkt beroende av korrekta och aktuella insikter. Frånvaron av realtidsprognoser i olika branscher innebär pressande affärsutmaningar som avsevärt kan påverka beslutsfattande och operativ effektivitet. Utan realtidsinsikter kämpar företag med att anpassa sig till dynamiska marknadsförhållanden, exakt förutse kundefterfrågan, optimera lagernivåer och fatta proaktiva strategiska beslut. Branscher som finans, detaljhandel, Supply Chain Management och Logistik står inför risken för missade möjligheter, ökade kostnader, ineffektiv resursallokering och oförmåga att möta kundernas förväntningar. Genom att utforska dessa utmaningar kan organisationer inse vikten av realtidsprognoser och utforska innovativa lösningar för att övervinna dessa hinder, vilket gör det möjligt för dem att förbli konkurrenskraftiga, fatta välgrundade beslut och frodas i dagens snabba affärsmiljö.

Genom att utnyttja den transformativa potentialen hos MongoDB:s infödda tidsföljder datakapacitet och integrera den med kraften i Amazon SageMaker Canvas, organisationer kan övervinna dessa utmaningar och låsa upp nya nivåer av smidighet. MongoDB:s robusta tidsseriedatahantering möjliggör lagring och hämtning av stora volymer tidsseriedata i realtid, medan avancerade maskininlärningsalgoritmer och prediktiva möjligheter ger korrekta och dynamiska prognosmodeller med SageMaker Canvas.

I det här inlägget kommer vi att utforska potentialen med att använda MongoDBs tidsseriedata och SageMaker Canvas som en heltäckande lösning.

MongoDB Atlas

MongoDB Atlas är en helt hanterad utvecklardataplattform som förenklar driftsättning och skalning av MongoDB-databaser i molnet. Det är en dokumentbaserad lagring som ger en helt hanterad databas, med inbyggd fulltext och vektor Sök, stöd för Geospatial frågor, Diagram och inbyggt stöd för effektiv tidsföljder lagrings- och frågefunktioner. MongoDB Atlas erbjuder automatisk skärning, horisontell skalbarhet och flexibel indexering för dataintag av stora volymer. Bland allt är de inbyggda tidsseriefunktionerna en enastående funktion, vilket gör den idealisk för att hantera stora volymer av tidsseriedata, såsom affärskritiska applikationsdata, telemetri, serverloggar och mer. Med effektiv sökning, aggregering och analys kan företag extrahera värdefulla insikter från tidsstämplade data. Genom att använda dessa funktioner kan företag effektivt lagra, hantera och analysera tidsseriedata, vilket möjliggör datadrivna beslut och få en konkurrensfördel.

Amazon SageMaker Canvas

Amazon SageMaker Canvas är en tjänst för visuell maskininlärning (ML) som gör det möjligt för affärsanalytiker och datavetare att bygga och distribuera anpassade ML-modeller utan att kräva någon ML-erfarenhet eller att behöva skriva en enda rad kod. SageMaker Canvas stöder ett antal användningsfall, inklusive tidsserieprognoser, som ger företag möjlighet att förutsäga framtida efterfrågan, försäljning, resurskrav och andra tidsseriedata korrekt. Tjänsten använder djupinlärningstekniker för att hantera komplexa datamönster och gör det möjligt för företag att generera korrekta prognoser även med minimal historisk data. Genom att använda Amazon SageMaker Canvas kapacitet kan företag fatta välgrundade beslut, optimera lagernivåer, förbättra operativ effektivitet och öka kundnöjdheten.

SageMaker Canvas UI låter dig sömlöst integrera datakällor från molnet eller på plats, slå samman datauppsättningar utan ansträngning, träna exakta modeller och göra förutsägelser med nya data – allt utan kodning. Om du behöver ett automatiserat arbetsflöde eller direkt ML-modellintegrering i appar, är Canvas prognosfunktioner tillgängliga via API: er.

Lösningsöversikt

Användare behåller sina transaktionstidsseriedata i MongoDB Atlas. Genom Atlas Data Federation extraheras data till Amazon S3-hinken. Amazon SageMaker Canvas får tillgång till data för att bygga modeller och skapa prognoser. Resultaten av prognoserna lagras i en S3-hink. Med hjälp av MongoDB Data Federation-tjänsterna presenteras prognoserna visuellt genom MongoDB-diagram.

Följande diagram beskriver den föreslagna lösningsarkitekturen.

Förutsättningar

För den här lösningen använder vi MongoDB Atlas för att lagra tidsseriedata, Amazon SageMaker Canvas för att träna en modell och producera prognoser, och Amazon S3 för att lagra data extraherad från MongoDB Atlas.

Se till att du har följande förutsättningar:

Konfigurera MongoDB Atlas-kluster

Skapa ett gratis MongoDB Atlas-kluster genom att följa instruktionerna i Skapa ett kluster. Ställ in Databasåtkomst och Nätverksåtkomst.

Fyll i en tidsseriesamling i MongoDB Atlas

För denna demonstration kan du använda en exempeldatauppsättning från från Kaggle och ladda upp samma till MongoDB Atlas med MongoDB verktyg , Företrädesvis MongoDB kompass.

Följande kod visar en exempeldatauppsättning för en tidsseriesamling:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

Följande skärmdump visar exempel på tidsseriedata i MongoDB Atlas:

Skapa en S3 Bucket

Skapa en S3-hink i AWS , där tidsseriedata behöver lagras och analyseras. Observera att vi har två mappar. sales-train-data används för att lagra data som extraherats från MongoDB Atlas, medan sales-forecast-output innehåller förutsägelser från  Canvas.

Skapa datafederationen

Ställ in Datafederation i Atlas och registrera S3-bucket som skapats tidigare som en del av datakällan. Lägg märke till att de tre olika databaserna/samlingarna skapas i datafederationen för Atlas-kluster, S3-bucket för MongoDB Atlas-data och S3-bucket för att lagra Canvas-resultaten.

Följande skärmdumpar visar inställningen av datafederationen.

Konfigurera Atlas applikationstjänst

Skapa MongoDB Application Services för att distribuera funktionerna för att överföra data från MongoDB Atlas-kluster till S3-bucket med hjälp av $ut aggregering.

Verifiera datakällans konfiguration

Applikationstjänsterna skapar ett nytt Altas Service Name som måste hänvisas till som datatjänsterna i följande funktion. Verifiera att Atlas Service Name har skapats och notera det för framtida referens.

Skapa funktionen

Konfigurera Atlas Application-tjänster för att skapa trigger och funktioner. Triggarna måste schemaläggas för att skriva data till S3 med en periodfrekvens baserat på verksamhetens behov av att träna modellerna.

Följande skript visar funktionen för att skriva till S3-skopan:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Exempelfunktion

Funktionen kan köras via fliken Kör och felen kan felsökas med hjälp av loggfunktionerna i Application Services. Dessutom kan felen felsökas med hjälp av menyn Loggar i den vänstra rutan.

Följande skärmdump visar utförandet av funktionen tillsammans med utdata:

Skapa dataset i Amazon SageMaker Canvas

Följande steg förutsätter att du har skapat en SageMaker-domän och användarprofil. Om du inte redan har gjort det, se till att du konfigurerar SageMaker domän och användarprofil. Uppdatera din S3-skopa så att den är anpassad i användarprofilen och ange ditt hinknamn.

När du är klar, navigera till SageMaker Canvas, välj din domän och profil och välj Canvas.

Skapa en datauppsättning som tillhandahåller datakällan.

Välj datauppsättningskällan som S3

Välj dataplatsen från S3-bucket och välj Skapa dataset.

Granska schemat och klicka på Skapa dataset

Efter lyckad import kommer datasetet att visas i listan som visas i följande skärmdump.

Träna modellen

Därefter kommer vi att använda Canvas för att ställa in för att träna modellen. Välj datauppsättningen och klicka på Skapa.

Skapa ett modellnamn, välj Prediktiv analys och välj Skapa.

Välj målkolumn

Klicka sedan på Konfigurera tidsseriemodell och välj artikel-id som kolumnen Artikel-ID.

Välja tm för tidsstämpelkolumnen

För att ange hur lång tid du vill prognostisera, välj 8 veckor.

Nu är du redo att förhandsgranska modellen eller starta byggprocessen.

När du förhandsgranskar modellen eller startar byggnaden kommer din modell att skapas och kan ta upp till fyra timmar. Du kan lämna skärmen och gå tillbaka för att se modellens träningsstatus.

När modellen är klar, välj modell och klicka på den senaste versionen

Granska modellens mätvärden och kolumnpåverkan och om du är nöjd med modellens prestanda klickar du på Förutsäg.

Välj sedan Batch-prediktion och klicka på Välj dataset.

Välj din datauppsättning och klicka på Välj datauppsättning.

Klicka sedan på Starta förutsägelser.

Observera ett skapat jobb eller observera jobbframstegen i SageMaker under Inferens, batchtransformeringsjobb.

När jobbet är klart, välj jobbet och notera S3-sökvägen där Canvas lagrade förutsägelserna.

Visualisera prognosdata i Atlas Charts

För att visualisera prognosdata, skapa MongoDB Atlas-diagram baserat på Federated data (amazon-forecast-data) för P10-, P50- och P90-prognoser som visas i följande diagram.

Städa upp

• Ta bort MongoDB Atlas-klustret
• Ta bort Atlas Data Federation Configuration
• Ta bort Atlas Application Service App
• Ta bort S3 Bucket
• Ta bort Amazon SageMaker Canvas dataset och modeller
• Ta bort Atlas-diagrammen
• Logga ut från Amazon SageMaker Canvas

Slutsats

I det här inlägget extraherade vi tidsseriedata från MongoDB tidsseriesamling. Detta är en speciell samling optimerad för lagring och frågehastighet av tidsseriedata. Vi använde Amazon SageMaker Canvas för att träna modeller och generera förutsägelser och vi visualiserade förutsägelserna i Atlas Charts.

För mer information, se följande resurser.

---

Om författarna

Igor Alekseev är Senior Partner Solution Architect på AWS inom data- och analysdomän. I sin roll arbetar Igor med strategiska partners som hjälper dem att bygga komplexa, AWS-optimerade arkitekturer. Innan han började på AWS implementerade han som data-/lösningsarkitekt många projekt inom Big Data-domänen, inklusive flera datasjöar i Hadoop-ekosystemet. Som dataingenjör var han involverad i att tillämpa AI/ML för att upptäcka bedrägerier och kontorsautomation.

Babu Srinivasan är Senior Partner Solutions Architect på MongoDB. I sin nuvarande roll arbetar han med AWS för att bygga de tekniska integrationerna och referensarkitekturerna för AWS- och MongoDB-lösningarna. Han har mer än två decennier av erfarenhet av databas- och molnteknologier. Han brinner för att tillhandahålla tekniska lösningar till kunder som arbetar med flera globala systemintegratörer (GSI) över flera geografiska områden.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/