Versnel de tijd tot inzicht met MongoDB-tijdreekscollecties en Amazon SageMaker Canvas | Amazon-webservices

Dit is een gastpost, geschreven in samenwerking met Babu Srinivasan van MongoDB.

Terwijl industrieën evolueren in het snelle zakelijke landschap van vandaag, vormt het onvermogen om realtime voorspellingen te doen aanzienlijke uitdagingen voor industrieën die sterk afhankelijk zijn van nauwkeurige en tijdige inzichten. Het ontbreken van realtime voorspellingen in verschillende sectoren zorgt voor urgente zakelijke uitdagingen die een aanzienlijke impact kunnen hebben op de besluitvorming en operationele efficiëntie. Zonder realtime inzichten hebben bedrijven moeite om zich aan te passen aan dynamische marktomstandigheden, nauwkeurig te anticiperen op de vraag van klanten, voorraadniveaus te optimaliseren en proactieve strategische beslissingen te nemen. Industrieën als de financiële sector, de detailhandel, het supply chain management en de logistiek lopen het risico van gemiste kansen, hogere kosten, inefficiënte toewijzing van middelen en het onvermogen om aan de verwachtingen van de klant te voldoen. Door deze uitdagingen te verkennen, kunnen organisaties het belang van realtime prognoses onderkennen en innovatieve oplossingen verkennen om deze hindernissen te overwinnen, waardoor ze concurrerend kunnen blijven, weloverwogen beslissingen kunnen nemen en kunnen gedijen in de snelle zakelijke omgeving van vandaag.

Door het transformatieve potentieel van MongoDB’s native te benutten tijdreeksen datamogelijkheden en de integratie ervan met de kracht van Amazon SageMaker-canvaskunnen organisaties deze uitdagingen overwinnen en nieuwe niveaus van flexibiliteit ontsluiten. Het robuuste tijdreeksgegevensbeheer van MongoDB maakt de opslag en het ophalen van grote hoeveelheden tijdreeksgegevens in realtime mogelijk, terwijl geavanceerde machine learning-algoritmen en voorspellende mogelijkheden nauwkeurige en dynamische voorspellingsmodellen bieden met SageMaker Canvas.

In dit bericht onderzoeken we het potentieel van het gebruik van de tijdreeksgegevens van MongoDB en SageMaker Canvas als een alomvattende oplossing.

MongoDB-atlas

MongoDB-atlas is een volledig beheerd ontwikkelaarsdataplatform dat de implementatie en schaalbaarheid van MongoDB-databases in de cloud vereenvoudigt. Het is een op documenten gebaseerde opslag die een volledig beheerde database biedt, met ingebouwde volledige tekst en vector Ontdek, ondersteuning voor Geospatiale vragen, Grafieken en native ondersteuning voor efficiënt tijdreeksen opslag- en querymogelijkheden. MongoDB Atlas biedt automatische sharding, horizontale schaalbaarheid en flexibele indexering voor de opname van grote hoeveelheden gegevens. Vooral de native time series-mogelijkheden zijn een opvallend kenmerk, waardoor het ideaal is voor het beheren van grote hoeveelheden tijdreeksgegevens, zoals bedrijfskritische applicatiegegevens, telemetrie, serverlogboeken en meer. Met efficiënte bevragingen, aggregatie en analyses kunnen bedrijven waardevolle inzichten uit tijdsgestempelde gegevens halen. Door deze mogelijkheden te gebruiken, kunnen bedrijven tijdreeksgegevens efficiënt opslaan, beheren en analyseren, waardoor datagestuurde beslissingen mogelijk worden en een concurrentievoordeel wordt verkregen.

Amazon SageMaker-canvas

Amazon SageMaker-canvas is een visuele machine learning (ML)-service waarmee bedrijfsanalisten en datawetenschappers aangepaste ML-modellen kunnen bouwen en implementeren zonder enige ML-ervaring te vereisen of een enkele regel code te hoeven schrijven. SageMaker Canvas ondersteunt een aantal gebruiksscenario's, waaronder voorspellingen van tijdreeksen, waarmee bedrijven de toekomstige vraag, verkoop, resourcevereisten en andere tijdreeksgegevens nauwkeurig kunnen voorspellen. De service maakt gebruik van deep learning-technieken om complexe datapatronen te verwerken en stelt bedrijven in staat nauwkeurige voorspellingen te genereren, zelfs met minimale historische gegevens. Door de mogelijkheden van Amazon SageMaker Canvas te gebruiken, kunnen bedrijven weloverwogen beslissingen nemen, de voorraadniveaus optimaliseren, de operationele efficiëntie verbeteren en de klanttevredenheid vergroten.

Met de gebruikersinterface van SageMaker Canvas kunt u naadloos gegevensbronnen uit de cloud of on-premises integreren, gegevenssets moeiteloos samenvoegen, nauwkeurige modellen trainen en voorspellingen doen met opkomende gegevens, allemaal zonder codering. Als je een geautomatiseerde workflow of directe ML-modelintegratie in apps nodig hebt, zijn Canvas-prognosefuncties toegankelijk via APIs.

Overzicht oplossingen

Gebruikers bewaren hun transactionele tijdreeksgegevens in MongoDB Atlas. Via Atlas Data Federation worden gegevens geëxtraheerd naar de Amazon S3-bucket. Amazon SageMaker Canvas heeft toegang tot de gegevens om modellen te bouwen en prognoses te maken. De resultaten van de prognoses worden opgeslagen in een S3-bucket. Met behulp van de MongoDB Data Federation-services worden de prognoses visueel gepresenteerd via MongoDB Charts.

Het volgende diagram schetst de voorgestelde oplossingsarchitectuur.

Voorwaarden

Voor deze oplossing gebruiken we MongoDB Atlas om tijdreeksgegevens op te slaan, Amazon SageMaker Canvas om een ​​model te trainen en voorspellingen te doen, en Amazon S3 om gegevens op te slaan die zijn geëxtraheerd uit MongoDB Atlas.

Zorg ervoor dat u aan de volgende vereisten voldoet:

Configureer het MongoDB Atlas-cluster

Maak een gratis MongoDB Atlas-cluster door de instructies te volgen in Maak een cluster. Stel de Database toegang en Netwerktoegang.

Vul een tijdreeksverzameling in MongoDB Atlas

Voor deze demonstratie kunt u een voorbeeldgegevensset van from gebruiken Kaggle en upload hetzelfde naar MongoDB Atlas met de MongoDB tools , Bij voorkeur MongoDB Kompas.

De volgende code toont een voorbeeldgegevensset voor een tijdreeksverzameling:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

De volgende schermafbeelding toont de voorbeeldtijdreeksgegevens in MongoDB Atlas:

Maak een S3-bucket

creëren een S3-bucket in AWS, waar de tijdreeksgegevens moeten worden opgeslagen en geanalyseerd. Let op: we hebben twee mappen. sales-train-data wordt gebruikt om gegevens op te slaan die zijn geëxtraheerd uit MongoDB Atlas, terwijl sales-forecast-output bevat voorspellingen van Canvas.

Maak de Datafederatie

Stel de Gegevensfederatie in Atlas en registreer de S3-bucket die eerder is gemaakt als onderdeel van de gegevensbron. Merk op dat de drie verschillende databases/collecties worden gemaakt in de datafederatie voor Atlas-cluster, S3-bucket voor MongoDB Atlas-gegevens en S3-bucket om de Canvas-resultaten op te slaan.

De volgende schermafbeeldingen tonen de configuratie van de Data Federator.

Stel de Atlas-toepassingsservice in

Maak de MongoDB-toepassingsservices om de functies te implementeren om de gegevens over te dragen van het MongoDB Atlas-cluster naar de S3-bucket met behulp van de $uit aggregatie.

Controleer de gegevensbronconfiguratie

De applicatieservices creëren een nieuwe Altas-servicenaam waarnaar in de volgende functie moet worden verwezen als de dataservices. Controleer of de Atlas Service Name is aangemaakt en noteer deze voor toekomstig gebruik.

Creëer de functie

Stel de Atlas Application-services in om de trigger en functies. De triggers moeten worden gepland om de gegevens naar S3 te schrijven met een periodefrequentie die is gebaseerd op de bedrijfsbehoefte voor het trainen van de modellen.

Het volgende script toont de functie om naar de S3-bucket te schrijven:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Voorbeeld functie

De functie kan worden uitgevoerd via het tabblad Uitvoeren en de fouten kunnen worden opgespoord met behulp van de logfuncties in Application Services. Bovendien kunnen de fouten worden opgespoord via het menu Logboeken in het linkerdeelvenster.

De volgende schermafbeelding toont de uitvoering van de functie samen met de uitvoer:

Maak een dataset in Amazon SageMaker Canvas

Bij de volgende stappen wordt ervan uitgegaan dat u een SageMaker-domein en een gebruikersprofiel hebt aangemaakt. Als u dit nog niet heeft gedaan, zorg er dan voor dat u de SageMaker-domein en gebruikersprofiel. Update in het gebruikersprofiel uw S3-bucket zodat deze aangepast is en geef uw bucketnaam op.

Wanneer u klaar bent, navigeert u naar SageMaker Canvas, selecteert u uw domein en profiel en selecteert u Canvas.

Maak een dataset die de gegevensbron levert.

Selecteer de gegevenssetbron als S3

Selecteer de gegevenslocatie in de S3-bucket en selecteer Gegevensset maken.

Bekijk het schema en klik op Gegevensset maken

Na een succesvolle import verschijnt de dataset in de lijst, zoals weergegeven in de volgende schermafbeelding.

Train het model

Vervolgens zullen we Canvas gebruiken om het model te trainen. Selecteer de gegevensset en klik op Maken.

Maak een modelnaam, selecteer Voorspellende analyse en selecteer Maken.

Selecteer doelkolom

Klik vervolgens op Tijdreeksmodel configureren en selecteer item_id als kolom Item-ID.

kies tm voor de tijdstempelkolom

Als u de hoeveelheid tijd wilt opgeven die u wilt voorspellen, kiest u 8 weken.

Nu bent u klaar om een ​​voorbeeld van het model te bekijken of het bouwproces te starten.

Nadat u een voorbeeld van het model heeft bekeken of de build heeft gestart, wordt uw model gemaakt. Dit kan tot vier uur duren. U kunt het scherm verlaten en terugkeren om de modeltrainingsstatus te bekijken.

Als het model klaar is, selecteert u het model en klikt u op de nieuwste versie

Bekijk de modelstatistieken en de kolomimpact en als u tevreden bent met de modelprestaties, klikt u op Voorspellen.

Kies vervolgens Batchvoorspelling en klik op Gegevensset selecteren.

Selecteer uw gegevensset en klik op Gegevensset kiezen.

Klik vervolgens op Voorspellingen starten.

Observeer een gemaakte taak of observeer de taakvoortgang in SageMaker onder Inferentie, Batchtransformatietaken.

Wanneer de taak is voltooid, selecteert u de taak en noteert u het S3-pad waar Canvas de voorspellingen heeft opgeslagen.

Visualiseer prognosegegevens in Atlas Charts

Om prognosegegevens te visualiseren, maakt u het bestand MongoDB Atlas-diagrammen gebaseerd op de federale gegevens (amazon-forecast-data) voor P10-, P50- en P90-voorspellingen, zoals weergegeven in de volgende grafiek.

Opruimen

• Verwijder het MongoDB Atlas-cluster
• Atlas Data Federation-configuratie verwijderen
• Atlas Application Service-app verwijderen
• Verwijder de S3-emmer
• Verwijder de Amazon SageMaker Canvas-dataset en -modellen
• Verwijder de atlaskaarten
• Meld u af bij Amazon SageMaker Canvas

Conclusie

In dit bericht hebben we tijdreeksgegevens geëxtraheerd uit de MongoDB-tijdreeksverzameling. Dit is een speciale verzameling die is geoptimaliseerd voor de opslag en bevragingssnelheid van tijdreeksgegevens. We gebruikten Amazon SageMaker Canvas om modellen te trainen en voorspellingen te genereren en we visualiseerden de voorspellingen in Atlas Charts.

Raadpleeg de volgende bronnen voor meer informatie.

---

Over de auteurs

Igor Aleksejev is een Senior Partner Solution Architect bij AWS in het domein Data en Analytics. In zijn rol werkt Igor samen met strategische partners die hen helpen bij het bouwen van complexe, voor AWS geoptimaliseerde architecturen. Voordat hij bij AWS kwam, implementeerde hij als Data/Solution Architect veel projecten in het Big Data-domein, waaronder verschillende datameren in het Hadoop-ecosysteem. Als Data Engineer was hij betrokken bij het toepassen van AI/ML op fraudedetectie en kantoorautomatisering.

Baboe Srinivasan is een Senior Partner Solutions Architect bij MongoDB. In zijn huidige rol werkt hij samen met AWS om de technische integraties en referentiearchitecturen voor de AWS- en MongoDB-oplossingen te bouwen. Hij heeft meer dan twee decennia ervaring in database- en cloudtechnologieën. Hij is gepassioneerd door het bieden van technische oplossingen aan klanten die werken met meerdere Global System Integrators (GSI's) in meerdere regio's.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/