A betekintéshez szükséges idő felgyorsítása a MongoDB idősor-gyűjteményekkel és az Amazon SageMaker Canvas-szal | Amazon webszolgáltatások

Ez egy vendégbejegyzés, amelyet Babu Srinivasannal közösen írt a MongoDB-től.

Ahogy az iparágak fejlődnek a mai rohanó üzleti környezetben, a valós idejű előrejelzések képtelensége jelentős kihívások elé állítja azokat az iparágakat, amelyek erősen támaszkodnak a pontos és időszerű betekintésre. A valós idejű előrejelzések hiánya a különböző iparágakban sürgető üzleti kihívásokat jelent, amelyek jelentősen befolyásolhatják a döntéshozatalt és a működési hatékonyságot. Valós idejű betekintés nélkül a vállalkozások nehezen tudnak alkalmazkodni a dinamikus piaci feltételekhez, pontosan előre jelezni az ügyfelek keresletét, optimalizálni a készletszinteket, és proaktív stratégiai döntéseket hozni. Az olyan iparágakban, mint a pénzügy, a kiskereskedelem, az ellátási lánc menedzsment és a logisztika, az elszalasztott lehetőségek, a megnövekedett költségek, a nem hatékony erőforrás-allokáció és a vevői elvárásoknak való képtelenség kockázatával kell szembenézniük. E kihívások feltárásával a szervezetek felismerhetik a valós idejű előrejelzés fontosságát, és innovatív megoldásokat fedezhetnek fel ezen akadályok leküzdésére, lehetővé téve számukra, hogy versenyképesek maradjanak, megalapozott döntéseket hozzanak és boldoguljanak a mai rohanó üzleti környezetben.

Kiaknázva a MongoDB natív transzformációs potenciálját idősorok adatképességeket és azok erejével való integrálását Amazon SageMaker Canvas, a szervezetek leküzdhetik ezeket a kihívásokat, és az agilitás új szintjeit nyithatják meg. A MongoDB robusztus idősoros adatkezelése lehetővé teszi nagy mennyiségű idősoros adatok valós idejű tárolását és visszakeresését, míg a fejlett gépi tanulási algoritmusok és előrejelző képességek pontos és dinamikus előrejelzési modelleket biztosítanak a SageMaker Canvas segítségével.

Ebben a bejegyzésben megvizsgáljuk a MongoDB idősor-adatainak és a SageMaker Canvas-nak átfogó megoldásként való felhasználásában rejlő lehetőségeket.

MongoDB Atlasz

MongoDB Atlasz egy teljesen felügyelt fejlesztői adatplatform, amely leegyszerűsíti a MongoDB-adatbázisok telepítését és méretezését a felhőben. Ez egy dokumentum alapú tároló, amely teljes körűen felügyelt adatbázist biztosít, beépített teljes szöveggel és vektorral Kereséstámogatása Térinformatikai lekérdezések, táblázatok és natív támogatás a hatékony idősorok tárolási és lekérdezési lehetőségek. A MongoDB Atlas automatikus felosztást, vízszintes méretezhetőséget és rugalmas indexelést kínál a nagy mennyiségű adatfeldolgozáshoz. A natív idősoros képességek mindenekelőtt kiemelkedő szolgáltatást jelentenek, így ideális nagy mennyiségű idősoros adat kezeléséhez, mint például az üzleti szempontból kritikus alkalmazásadatok, telemetria, szervernaplók és egyebek. A hatékony lekérdezéssel, összesítéssel és elemzéssel a vállalkozások értékes betekintést nyerhetnek az időbélyeggel ellátott adatokból. E képességek használatával a vállalkozások hatékonyan tárolhatják, kezelhetik és elemezhetik az idősoros adatokat, lehetővé téve adatvezérelt döntések meghozatalát és versenyelőny megszerzését.

Amazon SageMaker Canvas

Amazon SageMaker Canvas egy vizuális gépi tanulási (ML) szolgáltatás, amely lehetővé teszi az üzleti elemzők és adattudósok számára, hogy egyéni ML-modelleket építsenek és telepítsenek anélkül, hogy bármilyen ML-tapasztalatot vagy egyetlen kódsort kellene írniuk. A SageMaker Canvas számos használati esetet támogat, többek között idősoros előrejelzés, amely lehetővé teszi a vállalkozások számára, hogy pontosan előre jelezzék a jövőbeli keresletet, eladásokat, erőforrásigényeket és egyéb idősoros adatokat. A szolgáltatás mély tanulási technikákat használ az összetett adatminták kezelésére, és lehetővé teszi a vállalkozások számára, hogy még minimális előzményadatokkal is pontos előrejelzéseket készítsenek. Az Amazon SageMaker Canvas képességeinek használatával a vállalkozások megalapozott döntéseket hozhatnak, optimalizálhatják a készletszinteket, javíthatják a működési hatékonyságot és növelhetik az ügyfelek elégedettségét.

A SageMaker Canvas UI segítségével zökkenőmentesen integrálhatja a felhőből vagy a helyszíni adatforrásokat, könnyedén egyesítheti az adatkészleteket, precíz modelleket képezhet, és előrejelzéseket készíthet a megjelenő adatokból – mindezt kódolás nélkül. Ha automatizált munkafolyamatra vagy alkalmazásokba való közvetlen ML-modell-integrációra van szüksége, a Canvas-előrejelzési funkciók a következőn keresztül érhetők el: API-k.

Megoldás áttekintése

A felhasználók megőrzik tranzakciós idősoradataikat a MongoDB Atlasban. Az Atlas Data Federationen keresztül az adatokat az Amazon S3 vödörbe vonják ki. Az Amazon SageMaker Canvas hozzáfér az adatokhoz modellek és előrejelzések készítéséhez. Az előrejelzés eredményeit egy S3 vödörben tároljuk. A MongoDB Data Federation szolgáltatásainak használatával az előrejelzések vizuálisan jelennek meg a MongoDB diagramokon keresztül.

A következő diagram a javasolt megoldás architektúráját mutatja be.

Előfeltételek

Ehhez a megoldáshoz a MongoDB Atlast használjuk az idősorok adatainak tárolására, az Amazon SageMaker Canvast a modell betanítására és az előrejelzések készítésére, az Amazon S3-at pedig a MongoDB Atlasból kinyert adatok tárolására.

Győződjön meg arról, hogy rendelkezik a következő előfeltételekkel:

Konfigurálja a MongoDB Atlas-fürtöt

Hozzon létre egy ingyenes MongoDB Atlas-fürtöt a következő utasításokat követve Hozzon létre egy klasztert. Állítsa be a Adatbázis hozzáférés és a Hálózati hozzáférés.

Töltsön fel egy idősor-gyűjteményt a MongoDB Atlasban

Ennek a demonstrációnak a céljaira használhat egy mintaadatkészletet a következőtől: Kaggle és töltse fel ugyanezt a MongoDB Atlasba a MongoDB-vel szerszámok , Lehetőleg MongoDB iránytű.

A következő kód egy idősor-gyűjtemény mintaadatkészletét mutatja:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

A következő képernyőkép a MongoDB Atlas mintaidősoradatait mutatja:

Hozzon létre egy S3 Bucket-et

Teremt egy S3 vödör az AWS-ben, ahol az idősoros adatokat kell tárolni és elemezni. Megjegyzés: két mappánk van. sales-train-data a MongoDB Atlasból kinyert adatok tárolására szolgál, míg sales-forecast-output a Canvas előrejelzéseit tartalmazza.

Hozza létre az Adat-összevonást

Állítsa be a Adatszövetség az Atlasban, és regisztrálja a korábban létrehozott S3 tárolót az adatforrás részeként. Figyelje meg, hogy három különböző adatbázis/gyűjtemény jön létre az adat-összevonásban az Atlas-fürthöz, az S3-gyűjteményhez a MongoDB Atlas-adatokhoz és az S3-gyűjteményhez a Canvas-eredmények tárolására.

A következő képernyőképek az adat-összevonás beállítását mutatják be.

Állítsa be az Atlas alkalmazásszolgáltatást

Hozza létre a MongoDB alkalmazásszolgáltatások a funkciók üzembe helyezéséhez az adatok átviteléhez a MongoDB Atlas fürtből az S3 tárolóba a segítségével $out összesítését.

Ellenőrizze az adatforrás konfigurációját

Az alkalmazásszolgáltatások új Altas szolgáltatásnevet hoznak létre, amelyre adatszolgáltatásként kell hivatkozni a következő függvényben. Ellenőrizze, hogy létrejött-e az Atlas szolgáltatásnév, és jegyezze fel későbbi hivatkozás céljából.

Hozza létre a függvényt

Állítsa be az Atlas Application szolgáltatásokat a létrehozásához trigger és funkciók. A triggereket úgy kell ütemezni, hogy az S3-ba írják az adatokat a modellek betanításának üzleti igényei alapján meghatározott időszaki gyakorisággal.

A következő szkript az S3 tárolóba írandó függvényt mutatja:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Minta funkció

A funkció a Futtatás lapon keresztül futtatható, és a hibák hibakereshetők az Alkalmazásszolgáltatások naplószolgáltatásaival. Ezenkívül a hibákat a bal oldali ablaktáblában található Naplók menü segítségével is kijavíthatja.

A következő képernyőkép a funkció végrehajtását mutatja a kimenettel együtt:

Hozzon létre adatkészletet az Amazon SageMaker Canvasban

A következő lépések feltételezik, hogy létrehozott egy SageMaker tartományt és felhasználói profilt. Ha még nem tette meg, győződjön meg arról, hogy konfigurálta a SageMaker domain és felhasználói profil. A felhasználói profilban frissítse az S3 tárolót egyénire, és adja meg a csoport nevét.

Ha elkészült, navigáljon a SageMaker Canvas oldalra, válassza ki a domainjét és profilját, majd válassza a Canvas lehetőséget.

Hozzon létre egy adatkészletet, amely megadja az adatforrást.

Válassza ki az adatkészlet forrását S3-ként

Válassza ki az adat helyét az S3 vödörből, és válassza az Adatkészlet létrehozása lehetőséget.

Tekintse át a sémát, és kattintson az Adatkészlet létrehozása gombra

Sikeres importálás után az adatkészlet megjelenik a listában, ahogy az a következő képernyőképen látható.

Tanítsd meg a modellt

Ezután a Canvast használjuk a modell betanítására szolgáló beállításhoz. Válassza ki az adatkészletet, majd kattintson a Létrehozás gombra.

Hozzon létre egy modellnevet, válassza a Prediktív elemzés, majd a Létrehozás lehetőséget.

Válassza ki a céloszlopot

Ezután kattintson az Idősor-modell konfigurálása lehetőségre, és válassza ki az item_id elemet az Elemazonosító oszlopban.

választ tm az időbélyeg oszlophoz

Az előrejelzés időtartamának megadásához válassza a 8 hetet.

Most már készen áll a modell előnézetére, vagy elindíthatja az építési folyamatot.

A modell előnézetének megtekintése vagy a build elindítása után a modell létrejön, és ez akár négy órát is igénybe vehet. Kiléphet a képernyőről, és visszatérhet a modell képzési állapotának megtekintéséhez.

Amikor a modell készen áll, válassza ki a modellt, és kattintson a legújabb verzióra

Tekintse át a modell mérőszámait és az oszlopok hatását, és ha elégedett a modell teljesítményével, kattintson a Előrejelzés gombra.

Ezután válassza a Kötegelt előrejelzés lehetőséget, majd kattintson az Adatkészlet kiválasztása elemre.

Válassza ki az adatkészletet, majd kattintson az Adatkészlet kiválasztása gombra.

Ezután kattintson az Előrejelzések indítása elemre.

Figyeljen meg egy létrehozott jobot, vagy figyelje meg a feladat előrehaladását a SageMakerben a Következtetés, Kötegelt átalakítási feladatok alatt.

Amikor a feladat befejeződött, válassza ki a feladatot, és jegyezze fel az S3 elérési utat, ahol a Canvas tárolta az előrejelzéseket.

Jelenítse meg az előrejelzési adatokat az Atlas Charts-ban

Az előrejelzési adatok megjelenítéséhez hozza létre a MongoDB Atlas diagramok az egyesített adatokon (amazon-forecast-data) alapul a P10, P50 és P90 előrejelzésekhez, ahogy az a következő diagramon látható.

Tisztítsuk meg

• Törölje a MongoDB Atlas-fürtöt
• Törölje az Atlas Data Federation konfigurációját
• Törölje az Atlas Application Service alkalmazást
• Törölje az S3 tartályt
• Törölje az Amazon SageMaker Canvas adatkészletét és modelljeit
• Törölje az atlasz diagramokat
• Jelentkezzen ki az Amazon SageMaker Canvasból

Következtetés

Ebben a bejegyzésben a MongoDB idősor-gyűjteményéből nyertük ki az idősorok adatait. Ez egy speciális gyűjtemény, amelyet idősoros adatok tárolására és lekérdezési sebességére optimalizáltak. Az Amazon SageMaker Canvast használtuk modellek betanításához és előrejelzések generálásához, és az előrejelzéseket az Atlas Charts-ban vizualizáltuk.

További információkért tekintse meg a következő forrásokat.

---

A szerzőkről

Igor Alekszejev Senior Partner Solution Architect az AWS-nél a Data and Analytics domainben. Munkájában Igor stratégiai partnerekkel dolgozik, segítve őket komplex, AWS-optimalizált architektúrák felépítésében. Mielőtt csatlakozott volna az AWS-hez, Data/Solution Architect-ként számos projektet valósított meg a Big Data tartományban, beleértve a Hadoop ökoszisztéma több adattóját is. Adatmérnökként részt vett az AI/ML csalásfelderítésben és irodaautomatizálásban való alkalmazásában.

Babu Srinivasan Senior Partner Solutions Architect a MongoDB-nél. Jelenlegi beosztásában az AWS-szel dolgozik az AWS és MongoDB megoldások műszaki integrációinak és referenciaarchitektúrájának kiépítésén. Több mint két évtizedes tapasztalattal rendelkezik az adatbázis - és felhőtechnológiák terén . Szenvedélyes célja, hogy műszaki megoldásokat nyújtson több globális rendszerintegrátorral (GSI) dolgozó ügyfeleknek több földrajzi területen.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/