Pospeševanje časa do vpogleda z zbirkami časovnih vrst MongoDB in Amazon SageMaker Canvas | Spletne storitve Amazon

To je gostujoča objava, ki jo je napisal skupaj z Babu Srinivasanom iz MongoDB.

Ker se panoge razvijajo v današnjem hitrem poslovnem okolju, nezmožnost napovedi v realnem času predstavlja velik izziv za panoge, ki so močno odvisne od natančnih in pravočasnih vpogledov. Odsotnost napovedi v realnem času v različnih panogah predstavlja pereče poslovne izzive, ki lahko pomembno vplivajo na odločanje in operativno učinkovitost. Brez vpogledov v realnem času se podjetja težko prilagajajo dinamičnim tržnim razmeram, natančno predvidevajo povpraševanje strank, optimizirajo ravni zalog in sprejemajo proaktivne strateške odločitve. Panoge, kot so finance, trgovina na drobno, upravljanje dobavne verige in logistika, se soočajo s tveganjem zamujenih priložnosti, povečanih stroškov, neučinkovitega dodeljevanja virov in nezmožnosti izpolnjevanja pričakovanj strank. Z raziskovanjem teh izzivov lahko organizacije prepoznajo pomen napovedovanja v realnem času in raziščejo inovativne rešitve za premagovanje teh ovir, kar jim omogoča, da ostanejo konkurenčne, sprejemajo odločitve na podlagi informacij in uspevajo v današnjem hitrem poslovnem okolju.

Z izkoriščanjem transformativnega potenciala izvornega MongoDB Časovne serije podatkovne zmogljivosti in njihovo integracijo z močjo Amazon SageMaker Canvas, lahko organizacije premagajo te izzive in odklenejo nove ravni agilnosti. Robustno upravljanje podatkov časovnih vrst MongoDB omogoča shranjevanje in pridobivanje velikih količin podatkov časovnih vrst v realnem času, medtem ko napredni algoritmi strojnega učenja in napovedne zmogljivosti zagotavljajo natančne in dinamične modele napovedovanja s SageMaker Canvas.

V tej objavi bomo raziskali potencial uporabe podatkov časovnih vrst MongoDB in SageMaker Canvas kot celovite rešitve.

Atlas MongoDB

Atlas MongoDB je popolnoma upravljana podatkovna platforma za razvijalce, ki poenostavlja uvajanje in prilagajanje podatkovnih baz MongoDB v oblaku. To je shramba na podlagi dokumentov, ki zagotavlja popolnoma upravljano bazo podatkov z vgrajenim polnim besedilom in vektorjem Iskalnik, podpora za Geoprostorskih poizvedbe, Charts in izvorno podporo za učinkovito Časovne serije zmogljivosti shranjevanja in poizvedovanja. MongoDB Atlas ponuja samodejno razčlenjevanje, horizontalno razširljivost in prilagodljivo indeksiranje za vnos velikih količin podatkov. Med vsemi so zmožnosti izvorne časovne vrste izstopajoča funkcija, zaradi česar je idealna za upravljanje velikega obsega podatkov časovne serije, kot so poslovno kritični podatki aplikacij, telemetrija, strežniški dnevniki in drugo. Z učinkovitim poizvedovanjem, združevanjem in analitiko lahko podjetja pridobijo dragocene vpoglede iz podatkov s časovnim žigom. Z uporabo teh zmožnosti lahko podjetja učinkovito shranjujejo, upravljajo in analizirajo podatke časovnih vrst, kar omogoča odločitve, ki temeljijo na podatkih, in pridobi konkurenčno prednost.

Amazon SageMaker Canvas

Amazon SageMaker Canvas je storitev vizualnega strojnega učenja (ML), ki poslovnim analitikom in podatkovnim znanstvenikom omogoča izgradnjo in uvajanje modelov ML po meri, ne da bi za to potrebovali kakršne koli izkušnje z ML ali napisali eno vrstico kode. SageMaker Canvas podpira številne primere uporabe, vključno s napovedovanje časovnih vrst, ki podjetjem omogoča natančno napovedovanje prihodnjega povpraševanja, prodaje, potreb po virih in drugih časovnih vrst podatkov. Storitev uporablja tehnike globokega učenja za obravnavo zapletenih vzorcev podatkov in podjetjem omogoča ustvarjanje natančnih napovedi tudi z minimalnimi preteklimi podatki. Z uporabo zmogljivosti Amazon SageMaker Canvas lahko podjetja sprejemajo informirane odločitve, optimizirajo ravni zalog, izboljšajo operativno učinkovitost in povečajo zadovoljstvo strank.

Uporabniški vmesnik SageMaker Canvas vam omogoča brezhibno integracijo virov podatkov iz oblaka ali na mestu uporabe, združevanje naborov podatkov brez napora, urjenje natančnih modelov in ustvarjanje napovedi z nastajajočimi podatki – vse brez kodiranja. Če potrebujete avtomatiziran potek dela ali neposredno integracijo modela ML v aplikacije, so funkcije napovedovanja Canvas dostopne prek API-ji.

Pregled rešitev

Uporabniki vztrajajo v svojih transakcijskih časovnih vrstah podatkov v Atlasu MongoDB. Prek Atlas Data Federation se podatki črpajo v vedro Amazon S3. Amazon SageMaker Canvas dostopa do podatkov za gradnjo modelov in ustvarjanje napovedi. Rezultati napovedi so shranjeni v vedru S3. Z uporabo storitev MongoDB Data Federation so napovedi vizualno predstavljene prek grafikonov MongoDB.

Naslednji diagram opisuje predlagano arhitekturo rešitve.

Predpogoji

Za to rešitev uporabljamo MongoDB Atlas za shranjevanje podatkov časovnih vrst, Amazon SageMaker Canvas za usposabljanje modela in izdelavo napovedi ter Amazon S3 za shranjevanje podatkov, ekstrahiranih iz MongoDB Atlasa.

Zagotovite, da imate naslednje predpogoje:

Konfigurirajte gručo MongoDB Atlas

Ustvarite brezplačno gručo MongoDB Atlas tako, da sledite navodilom v Ustvarite gručo. Nastavite Dostop do baze podatkov in Dostop do omrežja.

Napolnite zbirko časovnih vrst v MongoDB Atlas

Za namene te predstavitve lahko uporabite vzorčni nabor podatkov iz Kaggle in ga naložite v MongoDB Atlas z MongoDB orodja , Prednostno Kompas MongoDB.

Naslednja koda prikazuje vzorčni niz podatkov za zbirko časovnih vrst:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

Naslednji posnetek zaslona prikazuje vzorčne podatke o časovni vrsti v Atlasu MongoDB:

Ustvarite vedro S3

ustvarjanje vedro S3 v AWS, kjer je treba shraniti in analizirati podatke o časovni vrsti. Upoštevajte, da imamo dve mapi. sales-train-data se uporablja za shranjevanje podatkov, pridobljenih iz Atlasa MongoDB, medtem ko sales-forecast-output vsebuje napovedi iz  Canvas.

Ustvari podatkovno zvezo

Nastavite Podatkovna zveza v Atlasu in registrirajte vedro S3, ki je bilo predhodno ustvarjeno kot del vira podatkov. Upoštevajte, da so tri različne baze podatkov/zbirke ustvarjene v podatkovni federaciji za gručo Atlas, vedro S3 za podatke MongoDB Atlas in vedro S3 za shranjevanje rezultatov Canvas.

Naslednji posnetki zaslona prikazujejo nastavitev podatkovne zveze.

Nastavite aplikacijsko storitev Atlas

Ustvarite Aplikacijske storitve MongoDB za uvedbo funkcij za prenos podatkov iz gruče MongoDB Atlas v vedro S3 z uporabo $ven združevanje.

Preverite konfiguracijo vira podatkov

Aplikacijske storitve ustvarijo novo ime storitve Altas, ki ga je treba navesti kot podatkovne storitve v naslednji funkciji. Preverite, ali je ime storitve Atlas ustvarjeno in si ga zabeležite za prihodnjo uporabo.

Ustvari funkcijo

Nastavite storitve aplikacije Atlas za ustvarjanje sprožilec in funkcije. Sprožilci morajo biti načrtovani za pisanje podatkov v S3 ob določeni frekvenci glede na poslovne potrebe po usposabljanju modelov.

Naslednji skript prikazuje funkcijo za pisanje v vedro S3:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Vzorčna funkcija

Funkcijo je mogoče zagnati prek zavihka Run in napake je mogoče odpraviti s funkcijami dnevnika v aplikacijskih storitvah. Poleg tega lahko napake odpravite z uporabo menija Dnevniki v levem podoknu.

Naslednji posnetek zaslona prikazuje izvajanje funkcije skupaj z izhodom:

Ustvarite nabor podatkov v Amazon SageMaker Canvas

Naslednji koraki predvidevajo, da ste ustvarili domeno SageMaker in uporabniški profil. Če tega še niste storili, se prepričajte, da ste konfigurirali Domena in uporabniški profil SageMaker. V uporabniškem profilu posodobite svoje vedro S3, da bo prilagojeno, in vnesite ime svojega vedra.

Ko končate, se pomaknite do SageMaker Canvas, izberite svojo domeno in profil ter izberite Canvas.

Ustvarite nabor podatkov, ki zagotavlja vir podatkov.

Izberite vir nabora podatkov kot S3

Izberite lokacijo podatkov iz vedra S3 in izberite Ustvari nabor podatkov.

Preglejte shemo in kliknite Ustvari nabor podatkov

Po uspešnem uvozu se bo nabor podatkov prikazal na seznamu, kot je prikazano na naslednjem posnetku zaslona.

Trenirajte model

Nato bomo uporabili Canvas za nastavitev za usposabljanje modela. Izberite nabor podatkov in kliknite Ustvari.

Ustvarite ime modela, izberite Prediktivna analiza in izberite Ustvari.

Izberite ciljni stolpec

Nato kliknite Konfiguriraj model časovne vrste in izberite item_id kot stolpec ID predmeta.

Izberite tm za stolpec s časovnim žigom

Če želite določiti čas, ki ga želite napovedati, izberite 8 tednov.

Zdaj ste pripravljeni na predogled modela ali zagon postopka gradnje.

Ko si predogledate model ali zaženete gradnjo, bo vaš model ustvarjen in lahko traja do štiri ure. Zaslon lahko zapustite in se vrnete, da vidite status usposabljanja modela.

Ko je model pripravljen, izberite model in kliknite najnovejšo različico

Preglejte metrike modela in vpliv stolpcev in če ste zadovoljni z zmogljivostjo modela, kliknite Predvidi.

Nato izberite Paketno predvidevanje in kliknite Izberi nabor podatkov.

Izberite svoj nabor podatkov in kliknite Izberi nabor podatkov.

Nato kliknite Začni napovedi.

Opazujte ustvarjeno opravilo ali opazujte napredek opravila v SageMakerju pod Inference, Batch transformation jobs.

Ko je opravilo končano, izberite opravilo in zabeležite pot S3, kjer je Canvas shranil predvidevanja.

Vizualizirajte podatke napovedi v Atlas Charts

Za vizualizacijo podatkov napovedi ustvarite Grafi MongoDB Atlas na podlagi zveznih podatkov (amazon-forecast-data) za napovedi P10, P50 in P90, kot je prikazano v naslednji tabeli.

Čiščenje

• Izbrišite gručo MongoDB Atlas
• Izbriši konfiguracijo Atlas Data Federation
• Izbriši Atlas Application Service App
• Izbrišite vedro S3
• Izbrišite nabor podatkov in modele Amazon SageMaker Canvas
• Izbrišite Atlas Charts
• Odjavite se iz Amazon SageMaker Canvas

zaključek

V tej objavi smo ekstrahirali podatke časovnih vrst iz zbirke časovnih vrst MongoDB. To je posebna zbirka, optimizirana za shranjevanje in hitrost poizvedovanja podatkov časovnih vrst. Uporabili smo Amazon SageMaker Canvas za usposabljanje modelov in ustvarjanje napovedi, napovedi pa smo vizualizirali v Atlas Charts.

Za več informacij si oglejte naslednje vire.

---

O avtorjih

Igor Aleksejev je višji arhitekt partnerskih rešitev pri AWS na področju podatkov in analitike. V svoji vlogi Igor sodeluje s strateškimi partnerji in jim pomaga zgraditi kompleksne arhitekture, optimizirane za AWS. Preden se je pridružil AWS, je kot Data/Solution Architect izvajal številne projekte na področju Big Data, vključno z več podatkovnimi jezeri v ekosistemu Hadoop. Kot podatkovni inženir je sodeloval pri uporabi AI/ML za odkrivanje goljufij in pisarniško avtomatizacijo.

Babu Srinivasan je višji arhitekt partnerskih rešitev pri MongoDB. V svoji trenutni vlogi sodeluje z AWS pri izgradnji tehničnih integracij in referenčnih arhitektur za rešitve AWS in MongoDB. Ima več kot dve desetletji izkušenj na področju podatkovnih baz in tehnologij v oblaku. Strastno se ukvarja z zagotavljanjem tehničnih rešitev strankam, ki delajo z več globalnimi sistemskimi integratorji (GSI) na različnih območjih.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/