MongoDB aegridade kogude ja Amazon SageMakeri lõuendi abil ülevaate saamiseks kuluva aja kiirendamine | Amazoni veebiteenused

See on külalispostitus, mis on kirjutatud koos Babu Srinivasaniga MongoDB-st.

Kuna tööstused arenevad tänapäeva kiire tempoga ärimaastikul, seab reaalajas prognooside puudumine olulisi väljakutseid tööstusharudele, mis sõltuvad suuresti täpsest ja õigeaegsest ülevaatest. Reaalajas prognooside puudumine erinevates tööstusharudes kujutab endast kiireloomulisi äriprobleeme, mis võivad oluliselt mõjutada otsuste tegemist ja tegevuse tõhusust. Ilma reaalajas ülevaateta on ettevõtetel raske kohaneda dünaamiliste turutingimustega, prognoosida täpselt klientide nõudlust, optimeerida varude taset ja teha ennetavaid strateegilisi otsuseid. Sellised tööstusharud nagu rahandus, jaemüük, tarneahela juhtimine ja logistika seisavad silmitsi võimalustega kasutamata jätmise, suurenenud kulude, ebatõhusa ressursside jaotamise ja suutmatuse täita klientide ootusi. Neid väljakutseid uurides saavad organisatsioonid mõista reaalajas prognoosimise olulisust ja otsida uuenduslikke lahendusi nende takistuste ületamiseks, mis võimaldavad neil konkurentsis püsida, teha teadlikke otsuseid ja areneda tänapäeva kiires ärikeskkonnas.

Kasutades ära MongoDB põliselaniku transformatiivset potentsiaali aegridad andmevõimalusi ja nende integreerimist Amazon SageMakeri lõuend, saavad organisatsioonid nendest väljakutsetest üle saada ja avada uued paindlikkuse tasemed. MongoDB jõuline aegridade andmehaldus võimaldab salvestada ja otsida reaalajas suuri aegridade andmeid, samas kui täiustatud masinõppe algoritmid ja prognoosimisvõimalused pakuvad SageMaker Canvasiga täpseid ja dünaamilisi prognoosimudeleid.

Selles postituses uurime MongoDB aegridade andmete ja SageMaker Canvase kasutamise potentsiaali tervikliku lahendusena.

MongoDB atlas

MongoDB atlas on täielikult hallatav arendajaandmete platvorm, mis lihtsustab MongoDB andmebaaside juurutamist ja skaleerimist pilves. See on dokumendipõhine salvestusruum, mis pakub täielikult hallatavat andmebaasi koos sisseehitatud täisteksti ja vektoriga Otsing, tugi Geospatial päringud, Äritegevus ja kohalik tugi tõhusaks aegridad salvestus- ja päringuvõimalused. MongoDB Atlas pakub automaatset jagamist, horisontaalset skaleeritavust ja paindlikku indekseerimist suure mahuga andmete sissevõtmiseks. Natiivsed aegridade võimalused on muu hulgas silmapaistvad funktsioonid, mis muudavad selle ideaalseks suure hulga aegridade andmete haldamiseks, nagu ärikriitilised rakendusandmed, telemeetria, serverilogid ja palju muud. Tõhusate päringute, koondamise ja analüütika abil saavad ettevõtted ajatempliga andmetest väärtuslikku teavet ammutada. Neid võimalusi kasutades saavad ettevõtted aegridade andmeid tõhusalt salvestada, hallata ja analüüsida, võimaldades andmepõhiseid otsuseid ja saavutada konkurentsieelise.

Amazon SageMakeri lõuend

Amazon SageMakeri lõuend on visuaalse masinõppe (ML) teenus, mis võimaldab ärianalüütikutel ja andmeteadlastel luua ja juurutada kohandatud ML-mudeleid, ilma et oleks vaja ML-i kogemust või kirjutada ühte koodirida. SageMaker Canvas toetab mitmeid kasutusjuhtumeid, sealhulgas aegridade prognoosimine, mis võimaldab ettevõtetel prognoosida täpselt tulevast nõudlust, müüki, ressursivajadust ja muid aegridade andmeid. Teenus kasutab keerukate andmemustrite käsitlemiseks süvaõppe tehnikaid ja võimaldab ettevõtetel luua täpseid prognoose isegi minimaalsete ajalooliste andmetega. Amazon SageMaker Canvase võimalusi kasutades saavad ettevõtted teha teadlikke otsuseid, optimeerida varude taset, parandada tegevuse tõhusust ja suurendada klientide rahulolu.

SageMaker Canvas UI võimaldab sujuvalt integreerida andmeallikaid pilvest või kohapeal, liita andmekogumeid vaevata, koolitada täpseid mudeleid ja teha prognoose tekkivate andmetega – kõike seda ilma kodeerimiseta. Kui vajate automatiseeritud töövoogu või otsest ML-mudeli integreerimist rakendustesse, on lõuendi prognoosimisfunktsioonid juurdepääsetavad API-liidesed.

Lahenduse ülevaade

Kasutajad säilitavad oma tehingute aegridade andmed MongoDB Atlases. Atlas Data Federationi kaudu ekstraheeritakse andmed Amazon S3 ämbrisse. Amazon SageMaker Canvas pääseb andmetele juurde mudelite koostamiseks ja prognooside loomiseks. Prognoosimise tulemused salvestatakse S3 ämbrisse. MongoDB Data Federationi teenuseid kasutades esitatakse prognoosid visuaalselt MongoDB diagrammide kaudu.

Järgmisel diagrammil on välja pakutud lahenduse arhitektuur.

Eeldused

Selle lahenduse jaoks kasutame aegridade andmete salvestamiseks MongoDB Atlast, mudeli koolitamiseks ja prognooside koostamiseks Amazon SageMaker Canvast ning MongoDB Atlasest eraldatud andmete salvestamiseks Amazon S3.

Veenduge, et teil on järgmised eeltingimused:

MongoDB Atlase klastri konfigureerimine

Looge tasuta MongoDB Atlase klaster, järgides juhiseid Looge klaster. Seadistage Juurdepääs andmebaasile ja Juurdepääs võrgule.

Täiendage MongoDB Atlases aegridade kogu

Selle tutvustamise eesmärgil saate kasutada näidisandmekomplekti alates Kaagutama ja laadige sama MongoDB Atlasesse üles koos MongoDB-ga töövahendid Eelistatavalt MongoDB kompass.

Järgmine kood näitab aegridade kogumi näidisandmekomplekti.

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

Järgmine ekraanipilt näitab MongoDB Atlase aegridade näidisandmeid:

Looge S3 ämber

Looma S3 ämber AWS-is, kus aegridade andmeid tuleb salvestada ja analüüsida. Pange tähele, et meil on kaks kausta. sales-train-data kasutatakse MongoDB Atlasest eraldatud andmete salvestamiseks, samas sales-forecast-output sisaldab ennustusi teenusest Canvas.

Looge andmete föderatsioon

Seadistage Andmete föderatsioon Atlases ja registreerige varem loodud S3 ämber andmeallika osana. Pange tähele, et kolm erinevat andmebaasi/kogu luuakse andmeliidus Atlase klastri jaoks, S3 ämber MongoDB Atlase andmete jaoks ja S3 ämber Canvase tulemuste salvestamiseks.

Järgmised ekraanipildid näitavad andmete liitmise seadistust.

Seadistage Atlase rakendusteenus

Loo MongoDB rakendusteenused funktsioonide juurutamiseks andmete ülekandmiseks MongoDB Atlase klastrist S3 ämbrisse, kasutades $välja liitmine.

Kontrollige andmeallika konfiguratsiooni

Rakendusteenused loovad uue Altas teenuse nime, mida tuleb järgmises funktsioonis nimetada andmeteenusteks. Veenduge, et Atlase teenuse nimi on loodud, ja märkige see üles edaspidiseks kasutamiseks.

Looge funktsioon

Seadistage Atlase rakenduse teenused, et luua päästik ja funktsioonid. Päästikud tuleb ajastada, et kirjutada andmed S3-sse perioodi sagedusega, mis põhineb ärivajadusel mudelite koolitamiseks.

Järgmine skript näitab funktsiooni S3 ämbrisse kirjutamiseks:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Näidisfunktsioon

Funktsiooni saab käivitada vahekaardi Käivita kaudu ja vigu saab siluda rakendusteenuste logifunktsioonide abil. Lisaks saab vigu siluda vasakpoolsel paanil menüü Logid abil.

Järgmine ekraanipilt näitab funktsiooni täitmist koos väljundiga:

Looge andmestik rakenduses Amazon SageMaker Canvas

Järgmised sammud eeldavad, et olete loonud SageMakeri domeeni ja kasutajaprofiili. Kui te pole seda veel teinud, veenduge, et olete konfigureerinud SageMakeri domeen ja kasutajaprofiil. Värskendage kasutajaprofiilis oma S3 ämbrit, et see oleks kohandatud, ja sisestage oma ämbri nimi.

Kui olete lõpetanud, navigeerige saidile SageMaker Canvas, valige oma domeen ja profiil ning valige Canvas.

Looge andmeallikat pakkuv andmestik.

Valige andmestiku allikaks S3

Valige S3 ämbrist andmete asukoht ja valige Loo andmestik.

Vaadake skeem üle ja klõpsake nuppu Loo andmestik

Eduka importimise korral kuvatakse andmestik loendis, nagu on näidatud järgmisel ekraanipildil.

Treeni modelli

Järgmisena kasutame mudeli koolitamiseks seadistamiseks Canvast. Valige andmestik ja klõpsake nuppu Loo.

Looge mudeli nimi, valige Ennustav analüüs ja seejärel Loo.

Valige sihtveerg

Järgmisena klikkige käsul Ajaseeria mudeli konfigureerimine ja valige veeruks Item_id item_id.

valima tm ajatempli veeru jaoks

Prognoosi aja määramiseks valige 8 nädalat.

Nüüd olete valmis mudeli eelvaadet vaatama või koostamisprotsessi käivitama.

Pärast mudeli eelvaate vaatamist või järgu käivitamist luuakse teie mudel ja selleks võib kuluda kuni neli tundi. Saate ekraanilt lahkuda ja naasta, et näha mudelitreeningu olekut.

Kui mudel on valmis, valige mudel ja klõpsake uusimal versioonil

Vaadake üle mudeli mõõdikud ja veeru mõju ning kui olete mudeli toimivusega rahul, klõpsake nuppu Prognoosi.

Järgmisena valige Partii ennustus ja klõpsake nuppu Vali andmestik.

Valige oma andmestik ja klõpsake nuppu Vali andmestik.

Järgmisena klõpsake nuppu Alusta ennustusi.

Jälgige loodud tööd või jälgige töö edenemist SageMakeris jaotises Järeldus, pakk teisenda töid.

Kui töö on lõpetatud, valige töö ja märkige üles S3 tee, kuhu Canvas prognoosid salvestas.

Visualiseerige prognoosiandmeid Atlase diagrammides

Prognoosiandmete visualiseerimiseks looge MongoDB Atlase graafikud põhinevad liitandmetel (amazon-forecast-data) P10, P50 ja P90 prognooside jaoks, nagu on näidatud järgmisel diagrammil.

Koristage

• Kustutage MongoDB Atlase klaster
• Kustutage Atlase andmete liitmise konfiguratsioon
• Kustutage rakendus Atlas Application Service
• Kustutage S3 ämber
• Kustutage Amazon SageMaker Canvas andmestik ja mudelid
• Kustutage atlase diagrammid
• Logige Amazon SageMaker Canvasist välja

Järeldus

Selles postituses eraldasime aegridade andmed MongoDB aegridade kogust. See on spetsiaalne kogu, mis on optimeeritud aegridade andmete salvestamiseks ja päringu kiiruseks. Kasutasime mudelite koolitamiseks ja ennustuste loomiseks Amazon SageMaker Canvast ning visualiseerisime ennustused Atlase diagrammides.

Lisateabe saamiseks vaadake järgmisi ressursse.

---

Autoritest

Igor Aleksejev on AWS-i vanempartnerlahenduste arhitekt Andmete ja Analyticsi domeenis. Oma rollis teeb Igor koostööd strateegiliste partneritega, aidates neil ehitada keerulisi AWS-i jaoks optimeeritud arhitektuure. Enne AWS-iga liitumist viis ta andmete/lahenduste arhitektina ellu palju projekte suurandmete domeenis, sealhulgas mitut Hadoopi ökosüsteemi andmejärve. Andmeinsenerina oli ta seotud AI/ML rakendamisega pettuste tuvastamisel ja kontori automatiseerimisel.

Babu Srinivasan on MongoDB vanempartnerilahenduste arhitekt. Oma praeguses rollis töötab ta koos AWS-iga, et luua AWS-i ja MongoDB lahenduste tehnilisi integratsioone ja võrdlusarhitektuure. Tal on enam kui kahe aastakümne pikkune kogemus andmebaasi- ja pilvetehnoloogiate vallas. Ta on kirglik tehniliste lahenduste pakkumise vastu klientidele, kes töötavad mitme globaalse süsteemiintegraatoriga (GSI) mitmes geograafilises piirkonnas.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/