Accelerarea timpului până la perspectivă cu colecțiile de serii cronologice MongoDB și Amazon SageMaker Canvas | Amazon Web Services

Aceasta este o postare pentru invitați scrisă împreună cu Babu Srinivasan de la MongoDB.

Pe măsură ce industriile evoluează în peisajul de afaceri rapid de astăzi, incapacitatea de a avea previziuni în timp real reprezintă provocări semnificative pentru industriile care se bazează în mare măsură pe informații precise și în timp util. Absența previziunilor în timp real în diverse industrii prezintă provocări presante de afaceri care pot avea un impact semnificativ asupra procesului decizional și eficienței operaționale. Fără informații în timp real, companiile se luptă să se adapteze la condițiile dinamice ale pieței, să anticipeze cu exactitate cererea clienților, să optimizeze nivelurile stocurilor și să ia decizii strategice proactive. Industrii precum finanțele, comerțul cu amănuntul, managementul lanțului de aprovizionare și logistica se confruntă cu riscul de oportunități ratate, costuri crescute, alocare ineficientă a resurselor și incapacitatea de a îndeplini așteptările clienților. Explorând aceste provocări, organizațiile pot recunoaște importanța prognozării în timp real și pot explora soluții inovatoare pentru a depăși aceste obstacole, permițându-le să rămână competitive, să ia decizii informate și să prospere în mediul de afaceri rapid de astăzi.

Prin valorificarea potențialului de transformare al nativului MongoDB serii de timp capabilităților de date și integrarea acestora cu puterea de Amazon SageMaker Canvas, organizațiile pot depăși aceste provocări și pot debloca noi niveluri de agilitate. Gestionarea robustă a datelor din seria temporală de la MongoDB permite stocarea și preluarea unor volume mari de date din seria temporală în timp real, în timp ce algoritmii de învățare automată și capabilitățile de predicție oferă modele de prognoză precise și dinamice cu SageMaker Canvas.

În această postare, vom explora potențialul utilizării datelor din seria temporală MongoDB și SageMaker Canvas ca soluție cuprinzătoare.

Atlas MongoDB

Atlas MongoDB este o platformă de date pentru dezvoltatori complet gestionată care simplifică implementarea și scalarea bazelor de date MongoDB în cloud. Este o stocare bazată pe documente care oferă o bază de date complet gestionată, cu text integral și vector încorporat Caută, Suport pentru Geospatiale întrebări, Grafice și suport nativ pentru eficient serii de timp capabilități de stocare și interogare. MongoDB Atlas oferă fragmentare automată, scalabilitate orizontală și indexare flexibilă pentru asimilarea unui volum mare de date. Printre toate, capabilitățile native ale seriei temporale sunt o caracteristică remarcabilă, făcându-l ideal pentru gestionarea unui volum mare de date din seria temporală, cum ar fi datele aplicațiilor critice pentru afaceri, telemetria, jurnalele de server și multe altele. Cu interogări, agregare și analize eficiente, companiile pot extrage informații valoroase din datele marcate cu timp. Folosind aceste capabilități, companiile pot stoca, gestiona și analiza eficient datele din serii de timp, permițând decizii bazate pe date și câștigând un avantaj competitiv.

Amazon SageMaker Canvas

Amazon SageMaker Canvas este un serviciu de învățare automată vizuală (ML) care le permite analiștilor de afaceri și oamenilor de știință de date să construiască și să implementeze modele personalizate de ML fără a necesita experiență ML sau să scrie o singură linie de cod. SageMaker Canvas acceptă o serie de cazuri de utilizare, inclusiv prognoza serii temporale, care dă putere companiilor să prezică cu exactitate cererea viitoare, vânzările, cerințele de resurse și alte date din serii de timp. Serviciul folosește tehnici de învățare profundă pentru a gestiona modele complexe de date și permite companiilor să genereze previziuni precise chiar și cu date istorice minime. Folosind capabilitățile Amazon SageMaker Canvas, companiile pot lua decizii informate, pot optimiza nivelurile de inventar, pot îmbunătăți eficiența operațională și pot spori satisfacția clienților.

Interfața de utilizare SageMaker Canvas vă permite să integrați perfect sursele de date din cloud sau on-premises, să îmbinați seturi de date fără efort, să antrenați modele precise și să faceți predicții cu datele emergente - totul fără codare. Dacă aveți nevoie de un flux de lucru automatizat sau de integrare directă a modelului ML în aplicații, funcțiile de prognoză Canvas sunt accesibile prin API-uri.

Prezentare generală a soluțiilor

Utilizatorii își păstrează datele din seria cronologică tranzacțională în MongoDB Atlas. Prin Atlas Data Federation, datele sunt extrase în compartimentul Amazon S3. Amazon SageMaker Canvas accesează datele pentru a construi modele și pentru a crea prognoze. Rezultatele prognozei sunt stocate într-o găleată S3. Folosind serviciile MongoDB Data Federation, prognozele sunt prezentate vizual prin MongoDB Charts.

Următoarea diagramă prezintă arhitectura soluției propuse.

Cerințe preliminare

Pentru această soluție, folosim MongoDB Atlas pentru a stoca datele din seria temporală, Amazon SageMaker Canvas pentru a antrena un model și a produce prognoze și Amazon S3 pentru a stoca datele extrase din MongoDB Atlas.

Asigurați-vă că aveți următoarele cerințe preliminare:

Configurați clusterul MongoDB Atlas

Creați un cluster MongoDB Atlas gratuit urmând instrucțiunile din Creați un cluster. Configurați Acces la baza de date și Acces la retea.

Populați o colecție de serii cronologice în MongoDB Atlas

În scopul acestei demonstrații, puteți utiliza un exemplu de set de date de la Kaggle și încărcați același lucru în MongoDB Atlas cu MongoDB Unelte , preferabil Busolă MongoDB.

Următorul cod arată un exemplu de set de date pentru o colecție de serii cronologice:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

Următoarea captură de ecran arată exemplele de date ale seriei temporale din MongoDB Atlas:

Creați o găleată S3

Crea un bucket S3 în AWS , unde datele din seria temporală trebuie stocate și analizate. Rețineți că avem două foldere. sales-train-data este folosit pentru a stoca datele extrase din MongoDB Atlas, în timp ce sales-forecast-output conține predicții din  Canvas.

Creați Federația de date

Configurarea Federația de date în Atlas și înregistrați compartimentul S3 creat anterior ca parte a sursei de date. Observați că cele trei baze de date/colecții diferite sunt create în federația de date pentru clusterul Atlas, compartimentul S3 pentru datele MongoDB Atlas și compartimentul S3 pentru a stoca rezultatele Canvas.

Următoarele capturi de ecran arată configurarea federației de date.

Configurați serviciul de aplicație Atlas

Creați Servicii de aplicații MongoDB pentru a implementa funcțiile pentru a transfera datele din clusterul MongoDB Atlas în bucket S3 folosind $out agregare.

Verificați configurația sursei de date

Serviciile de aplicație creează un nou nume de serviciu Altas, care trebuie menționat ca servicii de date în următoarea funcție. Verificați dacă numele serviciului Atlas este creat și notați-l pentru referințe viitoare.

Creați funcția

Configurați serviciile de aplicație Atlas pentru a crea declanșatorul și funcțiile. Declanșatorii trebuie să fie programați pentru a scrie datele în S3 la o frecvență de perioadă bazată pe nevoia afacerii de instruire a modelelor.

Următorul script arată funcția de a scrie în bucket-ul S3:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Funcție de probă

Funcția poate fi rulată prin fila Run și erorile pot fi depanate folosind funcțiile de jurnal din Serviciile de aplicație. În plus, erorile pot fi depanate folosind meniul Jurnale din panoul din stânga.

Următoarea captură de ecran arată execuția funcției împreună cu rezultatul:

Creați un set de date în Amazon SageMaker Canvas

Următorii pași presupun că ați creat un domeniu SageMaker și un profil de utilizator. Dacă nu ați făcut deja acest lucru, asigurați-vă că ați configurat Domeniul și profilul de utilizator SageMaker. În profilul de utilizator, actualizați compartimentul S3 pentru a fi personalizat și furnizați numele compartimentului.

Când ați terminat, navigați la SageMaker Canvas, selectați domeniul și profilul dvs. și selectați Canvas.

Creați un set de date care furnizează sursa de date.

Selectați sursa setului de date ca S3

Selectați locația datelor din compartimentul S3 și selectați Creare set de date.

Examinați schema și faceți clic pe Creare set de date

După importarea cu succes, setul de date va apărea în listă, așa cum se arată în următoarea captură de ecran.

Antrenează modelul

În continuare, vom folosi Canvas pentru a configura modelul. Selectați setul de date și faceți clic pe Creare.

Creați un nume de model, selectați Analiză predictivă și selectați Creare.

Selectați coloana țintă

Apoi, faceți clic pe Configurare model de serie de timp și selectați item_id ca coloană Item ID.

Selectați tm pentru coloana de marcaj de timp

Pentru a specifica perioada de timp pe care doriți să o prognozați, alegeți 8 săptămâni.

Acum sunteți gata să previzualizați modelul sau să lansați procesul de construire.

După ce previzualizați modelul sau lansați construcția, modelul dvs. va fi creat și poate dura până la patru ore. Puteți părăsi ecranul și reveniți pentru a vedea starea antrenamentului modelului.

Când modelul este gata, selectați modelul și faceți clic pe cea mai recentă versiune

Examinați valorile modelului și impactul coloanei și, dacă sunteți mulțumit de performanța modelului, faceți clic pe Predicți.

Apoi, alegeți Predicție lot și faceți clic pe Selectați setul de date.

Selectați setul de date și faceți clic pe Alegeți setul de date.

Apoi, faceți clic pe Start Predicții.

Observați un loc de muncă creat sau observați progresul locului de muncă în SageMaker sub Inferență, Lucrări de transformare în lot.

Când lucrarea se termină, selectați lucrarea și notați calea S3 în care Canvas a stocat predicțiile.

Vizualizați datele de prognoză în Atlas Charts

Pentru a vizualiza datele de prognoză, creați Diagramele MongoDB Atlas pe baza datelor federate (amazon-forecast-data) pentru prognozele P10, P50 și P90, așa cum se arată în graficul următor.

A curăța

• Ștergeți clusterul MongoDB Atlas
• Ștergeți configurația Atlas Data Federation
• Ștergeți aplicația Atlas Application Service
• Ștergeți găleata S3
• Ștergeți setul de date și modelele Amazon SageMaker Canvas
• Ștergeți diagramele Atlas
• Deconectați-vă de la Amazon SageMaker Canvas

Concluzie

În această postare, am extras datele de serie de timp din colecția de serii de timp MongoDB. Aceasta este o colecție specială optimizată pentru stocarea și viteza de interogare a datelor din seria temporală. Am folosit Amazon SageMaker Canvas pentru a antrena modele și a genera predicții și am vizualizat predicțiile în Atlas Charts.

Pentru mai multe informații, consultați următoarele resurse.

---

Despre autori

Igor Alekseev este un Senior Partner Architect Solution la AWS în domeniul Date și Analytics. În rolul său, Igor lucrează cu parteneri strategici, ajutându-i să construiască arhitecturi complexe, optimizate pentru AWS. Înainte de a se alătura AWS, ca arhitect de date/soluții, a implementat multe proiecte în domeniul Big Data, inclusiv mai multe lacuri de date în ecosistemul Hadoop. În calitate de inginer de date, a fost implicat în aplicarea AI/ML pentru detectarea fraudelor și automatizarea biroului.

Babu Srinivasan este un Senior Partner Solutions Architect la MongoDB. În rolul său actual, lucrează cu AWS pentru a construi integrările tehnice și arhitecturile de referință pentru soluțiile AWS și MongoDB. Are peste două decenii de experiență în tehnologiile de baze de date și cloud. Este pasionat de furnizarea de soluții tehnice clienților care lucrează cu mai mulți integratori de sisteme globale (GSI) în mai multe zone geografice.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/