MongoDB समय श्रृंखला संग्रह और अमेज़ॅन सेजमेकर कैनवस के साथ समय-से-अंतर्दृष्टि में तेजी लाना | अमेज़न वेब सेवाएँ

यह MongoDB के बाबू श्रीनिवासन के साथ सह-लिखित एक अतिथि पोस्ट है।

जैसे-जैसे उद्योग आज के तेज़ गति वाले व्यावसायिक परिदृश्य में विकसित हो रहे हैं, वास्तविक समय के पूर्वानुमान की असमर्थता उन उद्योगों के लिए महत्वपूर्ण चुनौतियाँ पैदा करती है जो सटीक और समय पर अंतर्दृष्टि पर बहुत अधिक निर्भर हैं। विभिन्न उद्योगों में वास्तविक समय के पूर्वानुमानों की अनुपस्थिति गंभीर व्यावसायिक चुनौतियाँ प्रस्तुत करती है जो निर्णय लेने और परिचालन दक्षता पर महत्वपूर्ण प्रभाव डाल सकती हैं। वास्तविक समय की अंतर्दृष्टि के बिना, व्यवसाय गतिशील बाजार स्थितियों के अनुकूल होने, ग्राहक की मांग का सटीक अनुमान लगाने, इन्वेंट्री स्तर को अनुकूलित करने और सक्रिय रणनीतिक निर्णय लेने के लिए संघर्ष करते हैं। वित्त, खुदरा, आपूर्ति श्रृंखला प्रबंधन और लॉजिस्टिक्स जैसे उद्योगों को अवसर चूकने, बढ़ी हुई लागत, अकुशल संसाधन आवंटन और ग्राहकों की अपेक्षाओं को पूरा करने में असमर्थता के जोखिम का सामना करना पड़ता है। इन चुनौतियों का पता लगाकर, संगठन वास्तविक समय के पूर्वानुमान के महत्व को पहचान सकते हैं और इन बाधाओं को दूर करने के लिए नवीन समाधान तलाश सकते हैं, जिससे वे प्रतिस्पर्धी बने रह सकें, सूचित निर्णय ले सकें और आज के तेज़ गति वाले कारोबारी माहौल में आगे बढ़ सकें।

MongoDB के मूल निवासी की परिवर्तनकारी क्षमता का उपयोग करके समय श्रृंखला डेटा क्षमताओं और इसे की शक्ति के साथ एकीकृत करना अमेज़ॅन सेजमेकर कैनवास, संगठन इन चुनौतियों पर काबू पा सकते हैं और चपलता के नए स्तर अनलॉक कर सकते हैं। MongoDB का मजबूत समय श्रृंखला डेटा प्रबंधन वास्तविक समय में बड़ी मात्रा में समय-श्रृंखला डेटा के भंडारण और पुनर्प्राप्ति की अनुमति देता है, जबकि उन्नत मशीन लर्निंग एल्गोरिदम और पूर्वानुमान क्षमताएं सेजमेकर कैनवस के साथ सटीक और गतिशील पूर्वानुमान मॉडल प्रदान करती हैं।

इस पोस्ट में, हम एक व्यापक समाधान के रूप में MongoDB के टाइम सीरीज़ डेटा और सेजमेकर कैनवस का उपयोग करने की क्षमता का पता लगाएंगे।

MongoDB एटलस

MongoDB एटलस एक पूरी तरह से प्रबंधित डेवलपर डेटा प्लेटफ़ॉर्म है जो क्लाउड में MongoDB डेटाबेस की तैनाती और स्केलिंग को सरल बनाता है। यह एक दस्तावेज़ आधारित भंडारण है जो अंतर्निहित पूर्ण-पाठ और वेक्टर के साथ पूरी तरह से प्रबंधित डेटाबेस प्रदान करता है Search, के लिए समर्थन भू-स्थानिक प्रश्न, चार्ट और कुशल के लिए मूल समर्थन समय श्रृंखला भंडारण और पूछताछ क्षमताएं। MongoDB एटलस उच्च-मात्रा डेटा अंतर्ग्रहण के लिए स्वचालित शार्डिंग, क्षैतिज स्केलेबिलिटी और लचीली अनुक्रमणिका प्रदान करता है। इन सबके बीच, मूल समय श्रृंखला क्षमताएं एक असाधारण विशेषता है, जो इसे व्यावसायिक महत्वपूर्ण एप्लिकेशन डेटा, टेलीमेट्री, सर्वर लॉग और अधिक जैसे समय-श्रृंखला डेटा की उच्च मात्रा के प्रबंधन के लिए आदर्श बनाती है। कुशल पूछताछ, एकत्रीकरण और विश्लेषण के साथ, व्यवसाय टाइम-स्टैम्प्ड डेटा से मूल्यवान अंतर्दृष्टि निकाल सकते हैं। इन क्षमताओं का उपयोग करके, व्यवसाय समय-श्रृंखला डेटा को कुशलतापूर्वक संग्रहीत, प्रबंधित और विश्लेषण कर सकते हैं, डेटा-संचालित निर्णयों को सक्षम कर सकते हैं और प्रतिस्पर्धात्मक बढ़त हासिल कर सकते हैं।

अमेज़ॅन सेजमेकर कैनवास

अमेज़ॅन सेजमेकर कैनवास एक विज़ुअल मशीन लर्निंग (एमएल) सेवा है जो व्यापार विश्लेषकों और डेटा वैज्ञानिकों को बिना किसी एमएल अनुभव की आवश्यकता या कोड की एक पंक्ति लिखने के बिना कस्टम एमएल मॉडल बनाने और तैनात करने में सक्षम बनाती है। सेजमेकर कैनवस कई उपयोग मामलों का समर्थन करता है, जिनमें शामिल हैं समय-श्रृंखला पूर्वानुमान, जो व्यवसायों को भविष्य की मांग, बिक्री, संसाधन आवश्यकताओं और अन्य समय-श्रृंखला डेटा का सटीक पूर्वानुमान लगाने का अधिकार देता है। सेवा जटिल डेटा पैटर्न को संभालने के लिए गहन शिक्षण तकनीकों का उपयोग करती है और व्यवसायों को न्यूनतम ऐतिहासिक डेटा के साथ भी सटीक पूर्वानुमान उत्पन्न करने में सक्षम बनाती है। अमेज़ॅन सेजमेकर कैनवास क्षमताओं का उपयोग करके, व्यवसाय सूचित निर्णय ले सकते हैं, इन्वेंट्री स्तर को अनुकूलित कर सकते हैं, परिचालन दक्षता में सुधार कर सकते हैं और ग्राहकों की संतुष्टि बढ़ा सकते हैं।

सेजमेकर कैनवस यूआई आपको क्लाउड या ऑन-प्रिमाइसेस से डेटा स्रोतों को सहजता से एकीकृत करने, डेटासेट को आसानी से मर्ज करने, सटीक मॉडल को प्रशिक्षित करने और उभरते डेटा के साथ पूर्वानुमान लगाने की सुविधा देता है - यह सब बिना कोडिंग के। यदि आपको ऐप्स में स्वचालित वर्कफ़्लो या प्रत्यक्ष एमएल मॉडल एकीकरण की आवश्यकता है, तो कैनवास पूर्वानुमान फ़ंक्शन इसके माध्यम से पहुंच योग्य हैं एपीआई.

समाधान अवलोकन

उपयोगकर्ता अपने लेनदेन समय श्रृंखला डेटा को MongoDB एटलस में बनाए रखते हैं। एटलस डेटा फ़ेडरेशन के माध्यम से, डेटा को Amazon S3 बकेट में निकाला जाता है। अमेज़ॅन सेजमेकर कैनवास मॉडल बनाने और पूर्वानुमान बनाने के लिए डेटा तक पहुंचता है। पूर्वानुमान के परिणाम S3 बकेट में संग्रहीत होते हैं। MongoDB डेटा फ़ेडरेशन सेवाओं का उपयोग करते हुए, पूर्वानुमान MongoDB चार्ट के माध्यम से दृश्य रूप से प्रस्तुत किए जाते हैं।

निम्नलिखित चित्र प्रस्तावित समाधान वास्तुकला की रूपरेखा बताता है।

.. पूर्वापेक्षाएँ

इस समाधान के लिए हम समय श्रृंखला डेटा संग्रहीत करने के लिए MongoDB एटलस का उपयोग करते हैं, एक मॉडल को प्रशिक्षित करने और पूर्वानुमान तैयार करने के लिए Amazon SageMaker Canvas, और MongoDB एटलस से निकाले गए डेटा को संग्रहीत करने के लिए Amazon S3 का उपयोग करते हैं।

सुनिश्चित करें कि आपके पास निम्नलिखित पूर्वापेक्षाएँ हैं:

MongoDB एटलस क्लस्टर कॉन्फ़िगर करें

दिए गए निर्देशों का पालन करके एक निःशुल्क MongoDB एटलस क्लस्टर बनाएं एक क्लस्टर बनाएं. सेटअप करें डेटाबेस एक्सेस और नेटवर्क का उपयोग.

MongoDB एटलस में एक समय श्रृंखला संग्रह भरें

इस प्रदर्शन के प्रयोजनों के लिए, आप से एक नमूना डेटा सेट का उपयोग कर सकते हैं Kaggle और इसे MongoDB के साथ MongoDB एटलस पर अपलोड करें उपकरण , अधिमानतः मोंगोडीबी कम्पास.

निम्नलिखित कोड समय श्रृंखला संग्रह के लिए एक नमूना डेटा सेट दिखाता है:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

निम्नलिखित स्क्रीनशॉट MongoDB एटलस में नमूना समय श्रृंखला डेटा दिखाता है:

एक S3 बाल्टी बनाएँ

बनाएं AWS में एक S3 बकेट, जहां समय श्रृंखला डेटा को संग्रहीत और विश्लेषण करने की आवश्यकता होती है। ध्यान दें हमारे पास दो फ़ोल्डर हैं। sales-train-data MongoDB एटलस से निकाले गए डेटा को संग्रहीत करने के लिए उपयोग किया जाता है sales-forecast-output कैनवास से भविष्यवाणियाँ शामिल हैं।

डेटा फ़ेडरेशन बनाएं

सेटअप करें डेटा फ़ेडरेशन एटलस में और पहले बनाए गए S3 बकेट को डेटा स्रोत के हिस्से के रूप में पंजीकृत करें। ध्यान दें कि एटलस क्लस्टर के लिए डेटा फ़ेडरेशन में तीन अलग-अलग डेटाबेस/संग्रह बनाए गए हैं, MongoDB एटलस डेटा के लिए S3 बकेट और कैनवास परिणामों को संग्रहीत करने के लिए S3 बकेट।

निम्नलिखित स्क्रीनशॉट डेटा फ़ेडरेशन का सेटअप दिखाता है।

एटलस एप्लिकेशन सेवा सेटअप करें

बनाएं MongoDB अनुप्रयोग सेवाएँ का उपयोग करके MongoDB एटलस क्लस्टर से S3 बकेट में डेटा स्थानांतरित करने के लिए फ़ंक्शंस को तैनात करना $आउट एकत्रीकरण।

डेटास्रोत कॉन्फ़िगरेशन सत्यापित करें

एप्लिकेशन सेवाएँ एक नया Altas सेवा नाम बनाती हैं जिसे निम्नलिखित फ़ंक्शन में डेटा सेवाओं के रूप में संदर्भित करने की आवश्यकता होती है। सत्यापित करें कि एटलस सेवा नाम बनाया गया है और इसे भविष्य के संदर्भ के लिए नोट करें।

फ़ंक्शन बनाएँ

बनाने के लिए एटलस एप्लिकेशन सेवाओं को सेटअप करें ट्रिगर और कार्य. मॉडलों को प्रशिक्षित करने के लिए व्यावसायिक आवश्यकता के आधार पर ट्रिगर को अवधि आवृत्ति पर S3 पर डेटा लिखने के लिए शेड्यूल करने की आवश्यकता होती है।

निम्नलिखित स्क्रिप्ट S3 बकेट में लिखने का फ़ंक्शन दिखाती है:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

नमूना समारोह

फ़ंक्शन को रन टैब के माध्यम से चलाया जा सकता है और एप्लिकेशन सेवाओं में लॉग सुविधाओं का उपयोग करके त्रुटियों को डीबग किया जा सकता है। इसके अलावा, बाएं फलक में लॉग मेनू का उपयोग करके त्रुटियों को डीबग किया जा सकता है।

निम्नलिखित स्क्रीनशॉट आउटपुट के साथ फ़ंक्शन का निष्पादन दिखाता है:

Amazon SageMaker Canvas में डेटासेट बनाएं

निम्नलिखित चरण मानते हैं कि आपने एक सेजमेकर डोमेन और उपयोगकर्ता प्रोफ़ाइल बना ली है। यदि आपने पहले से ऐसा नहीं किया है, तो सुनिश्चित करें कि आपने इसे कॉन्फ़िगर कर लिया है सेजमेकर डोमेन और उपयोगकर्ता प्रोफ़ाइल. उपयोगकर्ता प्रोफ़ाइल में, अपने S3 बकेट को कस्टम होने के लिए अपडेट करें और अपना बकेट नाम प्रदान करें।

पूरा होने पर, सेजमेकर कैनवस पर जाएँ, अपना डोमेन और प्रोफ़ाइल चुनें, और कैनवस चुनें।

डेटा स्रोत की आपूर्ति करने वाला एक डेटासेट बनाएं।

डेटासेट स्रोत को S3 के रूप में चुनें

S3 बकेट से डेटा स्थान चुनें और डेटासेट बनाएं चुनें।

स्कीमा की समीक्षा करें और डेटासेट बनाएं पर क्लिक करें

सफल आयात पर, डेटासेट सूची में दिखाई देगा जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है।

मॉडल को प्रशिक्षित करें

इसके बाद, हम मॉडल को प्रशिक्षित करने के लिए कैनवास का उपयोग करेंगे। डेटासेट चुनें और Create पर क्लिक करें।

एक मॉडल नाम बनाएं, पूर्वानुमानित विश्लेषण चुनें और बनाएं चुनें।

लक्ष्य स्तंभ का चयन करें

इसके बाद, समय श्रृंखला मॉडल कॉन्फ़िगर करें पर क्लिक करें और आइटम आईडी कॉलम के रूप में आइटम_आईडी चुनें।

चुनते हैं tm टाइम स्टैम्प कॉलम के लिए

यह निर्दिष्ट करने के लिए कि आप कितने समय का पूर्वानुमान लगाना चाहते हैं, 8 सप्ताह चुनें।

अब आप मॉडल का पूर्वावलोकन करने या निर्माण प्रक्रिया लॉन्च करने के लिए तैयार हैं।

आपके द्वारा मॉडल का पूर्वावलोकन करने या बिल्ड लॉन्च करने के बाद, आपका मॉडल बन जाएगा और इसमें चार घंटे तक का समय लग सकता है। आप स्क्रीन छोड़ सकते हैं और मॉडल प्रशिक्षण स्थिति देखने के लिए वापस आ सकते हैं।

जब मॉडल तैयार हो जाए, तो मॉडल चुनें और नवीनतम संस्करण पर क्लिक करें

मॉडल मेट्रिक्स और कॉलम प्रभाव की समीक्षा करें और यदि आप मॉडल प्रदर्शन से संतुष्ट हैं, तो भविष्यवाणी पर क्लिक करें।

इसके बाद, बैच पूर्वानुमान चुनें और डेटासेट चुनें पर क्लिक करें।

अपना डेटासेट चुनें, और डेटासेट चुनें पर क्लिक करें।

इसके बाद, पूर्वानुमान प्रारंभ करें पर क्लिक करें।

सृजित नौकरी का निरीक्षण करें या अनुमान, बैच ट्रांसफॉर्म नौकरियों के तहत सेजमेकर में नौकरी की प्रगति का निरीक्षण करें।

जब कार्य पूरा हो जाए, तो कार्य का चयन करें, और S3 पथ को नोट करें जहां कैनवास ने भविष्यवाणियों को संग्रहीत किया है।

एटलस चार्ट में पूर्वानुमान डेटा विज़ुअलाइज़ करें

पूर्वानुमान डेटा की कल्पना करने के लिए, बनाएं MongoDB एटलस चार्ट जैसा कि निम्नलिखित चार्ट में दिखाया गया है, P10, P50 और P90 पूर्वानुमानों के लिए फ़ेडरेटेड डेटा (अमेज़ॅन-पूर्वानुमान-डेटा) पर आधारित है।

क्लीन अप

• MongoDB एटलस क्लस्टर हटाएँ
• एटलस डेटा फ़ेडरेशन कॉन्फ़िगरेशन हटाएँ
• एटलस एप्लिकेशन सर्विस ऐप हटाएं
• S3 बकेट हटाएँ
• Amazon SageMaker कैनवास डेटासेट और मॉडल हटाएं
• एटलस चार्ट हटाएँ
• अमेज़ॅन सेजमेकर कैनवास से लॉग आउट करें

निष्कर्ष

इस पोस्ट में हमने MongoDB समय श्रृंखला संग्रह से समय श्रृंखला डेटा निकाला। यह समय श्रृंखला डेटा के भंडारण और क्वेरी गति के लिए अनुकूलित एक विशेष संग्रह है। हमने मॉडलों को प्रशिक्षित करने और भविष्यवाणियां उत्पन्न करने के लिए अमेज़ॅन सेजमेकर कैनवास का उपयोग किया और हमने एटलस चार्ट में भविष्यवाणियों की कल्पना की।

अधिक जानकारी के लिए, निम्नलिखित संसाधन देखें।

---

लेखक के बारे में

इगोर अलेक्सेव डेटा और एनालिटिक्स डोमेन में AWS में सीनियर पार्टनर सॉल्यूशन आर्किटेक्ट हैं। अपनी भूमिका में इगोर रणनीतिक साझेदारों के साथ काम कर रहे हैं, जिससे उन्हें जटिल, एडब्ल्यूएस-अनुकूलित आर्किटेक्चर बनाने में मदद मिल रही है। AWS में शामिल होने से पहले, एक डेटा/समाधान वास्तुकार के रूप में उन्होंने Hadoop पारिस्थितिकी तंत्र में कई डेटा झीलों सहित बिग डेटा डोमेन में कई परियोजनाओं को लागू किया। डेटा इंजीनियर के रूप में वह धोखाधड़ी का पता लगाने और कार्यालय स्वचालन के लिए एआई/एमएल लगाने में शामिल थे।

बाबू श्रीनिवासन MongoDB में सीनियर पार्टनर सॉल्यूशंस आर्किटेक्ट हैं। अपनी वर्तमान भूमिका में, वह AWS और MongoDB समाधानों के लिए तकनीकी एकीकरण और संदर्भ आर्किटेक्चर बनाने के लिए AWS के साथ काम कर रहा है। उनके पास डेटाबेस और क्लाउड प्रौद्योगिकियों में दो दशकों से अधिक का अनुभव है। उन्हें कई भौगोलिक क्षेत्रों में मल्टीपल ग्लोबल सिस्टम इंटीग्रेटर्स (जीएसआई) के साथ काम करने वाले ग्राहकों को तकनीकी समाधान प्रदान करने का शौक है।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/