मेट्रिक्स के लिए Amazon Lookout का उपयोग करके एक वायु गुणवत्ता विसंगति डिटेक्टर बनाएं

आज, वायु प्रदूषण एक परिचित पर्यावरणीय मुद्दा है जो गंभीर श्वसन और हृदय संबंधी स्थितियां पैदा करता है, जो गंभीर स्वास्थ्य खतरे पैदा करता है। अम्लीय वर्षा, ओजोन परत का ह्रास और ग्लोबल वार्मिंग भी वायु प्रदूषण के दुष्परिणाम हैं। गंभीर स्वास्थ्य समस्याओं और चरम मामलों में जीवन-घातक स्थितियों को रोकने के लिए बुद्धिमान निगरानी और स्वचालन की आवश्यकता है। हवा की गुणवत्ता हवा में प्रदूषकों की सांद्रता का उपयोग करके मापी जाती है। लक्षणों को जल्दी पहचानना और खतरनाक होने से पहले प्रदूषक स्तर को नियंत्रित करना महत्वपूर्ण है। वायु की गुणवत्ता और प्रदूषकों के वजन में विसंगति की पहचान करने और मूल कारण का तुरंत निदान करने की प्रक्रिया कठिन, महंगी और त्रुटि-प्रवण है।

डेटा विसंगतियों को खोजने के लिए एआई और मशीन लर्निंग (एमएल)-आधारित समाधानों को लागू करने की प्रक्रिया में सही प्रारूप में डेटा को शामिल करने, क्यूरेट करने और तैयार करने और फिर लंबे समय तक इन एमएल मॉडल की प्रभावशीलता को अनुकूलित करने और बनाए रखने में बहुत जटिलता शामिल है। समय। यह एमएल क्षमताओं को शीघ्रता से लागू करने और अपनाने में बाधाओं में से एक रहा है।

यह पोस्ट आपको दिखाती है कि एकीकृत समाधान का उपयोग कैसे करें मेट्रिक्स के लिए अमेज़न लुकआउट और अमेज़न Kinesis डेटा Firehose स्ट्रीमिंग डेटा को जल्दी और आसानी से प्राप्त करके और बाद में अपनी रुचि के प्रमुख प्रदर्शन संकेतकों में विसंगतियों का पता लगाकर इन बाधाओं को तोड़ें।

लुकआउट फॉर मेट्रिक्स व्यवसाय और परिचालन डेटा में विसंगतियों (मानदंड से अलग) का स्वचालित रूप से पता लगाता है और उनका निदान करता है। यह पूरी तरह से प्रबंधित एमएल सेवा है जो आपके डेटा की विशेषताओं के आधार पर विसंगतियों का पता लगाने के लिए विशेष एमएल मॉडल का उपयोग करती है। उदाहरण के लिए, रुझान और मौसमी समय श्रृंखला मेट्रिक्स की दो विशेषताएं हैं जिनमें सीमा-आधारित विसंगति का पता लगाना काम नहीं करता है। रुझान किसी मीट्रिक के मूल्य में निरंतर भिन्नताएं (बढ़ती या घटती) हैं। दूसरी ओर, मौसमी पैटर्न एक प्रणाली में होने वाले आवधिक पैटर्न हैं, जो आमतौर पर आधार रेखा से ऊपर उठते हैं और फिर घटते हैं। लुकआउट फॉर मेट्रिक्स का उपयोग करने के लिए आपको एमएल अनुभव की आवश्यकता नहीं है।

हम एक सामान्य वायु गुणवत्ता निगरानी परिदृश्य प्रदर्शित करते हैं, जिसमें हम हवा में प्रदूषक सांद्रता में विसंगतियों का पता लगाते हैं। इस पोस्ट के अंत तक, आप सीखेंगे कि स्वास्थ्य समस्याओं और ग्लोबल वार्मिंग को रोकने में मदद के लिए AWS की इन प्रबंधित सेवाओं का उपयोग कैसे करें। आप इस समाधान को बेहतर पर्यावरण प्रबंधन के लिए अन्य उपयोग के मामलों में लागू कर सकते हैं, जैसे कि पानी की गुणवत्ता, भूमि की गुणवत्ता और बिजली की खपत के पैटर्न में विसंगतियों का पता लगाना।

समाधान अवलोकन

वास्तुकला में तीन कार्यात्मक ब्लॉक होते हैं:

• हवा में कार्बन मोनोऑक्साइड (CO), सल्फर डाइऑक्साइड (SO2), और नाइट्रोजन डाइऑक्साइड (NO2) के सांद्रता स्तर को समझने के लिए रणनीतिक स्थानों पर वायरलेस सेंसर लगाए गए हैं।
• स्ट्रीमिंग डेटा अंतर्ग्रहण और भंडारण
• विसंगति का पता लगाना और अधिसूचना

यह समाधान सेंसर से उपयोगकर्ता तक अधिसूचना पहुंचने तक पूरी तरह से स्वचालित डेटा पथ प्रदान करता है। पहचानी गई विसंगतियों का विश्लेषण करने के लिए आप लुकआउट फॉर मेट्रिक्स यूआई का उपयोग करके समाधान के साथ बातचीत भी कर सकते हैं।

निम्नलिखित चित्र हमारे समाधान वास्तुकला को दर्शाता है।

.. पूर्वापेक्षाएँ

समाधान के साथ आगे बढ़ने से पहले आपको निम्नलिखित शर्तों की आवश्यकता होगी। इस पोस्ट के लिए, हम us-east-1 क्षेत्र का उपयोग करते हैं।

1. पायथन स्क्रिप्ट डाउनलोड करें (पब्लिश.पी.ई) और डेटा फ़ाइल से गीथहब रेपो.
2. ओपन live_data.csv अपने पसंदीदा संपादक में फ़ाइल करें और तारीखों को आज और कल की तारीख से बदलें। उदाहरण के तौर पर अगर आज की तारीख 8 जुलाई 2022 है तो बदल लें 2022-03-25 साथ में 2022-07-08. प्रारूप वही रखें. IoT सिम्युलेटर स्क्रिप्ट का उपयोग करके वर्तमान तिथि के लिए सेंसर डेटा का अनुकरण करना आवश्यक है।
3. एक बनाएं अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) बकेट और नाम का एक फ़ोल्डर air-quality. अंदर एक सबफ़ोल्डर बनाएं air-quality नामित historical। निर्देशों के लिए, देखें फोल्डर बनाना.
4. अपलोड करें live_data.csv रूट S3 बकेट में फ़ाइल करें और historical_data.json ऐतिहासिक फ़ोल्डर में.
5. एक बनाएं AWS क्लाउड 9 विकास वातावरण, जिसका उपयोग हम इस समाधान के लिए सेंसर डेटा बनाने के लिए पायथन सिम्युलेटर प्रोग्राम चलाने के लिए करते हैं।

AWS IoT कोर और किनेसिस डेटा फ़ायरहोज़ का उपयोग करके डेटा को अंतर्ग्रहण और रूपांतरित करें

हम स्ट्रीमिंग डेटा को ग्रहण करने के लिए किनेसिस डेटा फ़ायरहोज़ डिलीवरी स्ट्रीम का उपयोग करते हैं AWS IoT कोर और इसे Amazon S3 पर डिलीवर करें। निम्नलिखित चरणों को पूरा करें:

1. Kinesis डेटा Firehose कंसोल पर, चुनें वितरण स्ट्रीम बनाएं.
2. के लिए स्रोत, चुनें सीधा पुट.
3. के लिए गंतव्य, चुनें अमेज़न S3.
4. के लिए डिलीवरी स्ट्रीम का नाम, अपनी डिलीवरी स्ट्रीम के लिए एक नाम दर्ज करें।
   
5. के लिए S3 बाल्टी, एक शर्त के रूप में आपके द्वारा बनाई गई बाल्टी दर्ज करें।
6. के लिए मान दर्ज करें S3 बाल्टी उपसर्ग और S3 बकेट त्रुटि आउटपुट उपसर्गध्यान देने योग्य प्रमुख बिंदुओं में से एक कस्टम उपसर्ग का कॉन्फ़िगरेशन है जो अमेज़ॅन S3 गंतव्य के लिए कॉन्फ़िगर किया गया है। यह उपसर्ग पैटर्न सुनिश्चित करता है कि डेटा S3 बकेट में लुकआउट फॉर मेट्रिक्स द्वारा अपेक्षित उपसर्ग पदानुक्रम के अनुसार बनाया गया है। (इस पर बाद में इस पोस्ट में अधिक जानकारी के लिए।) कस्टम उपसर्गों के बारे में अधिक जानकारी के लिए देखें अमेज़ॅन S3 ऑब्जेक्ट के लिए कस्टम उपसर्ग.
   
7. के लिए बफर अंतराल, दर्ज 60.
   
8. चुनें IAM भूमिका बनाएं या अपडेट करें.
9. चुनें वितरण स्ट्रीम बनाएं.
   
   अब हम AWS IoT Core को कॉन्फ़िगर करते हैं और वायु गुणवत्ता सिम्युलेटर प्रोग्राम चलाते हैं।
10. AWS IoT कोर कंसोल पर, एक AWS IoT नीति बनाएं एडमिन को बुलाया गया.
11. नीचे नेविगेशन फलक में संदेश रूटिंग, चुनें नियम.
12. चुनें नियम बनाएं.
13. के साथ एक नियम बनाएं काइनेसिस डेटा फ़ायरहोज़(फ़ायरहोज़) क्रिया.
    यह MQTT संदेश से डेटा को किनेसिस डेटा फ़ायरहोज़ डिलीवरी स्ट्रीम में भेजता है।
14. चुनें बनाएं.
    
15. नाम के साथ एक AWS IoT चीज़ बनाएं Test-Thing और आपके द्वारा बनाई गई नीति संलग्न करें।
16. AWS IoT कोर के लिए प्रमाणपत्र, सार्वजनिक कुंजी, निजी कुंजी, डिवाइस प्रमाणपत्र और रूट CA डाउनलोड करें।
17. डाउनलोड की गई प्रत्येक फ़ाइल को इसमें सहेजें certificates उपनिर्देशिका जो आपने पहले बनाई थी।
    
18. इस परpublish.py अपलोड करें iot-test-publish फ़ोल्डर.
19. AWS IoT कोर कंसोल पर, नेविगेशन फलक में, चुनें सेटिंग.
20. के अंतर्गत कस्टम समापन बिंदु, समापन बिंदु की प्रतिलिपि बनाएँ।
    यह AWS IoT कोर कस्टम एंडपॉइंट URL आपके AWS खाते और क्षेत्र के लिए व्यक्तिगत है।
21. बदलें customEndpointUrl आपके AWS IoT कोर कस्टम एंडपॉइंट URL के साथ, प्रमाणपत्र के नाम के साथ प्रमाणपत्र, और Your_S3_Bucket_Name आपके S3 बकेट नाम के साथ।
    इसके बाद, आप Python के लिए पाइप और AWS IoT SDK इंस्टॉल करें।
22. AWS Cloud9 में लॉग इन करें और अपने विकास परिवेश में एक कार्यशील निर्देशिका बनाएं। उदाहरण के लिए: aq-iot-publish.
23. अपनी नई कार्यशील निर्देशिका में प्रमाणपत्रों के लिए एक उपनिर्देशिका बनाएं। उदाहरण के लिए: certificates.
24. कमांड लाइन से निम्नलिखित चलाकर Python v2 के लिए AWS IoT SDK स्थापित करें।

    pip install awsiotsdk

25. डेटा पाइपलाइन का परीक्षण करने के लिए, निम्न आदेश चलाएँ:

    python3 publish.py

आप निम्नलिखित स्क्रीनशॉट में पेलोड देख सकते हैं।

अंत में, डेटा को उपसर्ग संरचना में निर्दिष्ट S3 बकेट में वितरित किया जाता है।

फ़ाइलों का डेटा इस प्रकार है:

• {"TIMESTAMP":"2022-03-20 00:00","LOCATION_ID":"B-101","CO":2.6,"SO2":62,"NO2":57}
• {"TIMESTAMP":"2022-03-20 00:05","LOCATION_ID":"B-101","CO":3.9,"SO2":60,"NO2":73}

टाइमस्टैम्प दिखाते हैं कि प्रत्येक फ़ाइल में 5 मिनट के अंतराल के लिए डेटा होता है।

न्यूनतम कोड के साथ, हमने अब सेंसर डेटा को अंतर्ग्रहण कर लिया है, अंतर्ग्रहण डेटा से एक इनपुट स्ट्रीम बनाया है, और लुकआउट फॉर मेट्रिक्स की आवश्यकताओं के आधार पर डेटा को S3 बकेट में संग्रहीत किया है।

निम्नलिखित अनुभागों में, हम लुकआउट फॉर मेट्रिक्स के भीतर संरचनाओं पर गहराई से नज़र डालते हैं, और लुकआउट फॉर मेट्रिक्स कंसोल का उपयोग करके इन अवधारणाओं को कॉन्फ़िगर करना कितना आसान है।

एक डिटेक्टर बनाएं

डिटेक्टर मेट्रिक्स संसाधन के लिए एक लुकआउट है जो डेटासेट की निगरानी करता है और पूर्वनिर्धारित आवृत्ति पर विसंगतियों की पहचान करता है। डिटेक्टर डेटा में पैटर्न खोजने और डेटा में अपेक्षित भिन्नताओं और वैध विसंगतियों के बीच अंतर करने के लिए एमएल का उपयोग करते हैं। अपने प्रदर्शन को बेहतर बनाने के लिए, एक डिटेक्टर समय के साथ आपके डेटा के बारे में और अधिक सीखता है।

हमारे उपयोग के मामले में, डिटेक्टर हर 5 मिनट में सेंसर से डेटा का विश्लेषण करता है।

डिटेक्टर बनाने के लिए, लुकआउट फॉर मेट्रिक्स कंसोल पर जाएँ और चुनें डिटेक्टर बनाएं. 5 मिनट के अंतराल के साथ डिटेक्टर के लिए नाम और विवरण (वैकल्पिक) प्रदान करें।

आपका डेटा डिफ़ॉल्ट रूप से उस कुंजी के साथ एन्क्रिप्ट किया गया है जो AWS के स्वामित्व में है और आपके लिए प्रबंधित करती है। यदि आप डिफ़ॉल्ट रूप से उपयोग की जाने वाली एन्क्रिप्शन कुंजी से भिन्न एन्क्रिप्शन कुंजी का उपयोग करना चाहते हैं तो आप कॉन्फ़िगर भी कर सकते हैं।

आइए अब इस डिटेक्टर को उस डेटा की ओर इंगित करें जिस पर आप चाहते हैं कि यह विसंगति का पता लगाए।

डेटासेट बनाएं

एक डेटासेट डिटेक्टर को बताता है कि आपका डेटा कहां ढूंढना है और विसंगतियों के लिए कौन से मेट्रिक्स का विश्लेषण करना है। डेटासेट बनाने के लिए, निम्नलिखित चरणों को पूरा करें:

1. मेट्रिक्स कंसोल के लिए अमेज़ॅन लुकआउट पर, अपने डिटेक्टर पर नेविगेट करें।
2. चुनें एक डेटासेट जोड़ें.
   
3. के लिए नाम, एक नाम दर्ज करें (उदाहरण के लिए, air-quality-dataset).
4. के लिए डेटा स्रोत, अपना डेटा स्रोत चुनें (इस पोस्ट के लिए, Amazon S3)।
   
5. के लिए डिटेक्टर मोड, अपना मोड चुनें (इस पोस्ट के लिए, निरंतर).

Amazon S3 के साथ, आप दो मोड में एक डिटेक्टर बना सकते हैं:

• • Backtest - इस मोड का उपयोग ऐतिहासिक डेटा में विसंगतियों को खोजने के लिए किया जाता है। इसके लिए सभी रिकॉर्डों को एक फ़ाइल में समेकित करने की आवश्यकता है।
  • निरंतर - इस मोड का उपयोग लाइव डेटा में विसंगतियों का पता लगाने के लिए किया जाता है। हम अपने उपयोग के मामले में इस मोड का उपयोग करते हैं क्योंकि हम वायु निगरानी सेंसर से वायु प्रदूषक डेटा प्राप्त करते समय विसंगतियों का पता लगाना चाहते हैं।

6. लाइव S3 फ़ोल्डर और पथ पैटर्न के लिए S3 पथ दर्ज करें।
7. के लिए डेटास्रोत अंतराल, चुनें 5 मिनट का अंतराल.यदि आपके पास ऐतिहासिक डेटा है जिससे डिटेक्टर पैटर्न सीख सकता है, तो आप इसे इस कॉन्फ़िगरेशन के दौरान प्रदान कर सकते हैं। उम्मीद की जाती है कि डेटा उसी प्रारूप में होगा जिसका उपयोग आप बैकटेस्ट करने के लिए करते हैं। ऐतिहासिक डेटा प्रदान करने से एमएल मॉडल प्रशिक्षण प्रक्रिया में तेजी आती है। यदि यह उपलब्ध नहीं है, तो निरंतर डिटेक्टर अनुमान लगाने से पहले पर्याप्त डेटा उपलब्ध होने की प्रतीक्षा करता है।
8. इस पोस्ट के लिए, हमारे पास पहले से ही ऐतिहासिक डेटा है, इसलिए चयन करें ऐतिहासिक डेटा का उपयोग करें.
9. का S3 पथ दर्ज करें historical_data.json.
10. के लिए फ़ाइल प्रारूप, चुनते हैं JSON लाइनें.
    

इस बिंदु पर, लुकआउट फॉर मेट्रिक्स डेटा स्रोत तक पहुंचता है और सत्यापित करता है कि यह डेटा को पार्स कर सकता है या नहीं। यदि पार्सिंग सफल होती है, तो यह आपको "सत्यापन सफल" संदेश देता है और आपको अगले पृष्ठ पर ले जाता है, जहां आप माप, आयाम और टाइमस्टैम्प कॉन्फ़िगर करते हैं।

माप, आयाम और टाइमस्टैम्प कॉन्फ़िगर करें

उपाय उन KPI को परिभाषित करें जिनके लिए आप विसंगतियों को ट्रैक करना चाहते हैं। आप प्रति डिटेक्टर अधिकतम पाँच माप जोड़ सकते हैं। आपके स्रोत डेटा से KPI बनाने के लिए उपयोग किए जाने वाले फ़ील्ड संख्यात्मक प्रारूप के होने चाहिए। KPI को वर्तमान में SUM या AVERAGE करके समय अंतराल के भीतर रिकॉर्ड एकत्र करके परिभाषित किया जा सकता है।

आयाम आपको श्रेणियों या खंडों को परिभाषित करके अपने डेटा को काटने और काटने की क्षमता देता है। यह आपको डेटा के पूरे सेट के सबसेट के लिए विसंगतियों को ट्रैक करने की अनुमति देता है जिसके लिए एक विशेष उपाय लागू होता है।

हमारे उपयोग के मामले में, हम तीन माप जोड़ते हैं, जो 5 मिनट के अंतराल में देखी गई वस्तुओं के एवीजी की गणना करते हैं, और इसका केवल एक आयाम होता है, जिसके लिए प्रदूषक एकाग्रता को मापा जाता है।

डेटासेट में प्रत्येक रिकॉर्ड में एक टाइमस्टैम्प होना चाहिए। निम्नलिखित कॉन्फ़िगरेशन आपको उस फ़ील्ड को चुनने की अनुमति देता है जो टाइमस्टैम्प मान और टाइमस्टैम्प के प्रारूप को भी दर्शाता है।

अगला पृष्ठ आपको आपके द्वारा जोड़े गए सभी विवरणों की समीक्षा करने और फिर डिटेक्टर को सहेजने और सक्रिय करने की अनुमति देता है।

फिर डिटेक्टर डेटा स्रोत में डेटा स्ट्रीमिंग सीखना शुरू कर देता है। इस स्तर पर, डिटेक्टर की स्थिति बदल जाती है Initializing.

लुकआउट फॉर मेट्रिक्स द्वारा विसंगतियों का पता लगाना शुरू करने से पहले आवश्यक डेटा की न्यूनतम मात्रा को नोट करना महत्वपूर्ण है। आवश्यकताओं और सीमाओं के बारे में अधिक जानकारी के लिए देखें मेट्रिक्स कोटा की तलाश करें.

न्यूनतम कॉन्फ़िगरेशन के साथ, आपने अपना डिटेक्टर बनाया है, इसे डेटासेट पर इंगित किया है, और उन मेट्रिक्स को परिभाषित किया है जिनमें आप विसंगतियों को ढूंढने के लिए लुकआउट मेट्रिक्स चाहते हैं।

विसंगतियों की कल्पना करें

लुकआउट फॉर मेट्रिक्स उन उपयोगकर्ताओं के लिए एक समृद्ध यूआई अनुभव प्रदान करता है जो इसका उपयोग करना चाहते हैं एडब्ल्यूएस प्रबंधन कंसोल पाई जा रही विसंगतियों का विश्लेषण करना। यह एपीआई के माध्यम से विसंगतियों को क्वेरी करने की क्षमता भी प्रदान करता है।

आइए हमारे वायु गुणवत्ता डेटा उपयोग मामले से पता चली एक विसंगति का उदाहरण देखें। निम्नलिखित स्क्रीनशॉट 93 के गंभीरता स्कोर के साथ निर्दिष्ट समय और तारीख पर हवा में सीओ एकाग्रता में पाई गई एक विसंगति को दर्शाता है। यह विसंगति के प्रति आयाम के प्रतिशत योगदान को भी दर्शाता है। इस मामले में, 100% योगदान स्थान आईडी बी-101 आयाम से आता है।

अलर्ट बनाएं

लुकआउट फॉर मेट्रिक्स आपको विभिन्न चैनलों का उपयोग करके अलर्ट भेजने की अनुमति देता है। आप विसंगति गंभीरता स्कोर सीमा को कॉन्फ़िगर कर सकते हैं जिस पर अलर्ट ट्रिगर किया जाना चाहिए।

हमारे उपयोग के मामले में, हम अलर्ट को भेजने के लिए कॉन्फ़िगर करते हैं अमेज़न सरल अधिसूचना सेवा (अमेज़ॅन एसएनएस) चैनल, जो बदले में एक एसएमएस भेजता है। निम्नलिखित स्क्रीनशॉट कॉन्फ़िगरेशन विवरण दिखाते हैं।

आप ऑटोमेशन को ट्रिगर करने के लिए अलर्ट का भी उपयोग कर सकते हैं AWS लाम्बा AWS IoT कोर पर एपीआई-संचालित संचालन को चलाने के लिए कार्य करता है।

निष्कर्ष

इस पोस्ट में, हमने आपको दिखाया कि एमएल-संचालित विसंगति का पता लगाने वाले अनुप्रयोगों के निर्माण के अंत-से-अंत जीवनचक्र के प्रबंधन में शामिल अपरिभाषित भारी भारोत्तोलन को हटाने के लिए मेट्रिक्स और किनेसिस डेटा फ़ायरहोज़ के लिए लुकआउट का उपयोग करना कितना आसान है। यह समाधान आपको प्रमुख व्यावसायिक मेट्रिक्स में विसंगतियों को खोजने की आपकी क्षमता में तेजी लाने में मदद कर सकता है और आपको अपने व्यवसाय को बढ़ाने और सुधारने पर अपने प्रयासों पर ध्यान केंद्रित करने की अनुमति दे सकता है।

हम आपको पर जाकर अधिक जानने के लिए प्रोत्साहित करते हैं मैट्रिक्स डेवलपर गाइड के लिए अमेज़न लुकआउट और अपने व्यवसाय केपीआई से संबंधित डेटासेट के साथ इन सेवाओं द्वारा सक्षम एंड-टू-एंड समाधान का प्रयास करें।

---

लेखक के बारे में

धीरज ठाकुर अमेज़ॅन वेब सेवाओं के साथ एक समाधान वास्तुकार है। वह एंटरप्राइज़ क्लाउड अपनाने, माइग्रेशन और रणनीति पर मार्गदर्शन प्रदान करने के लिए AWS ग्राहकों और भागीदारों के साथ काम करता है। उन्हें तकनीक का शौक है और उन्हें एनालिटिक्स और एआई/एमएल स्पेस में निर्माण और प्रयोग करना पसंद है।