अमेज़ॅन क्विकसाइट के साथ मेट्रिक्स विसंगति परिणामों के लिए अपने अमेज़ॅन लुकआउट की कल्पना करें

टीमों के सामने आने वाली चुनौतियों में से एक मेट्रिक्स के लिए अमेज़न लुकआउट तेजी से और कुशलता से इसे डेटा विज़ुअलाइज़ेशन से जोड़ रहा है। विसंगतियों को लुकआउट फॉर मेट्रिक्स कंसोल पर व्यक्तिगत रूप से प्रस्तुत किया जाता है, प्रत्येक का अपना ग्राफ़ होता है, जिससे सेट को समग्र रूप से देखना मुश्किल हो जाता है। गहन विश्लेषण के लिए एक स्वचालित, एकीकृत समाधान की आवश्यकता है।

इस पोस्ट में, हम मेट्रिक्स लाइव डिटेक्टर के लिए एक लुकआउट का उपयोग करते हैं जिसे निम्नलिखित बनाया गया है Getting Started से अनुभाग एडब्ल्यूएस नमूने, मेट्रिक्स के लिए अमेज़ॅन लुकआउट गिटहब रेपो। डिटेक्टर के सक्रिय होने और डेटासेट से विसंगतियां उत्पन्न होने के बाद, हम लुकआउट फॉर मेट्रिक्स को कनेक्ट करते हैं अमेज़न क्विकसाइट. हम दो डेटासेट बनाते हैं: एक विसंगति तालिका के साथ आयाम तालिका में शामिल होकर, और दूसरा लाइव डेटा के साथ विसंगति तालिका में शामिल होकर। फिर हम इन दो डेटासेट को एक QuickSight विश्लेषण में जोड़ सकते हैं, जहाँ हम एक ही डैशबोर्ड में चार्ट जोड़ सकते हैं।

हम लुकआउट फॉर मेट्रिक्स डिटेक्टर को दो प्रकार के डेटा प्रदान कर सकते हैं: निरंतर और ऐतिहासिक। AWS नमूने GitHub रेपो दोनों प्रदान करता है, हालांकि हम निरंतर लाइव डेटा पर ध्यान केंद्रित करते हैं। डिटेक्टर विसंगतियों की पहचान करने के लिए इस लाइव डेटा की निगरानी करता है और विसंगतियों को लिखता है अमेज़न सरल भंडारण सेवा (अमेज़ॅन एस 3) जैसे ही वे उत्पन्न होते हैं। एक निर्दिष्ट अंतराल के अंत में, डिटेक्टर डेटा का विश्लेषण करता है। समय के साथ, डिटेक्टर इसे मिलने वाले पैटर्न के आधार पर विसंगतियों की अधिक सटीक पहचान करना सीखता है।

लुकआउट फॉर मेट्रिक्स मशीन लर्निंग (एमएल) का उपयोग स्वचालित रूप से व्यापार और परिचालन डेटा में विसंगतियों का पता लगाने और निदान करने के लिए करता है, जैसे बिक्री राजस्व या ग्राहक अधिग्रहण दरों में अचानक गिरावट। यह सेवा अब आम तौर पर 25 मार्च, 2021 तक उपलब्ध है। यह विसंगतियों का पता लगाने के लिए उपयोग किए जाने वाले पारंपरिक तरीकों की तुलना में अधिक गति और सटीकता के साथ विसंगतियों का पता लगाने के लिए स्वचालित रूप से विभिन्न स्रोतों से डेटा का निरीक्षण और तैयार करता है। आप परिणामों को ट्यून करने और समय के साथ सटीकता में सुधार करने के लिए खोजी गई विसंगतियों पर प्रतिक्रिया भी दे सकते हैं। लुकआउट फॉर मेट्रिक्स एक ही घटना से संबंधित विसंगतियों को एक साथ समूहित करके और संभावित मूल कारण का सारांश शामिल करते हुए एक अलर्ट भेजकर खोजी गई विसंगतियों का निदान करना आसान बनाता है। यह विसंगतियों को गंभीरता के क्रम में भी रैंक करता है ताकि आप अपना ध्यान इस बात पर प्राथमिकता दे सकें कि आपके व्यवसाय के लिए सबसे महत्वपूर्ण क्या है।

क्विकसाइट एक पूरी तरह से प्रबंधित, क्लाउड-नेटिव बिजनेस इंटेलिजेंस (बीआई) सेवा है जो इंटरैक्टिव डैशबोर्ड बनाने और प्रकाशित करने के लिए आपके डेटा से जुड़ना आसान बनाती है। इसके अतिरिक्त, आप उपयोग कर सकते हैं अमेज़न क्विकसाइट प्राकृतिक भाषा के प्रश्नों के माध्यम से त्वरित उत्तर प्राप्त करने के लिए।

आप किसी भी डिवाइस से सर्वर रहित, अत्यधिक स्केलेबल QuickSight डैशबोर्ड तक पहुंच सकते हैं, और उन्हें अपने एप्लिकेशन, पोर्टल और वेबसाइटों में मूल रूप से एम्बेड कर सकते हैं। निम्नलिखित स्क्रीनशॉट इस बात का एक उदाहरण है कि आप इस पोस्ट के अंत तक क्या हासिल कर सकते हैं।

समाधान का अवलोकन

समाधान एडब्ल्यूएस सेवाओं का एक संयोजन है, मुख्य रूप से मेट्रिक्स के लिए लुकआउट, क्विकसाइट, AWS लाम्बा, अमेज़न एथेना, एडब्ल्यूएस गोंद, और अमेज़न S3.

निम्नलिखित आरेख समाधान वास्तुकला को दर्शाता है। लुकआउट फॉर मेट्रिक्स एक अलर्ट के माध्यम से विसंगतियों का पता लगाता है और लैम्ब्डा को भेजता है। लैम्ब्डा फ़ंक्शन विसंगति के परिणाम CSV फ़ाइलों के रूप में उत्पन्न करता है और उन्हें Amazon S3 में सहेजता है। एक एडब्ल्यूएस गोंद क्रॉलर मेटाडेटा का विश्लेषण करता है, और एथेना में टेबल बनाता है। QuickSight Amazon S3 डेटा को क्वेरी करने के लिए एथेना का उपयोग करता है, जिससे विसंगति परिणामों और लाइव डेटा दोनों की कल्पना करने के लिए डैशबोर्ड बनाया जा सकता है।

यह समाधान में बनाए गए संसाधनों पर फैलता है Getting Started गिटहब रेपो का खंड। प्रत्येक चरण के लिए, हम या तो का उपयोग करके संसाधन बनाने के विकल्प शामिल करते हैं एडब्ल्यूएस प्रबंधन कंसोल या प्रदान की लॉन्चिंग एडब्ल्यूएस CloudFormation ढेर। यदि आपके पास मेट्रिक्स डिटेक्टर के लिए एक अनुकूलित लुकआउट है, तो आप इसका उपयोग कर सकते हैं और इसे निम्नलिखित में अनुकूलित कर सकते हैं नोटबुक समान परिणाम प्राप्त करने के लिए।

कार्यान्वयन कदम इस प्रकार हैं:

1. बनाएं अमेज़न SageMaker नोटबुक उदाहरण (ALFMTestNotebook) और नोटबुक में प्रदान किए गए स्टैक का उपयोग करते हुए प्रारंभिक व्यवस्था से अनुभाग गीथहब रेपो.
2. सेजमेकर कंसोल पर नोटबुक इंस्टेंस खोलें और नेविगेट करें amazon-lookout-for-metrics-samples/getting_started फ़ोल्डर.
3. S3 बकेट बनाएं और पहले का उपयोग करके डेटा तैयारी पूरी करें नोटबुक (1.PrereqSetupData.ipynb) के साथ नोटबुक खोलें conda_python3 कर्नेल, अगर संकेत दिया।

हम दूसरा छोड़ते हैं नोटबुक क्योंकि यह बैकटेस्टिंग डेटा पर केंद्रित है।

4. यदि आप कंसोल का उपयोग करके उदाहरण के माध्यम से चल रहे हैं, तो मेट्रिक्स के लिए लुकआउट लाइव डिटेक्टर बनाएं और तीसरे का उपयोग करके इसका अलर्ट बनाएं नोटबुक (3.GettingStartedWithLiveData.ipynb).

यदि आप प्रदान किए गए CloudFormation स्टैक का उपयोग कर रहे हैं, तो तीसरी नोटबुक की आवश्यकता नहीं है। डिटेक्टर और उसके अलर्ट को स्टैक के हिस्से के रूप में बनाया जाता है।

5. लुकआउट फॉर मेट्रिक्स लाइव डिटेक्टर बनाने के बाद, आपको इसे कंसोल से सक्रिय करना होगा।

मॉडल को इनिशियलाइज़ करने और विसंगतियों का पता लगाने में 2 घंटे तक का समय लग सकता है।

6. पांडस लाइब्रेरी लेयर के साथ पायथन का उपयोग करके लैम्ब्डा फ़ंक्शन को तैनात करें, और इसे लॉन्च करने के लिए लाइव डिटेक्टर से जुड़ा अलर्ट बनाएं।
7. क्विकसाइट के लिए डेटा खोजने और तैयार करने के लिए एथेना और एडब्ल्यूएस ग्लू के संयोजन का उपयोग करें।
8. QuickSight डेटा स्रोत और डेटासेट बनाएं।
9. अंत में, डेटासेट का उपयोग करके विज़ुअलाइज़ेशन के लिए एक क्विकसाइट विश्लेषण बनाएं।

CloudFormation स्क्रिप्ट आमतौर पर उत्पादन वातावरण में नेस्टेड स्टैक के सेट के रूप में चलाई जाती हैं। चरण-दर-चरण पूर्वाभ्यास की सुविधा के लिए उन्हें इस पोस्ट में व्यक्तिगत रूप से प्रदान किया गया है।

.. पूर्वापेक्षाएँ

इस पूर्वाभ्यास के माध्यम से जाने के लिए, आपको एक एडब्ल्यूएस खाते की आवश्यकता है जहां समाधान तैनात किया जाएगा। सुनिश्चित करें कि आपके द्वारा परिनियोजित सभी संसाधन एक ही क्षेत्र में हैं। आपको नोटबुक 1 और 3 से निर्मित मेट्रिक्स डिटेक्टर के लिए एक रनिंग लुकआउट चाहिए गीथहब रेपो. यदि आपके पास मेट्रिक्स डिटेक्टर के लिए लुकआउट चालू नहीं है, तो आपके पास दो विकल्प हैं:

• नोटबुक 1 और 3 चलाएँ, और इस पोस्ट के चरण 1 से जारी रखें (लैम्ब्डा फ़ंक्शन और अलर्ट बनाना)
• नोटबुक 1 चलाएँ और फिर मेट्रिक्स डिटेक्टर के लिए लुकआउट उत्पन्न करने के लिए CloudFormation टेम्पलेट का उपयोग करें

AWS CloudFormation का उपयोग करके लाइव डिटेक्टर बनाएं

RSI L4MLiveडिटेक्टर.yaml CloudFormation स्क्रिप्ट मेट्रिक्स विसंगति डिटेक्टर के लिए लुकआउट बनाता है, जिसका स्रोत निर्दिष्ट S3 बकेट में लाइव डेटा की ओर इशारा करता है। डिटेक्टर बनाने के लिए, निम्नलिखित चरणों को पूरा करें:

1. निम्नलिखित लिंक से स्टैक लॉन्च करें:

2. पर स्टैक बनाएँ पृष्ठ, चुनें अगला.
3. पर स्टैक विवरण निर्दिष्ट करें पृष्ठ, निम्नलिखित जानकारी प्रदान करें:
   1. एक ढेर नाम। उदाहरण के लिए, L4MLiveDetector.
   2. S3 बाल्टी, <Account Number>-lookoutmetrics-lab.
   3. भूमिका एआरएन, arn:aws:iam::<Account Number>:role/L4MTestRole.
   4. एक विसंगति का पता लगाने की आवृत्ति। चुनना PT1H (प्रति घंटा)।
4. चुनें अगला.
5. पर स्टैक विकल्प कॉन्फ़िगर करें पृष्ठ, सब कुछ वैसा ही रहने दें और चुनें अगला.
6. पर समीक्षा पृष्ठ, सब कुछ वैसा ही रहने दें और चुनें स्टैक बनाएँ.

AWS CloudFormation (वैकल्पिक) का उपयोग करके लाइव डिटेक्टर एसएमएस अलर्ट बनाएं

यह चरण वैकल्पिक है। अलर्ट को एक उदाहरण के रूप में प्रस्तुत किया जाता है, जिसका डेटासेट निर्माण पर कोई प्रभाव नहीं पड़ता है। L4MLiveडिटेक्टरअलर्ट.yaml क्लाउडफॉर्मेशन स्क्रिप्ट एक एसएमएस लक्ष्य के साथ मेट्रिक्स विसंगति डिटेक्टर अलर्ट के लिए लुकआउट बनाती है।

1. निम्नलिखित लिंक से स्टैक लॉन्च करें:

2. पर स्टैक बनाएँ पृष्ठ, चुनें अगला.
3. पर स्टैक विवरण निर्दिष्ट करें पृष्ठ, एसएमएस फोन नंबर अपडेट करें और स्टैक के लिए एक नाम दर्ज करें (उदाहरण के लिए, L4MLiveDetectorAlert).
4. चुनें अगला.
5. पर स्टैक विकल्प कॉन्फ़िगर करें पृष्ठ, सब कुछ वैसा ही रहने दें और चुनें अगला.
6. पर समीक्षा पृष्ठ, पावती चेक बॉक्स का चयन करें, बाकी सब कुछ वैसा ही रहने दें, और चुनें स्टैक बनाएँ.

संसाधन सफाई

अगले चरण के साथ आगे बढ़ने से पहले, यह सुनिश्चित करने के लिए कि कोई अनावश्यक लागत नहीं है, अपने सेजमेकर नोटबुक इंस्टेंस को रोक दें। इसकी अब आवश्यकता नहीं है।

लैम्ब्डा फ़ंक्शन बनाएं और अलर्ट करें

इस खंड में, हम कंसोल या AWS CloudFormation के माध्यम से आपका लैम्ब्डा फ़ंक्शन और अलर्ट बनाने के निर्देश प्रदान करते हैं।

कंसोल के साथ फ़ंक्शन और अलर्ट बनाएं

आपको एक लैम्ब्डा चाहिए AWS पहचान और अभिगम प्रबंधन (मैं हूँ) भूमिका निम्नलिखित कम से कम विशेषाधिकार सर्वोत्तम अभ्यास उस बकेट तक पहुँचने के लिए जहाँ आप परिणामों को सहेजना चाहते हैं।

1. 1. लैम्ब्डा कंसोल पर, एक नया फंक्शन बनाएं।
   2. चुनते हैं खरोंच से लेखक.
   3. के लिए कार्य का नामनाम डालें।
   4. के लिए क्रम, चुनें अजगर 3.8.
   5. के लिए निष्पादन भूमिका, चुनते हैं किसी मौजूदा भूमिका का उपयोग करें और आपके द्वारा बनाई गई भूमिका निर्दिष्ट करें।
   6. चुनें फ़ंक्शन बनाएं.
2. 
   7. डाउनलोड लैम्ब्डा फ़ंक्शन के लिए आवश्यक कोड वाली ज़िप फ़ाइल।
   8. लैम्ब्डा कंसोल पर, फ़ंक्शन खोलें।
   9. पर कोड टैब चुनें से अपलोड करें, चुनें ।ज़िप फ़ाइल, और आपके द्वारा डाउनलोड की गई फ़ाइल अपलोड करें।
   10. चुनें सहेजें.

ज़िप फ़ाइल अपलोड करने के बाद आपका फ़ाइल ट्री वही रहना चाहिए।

11. में परतें अनुभाग चुनते हैं, परत जोड़ें.
12. चुनते हैं एक एआरएन निर्दिष्ट करें.
13. निम्नलिखित में गीथहब रेपो, उस क्षेत्र के अनुरूप CSV चुनें जिसमें आप काम कर रहे हैं और नवीनतम पांडा संस्करण से एआरएन की प्रतिलिपि बनाएँ।
14. के लिए एक एआरएन निर्दिष्ट करें, आपके द्वारा कॉपी किया गया ARN दर्ज करें।
15. चुनें .

16. फ़ंक्शन को अपने परिवेश में अनुकूलित करने के लिए, lambda_function.py फ़ाइल से कोड के निचले भाग में, अपनी बकेट के साथ बकेट नाम को अपडेट करना सुनिश्चित करें जहां आप विसंगति के परिणामों को सहेजना चाहते हैं, और DataSet_ARN अपने विसंगति डिटेक्टर से।
17. चुनें तैनाती परिवर्तनों को सक्रिय करने के लिए।

अब आपको लुकआउट फॉर मेट्रिक्स डिटेक्टर को अपने फ़ंक्शन से कनेक्ट करने की आवश्यकता है।

18. लुकआउट फॉर मेट्रिक्स कंसोल पर, अपने डिटेक्टर पर नेविगेट करें और चुनें अलर्ट जोड़ें.
19. अलर्ट का नाम और अपनी पसंदीदा गंभीरता सीमा दर्ज करें।
20. चैनल सूची से, चुनें lambda.
21. आपके द्वारा बनाया गया फ़ंक्शन चुनें और सुनिश्चित करें कि इसे ट्रिगर करने के लिए आपके पास सही भूमिका है।
22. चुनें अलर्ट जोड़ें.

अब आप अपने अलर्ट के ट्रिगर होने की प्रतीक्षा करें। समय इस बात पर निर्भर करता है कि डिटेक्टर को कब कोई विसंगति मिलती है।

जब एक विसंगति का पता चलता है, तो लुकआउट फॉर मेट्रिक्स लैम्ब्डा फ़ंक्शन को ट्रिगर करता है। यह लुकआउट फॉर मेट्रिक्स से आवश्यक जानकारी प्राप्त करता है और जांचता है कि क्या विसंगति के संबंधित टाइमस्टैम्प पर अमेज़ॅन एस 3 में पहले से ही एक सहेजी गई सीएसवी फ़ाइल है। यदि कोई फ़ाइल नहीं है, तो लैम्ब्डा फ़ाइल बनाता है और विसंगति डेटा जोड़ता है। यदि फ़ाइल पहले से मौजूद है, तो लैम्ब्डा प्राप्त अतिरिक्त डेटा के साथ फ़ाइल को अपडेट करता है। फ़ंक्शन प्रत्येक अलग टाइमस्टैम्प के लिए एक अलग CSV फ़ाइल बनाता है।

एडब्ल्यूएस क्लाउडफॉर्मेशन का उपयोग करके फ़ंक्शन और अलर्ट बनाएं

कंसोल निर्देशों के समान, आप ज़िप फ़ाइल डाउनलोड करें लैम्ब्डा फ़ंक्शन के लिए आवश्यक कोड युक्त। हालांकि, इस मामले में एडब्ल्यूएस क्लाउडफॉर्मेशन कोड को फ़ंक्शन निर्माण के दौरान लोड करने के लिए इसे एस 3 बाल्टी में अपलोड करने की आवश्यकता है।

लुकआउट फॉर मेट्रिक्स डिटेक्टर निर्माण में निर्दिष्ट S3 बकेट में, लैम्ब्डा-कोड नामक एक फ़ोल्डर बनाएं, और ज़िप फ़ाइल अपलोड करें।

लैम्ब्डा फ़ंक्शन इसे निर्माण के दौरान अपने कोड के रूप में लोड करता है।

RSI L4MLलंबाFunction.yaml CloudFormation स्क्रिप्ट लैम्ब्डा फ़ंक्शन और अलर्ट संसाधन बनाती है और उसी S3 बकेट में संग्रहीत फ़ंक्शन कोड संग्रह का उपयोग करती है।

1. निम्नलिखित लिंक से स्टैक लॉन्च करें:

2. पर स्टैक बनाएँ पृष्ठ, चुनें अगला.
3. पर स्टैक विवरण निर्दिष्ट करें पृष्ठ, स्टैक नाम निर्दिष्ट करें (उदाहरण के लिए, L4MLambdaFunction).
4. निम्नलिखित में गीथहब रेपो, आप जिस क्षेत्र में काम कर रहे हैं, उसके अनुरूप सीएसवी खोलें और नवीनतम पांडा संस्करण से एआरएन की प्रतिलिपि बनाएँ।
5. एआरएन को पंडों लैम्ब्डा परत एआरएन पैरामीटर के रूप में दर्ज करें।
6. चुनें अगला.
7. पर स्टैक विकल्प कॉन्फ़िगर करें पृष्ठ, सब कुछ वैसा ही रहने दें और चुनें अगला.
8. पर समीक्षा पृष्ठ, पावती चेक बॉक्स का चयन करें, बाकी सब कुछ वैसा ही रहने दें, और चुनें स्टैक बनाएँ.

डिटेक्टर को सक्रिय करें

अगले चरण पर आगे बढ़ने से पहले, आपको कंसोल से डिटेक्टर को सक्रिय करना होगा।

1. मैट्रिक्स कंसोल के लुकआउट पर, चुनें डिटेक्टरों नेविगेशन फलक में
2. अपना नव निर्मित डिटेक्टर चुनें।
3. चुनें सक्रिय, उसके बाद चुनो सक्रिय फिर पुष्टि करने के लिए

सक्रियण डिटेक्टर को इनिशियलाइज़ करता है; यह तब समाप्त होता है जब मॉडल ने अपना सीखने का चक्र पूरा कर लिया हो। इसमें 2 घंटे तक का समय लग सकता है।

QuickSight के लिए डेटा तैयार करें

इस चरण को पूरा करने से पहले, डिटेक्टर को विसंगतियों को खोजने का समय दें। आपके द्वारा बनाया गया लैम्ब्डा फ़ंक्शन, लुकआउट फॉर मेट्रिक्स बकेट में विसंगति परिणामों को सहेजता है anomalyResults निर्देशिका। अब हम इस डेटा को QuickSight के लिए तैयार करने के लिए संसाधित कर सकते हैं।

कंसोल पर AWS ग्लू क्रॉलर बनाएं

कुछ विसंगति वाली सीएसवी फाइलें जेनरेट होने के बाद, हम मेटाडेटा टेबल जेनरेट करने के लिए एडब्ल्यूएस ग्लू क्रॉलर का उपयोग करते हैं।

1. एडब्ल्यूएस गोंद कंसोल पर, चुनें क्रौलर नेविगेशन फलक में
2. चुनें क्रॉलर जोड़ें.

3. क्रॉलर के लिए एक नाम दर्ज करें (उदाहरण के लिए, L4MCrawler).
4. चुनें अगला.
5. के लिए क्रॉलर स्रोत प्रकार, चुनते हैं डेटा स्टोर.
6. के लिए S3 डेटा स्टोर के क्रॉल दोहराएं, चुनते हैं सभी फ़ोल्डरों को क्रॉल करें.
7. चुनें अगला.

8. डेटा स्टोर कॉन्फ़िगरेशन पृष्ठ पर, के लिए में क्रॉल डेटा, चुनते हैं मेरे खाते में निर्दिष्ट पथ.
9. के लिए पथ शामिल करें, अपने पथ में प्रवेश करें dimensionContributions फ़ाइल (s3://YourBucketName/anomalyResults/dimensionContributions).
10. चुनें अगला.
11. चुनें हाँ एक और डेटा स्टोर जोड़ने के लिए और निर्देशों को दोहराने के लिए metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
12. लुकआउट फॉर मेट्रिक्स विसंगति डिटेक्टर द्वारा विश्लेषण किए जाने वाले लाइव डेटा के लिए निर्देशों को फिर से दोहराएं (यह मेट्रिक्स डिटेक्टर के लिए आपके लुकआउट से S3 डेटासेट स्थान है)।

क्रॉलर को संसाधित करने के लिए अब आपके पास तीन डेटा स्टोर होने चाहिए।

अब आपको क्रॉलर को आपके डेटा के S3 स्थानों के माध्यम से जाने की अनुमति देने के लिए भूमिका का चयन करने की आवश्यकता है।

13. इस पद के लिए, चयन करें एक IAM भूमिका बनाएँ और भूमिका के लिए एक नाम दर्ज करें।
14. चुनें अगला.

15. के लिए आवृत्ति, के रूप में छोड़ दो मांग पर भागो और चुनें अगला.
16. में क्रॉलर के आउटपुट को कॉन्फ़िगर करें अनुभाग चुनते हैं, डेटाबेस जोड़ें.

यह एथेना डेटाबेस बनाता है जहां क्रॉलर पूर्ण होने के बाद आपकी मेटाडेटा तालिकाएं स्थित होती हैं।

17. अपने डेटाबेस के लिए एक नाम दर्ज करें और चुनें बनाएं.
18. चुनें अगला, उसके बाद चुनो अंत.

19. पर क्रौलर AWS Glue कंसोल का पेज, आपके द्वारा बनाए गए क्रॉलर को चुनें और चुनें क्रॉलर चलाएं.

डेटा के आकार के आधार पर आपको कुछ मिनट प्रतीक्षा करनी पड़ सकती है। जब यह पूरा हो जाता है, तो क्रॉलर की स्थिति इस प्रकार दिखाई देती है तैयार. मेटाडेटा तालिका देखने के लिए, अपने डेटाबेस पर नेविगेट करें डेटाबेस पेज और चुनें टेबल्स नेविगेशन फलक में

इस उदाहरण में, लाइव नामक मेटाडेटा तालिका लुकआउट फॉर मेट्रिक्स लाइव डिटेक्टर से S3 डेटासेट का प्रतिनिधित्व करती है। सर्वोत्तम अभ्यास के रूप में, इसकी अनुशंसा की जाती है अपने AWS ग्लू डेटा कैटलॉग मेटाडेटा को एन्क्रिप्ट करें.

एथेना स्वचालित रूप से मेटाडेटा तालिकाओं को पहचानता है, और क्विकसाइट डेटा को क्वेरी करने और परिणामों की कल्पना करने के लिए एथेना का उपयोग करता है।

AWS CloudFormation का उपयोग करके AWS ग्लू क्रॉलर बनाएं

RSI L4MGlueCrawler.yaml CloudFormation स्क्रिप्ट AWS ग्लू क्रॉलर, इसकी संबद्ध IAM भूमिका और आउटपुट एथेना डेटाबेस बनाता है।

1. निम्नलिखित लिंक से स्टैक लॉन्च करें:

2. पर स्टैक बनाएँ पृष्ठ, चुनें अगला.
3. पर स्टैक विवरण निर्दिष्ट करें पृष्ठ, अपने स्टैक के लिए एक नाम दर्ज करें (उदाहरण के लिए, L4MGlueCrawler), और चुनें अगला.
4. पर स्टैक विकल्प कॉन्फ़िगर करें पृष्ठ, सब कुछ वैसा ही रहने दें और चुनें अगला.
5. पर समीक्षा पृष्ठ, पावती चेक बॉक्स का चयन करें, बाकी सब कुछ वैसा ही रहने दें, और चुनें स्टैक बनाएँ.

एडब्ल्यूएस गोंद क्रॉलर चलाएँ

क्रॉलर बनाने के बाद, आपको अगले चरण पर जाने से पहले इसे चलाना होगा। आप इसे कंसोल से चला सकते हैं या AWS कमांड लाइन इंटरफ़ेस (एडब्ल्यूएस सीएलआई)। कंसोल का उपयोग करने के लिए, निम्न चरणों को पूरा करें:

1. एडब्ल्यूएस गोंद कंसोल पर, चुनें क्रौलर नेविगेशन फलक में
2. अपना क्रॉलर चुनें (L4MCrawler).
3. चुनें क्रॉलर चलाएं.

जब क्रॉलर पूरा हो जाता है, तो यह स्थिति दिखाता है तैयार.

क्विकसाइट अकाउंट बनाएं

यह अगला चरण शुरू करने से पहले, QuickSight कंसोल पर नेविगेट करें और यदि आपके पास पहले से खाता नहीं है तो एक खाता बनाएं। यह सुनिश्चित करने के लिए कि आपके पास संबंधित सेवाओं (एथेना और S3 बकेट) तक पहुंच है, ऊपर दाईं ओर अपना खाता नाम चुनें, चुनें QuickSight प्रबंधित करें, और चुनें सुरक्षा और अनुमतियाँ, जहां आप आवश्यक सेवाएं जोड़ सकते हैं। अपना Amazon S3 एक्सेस सेट करते समय, चयन करना सुनिश्चित करें एथेना कार्यसमूह के लिए अनुमति लिखें.

अब आप QuickSight में अपने डेटा की कल्पना करने के लिए तैयार हैं।

कंसोल पर क्विकसाइट डेटासेट बनाएं

यदि आप पहली बार एथेना का उपयोग कर रहे हैं, तो आपको प्रश्नों के आउटपुट स्थान को कॉन्फ़िगर करना होगा। निर्देशों के लिए, चरण 1-6 इंच . देखें एक डेटाबेस बनाएँ. फिर निम्नलिखित चरणों को पूरा करें:

1. QuickSight कंसोल पर, चुनें डेटासेट.
2. चुनें नया डेटासेट.
3. एथेना को अपने स्रोत के रूप में चुनें।
4. अपने डेटा स्रोत के लिए एक नाम दर्ज करें।
5. चुनें डेटा स्रोत बनाएँ.

6. अपने डेटाबेस के लिए, वह निर्दिष्ट करें जिसे आपने पहले AWS Glue क्रॉलर के साथ बनाया था।
7. वह तालिका निर्दिष्ट करें जिसमें आपका लाइव डेटा हो (विसंगतियां नहीं)।
8. चुनें डेटा संपादित करें/पूर्वावलोकन करें.

आपको निम्न स्क्रीनशॉट के समान इंटरफ़ेस पर पुनर्निर्देशित किया गया है।

अगला कदम है जोड़ना और जोड़ना metricValue_AnomalyScore लाइव डेटा के साथ डेटा।

9. चुनें डेटा जोड़ें.
10. चुनें डेटा स्रोत जोड़ें.
11. आपके द्वारा बनाए गए डेटाबेस को निर्दिष्ट करें और metricValue_AnomalyScore तालिका.
12. चुनें चुनते हैं.

अब आपको दो तालिकाओं में शामिल होने को कॉन्फ़िगर करने की आवश्यकता है।

13. दो तालिकाओं के बीच की कड़ी चुनें।
14. शामिल होने के प्रकार को छोड़ दें वाम, टाइमस्टैम्प और आपके पास मौजूद प्रत्येक आयाम को जॉइन क्लॉज के रूप में जोड़ें, और चुनें लागू करें.

निम्नलिखित उदाहरण में, हम टाइमस्टैम्प, प्लेटफॉर्म और मार्केटप्लेस का उपयोग जॉइन क्लॉज के रूप में करते हैं।

दाएँ फलक पर, आप उन फ़ील्ड्स को हटा सकते हैं जिन्हें रखने में आपकी रुचि नहीं है।

15. से टाइमस्टैम्प निकालें metricValue_AnomalyScore तालिका में डुप्लिकेट कॉलम नहीं है।
16. टाइमस्टैम्प डेटा प्रकार (लाइव डेटा तालिका के) को स्ट्रिंग से तिथि में बदलें, और सही निर्दिष्ट करें प्रारूप. हमारे मामले में, यह होना चाहिए yyyy-MM-dd HH:mm:ss.

कुछ फ़ील्ड हटाने और डेटा प्रकार समायोजित करने के बाद निम्न स्क्रीनशॉट आपका दृश्य दिखाता है।

17. चुनें सहेजें और कल्पना करें.
18. डेटासेट के आगे पेंसिल आइकन चुनें।
19. चुनें डेटासेट जोड़ें और चुनें dimensioncontributions.

AWS CloudFormation का उपयोग करके QuickSight डेटासेट बनाएं

इस चरण में तीन CloudFormation स्टैक हैं।

पहली CloudFormation स्क्रिप्ट, L4MQuickSightDataSource.yaml, QuickSight एथेना डेटा स्रोत बनाता है।

1. निम्नलिखित लिंक से स्टैक लॉन्च करें:

2. पर स्टैक बनाएँ पृष्ठ, चुनें अगला.
3. पर स्टैक विवरण निर्दिष्ट करें पृष्ठ, अपना QuickSight उपयोगकर्ता नाम, QuickSight खाता क्षेत्र (QuickSight खाता बनाते समय निर्दिष्ट) और एक स्टैक नाम दर्ज करें (उदाहरण के लिए, L4MQuickSightDataSource).
4. चुनें अगला.
5. पर स्टैक विकल्प कॉन्फ़िगर करें पृष्ठ, सब कुछ वैसा ही रहने दें और चुनें अगला.
6. पर समीक्षा पृष्ठ, सब कुछ वैसा ही रहने दें और चुनें स्टैक बनाएँ.

दूसरी क्लाउडफॉर्मेशन स्क्रिप्ट, L4MQuickSightDataSet1.yaml, एक QuickSight डेटासेट बनाता है जो आयाम तालिका को विसंगति तालिका के साथ जोड़ता है।

1. निम्नलिखित लिंक से स्टैक लॉन्च करें:

2. पर स्टैक बनाएँ पृष्ठ, चुनें अगला.
3. पर स्टैक विवरण निर्दिष्ट करें, एक स्टैक नाम दर्ज करें (उदाहरण के लिए, L4MQuickSightDataSet1).
4. चुनें अगला.
5. पर स्टैक विकल्प कॉन्फ़िगर करें पृष्ठ, सब कुछ वैसा ही रहने दें और चुनें अगला.
6. पर समीक्षा पृष्ठ, सब कुछ वैसा ही रहने दें और चुनें स्टैक बनाएँ.

तीसरी क्लाउडफॉर्मेशन स्क्रिप्ट, L4MQuickSightDataSet2.yaml, QuickSight डेटासेट बनाता है जो विसंगति तालिका को लाइव डेटा तालिका के साथ जोड़ता है।

1. निम्नलिखित लिंक से स्टैक लॉन्च करें:

2. पर स्टैक पेज बनाएंचुनें अगला.
3. पर स्टैक विवरण निर्दिष्ट करें पृष्ठ, स्टैक नाम दर्ज करें (उदाहरण के लिए, L4MQuickSightDataSet2).
4. चुनें अगला.
5. पर स्टैक विकल्प कॉन्फ़िगर करें पृष्ठ, सब कुछ वैसा ही रहने दें और चुनें अगला.
6. पर समीक्षा पृष्ठ, सब कुछ वैसा ही रहने दें और चुनें स्टैक बनाएँ.

डैशबोर्ड निर्माण के लिए क्विकसाइट विश्लेषण बनाएं

यह चरण केवल कंसोल पर ही पूरा किया जा सकता है। अपने QuickSight डेटासेट बनाने के बाद, निम्न चरणों को पूरा करें:

1. QuickSight कंसोल पर, चुनें विश्लेषण नेविगेशन फलक में
2. चुनें नया विश्लेषण.
3. पहला डेटासेट चुनें, L4MQuickSightDataSetWithLiveData.

4. चुनें विश्लेषण बनाएं.

QuickSight विश्लेषण शुरू में केवल पहले डेटासेट के साथ बनाया गया है।

5. दूसरा डेटासेट जोड़ने के लिए, के आगे पेंसिल आइकन चुनें डेटासेट और चुनें डेटासेट जोड़ें.
6. दूसरा डेटासेट चुनें और चुनें चुनते हैं.

फिर आप चार्ट को चुनने के लिए डेटासेट का उपयोग कर सकते हैं डेटासेट ड्रॉप डाउन मेनू।

डेटासेट मेट्रिक्स

आपने लुकआउट फॉर मेट्रिक्स अनुमान परिणामों और लाइव डेटा से सफलतापूर्वक एक क्विकसाइट विश्लेषण बनाया है। आपके उपयोग के लिए दो डेटासेट QuickSight में हैं: L4M_Visualization_dataset_with_liveData और L4M_Visualization_dataset_with_dimensionContribution.

RSI L4M_Visualization_dataset_with_liveData डेटासेट में निम्नलिखित मीट्रिक शामिल हैं:

• टाइमस्टैम्प - लाइव डेटा की तारीख और समय लुकआउट फॉर मेट्रिक्स को दिया गया
• विचारों - देखे जाने की संख्या का मान मेट्रिक
• राजस्व - राजस्व मीट्रिक का मूल्य
• प्लेटफॉर्म, मार्केटप्लेस, रेवेन्यूएनोमलीमेट्रिक वैल्यू, व्यूजएनोमलीमेट्रिक वैल्यू, रेवेन्यूग्रुपस्कोर और व्यूजग्रुपस्कोर - ये मेट्रिक्स दोनों डेटासेट का हिस्सा हैं

RSI L4M_Visualization_dataset_with_dimensionContribution डेटासेट में निम्नलिखित मीट्रिक शामिल हैं:

• टाइमस्टैम्प - तारीख और समय जब विसंगति का पता चला था
• मीट्रिकनाम - वे मीट्रिक जिनकी आप निगरानी कर रहे हैं
• आयामनाम - मीट्रिक के भीतर का आयाम
• आयाम मान - आयाम का मूल्य
• मूल्य योगदान - कितना आयाम मान का पता चलने पर विसंगति को प्रभावित कर रहा है इसका प्रतिशत

निम्न स्क्रीनशॉट इन पांच मीट्रिक्स को लुकआउट फॉर मेट्रिक्स डिटेक्टर के विसंगति डैशबोर्ड पर दिखाता है।

निम्नलिखित मीट्रिक दोनों डेटासेट का हिस्सा हैं:

• मंच - वह मंच जहां विसंगति हुई
• बाजार - बाज़ार जहाँ विसंगति हुई
• रेवेन्यूएनोमलीमेट्रिकवैल्यू और व्यूऐनोमालीमेट्रिकवैल्यू - विसंगति का पता चलने पर मीट्रिक के संगत मान (इस स्थिति में, मीट्रिक आय या दृश्य हैं)
• रेवेन्यूग्रुपस्कोर और व्यूग्रुपस्कोर - खोजी गई विसंगति के लिए प्रत्येक मीट्रिक के लिए गंभीरता स्कोर

इन अंतिम मेट्रिक्स को बेहतर ढंग से समझने के लिए, आप अपने S3 बकेट में लैम्ब्डा फ़ंक्शन द्वारा बनाई गई CSV फ़ाइलों की समीक्षा कर सकते हैं जहाँ आपने सहेजा था anomalyResults/metricValue_AnomalyScore.

अगले चरण

अगला चरण उस डेटा के लिए डैशबोर्ड बनाना है जिसे आप देखना चाहते हैं। इस पोस्ट में QuickSight चार्ट बनाने की व्याख्या शामिल नहीं है। यदि आप QuickSight में नए हैं, तो देखें Amazon QuickSight में डेटा विश्लेषण के साथ शुरुआत करना एक परिचय के लिए। निम्नलिखित स्क्रीनशॉट बुनियादी डैशबोर्ड के उदाहरण दिखाते हैं। अधिक जानकारी के लिए, देखें क्विकसाइट वर्कशॉप.

निष्कर्ष

विसंगतियों को लुकआउट फॉर मेट्रिक्स कंसोल पर व्यक्तिगत रूप से प्रस्तुत किया जाता है, प्रत्येक का अपना ग्राफ़ होता है, जिससे सेट को समग्र रूप से देखना मुश्किल हो जाता है। गहन विश्लेषण के लिए एक स्वचालित, एकीकृत समाधान की आवश्यकता है। इस पोस्ट में, हमने विसंगतियों को उत्पन्न करने के लिए मेट्रिक्स डिटेक्टर के लिए एक लुकआउट का उपयोग किया, और विज़ुअलाइज़ेशन बनाने के लिए डेटा को क्विकसाइट से जोड़ा। यह समाधान हमें विसंगतियों का गहन विश्लेषण करने और उन सभी को एक ही स्थान/डैशबोर्ड में रखने में सक्षम बनाता है।

अगले चरण के रूप में, एक अतिरिक्त डेटासेट जोड़कर और कई डिटेक्टरों से विसंगतियों को जोड़कर इस समाधान का विस्तार किया जा सकता है। आप लैम्ब्डा फ़ंक्शन को भी अनुकूलित कर सकते हैं। लैम्ब्डा फ़ंक्शन में वह कोड होता है जो डेटा सेट और चर नाम उत्पन्न करता है जिसका उपयोग हम क्विकसाइट डैशबोर्ड के लिए करते हैं। आप डेटा सेट या वेरिएबल नामों को बदलकर जो आपके लिए अधिक मायने रखते हैं, आप इस कोड को अपने विशेष उपयोग के मामले में अनुकूलित कर सकते हैं।

यदि आपके पास कोई प्रतिक्रिया या प्रश्न हैं, तो कृपया उन्हें टिप्पणियों में छोड़ दें।

---

लेखक के बारे में

बेनोइट डी पटौला एडब्ल्यूएस में एआई/एमएल विशेषज्ञ समाधान आर्किटेक्ट हैं। वह AWS का उपयोग करते समय AI / ML से संबंधित समाधान बनाने के लिए मार्गदर्शन और तकनीकी सहायता प्रदान करके ग्राहकों की मदद करता है।

पॉल ट्रियनो अटलांटा, जीए में स्थित एडब्ल्यूएस में एक वरिष्ठ समाधान वास्तुकार है। वह एडब्ल्यूएस पर प्रौद्योगिकी रणनीतियों और समाधानों पर मार्गदर्शन प्रदान करके ग्राहकों की मदद करता है। उन्हें एआई/एमएल और सॉल्यूशन ऑटोमेशन सभी चीजों का शौक है।