मेट्रिक्स के लिए अमेज़न लुकआउट एक एडब्ल्यूएस सेवा है जो स्वचालित रूप से मेट्रिक्स की निगरानी के लिए मशीन लर्निंग (एमएल) का उपयोग करती है जो अधिक गति और सटीकता वाले व्यवसायों के लिए सबसे महत्वपूर्ण हैं। सेवा विसंगतियों के मूल कारण का निदान करना भी आसान बनाती है, जैसे कि राजस्व में अप्रत्याशित गिरावट, परित्यक्त शॉपिंग कार्ट की उच्च दरें, भुगतान लेनदेन विफलताओं में स्पाइक्स, नए उपयोगकर्ता साइन-अप में वृद्धि, और बहुत कुछ। मेट्रिक्स के लिए लुकआउट सरल विसंगति का पता लगाने से परे है। यह डेवलपर्स को विसंगतियों का पता लगाने के लिए महत्वपूर्ण मेट्रिक्स के लिए स्वायत्त निगरानी स्थापित करने और इसके मेट्रिक्स में विसंगतियों का पता लगाने के लिए कुछ ही क्लिक में उनके मूल कारण की पहचान करने की अनुमति देता है - सभी के लिए एमएल अनुभव की आवश्यकता नहीं है।
अमेज़न एथेना एक इंटरैक्टिव क्वेरी सेवा है जो डेटा का विश्लेषण करना आसान बनाती है अमेज़न सरल भंडारण सेवा (अमेज़न S3) मानक एसक्यूएल का उपयोग करना। बस Amazon S3 में अपने डेटा को इंगित करें, स्कीमा को परिभाषित करें, और मानक SQL का उपयोग करके क्वेरी करना प्रारंभ करें। अधिकांश परिणाम सेकंड के भीतर वितरित किए जाते हैं। एथेना के साथ, विश्लेषण के लिए अपना डेटा तैयार करने के लिए जटिल ईटीएल नौकरियों की कोई आवश्यकता नहीं है। यह SQL कौशल वाले किसी भी व्यक्ति के लिए बड़े पैमाने के डेटासेट का त्वरित विश्लेषण करना आसान बनाता है।
आज के लॉन्च के साथ, लुकआउट फॉर मेट्रिक्स अब अत्यधिक सटीक विसंगति डिटेक्टरों को स्थापित करने के लिए एथेना में आपके डेटा से निर्बाध रूप से जुड़ सकता है। यह आपको एथेना में उपलब्ध किसी भी डेटासेट के खिलाफ लुकआउट फॉर मेट्रिक्स के साथ एमएल के माध्यम से अत्याधुनिक विसंगति का पता लगाने की सुविधा देता है।
एथेना कनेक्टिविटी निम्नलिखित लाभ लाकर मेट्रिक्स के लिए लुकआउट की क्षमताओं का विस्तार करती है:
- यह मीट्रिक के लिए लुकआउट की क्षमताओं का विस्तार करता है: फ़ाइल प्रकार समर्थन. इससे पहले, लुकआउट फॉर मेट्रिक्स ने CSV और JSONLines स्वरूपित फ़ाइलों का समर्थन किया था, लेकिन एथेना के साथ इसे Parquet, Avro, Plaintext, और अन्य में विस्तारित किया गया है। यदि आप इसे एथेना के माध्यम से पार्स कर सकते हैं, तो अब लुकआउट फॉर मेट्रिक्स के साथ आयात और लाभ उठाना संभव है।
- यह डेटा के लिए समर्थन भी पेश करता है फ़ेडरेटेड क्वेरीज़. इस लॉन्च से पहले, यदि आपका डेटा कई डेटाबेस या स्रोतों में संग्रहीत किया गया था, तो आपको एक संपूर्ण जटिल ईटीएल प्रक्रिया को परिभाषित करने के साथ-साथ इसकी प्रदर्शन विशेषताओं को प्रबंधित करने की आवश्यकता होगी, इससे पहले कि आप सभी डेटा को CSV या JSONLines फ़ाइल में निर्यात कर सकें और इसे इनपुट कर सकें। विसंगति का पता लगाने के लिए मेट्रिक्स की तलाश में। एथेना से फ़ेडरेटेड प्रश्नों के साथ, आप अलग-अलग स्रोतों को परिभाषित करते हैं और साथ ही यह भी परिभाषित करते हैं कि कैसे शामिल होना चाहिए और जब डेटा संसाधित किया गया है और एथेना द्वारा पूछताछ की जा सकती है, तो यह मीट्रिक के लिए तुरंत तैयार है। यह आपको एथेना को डेटा परिवर्तन, एकत्रीकरण और वितरण स्थान का बोझ सौंपने में सक्षम बनाता है और लुकआउट फॉर मेट्रिक्स से पहचानी गई विसंगतियों पर ध्यान केंद्रित करता है।
समाधान अवलोकन
इस पोस्ट में, हम प्रदर्शित करते हैं कि एथेना तालिका को कैसे एकीकृत किया जाए और राजस्व मेट्रिक्स में विसंगतियों का पता लगाया जाए। हम यह भी ट्रैक करते हैं कि ऑर्डर दर और इन्वेंट्री मेट्रिक्स कैसे प्रभावित होते हैं। स्रोत डेटा Amazon S3 में है और हमने इसमें डेटा को क्वेरी करने में सक्षम होने के लिए एथेना तालिकाओं को कॉन्फ़िगर किया है। एक AWS लाम्बा एथेना के भीतर विभाजन को अद्यतन करने के लिए जिम्मेदार है, जिसका उपयोग लुकआउट फॉर मेट्रिक्स द्वारा विसंगतियों का पता लगाने के लिए किया जाता है। यह समाधान आपको लुकआउट फॉर मेट्रिक्स के लिए एथेना डेटा स्रोत का उपयोग करने में सक्षम बनाता है।
आप दिए गए का उपयोग कर सकते हैं एडब्ल्यूएस CloudFormation वॉकथ्रू के लिए संसाधन स्थापित करने के लिए स्टैक। इसमें लगातार लाइव डेटा उत्पन्न करने के लिए संसाधन होते हैं और उन्हें एथेना में क्वेरी-सक्षम बनाता है।
- निम्नलिखित लिंक से स्टैक लॉन्च करें और चुनें अगला स्टैक बनाएँ पृष्ठ पर।
- पर स्टैक विवरण निर्दिष्ट करें पृष्ठ, ऊपर से मान जोड़ें, इसे एक स्टैक नाम दें (उदाहरण के लिए,
L4MAthenaDetector
), और चुनें अगला. - पर स्टैक विकल्प कॉन्फ़िगर करें पेज, सब कुछ वैसा ही रहने दें और चुनें अगला.
डेटा स्रोत के रूप में एथेना के साथ एक नया डिटेक्टर सेट करें
चरण 1
में प्रवेश करें AWS कंसोल मेट्रिक्स के लिए लुकआउट के साथ एक विसंगति डिटेक्टर बनाने के साथ आरंभ करने के लिए। पहला कदम "डिटेक्टर बनाएं" बटन का चयन करना है।
चरण 2
नाम जैसे अनिवार्य डिटेक्टर फ़ील्ड भरें। डिटेक्टर के लिए पता लगाने के अंतराल का चयन करें, जो उस आवृत्ति से निर्धारित होता है जिस पर आप अपने डेटा को क्वेरी करने के लिए लुकआउट फॉर मेट्रिक्स चाहते हैं और विसंगतियों के लिए उनकी निगरानी करना चाहते हैं। एन्क्रिप्शन जानकारी अनिवार्य नहीं है। एन्क्रिप्शन जानकारी लुकआउट फॉर मेट्रिक्स को आपके डेटा का उपयोग करके आपके डेटा को एन्क्रिप्ट करने की अनुमति देती है AWS प्रमुख प्रबंधन सेवा (KMS) चाभी। इस उदाहरण में, हम एक एन्क्रिप्शन कुंजी जोड़ना छोड़ देंगे, यदि कोई एन्क्रिप्शन जानकारी प्रदान नहीं की जाती है, तो लुकआउट फॉर मेट्रिक्स आपके डेटा को एन्क्रिप्ट करने के लिए डिफ़ॉल्ट एन्क्रिप्शन का उपयोग करेगा, और "बनाएं" बटन का चयन करके आगे बढ़ें।
चरण 3
विसंगति डिटेक्टर बनने पर, आपको शीर्ष पर एक बैनर में पुष्टिकरण दिखाई देगा। आप बैनर या "डेटासेट जोड़ें" के तहत बटन के माध्यम से "डेटासेट जोड़ें" का चयन करके आगे बढ़ सकते हैं।
डेटा स्रोत के लिए बुनियादी जानकारी भरें। समयक्षेत्र एक वैकल्पिक क्षेत्र है। डेटा स्रोत चुनने के लिए ड्रॉपडाउन चुनें.
लुकआउट फॉर मेट्रिक्स ग्राहकों की सुविधा के लिए कई डेटा स्रोतों का समर्थन करता है। इस उदाहरण के लिए, हम एथेना का चयन करेंगे।
एक बार जब एथेना को डेटा स्रोत के रूप में चुना जाता है, तो आपके पास डिटेक्टर के लिए बैकटेस्ट या कंटीन्यूअस मोड का चयन करने का विकल्प होगा। इस उदाहरण के लिए, हम कंटीन्यूअस मोड का उपयोग करके आगे बढ़ेंगे। एथेना तालिका के लिए विवरण जोड़कर आगे बढ़ें, जिसे आप विसंगतियों के लिए मॉनिटर करना चाहते हैं।
आप सेवा को सेवा भूमिका बनाने की अनुमति दे सकते हैं या आप किसी मौजूदा का उपयोग कर सकते हैं AWS पहचान और अभिगम प्रबंधन (IAM) फ़ेडरेटेड प्रश्नों के लिए आपके खाते में भूमिका। ध्यान दें कि लुकआउट फॉर मेट्रिक्स फ़ेडरेटेड क्वेरी के लिए IAM भूमिकाओं के स्वचालित निर्माण का समर्थन नहीं करता है। इसलिए, एथेना को आपके डेटा पर निम्नलिखित क्रियाएं करने की अनुमति देने के लिए आपको एक नई IAM भूमिका बनानी होगी,
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
सेवा द्वारा बनाई गई IAM भूमिका निम्न की तरह दिखती है:
चरण 4
अब हम संसूचक के लिए प्रासंगिक मीट्रिक परिभाषित करेंगे। मेट्रिक्स के लिए लुकआउट ड्रॉप-डाउन को आपूर्ति की गई एथेना तालिका में मौजूद कॉलम के साथ पॉप्युलेट करेगा। आप अधिकतम पाँच मीट्रिक और पाँच आयाम चुन सकते हैं। मेट्रिक्स के लिए लुकआउट के लिए आवश्यक है कि आपकी तालिका के डेटा को टाइमस्टैम्प कॉलम के टाइमस्टैम्प के रूप में विभाजित किया जाए। आपके पास अपने आयामों में मानों की संख्या जोड़कर इस डिटेक्टर की लागत का अनुमान लगाने का विकल्प भी होगा।
एक बार जब आप सभी मीट्रिक चुन लेते हैं, तो "अगला" बटन चुनकर आगे बढ़ें। विवरण की समीक्षा करें और डेटासेट को सहेजने के लिए "डेटासेट सहेजें" बटन का चयन करें।
चरण 5
डेटासेट बन जाने के बाद, हम डिटेक्टर को शीर्ष पर "सक्रिय करें" बटन या "यह कैसे काम करता है" अनुभाग के अंतर्गत "डिटेक्टर सक्रिय करें" बटन का चयन करके सक्रिय करेंगे।
यदि आप निरंतर पता लगाने के लिए डिटेक्टर को सक्रिय करना चाहते हैं तो आपको पुष्टि करने के लिए कहा जाएगा। पुष्टि करने के लिए "सक्रिय करें" चुनें।
आपको एक पुष्टिकरण दिखाई देगा जो यह सूचित करेगा कि डिटेक्टर सक्रिय हो रहा है।
चरण 6
एक बार एनोमली डिटेक्टर सक्रिय हो जाने पर, आप सेवा द्वारा किए गए डिटेक्शन निष्पादन की समीक्षा करने के लिए डिटेक्टर विवरण पृष्ठ पर "डिटेक्टर लॉग" टैब का उपयोग कर सकते हैं।
चरण 7
आप उन विसंगतियों का मैन्युअल रूप से निरीक्षण करने के लिए डिटेक्टर विवरण पृष्ठ से "विसंगतियां देखें" बटन का चयन कर सकते हैं जिन्हें सेवा द्वारा पता लगाया जा सकता है।
चरण 8
विसंगतियों की समीक्षा पृष्ठ पर, आप किसी चयनित स्कोर से ऊपर की विसंगतियों को फ़िल्टर करने के लिए थ्रेशोल्ड डायल पर गंभीरता स्कोर सीमा को समायोजित कर सकते हैं।
परिणामों की समीक्षा और विश्लेषण करें
किसी विसंगति का पता लगाते समय, लुकआउट फॉर मेट्रिक्स आपको प्राथमिकता देने में सहायता के लिए गंभीरता स्कोर निर्दिष्ट करके इस पर ध्यान केंद्रित करने में मदद करता है। मूल कारण का पता लगाने में आपकी मदद करने के लिए, यह बुद्धिमानी से उन विसंगतियों को समूहित करता है जो एक ही घटना से संबंधित हो सकती हैं, और फिर प्रभाव के विभिन्न स्रोतों को सारांशित करती हैं।
लुकआउट फॉर मेट्रिक्स आपको खोजी गई विसंगतियों की प्रासंगिकता पर रीयल-टाइम फीडबैक प्रदान करने देता है, जिससे एक शक्तिशाली मानव-इन-लूप तंत्र सक्षम होता है। यह जानकारी लगभग वास्तविक समय में इसकी सटीकता में सुधार करने के लिए विसंगति का पता लगाने वाले मॉडल को वापस फीड की जाती है।
क्लीन अप
डेमो के लिए सेट अप संसाधन के लिए अतिरिक्त शुल्क लेने से बचने के लिए, आप मेट्रिक्स के लिए लुकआउट के तहत बनाए गए डिटेक्टर और क्लाउडफॉर्मेशन के माध्यम से बनाए गए स्टैक को हटा सकते हैं।
निष्कर्ष
आप अपनी एथेना तालिकाओं के भीतर मीट्रिक और आयामों में अत्यधिक सटीक विसंगति डिटेक्टर सेट अप करने के लिए एथेना में अपने डेटा को मैट्रिक्स के लिए लुकआउट से जोड़ सकते हैं। इस क्षमता के साथ आरंभ करने के लिए, देखें मेट्रिक्स के लिए लुकआउट के साथ अमेज़न एथेना का उपयोग करना. आप इस क्षमता का उपयोग उन सभी क्षेत्रों में कर सकते हैं जहां मेट्रिक के लिए लुकआउट सार्वजनिक रूप से उपलब्ध है। क्षेत्र की उपलब्धता के बारे में अधिक जानकारी के लिए देखें AWS क्षेत्रीय सेवाएँ.
लेखक के बारे में
देवेश राठो लुकआउट फॉर मेट्रिक्स टीम में एक सॉफ्टवेयर डेवलपमेंट इंजीनियर है। उनकी रुचि स्केलेबल वितरित सिस्टम के निर्माण में है। अपने खाली समय में, वह सिम रेसिंग का आनंद लेते हैं।
क्रिस किंग AWS के साथ एप्लाइड AI में एक वरिष्ठ समाधान वास्तुकार है। एआई सेवाओं को लॉन्च करने में उनकी विशेष रुचि है और मेट्रिक्स के लिए अमेज़ॅन लुकआउट पर ध्यान केंद्रित करने से पहले अमेज़ॅन पर्सनलाइज़ और अमेज़ॅन पूर्वानुमान को बढ़ने और बनाने में मदद की। अपने खाली समय में उन्होंने युद्ध के खेल के परिणाम की भविष्यवाणी करने के लिए खाना पकाने, पढ़ने, मुक्केबाजी और निर्माण मॉडल का आनंद लिया।
- कॉइनस्मार्ट। यूरोप का सर्वश्रेष्ठ बिटकॉइन और क्रिप्टो एक्सचेंज।
- प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। नि: शुल्क प्रवेश।
- क्रिप्टोहॉक। Altcoin रडार। मुफ्त परीक्षण।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/seamless-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- About
- पहुँच
- लेखा
- सही
- के पार
- कार्य
- कार्रवाई
- सक्रिय
- अतिरिक्त
- AI
- ऐ सेवा
- सब
- वीरांगना
- विश्लेषण
- किसी
- स्वचालित
- स्वायत्त
- उपलब्धता
- उपलब्ध
- एडब्ल्यूएस
- बैनर
- से पहले
- लाभ
- परे
- सीमा
- बॉक्सिंग
- निर्माण
- इमारत
- व्यवसायों
- क्षमताओं
- कारण
- प्रभार
- स्तंभ
- का मुकाबला
- जटिल
- शर्त
- जुडिये
- कनेक्टिविटी
- शामिल हैं
- सुविधा
- सका
- बनाना
- बनाया
- बनाना
- निर्माण
- ग्राहक
- तिथि
- डेटाबेस
- दिया गया
- प्रसव
- दिखाना
- तैनात
- विवरण
- पता चला
- खोज
- डेवलपर्स
- विकास
- विभिन्न
- वितरित
- नहीं करता है
- प्रभाव
- समर्थकारी
- एन्क्रिप्शन
- इंजीनियर
- आकलन
- सब कुछ
- उदाहरण
- मौजूदा
- विस्तारित
- अनुभव
- फेड
- प्रतिक्रिया
- फ़ील्ड
- प्रथम
- फोकस
- ध्यान केंद्रित
- निम्नलिखित
- उत्पन्न
- अधिक से अधिक
- समूह की
- आगे बढ़ें
- मदद
- मदद करता है
- हाई
- अत्यधिक
- कैसे
- How To
- HTTPS
- पहचान करना
- पहचान
- प्रभाव
- महत्वपूर्ण
- में सुधार
- करें-
- निवेश
- एकीकृत
- इंटरैक्टिव
- ब्याज
- रुचियों
- सूची
- IT
- नौकरियां
- में शामिल होने
- कुंजी
- राजा
- लांच
- शुरू करने
- सीख रहा हूँ
- छोड़ना
- लीवरेज
- LINK
- स्थान
- मशीन
- यंत्र अधिगम
- बनाता है
- प्रबंधन
- प्रबंध
- अनिवार्य
- मैन्युअल
- बात
- मैटर्स
- मेट्रिक्स
- ML
- आदर्श
- मॉडल
- मॉनिटर
- निगरानी
- अधिक
- अधिकांश
- विभिन्न
- संख्या
- विकल्प
- आदेश
- भुगतान
- प्रदर्शन
- निजीकृत
- बिन्दु
- संभव
- शक्तिशाली
- भविष्यवाणी करना
- तैयार करना
- वर्तमान
- प्रक्रिया
- प्रदान करना
- जल्दी से
- रेसिंग
- दरें
- पढ़ना
- वास्तविक समय
- क्षेत्रीय
- प्रासंगिक
- अपेक्षित
- की आवश्यकता होती है
- संसाधन
- उपयुक्त संसाधन चुनें
- जिम्मेदार
- परिणाम
- राजस्व
- की समीक्षा
- स्केलेबल
- मूल
- सेकंड
- चयनित
- सेवा
- सेवाएँ
- सेट
- खरीदारी
- हाँ
- सरल
- कौशल
- सॉफ्टवेयर
- सॉफ्टवेयर विकास
- ठोस
- समाधान
- समाधान ढूंढे
- विशेष
- गति
- खेल-कूद
- धुआँरा
- मानक
- प्रारंभ
- शुरू
- राज्य के-the-कला
- कथन
- भंडारण
- समर्थन
- समर्थित
- समर्थन करता है
- सिस्टम
- टीम
- स्रोत
- इसलिये
- द्वार
- यहाँ
- पहर
- आज का दि
- ऊपर का
- ट्रैक
- ट्रांजेक्शन
- परिवर्तन
- के अंतर्गत
- अद्यतन
- उपयोग
- संस्करण
- क्या
- अंदर
- होगा