अमेज़ॅन सेजमेकर भू-स्थानिक क्षमताओं का उपयोग करके अंतर्दृष्टि प्राप्त करने के लिए गतिशीलता डेटा का उपयोग करें अमेज़न वेब सेवाएँ

भू-स्थानिक डेटा पृथ्वी की सतह पर विशिष्ट स्थानों के बारे में डेटा है। यह संपूर्ण भौगोलिक क्षेत्र का प्रतिनिधित्व कर सकता है या यह किसी भौगोलिक क्षेत्र से जुड़ी किसी घटना का प्रतिनिधित्व कर सकता है। कुछ उद्योगों में भू-स्थानिक डेटा के विश्लेषण की मांग की जाती है। इसमें यह समझना शामिल है कि स्थानिक परिप्रेक्ष्य से डेटा कहां मौजूद है और यह वहां क्यों मौजूद है।

भू-स्थानिक डेटा दो प्रकार के होते हैं: वेक्टर डेटा और रैस्टर डेटा। रैस्टर डेटा एक ग्रिड के रूप में प्रदर्शित कोशिकाओं का एक मैट्रिक्स है, जो ज्यादातर तस्वीरों और उपग्रह इमेजरी का प्रतिनिधित्व करता है। इस पोस्ट में, हम वेक्टर डेटा पर ध्यान केंद्रित करते हैं, जिसे अक्षांश और देशांतर के भौगोलिक निर्देशांक के साथ-साथ उन्हें जोड़ने या घेरने वाली रेखाओं और बहुभुज (क्षेत्रों) के रूप में दर्शाया जाता है। गतिशीलता अंतर्दृष्टि प्राप्त करने में वेक्टर डेटा के उपयोग के कई मामले हैं। उपयोगकर्ता मोबाइल डेटा इसका एक ऐसा घटक है, और यह ज्यादातर जीपीएस या ऐप प्रकाशकों का उपयोग करके एसडीके या इसी तरह के एकीकरण का उपयोग करने वाले मोबाइल उपकरणों की भौगोलिक स्थिति से प्राप्त होता है। इस पोस्ट के प्रयोजन के लिए, हम इस डेटा को इस प्रकार संदर्भित करते हैं गतिशीलता डेटा.

यह दो भाग की श्रृंखला है. इस पहली पोस्ट में, हम गतिशीलता डेटा, इसके स्रोत और इस डेटा की एक विशिष्ट स्कीमा पेश करते हैं। फिर हम विभिन्न उपयोग के मामलों पर चर्चा करते हैं और पता लगाते हैं कि आप डेटा को साफ करने के लिए एडब्ल्यूएस सेवाओं का उपयोग कैसे कर सकते हैं, मशीन लर्निंग (एमएल) इस प्रयास में कैसे सहायता कर सकती है, और आप दृश्य और अंतर्दृष्टि उत्पन्न करने में डेटा का नैतिक उपयोग कैसे कर सकते हैं। दूसरी पोस्ट प्रकृति में अधिक तकनीकी होगी और नमूना कोड के साथ इन चरणों को विस्तार से कवर करेगी। इस पोस्ट में कोई नमूना डेटासेट या नमूना कोड नहीं है, बल्कि इसमें यह बताया गया है कि डेटा एग्रीगेटर से खरीदे जाने के बाद डेटा का उपयोग कैसे किया जाए।

आप का उपयोग कर सकते हैं Amazon SageMaker की भू-स्थानिक क्षमताएं बेस मैप पर गतिशीलता डेटा को ओवरले करना और सहयोग को आसान बनाने के लिए स्तरित विज़ुअलाइज़ेशन प्रदान करना। जीपीयू-संचालित इंटरएक्टिव विज़ुअलाइज़र और पायथन नोटबुक एक ही विंडो में लाखों डेटा बिंदुओं का पता लगाने और अंतर्दृष्टि और परिणाम साझा करने का एक सहज तरीका प्रदान करते हैं।

स्रोत और स्कीमा

गतिशीलता डेटा के कुछ स्रोत हैं। जीपीएस पिंग और ऐप प्रकाशकों के अलावा, अन्य स्रोतों का उपयोग डेटासेट को बढ़ाने के लिए किया जाता है, जैसे वाई-फाई एक्सेस पॉइंट, मोबाइल उपकरणों पर विज्ञापन पेश करके प्राप्त बोली स्ट्रीम डेटा, और व्यवसायों द्वारा रखे गए विशिष्ट हार्डवेयर ट्रांसमीटर (उदाहरण के लिए, भौतिक स्टोर में) ). व्यवसायों के लिए इस डेटा को स्वयं एकत्र करना अक्सर मुश्किल होता है, इसलिए वे इसे डेटा एग्रीगेटर्स से खरीद सकते हैं। डेटा एग्रीगेटर विभिन्न स्रोतों से गतिशीलता डेटा एकत्र करते हैं, इसे साफ करते हैं, शोर जोड़ते हैं और विशिष्ट भौगोलिक क्षेत्रों के लिए दैनिक आधार पर डेटा उपलब्ध कराते हैं। डेटा की प्रकृति के कारण और इसे प्राप्त करना कठिन होने के कारण, इस डेटा की सटीकता और गुणवत्ता काफी भिन्न हो सकती है, और यह व्यवसायों पर निर्भर है कि वे दैनिक सक्रिय उपयोगकर्ताओं, कुल दैनिक पिंग जैसे मैट्रिक्स का उपयोग करके इसका मूल्यांकन और सत्यापन करें। और प्रति डिवाइस औसत दैनिक पिंग। निम्न तालिका दिखाती है कि डेटा एग्रीगेटर्स द्वारा भेजे गए दैनिक डेटा फ़ीड का एक विशिष्ट स्कीमा कैसा दिख सकता है।

विशेषता	Description
आईडी या नौकरानी	डिवाइस की मोबाइल विज्ञापन आईडी (MAID) (हैशेड)
अक्षां	डिवाइस का अक्षांश
एलएनजी	डिवाइस का देशांतर
जियोहैश	डिवाइस का जियोहैश स्थान
उपकरण का प्रकार	डिवाइस का ऑपरेटिंग सिस्टम = आईडीएफए या जीएआईडी
क्षैतिज_सटीकता	क्षैतिज जीपीएस निर्देशांक की सटीकता (मीटर में)
टाइमस्टैम्प	इवेंट का टाइमस्टैम्प
ip	आईपी ​​पते
alt	डिवाइस की ऊंचाई (मीटर में)
गति	डिवाइस की गति (मीटर/सेकंड में)
देश	मूल देश के लिए आईएसओ दो अंकों का कोड
राज्य	राज्य का प्रतिनिधित्व करने वाले कोड
शहर	शहर का प्रतिनिधित्व करने वाले कोड
पिन कोड	जहां डिवाइस आईडी देखी जाती है उसका ज़िपकोड
वाहक	उपकरण का वाहक
डिवाइस_निर्माता	डिवाइस के निर्माता

उपयोग के मामलों

गतिशीलता डेटा का विभिन्न उद्योगों में व्यापक अनुप्रयोग है। निम्नलिखित कुछ सबसे आम उपयोग के मामले हैं:

• घनत्व मेट्रिक्स - रुचि के बिंदुओं (पीओआई) की गतिविधियों और यात्राओं का निरीक्षण करने के लिए पैदल यातायात विश्लेषण को जनसंख्या घनत्व के साथ जोड़ा जा सकता है। ये मेट्रिक्स एक तस्वीर पेश करते हैं कि कितने डिवाइस या उपयोगकर्ता सक्रिय रूप से रुक रहे हैं और किसी व्यवसाय से जुड़ रहे हैं, जिसका उपयोग साइट चयन या यहां तक ​​​​कि किसी घटना के आसपास आंदोलन पैटर्न का विश्लेषण करने के लिए भी किया जा सकता है (उदाहरण के लिए, गेम डे के लिए यात्रा करने वाले लोग)। ऐसी अंतर्दृष्टि प्राप्त करने के लिए, आने वाला कच्चा डेटा डिवाइस स्थान पिंग की निरंतर स्ट्रीम से गतिविधियों या संलग्नताओं की पहचान करने के लिए एक एक्सट्रैक्ट, ट्रांसफॉर्म और लोड (ईटीएल) प्रक्रिया से गुजरता है। हम एमएल मॉडल का उपयोग करके पिंग को क्लस्टर करके उपयोगकर्ता या मोबाइल डिवाइस द्वारा किए गए स्टॉप की पहचान करके गतिविधियों का विश्लेषण कर सकते हैं अमेज़न SageMaker.
• यात्राएँ और प्रक्षेप पथ - किसी डिवाइस की दैनिक स्थान फ़ीड को गतिविधियों (स्टॉप) और यात्राओं (आंदोलन) के संग्रह के रूप में व्यक्त किया जा सकता है। गतिविधियों की एक जोड़ी उनके बीच एक यात्रा का प्रतिनिधित्व कर सकती है, और भौगोलिक स्थान में चलती डिवाइस द्वारा यात्रा का पता लगाने से वास्तविक प्रक्षेपवक्र का मानचित्रण हो सकता है। उपयोगकर्ता की गतिविधियों के प्रक्षेपवक्र पैटर्न से ट्रैफ़िक पैटर्न, ईंधन की खपत, शहर की योजना और बहुत कुछ जैसी दिलचस्प अंतर्दृष्टि प्राप्त हो सकती है। यह बिलबोर्ड जैसे विज्ञापन बिंदुओं से लिए गए मार्ग का विश्लेषण करने, आपूर्ति श्रृंखला संचालन को अनुकूलित करने के लिए सबसे कुशल वितरण मार्गों की पहचान करने, या प्राकृतिक आपदाओं (उदाहरण के लिए, तूफान निकासी) में निकासी मार्गों का विश्लेषण करने के लिए डेटा भी प्रदान कर सकता है।
• जलग्रहण क्षेत्र विश्लेषण - एक जलग्रहण क्षेत्र उन स्थानों को संदर्भित करता है जहां से कोई क्षेत्र अपने आगंतुकों को आकर्षित करता है, जो ग्राहक या संभावित ग्राहक हो सकते हैं। खुदरा व्यवसाय इस जानकारी का उपयोग एक नया स्टोर खोलने के लिए इष्टतम स्थान निर्धारित करने के लिए कर सकते हैं, या यह निर्धारित करने के लिए कर सकते हैं कि क्या दो स्टोर स्थान अतिव्यापी जलग्रहण क्षेत्रों के साथ एक-दूसरे के बहुत करीब हैं और एक-दूसरे के व्यवसाय में बाधा डाल रहे हैं। वे यह भी पता लगा सकते हैं कि वास्तविक ग्राहक कहां से आ रहे हैं, संभावित ग्राहकों की पहचान कर सकते हैं जो काम या घर की यात्रा के लिए क्षेत्र से गुजरते हैं, प्रतिस्पर्धियों के लिए समान मुलाक़ात मेट्रिक्स का विश्लेषण कर सकते हैं, और भी बहुत कुछ। मार्केटिंग टेक (मारटेक) और एडवरटाइजिंग टेक (एडटेक) कंपनियां इस विश्लेषण का उपयोग किसी ब्रांड के स्टोर के करीब के दर्शकों की पहचान करके या घर से बाहर विज्ञापन के लिए प्रदर्शन के आधार पर स्टोर को रैंक करके मार्केटिंग अभियानों को अनुकूलित करने के लिए भी कर सकती हैं।

कई अन्य उपयोग के मामले हैं, जिनमें वाणिज्यिक अचल संपत्ति के लिए स्थान खुफिया जानकारी उत्पन्न करना, फुटफॉल संख्या के साथ उपग्रह इमेजरी डेटा को बढ़ाना, रेस्तरां के लिए डिलीवरी हब की पहचान करना, पड़ोस की निकासी की संभावना का निर्धारण करना, एक महामारी के दौरान लोगों के आंदोलन पैटर्न की खोज करना और बहुत कुछ शामिल है।

चुनौतियाँ और नैतिक उपयोग

गतिशीलता डेटा के नैतिक उपयोग से कई दिलचस्प अंतर्दृष्टि प्राप्त हो सकती हैं जो संगठनों को अपने संचालन में सुधार करने, प्रभावी विपणन करने या प्रतिस्पर्धी लाभ प्राप्त करने में भी मदद कर सकती हैं। इस डेटा का नैतिक रूप से उपयोग करने के लिए कई चरणों का पालन करने की आवश्यकता है।

इसकी शुरुआत डेटा के संग्रह से ही होती है. हालाँकि अधिकांश गतिशीलता डेटा व्यक्तिगत रूप से पहचान योग्य जानकारी (पीआईआई) जैसे नाम और पते से मुक्त रहता है, डेटा संग्रहकर्ताओं और एग्रीगेटर्स को अपना डेटा एकत्र करने, उपयोग करने, संग्रहीत करने और साझा करने के लिए उपयोगकर्ता की सहमति होनी चाहिए। जीडीपीआर और सीसीपीए जैसे डेटा गोपनीयता कानूनों का पालन करने की आवश्यकता है क्योंकि वे उपयोगकर्ताओं को यह निर्धारित करने के लिए सशक्त बनाते हैं कि व्यवसाय अपने डेटा का उपयोग कैसे कर सकते हैं। यह पहला कदम गतिशीलता डेटा के नैतिक और जिम्मेदार उपयोग की दिशा में एक महत्वपूर्ण कदम है, लेकिन और भी बहुत कुछ किया जा सकता है।

प्रत्येक डिवाइस को एक हैशेड मोबाइल विज्ञापन आईडी (एमएआईडी) सौंपी जाती है, जिसका उपयोग व्यक्तिगत पिंग को एंकर करने के लिए किया जाता है। इसका उपयोग करके इसे और अधिक अस्पष्ट किया जा सकता है अमेज़ॅन मैकी, अमेज़न S3 ऑब्जेक्ट लैम्ब्डा, Amazon Comprehend, या यहां तक ​​कि AWS गोंद स्टूडियो पीआईआई परिवर्तन का पता लगाएं। अधिक जानकारी के लिए देखें AWS सेवाओं का उपयोग करके PHI और PII डेटा का पता लगाने की सामान्य तकनीकें.

पीआईआई के अलावा, उपयोगकर्ता के घर के स्थान के साथ-साथ सैन्य ठिकानों या पूजा स्थलों जैसे अन्य संवेदनशील स्थानों को भी छिपाने पर विचार किया जाना चाहिए।

नैतिक उपयोग के लिए अंतिम चरण अमेज़ॅन सेजमेकर से केवल एकत्रित मेट्रिक्स प्राप्त करना और निर्यात करना है। इसका मतलब व्यक्तिगत यात्रा पैटर्न के विपरीत औसत संख्या या आगंतुकों की कुल संख्या जैसे मैट्रिक्स प्राप्त करना है; दैनिक, साप्ताहिक, मासिक या वार्षिक रुझान प्राप्त करना; या जनगणना डेटा जैसे सार्वजनिक रूप से उपलब्ध डेटा पर गतिशीलता पैटर्न को अनुक्रमित करना।

समाधान अवलोकन

जैसा कि पहले उल्लेख किया गया है, AWS सेवाएँ जिनका उपयोग आप गतिशीलता डेटा के विश्लेषण के लिए कर सकते हैं, वे हैं Amazon S3, Amazon Macie, AWS ग्लू, S3 ऑब्जेक्ट लैम्ब्डा, Amazon Comprehend, और Amazon SageMaker भू-स्थानिक क्षमताएं। अमेज़ॅन सेजमेकर भू-स्थानिक क्षमताएं डेटा वैज्ञानिकों और एमएल इंजीनियरों के लिए भू-स्थानिक डेटा का उपयोग करके मॉडल बनाना, प्रशिक्षित करना और तैनात करना आसान बनाती हैं। आप बड़े पैमाने पर भू-स्थानिक डेटासेट को कुशलतापूर्वक रूपांतरित या समृद्ध कर सकते हैं, पूर्व-प्रशिक्षित एमएल मॉडल के साथ मॉडल निर्माण में तेजी ला सकते हैं, और 3डी त्वरित ग्राफिक्स और अंतर्निहित विज़ुअलाइज़ेशन टूल का उपयोग करके एक इंटरैक्टिव मानचित्र पर मॉडल भविष्यवाणियों और भू-स्थानिक डेटा का पता लगा सकते हैं।

निम्नलिखित संदर्भ आर्किटेक्चर भू-स्थानिक डेटा के साथ एमएल का उपयोग करते हुए एक वर्कफ़्लो को दर्शाता है।

इस वर्कफ़्लो में, कच्चे डेटा को विभिन्न डेटा स्रोतों से एकत्र किया जाता है और एक में संग्रहीत किया जाता है अमेज़न सरल भंडारण सेवा (एस3) बाल्टी। इस S3 बकेट पर Amazon Macie का उपयोग PII को पहचानने और संशोधित करने के लिए किया जाता है। AWS ग्लू का उपयोग कच्चे डेटा को साफ करने और आवश्यक प्रारूप में बदलने के लिए किया जाता है, फिर संशोधित और साफ किए गए डेटा को एक अलग S3 बाल्टी में संग्रहीत किया जाता है। उन डेटा परिवर्तनों के लिए जो AWS ग्लू के माध्यम से संभव नहीं हैं, आप इसका उपयोग करते हैं AWS लाम्बा कच्चे डेटा को संशोधित और साफ़ करने के लिए। जब डेटा साफ हो जाता है, तो आप पहले से तैयार भू-स्थानिक डेटा पर एमएल मॉडल बनाने, प्रशिक्षित करने और तैनात करने के लिए अमेज़ॅन सेजमेकर का उपयोग कर सकते हैं। आप भी उपयोग कर सकते हैं भू-स्थानिक प्रसंस्करण नौकरियां डेटा को प्रीप्रोसेस करने के लिए अमेज़ॅन सेजमेकर भू-स्थानिक क्षमताओं की सुविधा - उदाहरण के लिए, कच्चे गतिशीलता डेटा से गतिविधियों की पहचान करने के लिए पायथन फ़ंक्शन और एसक्यूएल स्टेटमेंट का उपयोग करना। डेटा वैज्ञानिक अमेज़न सेजमेकर नोटबुक के माध्यम से जुड़कर इस प्रक्रिया को पूरा कर सकते हैं। आप भी उपयोग कर सकते हैं अमेज़न क्विकसाइट डेटा से व्यावसायिक परिणामों और अन्य महत्वपूर्ण मैट्रिक्स की कल्पना करना।

अमेज़ॅन सेजमेकर भू-स्थानिक क्षमताएं और भू-स्थानिक प्रसंस्करण नौकरियां

डेटा प्राप्त करने और दैनिक फ़ीड के साथ अमेज़न S3 में फीड करने और किसी भी संवेदनशील डेटा को साफ करने के बाद, इसे एक का उपयोग करके अमेज़न सेजमेकर में आयात किया जा सकता है। अमेज़ॅन सैजमेकर स्टूडियो भू-स्थानिक छवि वाली नोटबुक. निम्नलिखित स्क्रीनशॉट अमेज़न S3 में CSV फ़ाइल के रूप में अपलोड किए गए और फिर पांडा डेटा फ़्रेम में लोड किए गए दैनिक डिवाइस पिंग का एक नमूना दिखाता है। भू-स्थानिक छवि वाला अमेज़ॅन सेजमेकर स्टूडियो नोटबुक जीडीएएल, जियोपांडास, फियोना और शेपली जैसे भू-स्थानिक पुस्तकालयों के साथ पहले से लोड होता है, और इस डेटा को संसाधित करना और विश्लेषण करना आसान बनाता है।

इस नमूना डेटासेट में 400,000 मई, 5,000 को फीनिक्स, एरिज़ोना के एक लोकप्रिय शॉपिंग मॉल कॉम्प्लेक्स, एरोहेड मॉल में जाने वाले उपयोगकर्ताओं से रिकॉर्ड किए गए 14,000 अद्वितीय स्थानों के 15 डिवाइसों से लगभग 2023 दैनिक डिवाइस पिंग शामिल हैं। पूर्ववर्ती स्क्रीनशॉट में कॉलम का एक सबसेट दिखाया गया है। डेटा स्कीमा. MAID कॉलम डिवाइस आईडी का प्रतिनिधित्व करता है, और प्रत्येक एमएआईडी डिवाइस के अक्षांश और देशांतर को रिले करते हुए हर मिनट पिंग उत्पन्न करता है, जिसे नमूना फ़ाइल में दर्ज किया गया है Lat और Lng कॉलम।

फोरस्क्वेयर स्टूडियो द्वारा संचालित अमेज़ॅन सेजमेकर भू-स्थानिक क्षमताओं के मैप विज़ुअलाइज़ेशन टूल के स्क्रीनशॉट निम्नलिखित हैं, जो सुबह 7:00 बजे से शाम 6:00 बजे के बीच मॉल में आने वाले उपकरणों से पिंग के लेआउट को दर्शाते हैं।

निम्नलिखित स्क्रीनशॉट मॉल और आसपास के क्षेत्रों से पिंग दिखाता है।

निम्नलिखित मॉल में विभिन्न दुकानों के अंदर से पिंग दिखाता है।

स्क्रीनशॉट में प्रत्येक बिंदु एक निश्चित समय पर किसी दिए गए डिवाइस से एक पिंग दर्शाता है। पिंग का एक समूह लोकप्रिय स्थानों का प्रतिनिधित्व करता है जहां उपकरण एकत्रित या रुके हुए थे, जैसे स्टोर या रेस्तरां।

प्रारंभिक ईटीएल के हिस्से के रूप में, इस कच्चे डेटा को एडब्ल्यूएस ग्लू का उपयोग करके तालिकाओं पर लोड किया जा सकता है। आप डेटा स्रोत के रूप में Amazon S3 में कच्चे डेटा स्थान को इंगित करके डेटा और फॉर्म तालिकाओं की स्कीमा की पहचान करने के लिए AWS ग्लू क्रॉलर बना सकते हैं।

जैसा कि ऊपर उल्लेख किया गया है, प्रारंभिक ईटीएल के बाद भी कच्चा डेटा (दैनिक डिवाइस पिंग), डिवाइस स्थानों को इंगित करने वाले जीपीएस पिंग की एक सतत धारा का प्रतिनिधित्व करेगा। इस डेटा से कार्रवाई योग्य अंतर्दृष्टि निकालने के लिए, हमें स्टॉप और ट्रिप (प्रक्षेपवक्र) की पहचान करने की आवश्यकता है। का उपयोग करके इसे प्राप्त किया जा सकता है भू-स्थानिक प्रसंस्करण नौकरियां सेजमेकर भू-स्थानिक क्षमताओं की सुविधा। अमेज़न SageMaker प्रसंस्करण उद्देश्य-निर्मित भू-स्थानिक कंटेनर के साथ डेटा प्रोसेसिंग वर्कलोड चलाने के लिए सेजमेकर पर एक सरलीकृत, प्रबंधित अनुभव का उपयोग करता है। सेजमेकर प्रोसेसिंग कार्य के लिए अंतर्निहित बुनियादी ढांचा पूरी तरह से सेजमेकर द्वारा प्रबंधित किया जाता है। यह सुविधा सेजमेकर प्रोसेसिंग जॉब पर भू-स्थानिक एमएल कंटेनर चलाकर कस्टम कोड को अमेज़ॅन एस 3 पर संग्रहीत भू-स्थानिक डेटा पर चलाने में सक्षम बनाती है। आप ओपन सोर्स लाइब्रेरीज़ के साथ कस्टम कोड लिखकर खुले या निजी भू-स्थानिक डेटा पर कस्टम ऑपरेशन चला सकते हैं, और सेजमेकर प्रोसेसिंग जॉब्स का उपयोग करके बड़े पैमाने पर ऑपरेशन चला सकते हैं। कंटेनर-आधारित दृष्टिकोण आमतौर पर उपयोग किए जाने वाले ओपन सोर्स पुस्तकालयों के साथ विकास पर्यावरण के मानकीकरण की जरूरतों को हल करता है।

ऐसे बड़े पैमाने पर कार्यभार को चलाने के लिए, आपको एक लचीले कंप्यूट क्लस्टर की आवश्यकता होती है जो शहर के ब्लॉक को संसाधित करने के लिए दसियों उदाहरणों से लेकर ग्रह-स्तरीय प्रसंस्करण के लिए हजारों उदाहरणों तक स्केल कर सकता है। DIY कंप्यूट क्लस्टर को मैन्युअल रूप से प्रबंधित करना धीमा और महंगा है। यह सुविधा विशेष रूप से तब सहायक होती है जब गतिशीलता डेटासेट में कुछ शहरों से लेकर कई राज्यों या यहां तक ​​कि देशों को शामिल किया जाता है और इसका उपयोग दो-चरणीय एमएल दृष्टिकोण को चलाने के लिए किया जा सकता है।

पहला कदम पिंग से क्लस्टर स्टॉप के लिए शोर (डीबीएससीएएन) एल्गोरिदम के साथ अनुप्रयोगों के घनत्व-आधारित स्थानिक क्लस्टरिंग का उपयोग करना है। अगला कदम पहचाने गए स्टॉप की सटीकता को और बेहतर बनाने के लिए सपोर्ट वेक्टर मशीन (एसवीएम) विधि का उपयोग करना है और साथ ही पीओआई के साथ संलग्न स्टॉप बनाम बिना स्टॉप (जैसे घर या काम) के साथ स्टॉप को अलग करना है। आप लगातार स्टॉप की पहचान करके और स्रोत और गंतव्य स्टॉप के बीच पथ को मैप करके दैनिक डिवाइस पिंग से यात्राएं और प्रक्षेपवक्र उत्पन्न करने के लिए सेजमेकर प्रोसेसिंग जॉब का भी उपयोग कर सकते हैं।

भू-स्थानिक प्रसंस्करण नौकरियों के साथ बड़े पैमाने पर कच्चे डेटा (दैनिक डिवाइस पिंग) को संसाधित करने के बाद, स्टॉप नामक नए डेटासेट में निम्नलिखित स्कीमा होनी चाहिए।

विशेषता	Description
आईडी या नौकरानी	डिवाइस की मोबाइल विज्ञापन आईडी (हैशेड)
अक्षां	स्टॉप क्लस्टर के केन्द्रक का अक्षांश
एलएनजी	स्टॉप क्लस्टर के केन्द्रक का देशांतर
जियोहैश	POI का जियोहैश स्थान
उपकरण का प्रकार	डिवाइस का ऑपरेटिंग सिस्टम (आईडीएफए या जीएआईडी)
टाइमस्टैम्प	स्टॉप का प्रारंभ समय
निवास का समय	रुकने का समय (सेकंड में)
ip	आईपी ​​पते
alt	डिवाइस की ऊंचाई (मीटर में)
देश	मूल देश के लिए आईएसओ दो अंकों का कोड
राज्य	राज्य का प्रतिनिधित्व करने वाले कोड
शहर	शहर का प्रतिनिधित्व करने वाले कोड
पिन कोड	जहां डिवाइस आईडी देखी जाती है उसका ज़िप कोड
वाहक	उपकरण का वाहक
डिवाइस_निर्माता	डिवाइस के निर्माता

प्रत्येक डिवाइस पर पिंग को क्लस्टर करके स्टॉप को समेकित किया जाता है। घनत्व-आधारित क्लस्टरिंग को मापदंडों के साथ जोड़ा जाता है जैसे कि स्टॉप थ्रेशोल्ड 300 सेकंड और स्टॉप के बीच न्यूनतम दूरी 50 मीटर है। इन मापदंडों को आपके उपयोग के मामले के अनुसार समायोजित किया जा सकता है।

निम्नलिखित स्क्रीनशॉट 15,000 पिंग से पहचाने गए लगभग 400,000 स्टॉप दिखाता है। पूर्ववर्ती स्कीमा का एक उपसमूह भी मौजूद है, जहां column Dwell Time स्टॉप अवधि का प्रतिनिधित्व करता है, और Lat और Lng कॉलम प्रति डिवाइस प्रति स्थान स्टॉप क्लस्टर के सेंट्रोइड के अक्षांश और देशांतर का प्रतिनिधित्व करते हैं।

ईटीएल के बाद, डेटा को Parquet फ़ाइल प्रारूप में संग्रहीत किया जाता है, जो एक स्तंभ भंडारण प्रारूप है जो बड़ी मात्रा में डेटा को संसाधित करना आसान बनाता है।

निम्नलिखित स्क्रीनशॉट मॉल और आसपास के क्षेत्रों के अंदर प्रति डिवाइस पिंग से समेकित स्टॉप दिखाता है।

स्टॉप की पहचान करने के बाद, इस डेटासेट को सार्वजनिक रूप से उपलब्ध POI डेटा या उपयोग के मामले के लिए विशिष्ट कस्टम POI डेटा के साथ जोड़ा जा सकता है, ताकि गतिविधियों की पहचान की जा सके, जैसे कि ब्रांडों के साथ जुड़ाव।

निम्नलिखित स्क्रीनशॉट एरोहेड मॉल के अंदर प्रमुख POI (स्टोर और ब्रांड) पर पहचाने गए स्टॉप दिखाता है।

डेटासेट में उनकी यात्रा का हिस्सा होने की स्थिति में गोपनीयता बनाए रखने के लिए प्रत्येक आगंतुक के घर के स्थान को छिपाने के लिए होम ज़िप कोड का उपयोग किया गया है। ऐसे मामलों में अक्षांश और देशांतर ज़िप कोड के केन्द्रक के संबंधित निर्देशांक हैं।

निम्नलिखित स्क्रीनशॉट ऐसी गतिविधियों का एक दृश्य प्रतिनिधित्व है। बाईं छवि दुकानों के स्टॉप को दर्शाती है, और दाहिनी छवि मॉल के लेआउट का एक अंदाज़ा देती है।

इस परिणामी डेटासेट को कई तरीकों से देखा जा सकता है, जिसकी चर्चा हम निम्नलिखित अनुभागों में करेंगे।

घनत्व मेट्रिक्स

हम गतिविधियों और यात्राओं के घनत्व की गणना और कल्पना कर सकते हैं।

उदाहरण 1 - निम्नलिखित स्क्रीनशॉट मॉल में शीर्ष 15 विज़िट किए गए स्टोर दिखाता है।

उदाहरण 2 - निम्नलिखित स्क्रीनशॉट प्रत्येक घंटे के हिसाब से Apple स्टोर पर होने वाली विज़िट की संख्या दिखाता है।

यात्राएँ और प्रक्षेप पथ

जैसा कि पहले उल्लेख किया गया है, लगातार गतिविधियों की एक जोड़ी एक यात्रा का प्रतिनिधित्व करती है। हम गतिविधियों के डेटा से यात्राएँ प्राप्त करने के लिए निम्नलिखित दृष्टिकोण का उपयोग कर सकते हैं। यहां, उत्पन्न करने के लिए एसक्यूएल के साथ विंडो फ़ंक्शंस का उपयोग किया जाता है trips तालिका, जैसा कि स्क्रीनशॉट में दिखाया गया है।

के बाद trips तालिका तैयार हो जाने पर, POI की यात्राएँ निर्धारित की जा सकती हैं।

उदाहरण 1 - निम्नलिखित स्क्रीनशॉट उन शीर्ष 10 स्टोरों को दिखाता है जो ट्रैफ़िक को Apple स्टोर की ओर निर्देशित करते हैं।

उदाहरण 2 - निम्नलिखित स्क्रीनशॉट एरोहेड मॉल की सभी यात्राओं को दिखाता है।

उदाहरण 3 - निम्नलिखित वीडियो मॉल के अंदर की गतिविधियों के पैटर्न को दर्शाता है।

उदाहरण 4 - निम्नलिखित वीडियो मॉल के बाहर आंदोलन के पैटर्न को दर्शाता है।

जलग्रहण क्षेत्र विश्लेषण

हम POI की सभी यात्राओं का विश्लेषण कर सकते हैं और जलग्रहण क्षेत्र निर्धारित कर सकते हैं।

उदाहरण 1 - निम्नलिखित स्क्रीनशॉट मैसी के स्टोर में सभी विज़िट दिखाता है।

उदाहरण 2 - निम्नलिखित स्क्रीनशॉट शीर्ष 10 गृह क्षेत्र ज़िप कोड (सीमाओं पर प्रकाश डाला गया) दिखाता है जहां से दौरे हुए थे।

डेटा गुणवत्ता जांच

हम गुणवत्ता के लिए दैनिक आने वाले डेटा फ़ीड की जांच कर सकते हैं और क्विकसाइट डैशबोर्ड और डेटा विश्लेषण का उपयोग करके विसंगतियों का पता लगा सकते हैं। निम्नलिखित स्क्रीनशॉट एक उदाहरण डैशबोर्ड दिखाता है।

निष्कर्ष

ग्राहक अंतर्दृष्टि प्राप्त करने और प्रतिस्पर्धात्मक लाभ प्राप्त करने के लिए गतिशीलता डेटा और इसका विश्लेषण एक विशिष्ट क्षेत्र बना हुआ है क्योंकि एक सुसंगत और सटीक डेटासेट प्राप्त करना मुश्किल है। हालाँकि, यह डेटा संगठनों को मौजूदा विश्लेषण में संदर्भ जोड़ने और यहां तक ​​कि ग्राहक आंदोलन पैटर्न के बारे में नई अंतर्दृष्टि उत्पन्न करने में मदद कर सकता है। अमेज़ॅन सेजमेकर भू-स्थानिक क्षमताएं और भू-स्थानिक प्रसंस्करण नौकरियां इन उपयोग मामलों को लागू करने और सहज और सुलभ तरीके से अंतर्दृष्टि प्राप्त करने में मदद कर सकती हैं।

इस पोस्ट में, हमने दिखाया कि गतिशीलता डेटा को साफ करने के लिए AWS सेवाओं का उपयोग कैसे करें और फिर एमएल मॉडल का उपयोग करके स्टॉप, गतिविधियों और यात्राओं जैसे व्युत्पन्न डेटासेट उत्पन्न करने के लिए अमेज़ॅन सेजमेकर भू-स्थानिक क्षमताओं का उपयोग करें। फिर हमने आंदोलन पैटर्न की कल्पना करने और अंतर्दृष्टि उत्पन्न करने के लिए व्युत्पन्न डेटासेट का उपयोग किया।

आप Amazon SageMaker भू-स्थानिक क्षमताओं के साथ दो तरीकों से शुरुआत कर सकते हैं:

अधिक, जानने के यात्रा Amazon SageMaker की भू-स्थानिक क्षमताएं और अमेज़ॅन सेजमेकर जियोस्पेशियल के साथ शुरुआत करना. इसके अलावा, हमारे पर जाएँ गीथहब रेपो, जिसमें अमेज़ॅन सेजमेकर भू-स्थानिक क्षमताओं पर कई उदाहरण नोटबुक हैं।

---

लेखक के बारे में

जिमी मैथ्यूज एआई/एमएल तकनीक में विशेषज्ञता के साथ एक एडब्ल्यूएस सॉल्यूशंस आर्किटेक्ट है। जिमी बोस्टन में स्थित है और उद्यम ग्राहकों के साथ काम करता है क्योंकि वे क्लाउड को अपनाकर अपने व्यवसाय को बदलते हैं और उन्हें कुशल और टिकाऊ समाधान बनाने में मदद करते हैं। उन्हें अपने परिवार, कारों और मिश्रित मार्शल आर्ट का शौक है।

गिरीश केशव AWS में एक सॉल्यूशन आर्किटेक्ट है, जो ग्राहकों को उनकी क्लाउड माइग्रेशन यात्रा में आधुनिकीकरण और वर्कलोड को सुरक्षित और कुशलता से चलाने में मदद करता है। वह एप्लिकेशन सुरक्षा, मशीन लर्निंग, लागत अनुकूलन और स्थिरता पर मार्गदर्शन करने के लिए प्रौद्योगिकी टीमों के नेताओं के साथ काम करता है। वह सैन फ्रांसिस्को में रहता है और उसे यात्रा करना, लंबी पैदल यात्रा करना, खेल देखना और शिल्प ब्रुअरीज की खोज करना पसंद है।

रमेश जेटी सॉल्यूशंस आर्किटेक्चर के एक वरिष्ठ नेता हैं जो AWS एंटरप्राइज़ ग्राहकों को उनकी डेटा संपत्तियों का मुद्रीकरण करने में मदद करने पर केंद्रित हैं। वह अधिकारियों और इंजीनियरों को अत्यधिक स्केलेबल, विश्वसनीय और लागत प्रभावी क्लाउड समाधान डिजाइन करने और बनाने की सलाह देते हैं, विशेष रूप से मशीन लर्निंग, डेटा और एनालिटिक्स पर केंद्रित। अपने खाली समय में वह अपने परिवार के साथ आउटडोर, बाइकिंग और लंबी पैदल यात्रा का आनंद लेते हैं।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/use-mobility-data-to-derive-insights-using-amazon-sagemaker-geospatial-capabilities/