यह एंडी व्हिटल, प्रधान प्लेटफ़ॉर्म इंजीनियर - द वेरी ग्रुप में एप्लिकेशन और विश्वसनीयता फ्रेमवर्क द्वारा अतिथि पोस्ट है।
At बहुत समूह, जो डिजिटल रिटेलर का संचालन करता है बहुत, लाखों ग्राहकों के डेटा को संभालने में सुरक्षा सर्वोच्च प्राथमिकता है। द वेरी ग्रुप व्यवसाय संचालन को कैसे सुरक्षित और ट्रैक करता है इसका एक हिस्सा व्यापार प्रणालियों के बीच गतिविधि लॉगिंग के माध्यम से है (उदाहरण के लिए, ग्राहक आदेश के चरणों में)। यह एक महत्वपूर्ण परिचालन आवश्यकता है और द वेरी ग्रुप को घटनाओं का पता लगाने और समस्याओं और प्रवृत्तियों की सक्रिय रूप से पहचान करने में सक्षम बनाता है। हालांकि, इसका मतलब खरीदारी, रिटर्न, लचीले भुगतान विकल्पों के उपयोग और खाता प्रबंधन जैसी गतिविधियों के संबंध में व्यक्तिगत रूप से पहचान योग्य जानकारी (पीआईआई) के रूप में ग्राहक डेटा को संसाधित करना हो सकता है।
इस पोस्ट में द वेरी ग्रुप दिखाता है कि वे कैसे उपयोग करते हैं Amazon Comprehend सभी प्रणालियों में खतरे के मॉडलिंग को डिजाइन करने के लिए नीतियों के शीर्ष पर स्वचालित रक्षा की एक और परत जोड़ने के लिए, पीआईआई को इंडेक्सिंग के लिए एलिस्टिक्स खोज में लॉग डेटा में भेजे जाने से रोकने के लिए। Amazon Comprehend पूरी तरह से प्रबंधित और लगातार प्रशिक्षित नेचुरल लैंग्वेज प्रोसेसिंग (NLP) सेवा है जो किसी दस्तावेज़ या टेक्स्ट की सामग्री के बारे में जानकारी निकाल सकती है।
समाधान का अवलोकन
द वेरी ग्रुप की इंजीनियरिंग टीम का सर्वोपरि लक्ष्य किसी भी PII डेटा को Elasticsearch के दस्तावेज़ों तक पहुँचने से रोकना था। इसे पूरा करने और प्रति दिन लाखों पहचान किए गए रिकॉर्ड से PII को स्वचालित रूप से हटाने के लिए, द वेरी ग्रुप की इंजीनियरिंग टीम ने टेराफॉर्म में एक एप्लिकेशन ऑब्जर्वेबिलिटी मॉड्यूल बनाया। यह मॉड्यूल एप्लिकेशन लॉग्स, एप्लिकेशन परफॉर्मेंस मॉनिटरिंग (APM) और मेट्रिक्स सहित एक ऑब्जर्वेबिलिटी सॉल्यूशन को लागू करता है। मॉड्यूल के भीतर, टीम ने एलिस्टिक्स खोज को भेजने से पहले इसे हटाने के विकल्प के साथ लॉग डेटा के भीतर पीआईआई को उजागर करने के लिए अमेज़ॅन कॉम्प्रिहेंड का उपयोग किया।
Amazon Comprehend की पहचान एक आंतरिक प्लेटफॉर्म इंजीनियरिंग पहल के हिस्से के रूप में की गई थी ताकि यह पता लगाया जा सके कि AWS AI सेवाओं का उपयोग दक्षता में सुधार और दोहराव वाली व्यावसायिक गतिविधियों में जोखिम को कम करने के लिए कैसे किया जा सकता है। सीखने और प्रयोग करने के लिए द वेरी ग्रुप की संस्कृति का मतलब है कि परीक्षण पीआईआई डेटा के साथ यह कैसे काम करता है, यह जानने के लिए जावा एप्लिकेशन का उपयोग करके प्रयोज्यता के लिए अमेज़ॅन कॉम्प्रिहेंड की समीक्षा की गई थी। टीम ने अवधारणा के प्रमाण में तेजी लाने के लिए दस्तावेज़ीकरण में कोड उदाहरणों का उपयोग किया और एक दिन के भीतर जल्दी से क्षमता साबित कर दी।
इंजीनियरिंग टीम ने एक योजनाबद्ध तरीके से यह प्रदर्शित किया कि कैसे एक PII सुधार सेवा द वेरी ग्रुप की लॉगिंग के साथ एकीकृत हो सकती है। इसमें एक माइक्रोसर्विस विकसित करना शामिल था PII डेटा का पता लगाने के लिए Amazon Comprehend को कॉल करें. समाधान चल रहे लॉगस्टैश उदाहरण के माध्यम से वेरी ग्रुप के लॉग डेटा को पास करके काम करता है AWS फरगेट, जो स्प्रिंग बूट जावा एप्लिकेशन पर आधारित एक अन्य फारगेट-होस्टेड पीआईआई-लॉगस्टैश-रीडेक्शन सेवा का उपयोग करके डेटा को साफ करता है जो पीआईआई को हटाने के लिए अमेज़ॅन कॉम्प्रिहेंड को कॉल करता है। निम्नलिखित आरेख इस वास्तुकला को दिखाता है।
वेरी ग्रुप का समाधान लॉग से लेता है अमेज़ॅन क्लाउडवॉच और अमेज़ॅन इलास्टिक कंटेनर सेवा (अमेज़ॅन ईसीएस) और अनुक्रमित होने के लिए एलिस्टिक्स खोज के लिए शुद्ध संस्करण पास करता है। अमेज़ॅन किनिस छोटी अवधि के लिए लॉग को कैप्चर और स्टोर करने के समाधान में उपयोग किया जाता है, लॉगस्टैश हर कुछ सेकंड में लॉग को नीचे खींचता है।
आदेश, रिटर्न और वित्तीय सेवाओं सहित कई व्यावसायिक प्रक्रियाओं में लॉग्स प्राप्त किए जाते हैं। इनमें 200 से अधिक Amazon ECS ऐप्स के लॉग शामिल हैं जो कि Fargate में टेस्ट और प्रोड वातावरण में हैं जो लॉगस्टैश में लॉग को पुश करते हैं। एक अन्य स्रोत है AWS लाम्बा लॉग जो किनेसिस में खींचे जाते हैं और फिर लॉगस्टैश में खींचे जाते हैं। अंत में, फ़ाइलबीट का एक अलग स्टैंडअलोन उदाहरण लॉग विश्लेषण को खींचता है और जो उन्हें क्लाउडवॉच और फिर लॉगस्टैश में डालता है। परिणाम यह है कि लॉग के कई स्रोतों को लॉगस्टैश में खींच लिया जाता है या धकेल दिया जाता है और एलिटिक्स खोज में संग्रहीत होने से पहले एप्लिकेशन ऑब्जर्वेबिलिटी मॉड्यूल और अमेज़ॅन कॉम्प्रिहेंड द्वारा संसाधित किया जाता है।
एक अलग टेराफॉर्म मॉड्यूल क्लाउडवॉच लॉग समूहों से एलिस्टिक्स खोज में लॉग निर्यात करने में सक्षम लॉगस्टैश सेवा को खड़ा करने के लिए आवश्यक सभी आधारभूत संरचना प्रदान करता है। एडब्ल्यूएस प्राइवेटलिंक वीपीसी समापन बिंदु। लॉगस्टैश सेवा को amazon ECS के साथ a के माध्यम से भी एकीकृत किया जा सकता है फायरलेंस लॉग कॉन्फ़िगरेशन, Amazon ECS द्वारा एक पर कनेक्टिविटी स्थापित करने के साथ अमेज़ॅन रूट 53 अभिलेख। स्केलेबिलिटी मांग पर किनेसिस स्केलिंग के साथ बनाई गई है (हालांकि टीम ने निश्चित शार्क के साथ शुरुआत की थी, लेकिन अब ऑन-डिमांड उपयोग पर स्विच कर रही है), और लॉगस्टैश अतिरिक्त के साथ स्केल करता है अमेज़ॅन इलास्टिक कम्प्यूट क्लाउड (अमेज़ॅन ईसी2) फ़ाइलबीट द्वारा उपयोग किए गए प्रोटोकॉल के कारण एनएलबी के पीछे उदाहरण और लॉगस्टैश को किनेसिस से अधिक प्रभावी ढंग से लॉग खींचने में सक्षम बनाता है।
अंत में, लॉगस्टैश सेवा में एक कार्य परिभाषा होती है जिसमें लॉगस्टैश कंटेनर और पीआईआई रिडक्शन कंटेनर होता है, जो एलिस्टिक्स खोज को निर्यात करने से पहले पीआईआई को हटाना सुनिश्चित करता है।
परिणाम
मशीन लर्निंग (एमएल) या एआई के काम को समझने की आवश्यकता के बिना, इंजीनियरिंग टीम एक सप्ताह के भीतर समाधान का निर्माण और परीक्षण करने में सक्षम थी। अमेज़न समझ वीडियो मार्गदर्शन, एपीआई संदर्भ दस्तावेज, तथा उदाहरण कोड. इतनी जल्दी व्यावसायिक मूल्य प्रदर्शित करने के बाद, व्यापार उत्पाद के मालिकों ने सेवा का लाभ उठाने के लिए नए उपयोग के मामलों को विकसित करना शुरू कर दिया है। समाधान को सक्षम करने के लिए कुछ निर्णय किए जाने थे। हालांकि प्लेटफ़ॉर्म इंजीनियरिंग टीम को पता था कि वे डेटा को फिर से सक्रिय कर सकते हैं, वे वर्तमान समाधान से लॉग को इंटरसेप्ट करना चाहते थे (एक समापन बिंदु पर लॉग को पुनर्निर्देशित करने के लिए फ़्लुएंट बिट साइडकार पर आधारित)। उन्होंने अपनी पीआईआई सेवा (टेराफॉर्म मॉड्यूल और जावा सेवा सहित) के साथ एकीकृत करने के लिए पाइपलाइनों के माध्यम से लॉग फ़ील्ड के अवरोधन को सक्षम करने के लिए लॉगस्टैश को अपनाने का निर्णय लिया।
लॉगस्टैश को अपनाना शुरू में मूल रूप से किया गया था। वेरी ग्रुप इंजीनियरिंग स्क्वॉड अब एपीआई एंडपॉइंट के माध्यम से सीधे एलिस्टिक्स खोज में लॉग डालने के लिए सेवा का उपयोग कर रहे हैं। इसने उन्हें अपने एंडपॉइंट को साइडकार से नए एंडपॉइंट पर स्विच करने और इसे टेराफॉर्म मॉड्यूल के माध्यम से तैनात करने की अनुमति दी है। टीम के पास एकमात्र मुद्दा शुरुआती परीक्षणों से था, जिसमें पीक ट्रेडिंग लोड के साथ परीक्षण करते समय गति की समस्या सामने आई थी। जावा कोड में समायोजन के माध्यम से इसे दूर किया गया।
निम्न कोड दिखाता है कि लॉग संदेशों से PII को निकालने के लिए द वेरी ग्रुप Amazon Comprehend का उपयोग कैसे करता है। यह किसी भी PII का पता लगाता है और रिकॉर्ड करने के लिए इकाई प्रकारों की एक सूची बनाता है। विकास में तेजी लाने के लिए, कोड को AWS प्रलेखन से लिया गया था और फरगेट पर तैनात जावा एप्लिकेशन सेवा में उपयोग के लिए अनुकूलित किया गया था।
निम्न स्क्रीनशॉट PII संपादन प्रक्रिया के भाग के रूप में Elasticsearch को भेजे गए आउटपुट को दिखाता है। सेवा प्रति दिन 1 मिलियन रिकॉर्ड उत्पन्न करती है, हर बार एक रिडक्शन किए जाने पर एक रिकॉर्ड उत्पन्न करती है।
लॉग संदेश संशोधित किया गया है, और फ़ील्ड redacted_entities में संदेश में पाए जाने वाले निकाय प्रकारों की एक सूची शामिल है. इस मामले में, उदाहरण को एक URL मिला, लेकिन यह किसी भी प्रकार के PII डेटा की पहचान कर सकता था जो मुख्य रूप से PII के अंतर्निहित प्रकारों पर आधारित था। Amazon Comprehend के माध्यम से ग्राहक खाता संख्या के लिए एक अतिरिक्त बीस्पोक PII प्रकार जोड़ा गया था, लेकिन अब तक इसकी आवश्यकता नहीं है। इंजीनियरिंग स्क्वाड-लेवल ओवरराइड्स को गिटहब में प्रलेखित किया गया है कि उनका उपयोग कैसे किया जाए।
निष्कर्ष
इस प्रोजेक्ट ने द वेरी ग्रुप को लॉग्स में संवेदनशील PII को रिडक्ट करने के लिए एक त्वरित और सरल समाधान लागू करने की अनुमति दी। इंजीनियरिंग टीम ने इकाई प्रकारों के लिए ओवरराइड की अनुमति देते हुए और लचीलापन जोड़ा, व्यावसायिक आवश्यकताओं के आधार पर PII को संपादित करने के लिए लचीलापन प्रदान करने के लिए Amazon Comprehend का उपयोग किया। भविष्य में, इंजीनियरिंग टीम व्यक्तिगत Amazon Comprehend संस्थाओं को हमारे ग्राहक आईडी जैसे स्ट्रिंग को संपादित करने के लिए प्रशिक्षित करने पर विचार कर रही है।
समाधान का परिणाम यह है कि द वेरी ग्रुप को चिंता किए बिना लॉग डालने की स्वतंत्रता है। यह PII को लॉग में संग्रहीत न करने की नीति लागू करता है, जिससे जोखिम कम होता है और अनुपालन में सुधार होता है। इसके अलावा, मेटाडेटा को संपादित किया जा रहा है, एलिस्टिक्स खोज डैशबोर्ड के माध्यम से व्यवसाय में वापस रिपोर्ट किया जा रहा है, जिससे अलर्ट और आगे की कार्रवाई हो सकती है।
AWS AI/ML सेवाओं का आकलन करने के लिए समय निकालें, जिनका आपके संगठन ने अभी तक उपयोग नहीं किया है और प्रयोग की संस्कृति को बढ़ावा दें। द वेरी ग्रुप ने साबित कर दिया है कि सरल शुरुआत करने से जल्दी ही व्यावसायिक लाभ हो सकता है।
लेखक के बारे में
एंडी व्हिटेल द वेरी ग्रुप में प्रिंसिपल प्लेटफ़ॉर्म इंजीनियर - एप्लीकेशन एंड रिलायबिलिटी फ्रेमवर्क है, जो यूके स्थित डिजिटल रिटेलर वेरी का संचालन करता है। एंडी संगठन की जनजातियों में प्रदर्शन निगरानी प्रदान करने में मदद करता है, और अनुप्रयोग निगरानी, अवलोकन और प्रदर्शन में विशेष रुचि रखता है। 1998 में वेरी में शामिल होने के बाद से, एंडी ने कंटेंट मैनेजमेंट और कैटलॉग प्रोडक्शन, स्टॉक मैनेजमेंट, प्रोडक्शन सपोर्ट, DevOps और फ्यूजन मिडलवेयर को कवर करने वाली कई तरह की भूमिकाएँ निभाई हैं। पिछले 4 सालों से वह प्लेटफॉर्म इंजीनियरिंग टीम का हिस्सा हैं।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- योग्य
- About
- में तेजी लाने के
- लेखा
- खाता प्रबंधन
- के पार
- कार्य
- गतिविधियों
- गतिविधि
- जोड़ा
- अतिरिक्त
- अपनाना
- दत्तक ग्रहण
- लाभ
- AI
- ऐ सेवा
- ऐ / एमएल
- सब
- की अनुमति दे
- हालांकि
- वीरांगना
- Amazon Comprehend
- अमेज़ॅन EC2
- विश्लेषण
- और
- अन्य
- एपीआई
- आवेदन
- क्षुधा
- स्थापत्य
- को स्वचालित रूप से
- स्वचालित
- एडब्ल्यूएस
- वापस
- आधारित
- से पहले
- पीछे
- जा रहा है
- लाभ
- के बीच
- बिट
- निर्माण
- बनाया गया
- में निर्मित
- व्यापार
- कॉल
- सक्षम
- कब्जा
- मामला
- मामलों
- सूची
- कोड
- अनुपालन
- समझना
- गणना करना
- संकल्पना
- कनेक्टिविटी
- कंटेनर
- शामिल हैं
- सामग्री
- सका
- कवर
- बनाया
- बनाता है
- महत्वपूर्ण
- संस्कृति
- वर्तमान
- ग्राहक
- ग्राहक डेटा
- ग्राहक
- डैशबोर्ड
- तिथि
- दिन
- का फैसला किया
- निर्णय
- रक्षा
- उद्धार
- मांग
- साबित
- प्रदर्शन
- तैनात
- तैनात
- डिज़ाइन
- विकसित करना
- विकसित
- विकासशील
- विकास
- डिजिटल
- सीधे
- दस्तावेज़
- दस्तावेज़ीकरण
- दस्तावेजों
- नीचे
- से प्रत्येक
- प्रभावी रूप से
- दक्षता
- सक्षम
- सक्षम बनाता है
- समर्थकारी
- endpoint
- इंजीनियर
- अभियांत्रिकी
- सुनिश्चित
- संस्थाओं
- सत्ता
- वातावरण
- स्थापना
- उदाहरण
- उदाहरण
- प्रयोग
- उद्धरण
- कुछ
- खेत
- फ़ील्ड
- अंत में
- वित्तीय
- वित्तीय सेवाओं
- तय
- लचीलापन
- लचीला
- निम्नलिखित
- प्रपत्र
- पोषण
- पाया
- चौखटे
- स्वतंत्रता
- से
- पूरी तरह से
- आगे
- और भी
- संलयन
- भविष्य
- उत्पन्न करता है
- सृजन
- GitHub
- लक्ष्य
- समूह
- समूह की
- अतिथि
- अतिथि पोस्ट
- हैंडलिंग
- होने
- मदद करता है
- हाइलाइट
- कैसे
- How To
- तथापि
- एचटीएमएल
- HTTPS
- पहचान
- पहचान करना
- लागू करने के
- औजार
- में सुधार
- में सुधार लाने
- in
- शामिल
- सहित
- व्यक्ति
- करें-
- इंफ्रास्ट्रक्चर
- प्रारंभिक
- शुरू में
- पहल
- अन्तर्दृष्टि
- उदाहरण
- एकीकृत
- एकीकृत
- ब्याज
- आंतरिक
- जांच
- शामिल
- मुद्दा
- IT
- जावा
- शामिल होने
- लेबल
- भाषा
- बड़े पैमाने पर
- परत
- नेतृत्व
- जानें
- सीख रहा हूँ
- सूची
- भार
- देख
- मशीन
- यंत्र अधिगम
- बनाया गया
- बनाता है
- कामयाब
- प्रबंध
- बहुत
- message
- संदेश
- मेटाडाटा
- मेट्रिक्स
- दस लाख
- लाखों
- ML
- मोडलिंग
- मॉड्यूल
- निगरानी
- अधिक
- प्राकृतिक
- प्राकृतिक भाषा संसाधन
- ज़रूरत
- की जरूरत है
- नया
- NLP
- संख्या
- संचालित
- परिचालन
- संचालन
- विकल्प
- ऑप्शंस
- आदेश
- संगठन
- काबू
- अधिभावी
- मालिकों
- भाग
- विशेष
- गुजरता
- पासिंग
- अतीत
- भुगतान
- शिखर
- प्रदर्शन
- अवधि
- व्यक्तिगत रूप से
- मंच
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- नीतियाँ
- नीति
- पद
- संभावित
- को रोकने के
- प्रिंसिपल
- पूर्व
- प्राथमिकता
- निजी
- समस्याओं
- प्रक्रिया
- प्रसंस्कृत
- प्रक्रियाओं
- प्रसंस्करण
- एस्ट्रो मॉल
- उत्पादन
- परियोजना
- प्रमाण
- अवधारणा के सुबूत
- प्रोटोकॉल
- साबित
- प्रदान करना
- प्रदान करता है
- खींच
- खींचती
- खरीद
- धक्का
- धकेल दिया
- रखना
- डालता है
- त्वरित
- जल्दी से
- रिकॉर्ड
- अभिलेख
- अनुप्रेषित
- को कम करने
- को कम करने
- संबंध
- विश्वसनीयता
- हटाने
- हटाना
- हटाने
- की सूचना दी
- का अनुरोध
- अपेक्षित
- आवश्यकता
- प्रतिक्रिया
- परिणाम
- खुदरा
- वापसी
- रिटर्न
- प्रकट
- समीक्षा
- जोखिम
- भूमिकाओं
- मार्ग
- दौड़ना
- अनुमापकता
- तराजू
- स्केलिंग
- मूल
- सेकंड
- प्रतिभूति
- सुरक्षा
- भेजना
- संवेदनशील
- सेवा
- सेवाएँ
- कम
- दिखाता है
- सरल
- के बाद से
- So
- अब तक
- समाधान
- कुछ
- स्रोत
- सूत्रों का कहना है
- गति
- वसंत
- वसंत का बूट
- चरणों
- स्टैंड
- स्टैंडअलोन
- शुरू
- शुरुआत में
- स्टॉक
- की दुकान
- संग्रहित
- सीधे
- ऐसा
- समर्थन
- स्विच
- सिस्टम
- लेना
- लेता है
- कार्य
- टीम
- terraform
- परीक्षण
- परीक्षण
- परीक्षण
- RSI
- लेकिन हाल ही
- जिसके चलते
- धमकी
- यहाँ
- पहर
- सेवा मेरे
- ऊपर का
- निशान
- व्यापार
- प्रशिक्षित
- प्रशिक्षण
- रुझान
- प्रकार
- Uk
- समझना
- यूआरएल
- प्रयोग
- उपयोग
- मूल्य
- विविधता
- के माध्यम से
- वीडियो
- जरूरत है
- सप्ताह
- कौन कौन से
- चौड़ा
- अंदर
- बिना
- काम किया
- काम कर रहे
- साल
- आपका
- जेफिरनेट