आयाम में कमी के लिए अमेज़न सैजमेकर डेटा रैंगलर

मशीन लर्निंग (एमएल) की दुनिया में, मॉडल की भविष्यवाणी के लिए डेटासेट की गुणवत्ता का महत्वपूर्ण महत्व है। हालांकि अधिक डेटा आमतौर पर बेहतर होता है, बड़ी संख्या में विशेषताओं वाले बड़े डेटासेट कभी-कभी आयाम के अभिशाप के कारण गैर-इष्टतम मॉडल प्रदर्शन का कारण बन सकते हैं। मॉडल प्रदर्शन को बेहतर बनाने के लिए विश्लेषक डेटा को बदलने में महत्वपूर्ण समय व्यतीत कर सकते हैं। इसके अतिरिक्त, बड़े डेटासेट महंगे होते हैं और प्रशिक्षित होने में अधिक समय लेते हैं। यदि समय की कमी है, तो परिणामस्वरूप मॉडल का प्रदर्शन सीमित हो सकता है।

आयाम कम करने की तकनीकें आपकी जानकारी को बनाए रखते हुए आपके डेटा के आकार को कम करने में मदद कर सकती हैं, जिसके परिणामस्वरूप त्वरित प्रशिक्षण समय, कम लागत और संभावित रूप से उच्च प्रदर्शन करने वाले मॉडल होते हैं।

अमेज़न SageMaker डेटा रैंगलर एमएल के लिए एक उद्देश्य-निर्मित डेटा एकत्रीकरण और तैयारी उपकरण है। डेटा रैंगलर डेटा तैयार करने की प्रक्रिया को सरल करता है और एकल विज़ुअल इंटरफ़ेस से डेटा चयन, सफाई, अन्वेषण और विज़ुअलाइज़ेशन जैसी इंजीनियरिंग की सुविधा देता है। डेटा रैंगलर में 300 से अधिक पूर्व-कॉन्फ़िगर डेटा ट्रांसफ़ॉर्मेशन हैं जो प्रभावी रूप से डेटा को बदलने में उपयोग किए जा सकते हैं। इसके अलावा, आप PySpark, SQL और pandas में कस्टम परिवर्तन लिख सकते हैं।

आज, हम डेटा रैंगलर प्री-बिल्ट ट्रांसफ़ॉर्मेशन की सूची में एक नई ट्रांसफ़ॉर्मेशन तकनीक जोड़ने के लिए उत्साहित हैं, जो आमतौर पर एमएल दुनिया में उपयोग की जाती है: प्रिंसिपल कंपोनेंट एनालिसिस का उपयोग करके डायमेंशनलिटी रिडक्शन। इस नई सुविधा के साथ, आप डेटा रैंगलर कंसोल पर कुछ ही क्लिक के साथ अपने डेटासेट में आयामों की उच्च संख्या को कम कर सकते हैं जिसका उपयोग लोकप्रिय एमएल एल्गोरिदम के साथ किया जा सकता है। इससे न्यूनतम प्रयास के साथ आपके मॉडल के प्रदर्शन में महत्वपूर्ण सुधार हो सकते हैं।

इस पोस्ट में, हम इस नई सुविधा का अवलोकन प्रदान करते हैं और दिखाते हैं कि अपने डेटा परिवर्तन में इसका उपयोग कैसे करें। हम दिखाएंगे कि बड़े विरल डेटासेट पर आयामी कमी का उपयोग कैसे करें।

प्रधान घटक विश्लेषण का अवलोकन

प्रिंसिपल कंपोनेंट एनालिसिस (पीसीए) एक ऐसी विधि है जिसके द्वारा मूल डेटासेट से अधिक से अधिक जानकारी को बरकरार रखते हुए कई संख्यात्मक विशेषताओं वाले डेटासेट में सुविधाओं की आयामीता को कम सुविधाओं वाले एक में बदला जा सकता है। यह नामक सुविधाओं का एक नया सेट ढूंढकर किया जाता है घटकों, जो मूल विशेषताओं के सम्मिश्रण हैं जो एक दूसरे से असंबद्ध हैं। डेटासेट में कई विशेषताएं अक्सर अंतिम परिणाम पर कम प्रभाव डालती हैं और एमएल मॉडल के प्रसंस्करण समय को बढ़ा सकती हैं। ऐसी उच्च-आयामी समस्याओं को समझना और हल करना मनुष्य के लिए कठिन हो सकता है। पीसीए जैसी डायमेंशनलिटी रिडक्शन तकनीक हमारे लिए इसे हल करने में मदद कर सकती है।

समाधान अवलोकन

इस पोस्ट में, हम दिखाते हैं कि आप डेटा रैंगलर में डायमेंशनलिटी रिडक्शन ट्रांसफ़ॉर्म का उपयोग कैसे कर सकते हैं Mnist सुविधाओं की संख्या को 85% तक कम करने के लिए डेटासेट और अभी भी मूल डेटासेट की तुलना में समान या बेहतर सटीकता प्राप्त करें। MNIST (संशोधित राष्ट्रीय मानक और प्रौद्योगिकी संस्थान) डेटासेट, जो कंप्यूटर दृष्टि में वास्तविक "हैलो वर्ल्ड" डेटासेट है, हस्तलिखित छवियों का डेटासेट है। डेटासेट की प्रत्येक पंक्ति कुल 28 पिक्सेल के लिए 28 x 784 पिक्सेल की एकल छवि से मेल खाती है। प्रत्येक पिक्सेल को डेटासेट में एकल विशेषता द्वारा दर्शाया जाता है, जिसका पिक्सेल मान 0-255 तक होता है।

नई डायमेंशनलिटी रिडक्शन फीचर के बारे में अधिक जानने के लिए देखें डेटासेट के भीतर आयाम कम करें.

.. पूर्वापेक्षाएँ

यह पोस्ट मानती है कि आपके पास एक अमेज़ॅन सैजमेकर स्टूडियो डोमेन सेट अप। इसे सेट अप करने के तरीके के विवरण के लिए, देखें त्वरित सेटअप का उपयोग करके अमेज़न सैजमेकर डोमेन पर ऑनबोर्ड.

डेटा रैंगलर की नई क्षमताओं के साथ आरंभ करने के लिए, बाद में स्टूडियो खोलें नवीनतम रिलीज़ में अपग्रेड करना और चुनिए पट्टिका मेन्यू नया, तथा फ्लो, या चुनें नया डेटा प्रवाह स्टूडियो लॉन्चर से।

एक त्वरित मॉडल विश्लेषण करें

इस पोस्ट में हम जिस डेटासेट का उपयोग करते हैं, उसमें 60,000 प्रशिक्षण उदाहरण और लेबल शामिल हैं। प्रत्येक पंक्ति में 785 मान होते हैं: पहला मान लेबल है (0–9 से एक संख्या) और शेष 784 मान पिक्सेल मान हैं (0–255 से एक संख्या)। सबसे पहले, हम प्रदर्शन मेट्रिक्स प्राप्त करने के लिए कच्चे डेटा पर एक त्वरित मॉडल विश्लेषण करते हैं और मूल्यांकन के लिए मॉडल मेट्रिक्स पोस्ट-पीसीए परिवर्तनों के साथ उनकी तुलना करते हैं। निम्नलिखित चरणों को पूरा करें:

1. डाउनलोड MNIST डेटासेट प्रशिक्षण डेटासेट.
2. .Zip फ़ाइल से डेटा निकालें और एक में अपलोड करें अमेज़न सरल भंडारण सेवा (अमेज़न S3) बाल्टी।
3. स्टूडियो में, चुनें नया और डेटा रैंगलर फ्लो एक नया डेटा रैंगलर प्रवाह बनाने के लिए।
   
4. चुनें आयात आंकड़ा Amazon S3 से डेटा लोड करने के लिए।
   
5. चुनें अमेज़न S3 आपके डेटा स्रोत के रूप में।
   
6. अपने S3 बकेट में अपलोड किए गए डेटासेट का चयन करें।
7. डिफ़ॉल्ट सेटिंग्स को छोड़ दें और चुनें आयात.
   

डेटा आयात होने के बाद, डेटा रैंगलर स्वचालित रूप से डेटासेट को मान्य करता है और इसके नमूने के आधार पर सभी कॉलम के लिए डेटा प्रकार का पता लगाता है। MNIST डेटासेट में, क्योंकि सभी कॉलम लंबे हैं, हम इस चरण को वैसे ही छोड़ देते हैं और डेटा प्रवाह पर वापस चले जाते हैं।

8. चुनें डेटा प्रवाह के शीर्ष पर जानकारी का प्रकार पृष्ठ मुख्य डेटा प्रवाह पर लौटने के लिए।
   

प्रवाह संपादक अब दो ब्लॉक दिखाता है कि डेटा एक स्रोत से आयात किया गया था और डेटा प्रकारों की पहचान की गई थी। जरूरत पड़ने पर आप डेटा प्रकारों को संपादित भी कर सकते हैं।

यह पुष्टि करने के बाद कि डेटा गुणवत्ता स्वीकार्य है, हम डेटा प्रवाह पर वापस जाते हैं और डेटा रैंगलर की डेटा गुणवत्ता और अंतर्दृष्टि रिपोर्ट का उपयोग करते हैं। यह रिपोर्ट आयातित डेटासेट पर एक विश्लेषण करती है और लापता मूल्यों, आउटलेयर, लक्ष्य रिसाव, असंतुलित डेटा और एक त्वरित मॉडल विश्लेषण के बारे में जानकारी प्रदान करती है। को देखें डेटा और डेटा गुणवत्ता पर जानकारी प्राप्त करें देखें।

इस विश्लेषण के लिए, हम डेटा गुणवत्ता रिपोर्ट के केवल त्वरित मॉडल भाग पर ध्यान केंद्रित करते हैं।

9. के आगे धन चिह्न चुनें जानकारी का प्रकार, उसके बाद चुनो विश्लेषण जोड़ें.
   
10. के लिए विश्लेषण प्रकारचुनें डेटा गुणवत्ता और अंतर्दृष्टि रिपोर्ट.
11. के लिए लक्ष्य स्तंभ, लेबल चुनें।
12. के लिए समस्या प्रकार, चुनते हैं वर्गीकरण (यह चरण वैकल्पिक है)।
13. चुनें बनाएं.
    

इस पोस्ट के लिए, हम डेटा गुणवत्ता और अंतर्दृष्टि रिपोर्ट का उपयोग यह दिखाने के लिए करते हैं कि पीसीए का उपयोग करके मॉडल के प्रदर्शन को कैसे संरक्षित किया जाता है। हम अनुशंसा करते हैं कि आप बेहतर प्रदर्शन के लिए गहन शिक्षण-आधारित दृष्टिकोण का उपयोग करें।

निम्न स्क्रीनशॉट रिपोर्ट से डेटासेट का सारांश दिखाता है। सौभाग्य से, हमारे पास कोई गुम मान नहीं है। रिपोर्ट को जनरेट करने में लगने वाला समय डेटासेट के आकार, सुविधाओं की संख्या और डेटा रैंगलर द्वारा उपयोग किए जाने वाले इंस्टेंस आकार पर निर्भर करता है।

निम्न स्क्रीनशॉट दिखाता है कि मॉडल ने अपरिष्कृत डेटासेट पर कैसा प्रदर्शन किया। यहाँ हम देखते हैं कि मॉडल में 93.7 विशेषताओं का उपयोग करते हुए 784% की सटीकता है।

डेटा रैंगलर डायमेंशनलिटी रिडक्शन ट्रांसफ़ॉर्म का उपयोग करें

अब इस डेटासेट में सुविधाओं की संख्या को कम करने के लिए डेटा रैंगलर डायमेंशनलिटी रिडक्शन ट्रांसफ़ॉर्म का उपयोग करते हैं।

1. डेटा प्रवाह पृष्ठ पर, इसके आगे धन चिह्न चुनें जानकारी का प्रकार, उसके बाद चुनो परिवर्तन जोड़ें.
   
2. चुनें चरण जोड़ें.
   
3. चुनें आयाम की कमी.
   

यदि आपको आयाम घटाने का विकल्प सूचीबद्ध नहीं दिखता है, तो आपको डेटा रैंगलर को अपडेट करने की आवश्यकता है। निर्देशों के लिए, देखें डेटा रैंगलर अपडेट करें.

4. पीसीए में जाने वाले प्रमुख चरों को कॉन्फ़िगर करें:
   1. के लिए बदालना, उस डायमेंशनलिटी रिडक्शन तकनीक को चुनें जिसका आप उपयोग करना चाहते हैं। इस पद के लिए, हम चुनते हैं प्रमुख कंपोनेंट विश्लेषण.
   2. के लिए इनपुट कॉलम, उन स्तंभों को चुनें जिन्हें आप PCA विश्लेषण में शामिल करना चाहते हैं। इस उदाहरण के लिए, हम लक्ष्य कॉलम लेबल को छोड़कर सभी सुविधाओं को चुनते हैं (आप सभी का चयन करें सभी सुविधाओं का चयन करने के लिए सुविधा और आवश्यक नहीं सुविधाओं को अचयनित करें)। ये कॉलम न्यूमेरिक डेटा टाइप के होने चाहिए।
   3. के लिए प्रमुख घटकों की संख्या, लक्ष्य आयामों की संख्या निर्दिष्ट करें।
   4. के लिए भिन्नता दहलीज प्रतिशत, उस डेटा में भिन्नता का प्रतिशत निर्दिष्ट करें जिसे आप प्रमुख घटकों द्वारा समझाना चाहते हैं। डिफ़ॉल्ट मान 95 है; इस पद के लिए, हम 80 का उपयोग करते हैं।
   5. चुनते हैं केंद्र स्केलिंग से पहले माध्य के साथ डेटा को केंद्रित करना।
   6. चुनते हैं स्केल इकाई मानक विचलन के साथ डेटा को स्केल करने के लिए।
      पीसीए उच्च विचरण वाले चरों पर अधिक जोर देता है। इसलिए, यदि आयामों को बढ़ाया नहीं जाता है, तो हमें असंगत परिणाम प्राप्त होंगे। उदाहरण के लिए, एक चर का मान 50-100 की सीमा में हो सकता है, और दूसरा चर 5-10 है। इस मामले में, पीसीए पहले चर को अधिक भार देगा। पीसीए लागू करने से पहले डेटासेट को स्केल करके ऐसे मुद्दों को हल किया जा सकता है।
   7. के लिए आउटपुट स्वरूप, निर्दिष्ट करें कि क्या आप घटकों को अलग कॉलम या वैक्टर में आउटपुट करना चाहते हैं। इस पद के लिए, हम चुनते हैं स्तंभ.
   8. के लिए आउटपुट कॉलम, PCA द्वारा उत्पन्न स्तंभ नामों के लिए एक उपसर्ग दर्ज करें। इस पोस्ट के लिए, हम PCA80_ दर्ज करते हैं।
5. चुनें पूर्वावलोकन डेटा का पूर्वावलोकन करने के लिए, फिर चुनें अपडेट.
   

पीसीए लागू करने के बाद, स्तंभों की संख्या 784 से घटाकर 115 कर दी जाएगी—यह सुविधाओं की संख्या में 85% की कमी है।

अब हम रूपांतरित डेटासेट का उपयोग कर सकते हैं और मॉडल के प्रदर्शन का निरीक्षण करने के लिए एक और डेटा गुणवत्ता और अंतर्दृष्टि रिपोर्ट तैयार कर सकते हैं जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है।

हम दूसरे विश्लेषण में देख सकते हैं कि पहली त्वरित मॉडल रिपोर्ट की तुलना में मॉडल के प्रदर्शन में सुधार हुआ है और सटीकता 91.8% तक बढ़ी है। पीसीए ने समान स्तरों पर मॉडल की सटीकता को बनाए रखते हुए हमारे डेटासेट में सुविधाओं की संख्या को 85% तक कम कर दिया।

रिपोर्ट के त्वरित मॉडल विश्लेषण के आधार पर, मॉडल का प्रदर्शन 91.8% है। पीसीए के साथ, हमने समान स्तरों पर मॉडल की सटीकता को बनाए रखते हुए कॉलम को 85% तक कम कर दिया। बेहतर परिणामों के लिए, आप डीप लर्निंग मॉडल आज़मा सकते हैं, जो और भी बेहतर प्रदर्शन प्रदान कर सकते हैं।

हमने प्रशिक्षण समय का उपयोग करते हुए निम्नलिखित तुलना पाई अमेज़ॅन सैजमेकर ऑटोपायलट पीसीए आयामी कमी के साथ और उसके बिना:

• पीसीए आयामी कमी के साथ - 25 मिनट
• पीसीए आयामी कमी के बिना - 45 मिनट

पीसीए का संचालन

जैसे-जैसे समय के साथ डेटा बदलता है, हमारे पैरामीटर को नए अनदेखे डेटा के लिए फिर से प्रशिक्षित करना अक्सर वांछनीय होता है। डेटा रैंगलर रिफिटिंग मापदंडों के उपयोग के माध्यम से यह क्षमता प्रदान करता है। प्रशिक्षित पैरामीटर्स को फिर से फ़िट करने के बारे में अधिक जानकारी के लिए देखें अमेज़ॅन सेजमेकर डेटा रैंगलर का उपयोग करके बड़े डेटासेट पर प्रशिक्षित मापदंडों को फिर से करें.

पहले, हमने 50,000 नमूना पंक्तियों वाले MNIST डेटासेट के नमूने पर PCA लागू किया था। नतीजतन, हमारी प्रवाह फ़ाइल में एक मॉडल होता है जिसे इस नमूने पर प्रशिक्षित किया गया है और सभी निर्मित नौकरियों के लिए उपयोग किया जाता है जब तक कि हम यह निर्दिष्ट नहीं करते कि हम उन मापदंडों को फिर से सीखना चाहते हैं।

MNIST प्रशिक्षण डाटासेट पर अपने मॉडल पैरामीटर्स को फिर से फिट करने के लिए, निम्नलिखित चरणों को पूरा करें:

1. Amazon S3 में हमारी फ़्लो फ़ाइल के लिए एक डेस्टिनेशन बनाएं ताकि हम डेटा रैंगलर प्रोसेसिंग जॉब बना सकें।
   
2. नौकरी बनाएं और चुनें मरम्मत नए प्रशिक्षण पैरामीटर सीखने के लिए।

RSI प्रशिक्षित पैरामीटर खंड से पता चलता है कि 784 पैरामीटर हैं। यह प्रत्येक कॉलम के लिए एक पैरामीटर है क्योंकि हमने अपने पीसीए कटौती में लेबल कॉलम को बाहर कर दिया है।

ध्यान दें कि अगर हम चयन नहीं करते हैं मरम्मत इस चरण में, इंटरैक्टिव मोड के दौरान सीखे गए प्रशिक्षित पैरामीटर का उपयोग किया जाएगा।

3. कार्य बनाएँ।
   
4. कार्य की निगरानी करने और Amazon S3 पर परिणामी प्रवाह फ़ाइल का स्थान खोजने के लिए संसाधन कार्य लिंक चुनें.
   

इस फ़्लो फ़ाइल में संपूर्ण MNIST ट्रेन डेटासेट पर सीखे गए मॉडल शामिल हैं।

5. इस फ़ाइल को डेटा रैंगलर में लोड करें।

क्लीन अप

पर्यावरण को साफ करने के लिए ताकि आप पर अतिरिक्त शुल्क न लगे, Amazon S3 में डेटासेट और कलाकृतियों को हटा दें। इसके अतिरिक्त, स्टूडियो में डेटा प्रवाह फ़ाइल को हटा दें और उस इंस्टेंस को बंद कर दें जिस पर वह चलता है। को देखें शट डाउन डेटा रैंगलर देखें।

निष्कर्ष

एक मॉडल से अवांछित चर को हटाने के लिए आयामीता में कमी एक बेहतरीन तकनीक है। इसका उपयोग डेटा में मॉडल की जटिलता और शोर को कम करने के लिए किया जा सकता है, जिससे मशीन लर्निंग और डीप लर्निंग मॉडल में ओवरफिटिंग की आम समस्या को कम किया जा सकता है। इस ब्लॉग में हमने प्रदर्शित किया कि सुविधाओं की संख्या कम करके, हम अभी भी अपने मॉडलों के लिए समान या उच्च सटीकता प्राप्त करने में सक्षम थे।

PCA के उपयोग के बारे में अधिक जानकारी के लिए देखें प्रधान घटक विश्लेषण (पीसीए) एल्गोरिथम. डायमेंशनलिटी रिडक्शन ट्रांस्फ़ॉर्म के बारे में अधिक जानने के लिए देखें डेटासेट के भीतर आयाम कम करें.

---

लेखक के बारे में

एडेलके कोकर एडब्ल्यूएस के साथ एक वैश्विक समाधान वास्तुकार है। वह एडब्ल्यूएस पर बड़े पैमाने पर उत्पादन कार्यभार को तैनात करने में मार्गदर्शन और तकनीकी सहायता प्रदान करने के लिए वैश्विक स्तर पर ग्राहकों के साथ काम करता है। अपने खाली समय में, वह सीखना, पढ़ना, जुआ खेलना और खेल आयोजन देखना पसंद करते हैं।

सेविका Amazon SageMaker में एक सॉफ्टवेयर डेवलपमेंट इंजीनियर है। वह ग्राहकों को डेटा रैंगलर में अपना डेटा तैयार करने और वितरित मशीन लर्निंग सिस्टम बनाने में मदद करने के बारे में भावुक है। अपने खाली समय में, अबीगैल को यात्रा करना, लंबी पैदल यात्रा करना, स्कीइंग और बेकिंग करना पसंद है।

विशाल कपूर एडब्ल्यूएस एआई के साथ एक वरिष्ठ अनुप्रयुक्त वैज्ञानिक हैं। उन्हें डेटा रैंगलर में ग्राहकों को उनके डेटा को समझने में मदद करने का शौक है। अपने खाली समय में, वह माउंटेन बाइक, स्नोबोर्ड और अपने परिवार के साथ समय बिताते हैं।

रवितेजा येलमंचिली न्यूयॉर्क में स्थित अमेज़ॅन वेब सर्विसेज के साथ एक एंटरप्राइज सॉल्यूशंस आर्किटेक्ट है। वह क्लाउड पर अत्यधिक सुरक्षित, स्केलेबल, विश्वसनीय और लागत प्रभावी अनुप्रयोगों को डिजाइन और तैनात करने के लिए बड़े वित्तीय सेवा उद्यम ग्राहकों के साथ काम करता है। वह 11+ से अधिक वर्षों का जोखिम प्रबंधन, प्रौद्योगिकी परामर्श, डेटा विश्लेषण और मशीन सीखने का अनुभव लाता है। जब वह ग्राहकों की मदद नहीं कर रहा होता है, तो उसे यात्रा करने और PS5 खेलने में मज़ा आता है।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• मिंटिंग द फ्यूचर डब्ल्यू एड्रिएन एशले। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-data-wrangler-for-dimensionality-reduction/