Amazon SageMaker JumpStart अब कस्टम वर्गीकरण और कस्टम एंटिटी डिटेक्शन के लिए Amazon Comprehend नोटबुक प्रदान करता है

Amazon Comprehend एक प्राकृतिक भाषा प्रसंस्करण (एनएलपी) सेवा है जो पाठ से अंतर्दृष्टि खोजने के लिए मशीन लर्निंग (एमएल) का उपयोग करती है। Amazon Comprehend अनुकूलित सुविधाएँ प्रदान करता है, कस्टम इकाई मान्यता, कस्टम वर्गीकरण, तथा पूर्व प्रशिक्षित एपीआई जैसे प्रमुख वाक्यांश निष्कर्षण, भावना विश्लेषण, इकाई पहचान, और अधिक ताकि आप आसानी से एनएलपी को अपने अनुप्रयोगों में एकीकृत कर सकें।

हमने हाल ही में Amazon Comprehend संबंधित नोटबुक्स को इसमें जोड़ा है अमेज़न SageMaker जम्पस्टार्ट नोटबुक्स जो Amazon Comprehend कस्टम क्लासिफायर और कस्टम इकाई पहचानकर्ता का उपयोग करके जल्दी से आरंभ करने में आपकी सहायता कर सकते हैं। आप अपने द्वारा परिभाषित श्रेणियों (वर्गों) में दस्तावेज़ों को व्यवस्थित करने के लिए कस्टम वर्गीकरण का उपयोग कर सकते हैं। कस्टम इकाई पहचान आपके डोमेन या व्यवसाय के लिए अद्वितीय इकाई प्रकारों की पहचान करने में आपकी मदद करके Amazon Comprehend पूर्व-प्रशिक्षित इकाई पहचान API की क्षमता का विस्तार करती है जो प्रीसेट जेनेरिक में नहीं हैं इकाई प्रकार.

इस पोस्ट में, हम आपको दिखाते हैं कि अपने उद्यम एनएलपी आवश्यकताओं के हिस्से के रूप में Amazon Comprehend कस्टम वर्गीकरण और कस्टम एंटिटी डिटेक्शन मॉडल बनाने के लिए जम्पस्टार्ट का उपयोग कैसे करें।

सेजमेकर जम्पस्टार्ट

RSI अमेज़ॅन सैजमेकर स्टूडियो लैंडिंग पृष्ठ जम्पस्टार्ट का उपयोग करने का विकल्प प्रदान करता है। जम्पस्टार्ट विभिन्न प्रकार की समस्या के लिए पूर्व-प्रशिक्षित मॉडल प्रदान करके आरंभ करने का एक त्वरित तरीका प्रदान करता है। आप इन मॉडलों को प्रशिक्षित और ट्यून कर सकते हैं। जम्पस्टार्ट नोटबुक, ब्लॉग और वीडियो जैसे अन्य संसाधन भी प्रदान करता है।

जम्पस्टार्ट नोटबुक अनिवार्य रूप से नमूना कोड हैं जिनका उपयोग आप जल्दी शुरू करने के लिए शुरुआती बिंदु के रूप में कर सकते हैं। वर्तमान में, हम आपको 40 से अधिक नोटबुक प्रदान करते हैं जिनका आप उपयोग कर सकते हैं या आवश्यकतानुसार अनुकूलित कर सकते हैं। आप खोज या टैब किए गए दृश्य पैनल का उपयोग करके अपनी नोटबुक ढूंढ सकते हैं। आपके द्वारा उपयोग की जाने वाली नोटबुक मिलने के बाद, आप नोटबुक को आयात कर सकते हैं, इसे अपनी आवश्यकताओं के लिए अनुकूलित कर सकते हैं, और नोटबुक को चलाने के लिए आधारभूत संरचना और वातावरण का चयन कर सकते हैं।

जम्पस्टार्ट नोटबुक्स के साथ आरंभ करें

जम्पस्टार्ट के साथ आरंभ करने के लिए, पर जाएँ अमेज़न SageMaker कंसोल और स्टूडियो खोलें। को देखें सेजमेकर स्टूडियो के साथ शुरुआत करें स्टूडियो के साथ आरंभ करने के तरीके के निर्देशों के लिए। फिर निम्न चरणों को पूरा करें:

1. स्टूडियो में, जम्पस्टार्ट के लॉन्च पेज पर जाएँ और चुनें सेजमेकर जम्पस्टार्ट पर जाएं.

आपको खोज करने के कई तरीके पेश किए जाते हैं। आप जो चाहते हैं उसे प्राप्त करने के लिए या तो शीर्ष पर टैब का उपयोग कर सकते हैं, या निम्न स्क्रीनशॉट में दिखाए अनुसार खोज बॉक्स का उपयोग कर सकते हैं।

2. नोटबुक खोजने के लिए, हम जाते हैं नोटबुक टैब.

इस लेखन के समय, जम्पस्टार्ट 47 नोटबुक प्रदान करता है। आप Amazon Comprehend संबंधित नोटबुक्स को खोजने के लिए फ़िल्टर का उपयोग कर सकते हैं।

3. पर सामग्री प्रकार ड्रॉप-डाउन मेनू, चुनें नोटबुक.

जैसा कि आप निम्न स्क्रीनशॉट में देख सकते हैं, वर्तमान में हमारे पास दो Amazon Comprehend नोटबुक हैं।

निम्नलिखित अनुभागों में, हम दोनों नोटबुक्स का अन्वेषण करते हैं।

Amazon Comprehend कस्टम क्लासिफायरियर

इस नोटबुक में, हम प्रदर्शित करते हैं कि कैसे उपयोग करना है कस्टम वर्गीकरण एपीआई दस्तावेज़ वर्गीकरण मॉडल बनाने के लिए।

कस्टम क्लासिफायरियर पूरी तरह से प्रबंधित अमेज़ॅन कॉम्प्रिहेंड फीचर है जो आपको कस्टम टेक्स्ट वर्गीकरण मॉडल बनाने देता है जो आपके व्यवसाय के लिए अद्वितीय हैं, भले ही आपके पास बहुत कम या कोई एमएल विशेषज्ञता न हो। कस्टम क्लासिफायरियर Amazon Comprehend की मौजूदा क्षमताओं पर बनाता है, जो पहले से ही लाखों दस्तावेजों पर प्रशिक्षित हैं। यह एनएलपी वर्गीकरण मॉडल बनाने के लिए आवश्यक अधिकांश जटिलता को सार करता है। कस्टम क्लासिफायरियर स्वचालित रूप से प्रशिक्षण डेटा को लोड और निरीक्षण करता है, सही एमएल एल्गोरिदम का चयन करता है, आपके मॉडल को प्रशिक्षित करता है, इष्टतम हाइपरपैरामीटर ढूंढता है, मॉडल का परीक्षण करता है और मॉडल प्रदर्शन मेट्रिक्स प्रदान करता है। अमेज़ॅन कॉम्प्रिहेंड कस्टम क्लासिफायरियर पूरे एमएल वर्कफ़्लो के लिए उपयोग में आसान कंसोल भी प्रदान करता है, जिसमें लेबलिंग टेक्स्ट का उपयोग करना शामिल है अमेज़ॅन सैजमेकर ग्राउंड ट्रुथ, प्रशिक्षण और एक मॉडल की तैनाती, और परीक्षण के परिणामों की कल्पना करना। Amazon Comprehend कस्टम क्लासिफायर के साथ, आप निम्नलिखित मॉडल बना सकते हैं:

• बहु-श्रेणी वर्गीकरण मॉडल - बहु-श्रेणी वर्गीकरण में, प्रत्येक दस्तावेज़ में एक और केवल एक वर्ग निर्दिष्ट हो सकता है। व्यक्तिगत वर्ग परस्पर अनन्य हैं। उदाहरण के लिए, एक फिल्म को वृत्तचित्र या विज्ञान कथा के रूप में वर्गीकृत किया जा सकता है, लेकिन एक ही समय में दोनों नहीं।
• बहु-लेबल वर्गीकरण मॉडल - मल्टी-लेबल वर्गीकरण में, अलग-अलग वर्ग विभिन्न श्रेणियों का प्रतिनिधित्व करते हैं, लेकिन ये श्रेणियां किसी न किसी तरह से संबंधित हैं और परस्पर अनन्य नहीं हैं। नतीजतन, प्रत्येक दस्तावेज़ में कम से कम एक वर्ग असाइन किया गया है, लेकिन अधिक हो सकता है। उदाहरण के लिए, एक फिल्म एक ही समय में केवल एक एक्शन फिल्म हो सकती है, या यह एक एक्शन फिल्म, एक साइंस फिक्शन फिल्म और एक कॉमेडी हो सकती है।

इस नोटबुक को किसी मॉडल को उदाहरण डेटासेट या अपने स्वयं के व्यवसाय विशिष्ट डेटासेट के साथ प्रशिक्षित करने के लिए किसी एमएल विशेषज्ञता की आवश्यकता नहीं है। आप इस नोटबुक में चर्चा की गई API कार्रवाइयों का अपने स्वयं के अनुप्रयोगों में उपयोग कर सकते हैं।

अमेज़न कस्टम इकाई पहचानकर्ता

इस नोटबुक में, हम प्रदर्शित करते हैं कि कैसे उपयोग करना है कस्टम इकाई मान्यता एपीआई एक इकाई पहचान मॉडल बनाने के लिए।

कस्टम एंटिटी रिकग्निशन आपके उन विशिष्ट एंटिटी प्रकारों की पहचान करने में मदद करके Amazon Comprehend की क्षमताओं का विस्तार करता है जो प्रीसेट जेनेरिक एंटिटी प्रकारों में नहीं हैं। इसका मतलब है कि आप दस्तावेज़ों का विश्लेषण कर सकते हैं और उत्पाद कोड या व्यवसाय-विशिष्ट संस्थाओं जैसी संस्थाओं को निकाल सकते हैं जो आपकी विशेष आवश्यकताओं के अनुरूप हों।

अपने दम पर एक सटीक कस्टम इकाई पहचानकर्ता बनाना एक जटिल प्रक्रिया हो सकती है, जिसके लिए मैन्युअल रूप से एनोटेट किए गए प्रशिक्षण दस्तावेज़ों के बड़े सेट तैयार करने और मॉडल प्रशिक्षण के लिए सही एल्गोरिदम और पैरामीटर का चयन करने की आवश्यकता होती है। Amazon Comprehend एक कस्टम इकाई पहचान मॉडल बनाने के लिए स्वचालित एनोटेशन और मॉडल विकास प्रदान करके जटिलता को कम करने में मदद करता है।

उदाहरण नोटबुक प्रशिक्षण डेटासेट को CSV प्रारूप में लेता है और पाठ इनपुट के विरुद्ध निष्कर्ष चलाता है। अमेज़ॅन कॉम्प्रिहेंड एक उन्नत उपयोग के मामले का भी समर्थन करता है जो प्रशिक्षण के लिए ग्राउंड ट्रूथ एनोटेट डेटा लेता है और आपको पीडीएफ और वर्ड दस्तावेजों पर सीधे अनुमान लगाने की अनुमति देता है। अधिक जानकारी के लिए, देखें Amazon Comprehend का उपयोग करके PDF दस्तावेज़ों के लिए एक कस्टम निकाय पहचानकर्ता बनाएं.

Amazon Comprehend ने एनोटेशन की सीमा को कम कर दिया है और आपको अधिक स्थिर परिणाम प्राप्त करने की अनुमति दी है, विशेष रूप से कुछ-शॉट उप-नमूने के लिए। इस सुधार के बारे में अधिक जानकारी के लिए देखें अमेज़ॅन कॉम्प्रिहेंड ने कस्टम इकाई पहचान के लिए कम एनोटेशन सीमा की घोषणा की.

इस नोटबुक को किसी मॉडल को उदाहरण डेटासेट या अपने स्वयं के व्यवसाय विशिष्ट डेटासेट के साथ प्रशिक्षित करने के लिए किसी एमएल विशेषज्ञता की आवश्यकता नहीं है। आप इस नोटबुक में चर्चा की गई API कार्रवाइयों का अपने स्वयं के अनुप्रयोगों में उपयोग कर सकते हैं।

Amazon Comprehend जम्पस्टार्ट नोटबुक्स का उपयोग करें, अनुकूलित करें और परिनियोजित करें

आपके द्वारा उपयोग की जाने वाली Amazon Comprehend नोटबुक का चयन करने के बाद, चुनें आयात नोटबुक. जैसा कि आप ऐसा करते हैं, आप नोटबुक कर्नेल को प्रारंभ होते हुए देख सकते हैं।

आपकी नोटबुक आयात करने से नोटबुक उदाहरण, कर्नेल, और छवि का चयन ट्रिगर हो जाता है जिसका उपयोग नोटबुक चलाने के लिए किया जाता है। डिफ़ॉल्ट बुनियादी ढांचे का प्रावधान होने के बाद, आप अपनी आवश्यकताओं के अनुसार चयनों को बदल सकते हैं।

अब, नोटबुक की रूपरेखा पर जाएं और पूर्वापेक्षाएँ सेटअप, डेटा सेटअप, मॉडल का प्रशिक्षण, अनुमान चलाना और मॉडल को रोकना के अनुभागों को ध्यान से पढ़ें। अपनी आवश्यकताओं के अनुसार उत्पन्न कोड को अनुकूलित करने के लिए स्वतंत्र महसूस करें।

अपनी आवश्यकताओं के आधार पर, आप निम्नलिखित अनुभागों को अनुकूलित करना चाह सकते हैं:

• अनुमतियाँ - एक उत्पादन एप्लिकेशन के लिए, हम एक्सेस नीतियों को केवल उन तक सीमित करने की अनुशंसा करते हैं जो एप्लिकेशन को चलाने के लिए आवश्यक हैं। अनुमतियों को उपयोग के मामले के आधार पर प्रतिबंधित किया जा सकता है, जैसे प्रशिक्षण या अनुमान, और विशिष्ट संसाधन नाम, जैसे पूर्ण अमेज़न सरल भंडारण सेवा (Amazon S3) बकेट नाम या S3 बकेट नाम पैटर्न। आपको कस्टम क्लासिफायरियर या सैजमेकर ऑपरेशंस तक पहुंच को केवल उन्हीं तक सीमित रखना चाहिए जिनकी आपके एप्लिकेशन को जरूरत है।
• डेटा और स्थान – उदाहरण नोटबुक आपको नमूना डेटा और S3 स्थान प्रदान करता है। अपनी आवश्यकताओं के आधार पर, आप प्रशिक्षण, सत्यापन और परीक्षण के लिए अपने स्वयं के डेटा का उपयोग कर सकते हैं और आवश्यकतानुसार विभिन्न S3 स्थानों का उपयोग कर सकते हैं। इसी तरह, जब मॉडल बनाया जाता है, तो आप मॉडल को विभिन्न स्थानों पर रखना चुन सकते हैं। बस सुनिश्चित करें कि आपने S3 बकेट तक पहुँचने के लिए सही अनुमतियाँ प्रदान की हैं।
• प्रीप्रोसेसिंग चरण – यदि आप प्रशिक्षण और परीक्षण के लिए अलग-अलग डेटा का उपयोग कर रहे हैं, तो आप अपनी आवश्यकताओं के अनुसार प्रीप्रोसेसिंग चरणों को समायोजित करना चाह सकते हैं।
• परीक्षण डेटा - आप परीक्षण के लिए अपना खुद का निष्कर्ष डेटा ला सकते हैं।
• क्लीन अप – आवर्ती शुल्क से बचने के लिए नोटबुक द्वारा लॉन्च किए गए संसाधनों को हटा दें।

निष्कर्ष

इस पोस्ट में, हमने आपको दिखाया कि Amazon Comprehend APIs का उपयोग करके सीखने और फास्ट-ट्रैक करने के लिए जम्पस्टार्ट का उपयोग कैसे करें, जिससे स्टूडियो से Amazon Comprehend संबंधित नोटबुक्स को ढूंढना और चलाना सुविधाजनक हो जाता है, जबकि कोड को आवश्यकतानुसार संशोधित करने का विकल्प होता है। नोटबुक AWS उत्पाद घोषणाओं और नमूना समाचार लेखों के साथ नमूना डेटासेट का उपयोग करते हैं। आप इस नोटबुक का उपयोग यह जानने के लिए कर सकते हैं कि पायथन नोटबुक में Amazon Comprehend API का उपयोग कैसे करें, या आप इसे शुरुआती बिंदु के रूप में उपयोग कर सकते हैं और अपनी अनूठी आवश्यकताओं और उत्पादन परिनियोजन के लिए कोड का और विस्तार कर सकते हैं।

आप जम्पस्टार्ट का उपयोग शुरू कर सकते हैं और उन सभी क्षेत्रों में विभिन्न विषयों में 40 से अधिक नोटबुक का लाभ उठा सकते हैं जहाँ बिना किसी अतिरिक्त लागत के स्टूडियो उपलब्ध है।

---

लेखक के बारे में

लाना झांगो AWS WWSO AI सर्विसेज टीम में एक सीनियर सॉल्यूशन आर्किटेक्ट हैं, जो कंटेंट मॉडरेशन और रिकॉग्निशन के लिए AI और ML में विशेषज्ञता रखते हैं। वह AWS AI सेवाओं को बढ़ावा देने और ग्राहकों को उनके व्यावसायिक समाधान बदलने में मदद करने के लिए भावुक हैं।

मीनाक्षीसुंदरम थंडावरायण AWS के साथ एक वरिष्ठ AI/ML विशेषज्ञ हैं। वह उनके एआई और एमएल यात्रा पर हाई-टेक रणनीतिक खातों में मदद करता है। वह डेटा-संचालित एआई के बारे में बहुत भावुक हैं

रचना चड्ढा एडब्ल्यूएस में सामरिक खातों में प्रधान समाधान वास्तुकार एआई/एमएल है। रचना एक आशावादी है जो मानती है कि एआई का नैतिक और जिम्मेदार उपयोग भविष्य में समाज को बेहतर बना सकता है और आर्थिक और सामाजिक समृद्धि ला सकता है। अपने खाली समय में, रचना को अपने परिवार के साथ समय बिताना, लंबी पैदल यात्रा करना और संगीत सुनना पसंद है।