अमेज़ॅन सैजमेकर ग्राउंड ट्रुथ प्लस के साथ नए अंतर्निर्मित इंटरफेस का उपयोग करके उत्पादन-ग्रेड डेटा तेजी से प्राप्त करें

AWS re:Invent 2021 में लॉन्च किया गया, अमेज़न सेजमेकर ग्राउंड ट्रुथ प्लस डेटा लेबलिंग अनुप्रयोगों के निर्माण और लेबलिंग कार्यबल के प्रबंधन से जुड़े अविभाजित भारी भारोत्तोलन को हटाकर उच्च-गुणवत्ता वाले प्रशिक्षण डेटासेट बनाने में आपकी सहायता करता है। आप केवल लेबलिंग आवश्यकताओं के साथ डेटा साझा करते हैं, और ग्राउंड ट्रुथ प्लस इन आवश्यकताओं के आधार पर आपके डेटा लेबलिंग वर्कफ़्लो को सेट और प्रबंधित करता है। वहां से, एक विशेषज्ञ कार्यबल जो विभिन्न प्रकार के मशीन लर्निंग (एमएल) कार्यों पर प्रशिक्षित होता है, आपके डेटा को लेबल करता है। ग्राउंड ट्रुथ प्लस का उपयोग करने के लिए आपको गहन एमएल विशेषज्ञता या कार्यप्रवाह डिजाइन और गुणवत्ता प्रबंधन के ज्ञान की भी आवश्यकता नहीं है।

आज हम ग्राउंड ट्रुथ प्लस पर नए बिल्ट-इन इंटरफेस के लॉन्च की घोषणा करते हुए उत्साहित हैं। इस नई क्षमता के साथ, कई जमीनी सच्चाई प्लस उपयोगकर्ता अब एक नया बना सकते हैं परियोजना और बैच, डेटा साझा करें, और स्वयं-सेवा इंटरफ़ेस के माध्यम से उसी AWS खाते का उपयोग करके डेटा प्राप्त करें। यह आपको प्रोजेक्ट सेट अप समय को कम करके उच्च गुणवत्ता वाले प्रशिक्षण डेटासेट के विकास में तेजी लाने में सक्षम बनाता है। इसके अतिरिक्त, आप अपने डेटा का दायरा बढ़ाकर अपने डेटा तक ठीक-ठाक पहुंच को नियंत्रित कर सकते हैं AWS पहचान और अभिगम प्रबंधन (आईएएम) भूमिका अनुमतियों के अपने व्यक्तिगत स्तर से मेल खाने के लिए अमेज़न सरल भंडारण सेवा (Amazon S3) एक्सेस, और आपके पास हमेशा कुछ बकेट तक पहुंच को रद्द करने का विकल्प होता है।

अब तक, आपको नया डेटा लेबलिंग बनाने के लिए अपने ग्राउंड ट्रुथ प्लस ऑपरेशंस प्रोग्राम मैनेजर (ओपीएम) तक पहुंचना होता था परियोजनाओं और बैचों. इस प्रक्रिया में कुछ प्रतिबंध थे क्योंकि यह केवल एक उपयोगकर्ता को एक नई परियोजना और बैच का अनुरोध करने की अनुमति देता था - यदि संगठन के भीतर कई उपयोगकर्ता एक ही AWS खाते का उपयोग कर रहे थे, तो केवल एक उपयोगकर्ता ग्राउंड ट्रुथ प्लस का उपयोग करके एक नए डेटा लेबलिंग प्रोजेक्ट और बैच का अनुरोध कर सकता था। सांत्वना देना। इसके अतिरिक्त, प्रक्रिया ने कई मैनुअल टचपॉइंट्स और समस्याओं के मामले में आवश्यक समस्या निवारण के कारण लेबलिंग प्रक्रिया को शुरू करने में कृत्रिम देरी की। अलग-अलग, सभी परियोजनाओं ने डेटा तक पहुँचने के लिए समान IAM भूमिका का उपयोग किया। इसलिए, उन परियोजनाओं और बैचों को चलाने के लिए जिन्हें अलग-अलग डेटा स्रोतों जैसे कि अलग-अलग Amazon S3 बाल्टियों तक पहुँच की आवश्यकता होती है, आपको अपने खाते की विशिष्ट S3 नीतियों को प्रदान करने के लिए अपने ग्राउंड ट्रुथ प्लस OPM पर निर्भर रहना पड़ता था, जिसे आपको अपने S3 बकेट पर मैन्युअल रूप से लागू करना पड़ता था। यह पूरा ऑपरेशन मैन्युअल रूप से गहन था जिसके परिणामस्वरूप ऑपरेशनल ओवरहेड्स थे।

यह पोस्ट आपको एक नया प्रोजेक्ट और बैच बनाने, डेटा साझा करने, और लेबलिंग प्रक्रिया को कुशलतापूर्वक किकस्टार्ट करने के लिए नए सेल्फ-सर्व इंटरफेस का उपयोग करके डेटा प्राप्त करने के चरणों के माध्यम से चलता है। यह पोस्ट मानती है कि आप ग्राउंड ट्रुथ प्लस से परिचित हैं। अधिक जानकारी के लिए देखें अमेज़ॅन सेजमेकर ग्राउंड ट्रुथ प्लस - बिना कोड या इन-हाउस संसाधनों के प्रशिक्षण डेटासेट बनाएं.

समाधान अवलोकन

हम निम्न कार्य करने का तरीका प्रदर्शित करते हैं:

• मौजूदा परियोजनाओं को अद्यतन करें
• एक नई परियोजना का अनुरोध करें
• एक प्रोजेक्ट टीम सेट करें
• एक बैच बनाएं

.. पूर्वापेक्षाएँ

आरंभ करने से पहले, सुनिश्चित करें कि आपके पास निम्नलिखित पूर्वापेक्षाएँ हैं:

• An AWS खाता
• एक IAM उपयोगकर्ता जिसके पास IAM भूमिकाएँ बनाने की पहुँच है
• RSI अमेज़न S3 यूआरआई बकेट का जहां आपके लेबलिंग ऑब्जेक्ट संग्रहीत हैं

मौजूदा परियोजनाओं को अद्यतन करें

यदि आपके पास इस पोस्ट में वर्णित नई सुविधाओं के लॉन्च (9 दिसंबर, 2022) से पहले एक ग्राउंड ट्रुथ प्लस परियोजना है, तो आपको एक IAM भूमिका बनाने और साझा करने की आवश्यकता है ताकि आप अपने मौजूदा ग्राउंड ट्रुथ प्लस प्रोजेक्ट के साथ इन सुविधाओं का उपयोग कर सकें। . यदि आप ग्राउंड ट्रूथ प्लस के नए उपयोगकर्ता हैं, तो आप इस अनुभाग को छोड़ सकते हैं।

IAM भूमिका बनाने के लिए, निम्न चरणों को पूरा करें:

1. IAM कंसोल पर, चुनें भूमिका बनाएं.
2. चुनते हैं कस्टम ट्रस्ट नीति.
3. भूमिका के लिए निम्नलिखित विश्वास संबंध निर्दिष्ट करें:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. चुनें अगला.
5. चुनें नीति बनाएं.
6. JSON टैब पर, निम्न नीति निर्दिष्ट करें। प्रत्येक बकेट के लिए दो प्रविष्टियाँ निर्दिष्ट करके संसाधन गुण को अपडेट करें: एक बस बकेट ARN के साथ, और दूसरा बकेट ARN के साथ और उसके बाद /*. उदाहरण के लिए, बदलें साथ में arn:aws:s3:::my-bucket/myprefix/ और /* साथ में arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. चुनें अगला: टैग और अगला: समीक्षा करें.
8. नीति का नाम और एक वैकल्पिक विवरण दर्ज करें।
9. चुनें नीति बनाएं.
10. इस टैब को बंद करें और अपनी भूमिका बनाने के लिए पिछले टैब पर वापस जाएं।

अनुमतियाँ जोड़ें टैब पर, आपको अपने द्वारा बनाई गई नई नीति देखनी चाहिए (यदि आप इसे नहीं देखते हैं तो पृष्ठ को ताज़ा करें)।

11. नव निर्मित नीति का चयन करें और चुनें अगला.
12. एक नाम दर्ज करें (उदाहरण के लिए, GTPlusExecutionRole) और वैकल्पिक रूप से भूमिका का विवरण।
13. चुनें भूमिका बनाएं.
14. अपने ग्राउंड ट्रूथ प्लस ओपीएम को भूमिका एआरएन प्रदान करें, जो इस नई बनाई गई भूमिका के साथ आपके मौजूदा प्रोजेक्ट को अपडेट करेगा।

एक नई परियोजना का अनुरोध करें

एक नई परियोजना का अनुरोध करने के लिए, निम्नलिखित चरणों को पूरा करें:

1. पर ग्राउंड ट्रुथ प्लस कंसोल, नेविगेट करें परियोजनाओं अनुभाग।

यह वह जगह है जहाँ आपकी सभी परियोजनाएँ सूचीबद्ध हैं।

2. चुनें अनुरोध परियोजना.

RSI अनुरोध परियोजना पृष्ठ आपके लिए विवरण प्रदान करने का अवसर है जो हमें प्रारंभिक परामर्श कॉल शेड्यूल करने और आपकी परियोजना स्थापित करने में मदद करेगा।

3. परियोजना का नाम और विवरण जैसी सामान्य जानकारी निर्दिष्ट करने के अलावा, आपको परियोजना के कार्य प्रकार को निर्दिष्ट करना होगा और क्या इसमें व्यक्तिगत रूप से पहचान योग्य जानकारी (पीआईआई) शामिल है।

अपने डेटा को लेबल करने के लिए, ग्राउंड ट्रुथ प्लस को S3 बकेट में आपके कच्चे डेटा तक अस्थायी पहुंच की आवश्यकता होती है। जब लेबलिंग प्रक्रिया पूरी हो जाती है, तो ग्राउंड ट्रुथ प्लस लेबलिंग आउटपुट को आपके S3 बकेट में वापस भेज देता है। यह एक IAM भूमिका के माध्यम से किया जाता है। आप या तो एक नई भूमिका बना सकते हैं, या आप एक नई भूमिका बनाने के लिए IAM कंसोल पर नेविगेट कर सकते हैं (निर्देशों के लिए पिछला अनुभाग देखें)।

4. यदि आप भूमिका बनाना चुनते हैं, तो चुनें एक कस्टम IAM भूमिका ARN दर्ज करें और अपनी IAM भूमिका ARN दर्ज करें, जो कि के प्रारूप में है arn:aws:iam:::role/.
5. बिल्ट-इन टूल का उपयोग करने के लिए, ड्रॉप-डाउन मेनू पर IAM भूमिका, चुनें एक नई भूमिका बनाएँ.
6. अपने लेबलिंग डेटा का बकेट स्थान निर्दिष्ट करें। यदि आप अपने लेबलिंग डेटा का स्थान नहीं जानते हैं या यदि आपके पास कोई लेबलिंग डेटा अपलोड नहीं है, तो चुनें कोई S3 बाल्टी, जो ग्राउंड ट्रुथ प्लस को आपके खाते के सभी बकेट तक पहुंच प्रदान करेगा।
7. चुनें बनाएं भूमिका बनाने के लिए।

आपकी IAM भूमिका ग्राउंड ट्रुथ प्लस की अनुमति देगी, जिसकी पहचान की गई है sagemaker-ground-truth-plus.amazonaws.com भूमिका में विश्वास नीति, अपने S3 बकेट पर निम्न कार्रवाइयाँ चलाने के लिए:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. चुनें अनुरोध परियोजना अनुरोध पूरा करने के लिए।

ग्राउंड ट्रुथ प्लस ओपीएम आपकी डेटा लेबलिंग परियोजना आवश्यकताओं और मूल्य निर्धारण पर चर्चा करने के लिए आपके साथ एक प्रारंभिक परामर्श कॉल निर्धारित करेगा।

एक प्रोजेक्ट टीम सेट करें

प्रोजेक्ट का अनुरोध करने के बाद, आपको अपने प्रोजेक्ट पोर्टल में लॉग इन करने के लिए एक प्रोजेक्ट टीम बनानी होगी। प्रोजेक्ट टीम प्रोजेक्ट को ट्रैक करने, मेट्रिक्स देखने और लेबल की समीक्षा करने के लिए आपके संगठन या टीम के सदस्यों तक पहुंच प्रदान करती है। आप विकल्प का उपयोग कर सकते हैं ईमेल द्वारा नए सदस्यों को आमंत्रित करें or सदस्यों को मौजूदा से आयात करें अमेज़ॅन कॉग्निटो यूसर समूह. इस पोस्ट में, हम दिखाते हैं कि सदस्यों को मौजूदा से कैसे आयात किया जाए अमेज़ॅन कॉग्निटो आपकी परियोजना टीम में उपयोगकर्ताओं को जोड़ने के लिए उपयोगकर्ता समूह।

1. पर ग्राउंड ट्रुथ प्लस कंसोल, नेविगेट करें परियोजना टीम अनुभाग।
2. चुनें प्रोजेक्ट टीम बनाएं।
3. चुनें मौजूदा Amazon Cognito उपयोगकर्ता समूहों से सदस्य आयात करें।
4. Amazon Cognito उपयोगकर्ता पूल चुनें।

उपयोगकर्ता पूल को डोमेन और मौजूदा उपयोगकर्ता समूह की आवश्यकता होती है।

5. एक ऐप क्लाइंट चुनें।

हम द्वारा उत्पन्न क्लाइंट का उपयोग करने की सलाह देते हैं अमेज़न SageMaker.

6. सदस्यों को आयात करने के लिए अपने पूल से एक उपयोगकर्ता समूह चुनें।
7. चुनें प्रोजेक्ट टीम बनाएं.
   

प्रोजेक्ट टीम बनाने के बाद चुनकर आप और टीम सदस्यों को जोड़ सकते हैं नए सदस्यों को आमंत्रित करें पर सदस्य ग्राउंड ट्रुथ प्लस कंसोल का पेज।

एक बैच बनाएं

प्रोजेक्ट अनुरोध सफलतापूर्वक सबमिट करने और प्रोजेक्ट टीम बनाने के बाद, आप क्लिक करके ग्राउंड ट्रुथ प्लस प्रोजेक्ट पोर्टल तक पहुंच सकते हैं प्रोजेक्ट पोर्टल खोलें ग्राउंड ट्रुथ प्लस कंसोल पर।

आप किसी प्रोजेक्ट के लिए बैच बनाने के लिए प्रोजेक्ट पोर्टल का उपयोग कर सकते हैं, लेकिन प्रोजेक्ट की स्थिति में बदलाव होने के बाद ही Request approved.

1. प्रोजेक्ट का नाम चुनकर प्रोजेक्ट का विवरण और बैच देखें।
   प्रोजेक्ट के नाम के साथ एक पेज खुलता है।
2. में बैच अनुभाग चुनते हैं, बैच बनाएं.
   
3. एक बैच का नाम और वैकल्पिक विवरण दर्ज करें।
4. इनपुट और आउटपुट डेटासेट के S3 स्थान दर्ज करें।

यह सुनिश्चित करने के लिए कि बैच सफलतापूर्वक बनाया गया है, आपको निम्नलिखित आवश्यकताओं को पूरा करना होगा:

4. • S3 बकेट और उपसर्ग मौजूद होने चाहिए, और फ़ाइलों की कुल संख्या 0 से अधिक होनी चाहिए
   • वस्तुओं की कुल संख्या 10,000 से कम होनी चाहिए
   • प्रत्येक वस्तु का आकार 2 जीबी से कम होना चाहिए
   • संयुक्त सभी वस्तुओं का कुल आकार 100 जीबी से कम है
   • प्रोजेक्ट बनाने के लिए प्रदान की गई IAM भूमिका में इनपुट बकेट, आउटपुट बकेट, और बैच बनाने के लिए उपयोग की जाने वाली S3 फ़ाइलों तक पहुँचने की अनुमति है
   • इनपुट डेटासेट के लिए प्रदान किए गए S3 स्थान के अंतर्गत फ़ाइलें एन्क्रिप्ट नहीं की जानी चाहिए AWS प्रमुख प्रबंधन सेवा (एडब्ल्यूएस केएमएस)
5. चुनें सब्मिट.

आपके बैच की स्थिति इस प्रकार दिखाई देगी Request submitted. ग्राउंड ट्रुथ प्लस के पास आपके डेटा तक अस्थायी पहुंच होने के बाद, AWS विशेषज्ञ डेटा लेबलिंग वर्कफ़्लोज़ सेट अप करेंगे और उन्हें आपकी ओर से संचालित करेंगे, जो बैच की स्थिति को बदल देगा In-progress. जब लेबलिंग पूरी हो जाती है, तो बैच की स्थिति बदल जाती है In-progress सेवा मेरे Ready for review. यदि आप लेबल प्राप्त करने से पहले अपने लेबल की समीक्षा करना चाहते हैं तो चुनें बैच की समीक्षा करें। वहां से आपके पास चुनने का विकल्प है बैच स्वीकार करें अपना लेबल किया हुआ डेटा प्राप्त करने के लिए।

निष्कर्ष

इस पोस्ट ने आपको दिखाया कि कितने ग्राउंड ट्रूथ प्लस उपयोगकर्ता अब एक नया प्रोजेक्ट बना सकते हैं और डेटा साझा कर सकते हैं, डेटा साझा कर सकते हैं और नए सेल्फ-सर्व इंटरफेस के माध्यम से उसी AWS खाते का उपयोग करके डेटा प्राप्त कर सकते हैं। यह नई क्षमता आपको अपनी लेबलिंग परियोजनाओं को तेजी से किकस्टार्ट करने की अनुमति देती है और परिचालन ओवरहेड को कम करती है। हमने यह भी प्रदर्शित किया कि आप अपनी IAM भूमिका अनुमतियों को अपने व्यक्तिगत स्तर की पहुँच से मेल खाने के लिए डेटा तक ठीक-ठाक पहुँच को कैसे नियंत्रित कर सकते हैं।

हम आपको इस नई कार्यक्षमता को आज़माने और इसके साथ जुड़ने के लिए प्रोत्साहित करते हैं मशीन लर्निंग और एआई समुदाय यदि आपके कोई प्रश्न या प्रतिक्रिया है!

लेखक के बारे में

मनीष गोयल अमेज़ॅन सेजमेकर ग्राउंड ट्रुथ प्लस के उत्पाद प्रबंधक हैं। वह ऐसे उत्पादों के निर्माण पर केंद्रित है जो ग्राहकों के लिए मशीन लर्निंग को अपनाना आसान बनाते हैं। अपने खाली समय में उन्हें रोड ट्रिप और किताबें पढ़ने में मजा आता है।

कार्तिक गंदूरी Amazon AWS में एक सॉफ्टवेयर डेवलपमेंट इंजीनियर है, जहाँ वह ग्राहकों और आंतरिक समाधानों के लिए ML टूल्स बनाने पर काम करता है। काम के बाहर उन्हें तस्वीरें क्लिक करने में मजा आता है।  

झुलिंग बाई Amazon AWS में एक सॉफ्टवेयर डेवलपमेंट इंजीनियर है। वह मशीन सीखने की समस्याओं को हल करने के लिए बड़े पैमाने पर वितरित सिस्टम विकसित करने पर काम करती है।

आतिफ बरंसी Amazon AWS में फ्रंटएंड इंजीनियर हैं। वह उद्योग के सबसे अत्याधुनिक एआई अनुप्रयोगों को पोषित करने और विकसित करने के लिए तेज़, विश्वसनीय और अच्छी तरह से परीक्षण किए गए सॉफ़्टवेयर लिखते हैं।

मोहम्मद अदनान AWS में AI और ML के लिए एक वरिष्ठ अभियंता हैं। वह कई एडब्ल्यूएस सर्विस लॉन्च का हिस्सा थे, विशेष रूप से मेट्रिक्स के लिए अमेज़ॅन लुकआउट और एडब्ल्यूएस पैनोरमा। वर्तमान में, वह AWS ह्यूमन-इन-द-लूप प्रसाद (AWS SageMaker's ग्राउंड ट्रुथ, ग्राउंड ट्रुथ प्लस और ऑगमेंटेड AI) पर ध्यान केंद्रित कर रहा है। वह एक स्वच्छ कोड अधिवक्ता और सर्वर-कम और घटना-संचालित आर्किटेक्चर पर विषय-वस्तु विशेषज्ञ हैं। आप उन्हें लिंक्डइन, मोहम्मद-अदनान-6ए99ए829 पर फॉलो कर सकते हैं।