Amazon Rekognition और अन्य सामग्री मॉडरेशन सेवाओं में सामग्री मॉडरेशन के मूल्यांकन के लिए मेट्रिक्स

सामग्री मॉडरेशन उपयोगकर्ता-जनित सामग्री की ऑनलाइन स्क्रीनिंग और निगरानी की प्रक्रिया है। उपयोगकर्ताओं और ब्रांडों दोनों के लिए एक सुरक्षित वातावरण प्रदान करने के लिए, प्लेटफ़ॉर्म को यह सुनिश्चित करने के लिए सामग्री को मॉडरेट करना चाहिए कि यह स्वीकार्य व्यवहार के पूर्व-स्थापित दिशानिर्देशों के अंतर्गत आता है जो प्लेटफ़ॉर्म और उसके दर्शकों के लिए विशिष्ट हैं।

जब कोई प्लेटफ़ॉर्म सामग्री को मॉडरेट करता है, तो स्वीकार्य उपयोगकर्ता-जनित सामग्री (UGC) बनाई जा सकती है और अन्य उपयोगकर्ताओं के साथ साझा की जा सकती है। अनुचित, विषाक्त, या प्रतिबंधित व्यवहारों को रोका जा सकता है, वास्तविक समय में अवरुद्ध किया जा सकता है, या इस तथ्य के बाद हटाया जा सकता है, यह इस बात पर निर्भर करता है कि सामग्री मॉडरेशन टूल और प्रक्रियाएं प्लेटफॉर्म पर मौजूद हैं।

आप का उपयोग कर सकते हैं अमेज़न मान्यता सामग्री मॉडरेशन अनुपयुक्त, अवांछित या आपत्तिजनक सामग्री का पता लगाने के लिए, एक सुरक्षित उपयोगकर्ता अनुभव बनाने के लिए, विज्ञापनदाताओं को ब्रांड सुरक्षा आश्वासन प्रदान करने और स्थानीय और वैश्विक नियमों का पालन करने के लिए।

इस पोस्ट में, हम विभिन्न सटीकता मेट्रिक्स के संदर्भ में सामग्री मॉडरेशन सेवा के प्रदर्शन पहलू का मूल्यांकन करने के लिए आवश्यक प्रमुख तत्वों पर चर्चा करते हैं, और अमेज़ॅन रिकॉग्निशन का उपयोग करके एक उदाहरण प्रदान करते हैं। सामग्री मॉडरेशन एपीआई.

क्या मूल्यांकन करें

सामग्री मॉडरेशन सेवा का मूल्यांकन करते समय, हम निम्नलिखित चरणों की अनुशंसा करते हैं।

इससे पहले कि आप अपने उपयोग के मामलों में एपीआई के प्रदर्शन का मूल्यांकन कर सकें, आपको एक प्रतिनिधि परीक्षण डेटासेट तैयार करना होगा। कुछ उच्च स्तरीय दिशानिर्देश निम्नलिखित हैं:

• पुस्तक संग्रह - उस डेटा का एक बड़ा पर्याप्त यादृच्छिक नमूना (छवियां या वीडियो) लें, जिसे आप अंततः अमेज़ॅन रिकॉग्निशन के माध्यम से चलाना चाहते हैं। उदाहरण के लिए, यदि आप उपयोगकर्ता द्वारा अपलोड की गई छवियों को मॉडरेट करने की योजना बना रहे हैं, तो आप परीक्षण के लिए एक सप्ताह की उपयोगकर्ता छवियों को ले सकते हैं। हम एक ऐसे सेट को चुनने की सलाह देते हैं जिसमें संसाधित करने के लिए बहुत बड़ी छवि के बिना पर्याप्त छवियां हों (जैसे 1,000–10,000 छवियां), हालांकि बड़े सेट बेहतर होते हैं।
• परिभाषा - Amazon Rekognition से आप किस प्रकार की असुरक्षित सामग्री का पता लगाने में रुचि रखते हैं, यह तय करने के लिए अपने एप्लिकेशन के सामग्री दिशानिर्देशों का उपयोग करें मॉडरेशन कॉन्सेप्ट टैक्सोनॉमी. उदाहरण के लिए, हो सकता है कि आप सभी प्रकार की स्पष्ट नग्नता और ग्राफिक हिंसा या गोरखधंधे का पता लगाने में रुचि रखते हों।
• टिप्पणी - अब आपको चुने हुए लेबल का उपयोग करके अपने परीक्षण सेट के लिए मानव-जनित जमीनी सच्चाई की आवश्यकता है, ताकि आप उनके खिलाफ मशीन की भविष्यवाणियों की तुलना कर सकें। इसका मतलब है कि प्रत्येक छवि को आपकी चुनी हुई अवधारणाओं की उपस्थिति या अनुपस्थिति के लिए एनोटेट किया गया है। अपने छवि डेटा को एनोटेट करने के लिए, आप उपयोग कर सकते हैं अमेज़ॅन सैजमेकर ग्राउंड ट्रुथ (जीटी) छवि एनोटेशन का प्रबंधन करने के लिए। आप इसका उल्लेख कर सकते हैं छवि लेबलिंग के लिए जी.टी, टिप्पणियों को समेकित करना और प्रसंस्करण एनोटेशन आउटपुट.

Amazon Rekognition के साथ अपने परीक्षण डेटासेट पर पूर्वानुमान प्राप्त करें

इसके बाद, आप अपने परीक्षण डेटासेट पर पूर्वानुमान प्राप्त करना चाहते हैं।

पहला कदम न्यूनतम आत्मविश्वास स्कोर (एक सीमा मान, जैसे कि 50%) पर निर्णय लेना है, जिस पर आप परिणामों को मापना चाहते हैं। हमारी डिफ़ॉल्ट सीमा 50 पर सेट है, जो सुरक्षित सामग्री पर बहुत अधिक गलत पूर्वानुमान लगाए बिना बड़ी मात्रा में असुरक्षित सामग्री प्राप्त करने के बीच एक अच्छा संतुलन प्रदान करती है। हालाँकि, आपके प्लेटफ़ॉर्म की व्यावसायिक ज़रूरतें भिन्न हो सकती हैं, इसलिए आपको आवश्यकतानुसार इस विश्वास सीमा को अनुकूलित करना चाहिए। आप का उपयोग कर सकते हैं MinConfidence सामग्री का पता लगाने (रिकॉल) बनाम पता लगाने की सटीकता (सटीक) को संतुलित करने के लिए आपके एपीआई अनुरोधों में पैरामीटर। यदि आप कम करते हैं MinConfidence, आपको अधिकांश अनुपयुक्त सामग्री का पता लगने की संभावना है, लेकिन यह भी संभावना है कि आप ऐसी सामग्री चुनेंगे जो वास्तव में अनुपयुक्त नहीं है। अगर आप बढ़ते हैं MinConfidence आपको यह सुनिश्चित करने की संभावना है कि आपकी सभी खोजी गई सामग्री वास्तव में अनुपयुक्त है लेकिन कुछ सामग्री को टैग नहीं किया जा सकता है। हम कुछ के साथ प्रयोग करने का सुझाव देते हैं MinConfidence अपने डेटासेट पर मान और मात्रात्मक रूप से अपने डेटा डोमेन के लिए सर्वोत्तम मूल्य का चयन करें।

इसके बाद, अपने परीक्षण सेट के प्रत्येक नमूने (छवि या वीडियो) को Amazon Rekognition मॉडरेशन API के माध्यम से चलाएं (डिटेक्टमॉडरेशनलेबल).

छवियों पर मॉडल सटीकता मापें

आप मॉडल की भविष्यवाणियों के साथ मानव-जनित जमीनी सच्चाई एनोटेशन की तुलना करके किसी मॉडल की सटीकता का आकलन कर सकते हैं। आप प्रत्येक छवि के लिए इस तुलना को स्वतंत्र रूप से दोहराते हैं और फिर पूरे परीक्षण सेट पर एकत्र करते हैं:

• प्रति-छवि परिणाम - एक मॉडल भविष्यवाणी को जोड़ी के रूप में परिभाषित किया गया है {label_name, confidence_score} (जहाँ आत्मविश्वास स्कोर>= वह सीमा जो आपने पहले चुनी थी)। प्रत्येक छवि के लिए, एक भविष्यवाणी सही मानी जाती है जब वह जमीनी सच्चाई (जीटी) से मेल खाती है। भविष्यवाणी निम्नलिखित विकल्पों में से एक है:
  • ट्रू पॉजिटिव (टीपी): भविष्यवाणी और जीटी दोनों "असुरक्षित" हैं
  • ट्रू नेगेटिव (TN): भविष्यवाणी और जीटी दोनों "सुरक्षित" हैं
  • झूठी सकारात्मक (एफपी): भविष्यवाणी "असुरक्षित" कहती है, लेकिन जीटी "सुरक्षित" है
  • झूठी नकारात्मक (एफएन): भविष्यवाणी "सुरक्षित" है, लेकिन जीटी "असुरक्षित" है
• सभी छवियों पर समेकित परिणाम - इसके बाद, आप इन पूर्वानुमानों को डेटासेट-स्तरीय परिणामों में एकत्रित कर सकते हैं:
  • झूठी सकारात्मक दर (FPR) - यह परीक्षण सेट में उन छवियों का प्रतिशत है जिन्हें मॉडल द्वारा गलत तरीके से असुरक्षित सामग्री के रूप में फ़्लैग किया गया है: (FP): FP / (TN+FP)।
  • झूठी नकारात्मक दर (FNR) - यह परीक्षण सेट में असुरक्षित छवियों का प्रतिशत है जो मॉडल द्वारा छूट गए हैं: (एफएन): एफएन / (एफएन + टीपी)।
  • सही सकारात्मक दर (TPR) - इसे रिकॉल भी कहा जाता है, यह असुरक्षित सामग्री (जमीनी सच्चाई) के प्रतिशत की गणना करता है जिसे मॉडल द्वारा सही ढंग से खोजा या भविष्यवाणी की गई है: टीपी / (टीपी + एफएन) = 1 - एफएनआर।
  • शुद्धता - यह किए गए पूर्वानुमानों की कुल संख्या के संबंध में सही भविष्यवाणियों (असुरक्षित सामग्री) के प्रतिशत की गणना करता है: टीपी / (टीपी + एफपी)।

आइए एक उदाहरण देखें। मान लें कि आपके परीक्षण सेट में 10,000 छवियां हैं: 9,950 सुरक्षित और 50 असुरक्षित। मॉडल 9,800 में से 9,950 छवियों को सुरक्षित और 45 में से 50 असुरक्षित के रूप में भविष्यवाणी करता है:

• TP = 45
• TN = 9800
• FP = ५० - ५० = ०
• FN = ५० - ५० = ०
• आरपीएफ = 150 / (9950 + 150) = 0.015 = 1.5%
• एफ एन आर = 5 / (5 + 45) = 0.1 = 10%
• टीपीआर/रिकॉल = 45 / (45 + 5) = 0.9 = 90%
• शुद्धता = 45 / (45 + 150) = 0.23 = 23%

वीडियो पर मॉडल की सटीकता मापें

यदि आप वीडियो पर प्रदर्शन का मूल्यांकन करना चाहते हैं, तो कुछ अतिरिक्त कदम आवश्यक हैं:

1. प्रत्येक वीडियो से फ़्रेम के एक सबसेट का नमूना लें। हम सुझाव देते हैं कि समान रूप से 0.3-1 फ्रेम प्रति सेकंड (एफपीएस) की दर से नमूना लिया जाए। उदाहरण के लिए, यदि कोई वीडियो 24 एफपीएस पर एन्कोड किया गया है और आप हर 3 सेकंड (0.3 एफपीएस) में एक फ्रेम का नमूना लेना चाहते हैं, तो आपको हर 72 फ्रेम में से एक का चयन करना होगा।
2. इन नमूना फ़्रेमों को Amazon Rekognition सामग्री मॉडरेशन के माध्यम से चलाएँ। आप या तो हमारे वीडियो एपीआई का उपयोग कर सकते हैं, जो पहले से ही आपके लिए फ्रेम का नमूना लेता है (3 एफपीएस की दर से), या छवि एपीआई का उपयोग करें, जिस स्थिति में आप अधिक नमूना लेना चाहते हैं। हम वीडियो में जानकारी की अतिरेक को देखते हुए बाद वाले विकल्प की अनुशंसा करते हैं (लगातार फ़्रेम बहुत समान हैं)।
3. पिछले अनुभाग (प्रति-छवि परिणाम) में बताए अनुसार प्रति-फ़्रेम परिणामों की गणना करें।
4. पूरे परीक्षण सेट पर कुल परिणाम। आपके व्यवसाय के लिए महत्वपूर्ण परिणाम के प्रकार के आधार पर यहां आपके पास दो विकल्प हैं:
   1. फ़्रेम-स्तर के परिणाम - यह सभी नमूना फ़्रेमों को स्वतंत्र छवियों के रूप में मानता है और छवियों (FPR, FNR, रिकॉल, सटीक) के लिए पहले बताए गए परिणामों को ठीक से एकत्रित करता है। यदि कुछ वीडियो अन्य की तुलना में काफी लंबे हैं, तो वे तुलना को असंतुलित करते हुए कुल संख्या में अधिक फ़्रेम का योगदान देंगे। उस स्थिति में, हम सुझाव देते हैं कि प्रारंभिक नमूनाकरण रणनीति को प्रति वीडियो निश्चित संख्या में फ़्रेम में बदलें। उदाहरण के लिए, आप समान रूप से प्रति वीडियो 50-100 फ्रेम का नमूना ले सकते हैं (यह मानते हुए कि वीडियो कम से कम 2-3 मिनट लंबे हैं)।
   2. वीडियो-स्तर के परिणाम - कुछ उपयोग के मामलों के लिए, इससे कोई फर्क नहीं पड़ता कि मॉडल वीडियो में 50% या 99% फ़्रेम का सही अनुमान लगाने में सक्षम है या नहीं। यहां तक ​​​​कि एक फ्रेम पर एक भी गलत असुरक्षित भविष्यवाणी डाउनस्ट्रीम मानव मूल्यांकन को ट्रिगर कर सकती है और केवल 100% सही भविष्यवाणियों वाले वीडियो को सही मायने में सही माना जाता है। यदि यह आपके उपयोग का मामला है, तो हमारा सुझाव है कि आप प्रत्येक वीडियो के फ़्रेम पर FPR/FNR/TPR की गणना करें और वीडियो पर इस प्रकार विचार करें:

प्रत्येक वीडियो के लिए स्वतंत्र रूप से इनकी गणना करने के बाद, आप उन सभी मीट्रिक की गणना कर सकते हैं जिन्हें हमने पहले पेश किया था:

• उन वीडियो का प्रतिशत जिन्हें गलत तरीके से फ़्लैग किया गया (FP) या छूट गया (FN)
• प्रेसिजन और रिकॉल

लक्ष्यों के खिलाफ प्रदर्शन को मापें

अंत में, आपको अपने लक्ष्यों और क्षमताओं के संदर्भ में इन परिणामों की व्याख्या करने की आवश्यकता है।

सबसे पहले, निम्नलिखित के संबंध में अपनी व्यावसायिक आवश्यकताओं पर विचार करें:

• जानकारी - अपने डेटा (दैनिक मात्रा, डेटा का प्रकार, और इसी तरह) और अपनी असुरक्षित बनाम सुरक्षित सामग्री के वितरण के बारे में जानें। उदाहरण के लिए, क्या यह संतुलित है (50/50), तिरछा (10/90) या बहुत तिरछा (1/99, जिसका अर्थ है कि केवल 1% असुरक्षित है)? इस तरह के वितरण को समझने से आपको अपने वास्तविक मीट्रिक लक्ष्यों को परिभाषित करने में मदद मिल सकती है। उदाहरण के लिए, सुरक्षित सामग्री की संख्या अक्सर असुरक्षित सामग्री (बहुत विषम) से अधिक परिमाण का क्रम होती है, जिससे यह लगभग एक विसंगति का पता लगाने की समस्या बन जाती है। इस परिदृश्य में, झूठी सकारात्मक की संख्या वास्तविक सकारात्मक की संख्या से अधिक हो सकती है, और आप जिस FPR के साथ काम कर सकते हैं, उसे तय करने के लिए आप अपनी डेटा जानकारी (वितरण विषमता, डेटा की मात्रा, और इसी तरह) का उपयोग कर सकते हैं।
• मीट्रिक लक्ष्य - आपके व्यवसाय के सबसे महत्वपूर्ण पहलू क्या हैं? एफपीआर को कम करना अक्सर उच्च एफएनआर (और इसके विपरीत) की कीमत पर आता है और आपके लिए काम करने वाले सही संतुलन को खोजना महत्वपूर्ण है। यदि आप किसी भी असुरक्षित सामग्री को याद नहीं कर सकते हैं, तो आप लगभग 0% FNR (100% रिकॉल) चाहते हैं। हालांकि, इसमें सबसे बड़ी संख्या में झूठी सकारात्मकताएं लगेंगी, और आपको अपनी भविष्यवाणी के बाद की पाइपलाइन के आधार पर लक्ष्य (अधिकतम) एफपीआर तय करने की आवश्यकता है, जिसके साथ आप काम कर सकते हैं। आप कुछ स्तर के झूठे नकारात्मक को बेहतर संतुलन खोजने और अपना FPR कम करने की अनुमति देना चाह सकते हैं: उदाहरण के लिए, 5% के बजाय 0% FNR स्वीकार करने से FPR को 2% से 0.5% तक कम किया जा सकता है, जिससे संख्या काफी कम हो सकती है। ध्वजांकित सामग्री की।

इसके बाद, अपने आप से पूछें कि फ़्लैग की गई छवियों को पार्स करने के लिए आप किन तंत्रों का उपयोग करेंगे। भले ही एपीआई 0% एफपीआर और एफएनआर प्रदान न करे, फिर भी यह बड़ी बचत और पैमाने ला सकता है (उदाहरण के लिए, केवल 3% आपकी छवियों को फ़्लैग करके, आपने अपनी 97% सामग्री को पहले ही फ़िल्टर कर दिया है)। जब आप एपीआई को कुछ डाउनस्ट्रीम तंत्रों के साथ जोड़ते हैं, जैसे मानव कार्यबल जो फ़्लैग की गई सामग्री की समीक्षा करता है, तो आप आसानी से अपने लक्ष्यों तक पहुँच सकते हैं (उदाहरण के लिए, 0.5% फ़्लैग की गई सामग्री)। ध्यान दें कि आपकी 100% सामग्री पर मानवीय समीक्षा करने की तुलना में यह जोड़ी कैसे काफी सस्ती है।

जब आप अपने डाउनस्ट्रीम तंत्र पर निर्णय लेते हैं, तो हमारा सुझाव है कि आप उस थ्रूपुट का मूल्यांकन करें जिसका आप समर्थन कर सकते हैं। उदाहरण के लिए, यदि आपके पास एक कार्यबल है जो आपकी दैनिक सामग्री का केवल 2% सत्यापित कर सकता है, तो हमारे सामग्री मॉडरेशन API से आपका लक्ष्य लक्ष्य 2% की फ़्लैग दर (FPR+TPR) है।

अंत में, यदि ग्राउंड ट्रुथ एनोटेशन प्राप्त करना बहुत कठिन या बहुत महंगा है (उदाहरण के लिए, आपके डेटा की मात्रा बहुत बड़ी है), तो हमारा सुझाव है कि एपीआई द्वारा फ़्लैग की गई छवियों की छोटी संख्या को एनोटेट करें। हालांकि यह FNR मूल्यांकन की अनुमति नहीं देता है (क्योंकि आपके डेटा में कोई गलत नकारात्मक नहीं है), फिर भी आप TPR और FPR को माप सकते हैं।

निम्नलिखित अनुभाग में, हम छवि मॉडरेशन मूल्यांकन के लिए एक समाधान प्रदान करते हैं। आप वीडियो मॉडरेशन मूल्यांकन के लिए एक समान दृष्टिकोण अपना सकते हैं।

समाधान अवलोकन

निम्नलिखित आरेख विभिन्न AWS सेवाओं को दिखाता है जिनका उपयोग आप अपने परीक्षण डेटासेट पर Amazon Rekognition सामग्री मॉडरेशन के प्रदर्शन का मूल्यांकन करने के लिए कर सकते हैं।

सामग्री मॉडरेशन मूल्यांकन में निम्नलिखित चरण होते हैं:

1. अपना मूल्यांकन डेटासेट में अपलोड करें अमेज़न सरल भंडारण सेवा (अमेज़न S3)।
2. जमीनी सच्चाई मॉडरेशन लेबल असाइन करने के लिए ग्राउंड ट्रुथ का उपयोग करें।
3. कुछ थ्रेशोल्ड मानों का उपयोग करके Amazon Rekognition पूर्व-प्रशिक्षित मॉडरेशन API का उपयोग करके अनुमानित मॉडरेशन लेबल जेनरेट करें। (उदाहरण के लिए, 70%, 75% और 80%)।
4. वास्तविक सकारात्मक, वास्तविक नकारात्मक, झूठी सकारात्मक और झूठी नकारात्मक की गणना करके प्रत्येक सीमा के लिए प्रदर्शन का आकलन करें। अपने उपयोग के मामले के लिए इष्टतम सीमा मान निर्धारित करें।
5. वैकल्पिक रूप से, आप सही और गलत सकारात्मक के आधार पर कार्यबल के आकार को अनुकूलित कर सकते हैं और उपयोग कर सकते हैं अमेज़न संवर्धित ऐ (अमेज़ॅन ए2आई) सभी फ़्लैग की गई सामग्री को मैन्युअल समीक्षा के लिए आपके निर्दिष्ट कार्यबल को स्वचालित रूप से भेजने के लिए।

निम्नलिखित अनुभाग चरण 1, 2, और 3 के लिए कोड स्निपेट प्रदान करते हैं। संपूर्ण एंड-टू-एंड स्रोत कोड के लिए, दिए गए को देखें ज्यूपिटर नोटबुक.

.. पूर्वापेक्षाएँ

आरंभ करने से पहले, जुपिटर नोटबुक सेट करने के लिए निम्नलिखित चरणों को पूरा करें:

1. एक नोटबुक उदाहरण बनाएँ in अमेज़न SageMaker.
2. जब नोटबुक सक्रिय हो, तो चुनें ज्यूपिटर खोलें.
3. Jupyter डैशबोर्ड पर, चुनें नया, और चुनें अंतिम.
4. टर्मिनल में, निम्नलिखित कोड दर्ज करें:

   cd SageMaker
   git clone https://github.com/aws-samples/amazon-rekognition-code-samples.git

5. इस पोस्ट के लिए नोटबुक खोलें: content-moderation-evaluation/Evaluating-Amazon-Rekognition-Content-Moderation-Service.ipynb.
6. अपना मूल्यांकन डेटासेट यहां अपलोड करें अमेज़न सरल भंडारण सेवा (अमेज़न S3)।

अब हम ज्यूपिटर नोटबुक में चरण 2 से 4 तक जाएंगे।

मॉडरेशन लेबल असाइन करने के लिए ग्राउंड ट्रुथ का उपयोग करें

ग्राउंड ट्रुथ में लेबल असाइन करने के लिए, निम्न चरणों को पूरा करें:

1. एक मेनिफेस्ट इनपुट फ़ाइल बनाएँ अपने ग्राउंड ट्रुथ जॉब के लिए और इसे Amazon S3 पर अपलोड करें।
2. लेबलिंग कॉन्फ़िगरेशन बनाएं, जिसमें ग्राउंड ट्रुथ लेबलिंग कार्य के लिए आवश्यक सभी मॉडरेशन लेबल हों। आपके द्वारा उपयोग की जा सकने वाली लेबल श्रेणियों की संख्या की सीमा की जांच करने के लिए, देखें लेबल श्रेणी कोटा. निम्नलिखित कोड स्निपेट में, हम पांच लेबल का उपयोग करते हैं (देखें Amazon Rekognition में उपयोग की जाने वाली श्रेणीबद्ध वर्गीकरण अधिक जानकारी के लिए) प्लस वन लेबल (Safe_Content) जो सामग्री को सुरक्षित के रूप में चिह्नित करता है:

   # customize CLASS_LIST to include all labels that can be used to classify sameple data, it's up to 10 labels
   # In order to easily match image label with content moderation service supported taxonomy, 
   
   CLASS_LIST = ["", "", "", "", "", "Safe_Content"]
   print("Label space is {}".format(CLASS_LIST))
   
   json_body = {"labels": [{"label": label} for label in CLASS_LIST]}
   with open("class_labels.json", "w") as f:
       json.dump(json_body, f)
   
   s3.upload_file("class_labels.json", BUCKET, EXP_NAME + "/class_labels.json")

3. ग्राउंड ट्रुथ वर्कफोर्स को लेबलिंग निर्देशों के साथ प्रदान करने के लिए एक कस्टम वर्कर टास्क टेम्प्लेट बनाएं और इसे Amazon S3 पर अपलोड करें।
   ग्राउंड ट्रुथ लेबल जॉब को इमेज वर्गीकरण (मल्टी-लेबल) टास्क के रूप में परिभाषित किया गया है। निर्देश टेम्पलेट को अनुकूलित करने के निर्देशों के लिए स्रोत कोड देखें।
4. तय करें कि ग्राउंड ट्रुथ जॉब को पूरा करने के लिए आप किस कार्यबल का उपयोग करना चाहते हैं। आपके पास दो विकल्प हैं (विवरण के लिए स्रोत कोड देखें):
   1. उपयोग निजी कार्यबल मूल्यांकन डेटासेट को लेबल करने के लिए अपने स्वयं के संगठन में।
   2. उपयोग सार्वजनिक कार्यबल मूल्यांकन डेटासेट को लेबल करने के लिए।
5. ग्राउंड ट्रुथ लेबलिंग जॉब बनाएं और सबमिट करें। कॉन्फ़िगर करने के लिए आप निम्न कोड को भी समायोजित कर सकते हैं नौकरी के मापदंडों को लेबल करना आपकी विशिष्ट व्यावसायिक आवश्यकताओं को पूरा करने के लिए। ग्राउंड ट्रुथ जॉब बनाने और कॉन्फ़िगर करने के बारे में संपूर्ण निर्देशों के लिए सोर्स कोड देखें।

   human_task_config = {
       "AnnotationConsolidationConfig": {
           "AnnotationConsolidationLambdaArn": acs_arn,
       },
       "PreHumanTaskLambdaArn": prehuman_arn,
       "MaxConcurrentTaskCount": 200,  # 200 images will be sent at a time to the workteam.
       "NumberOfHumanWorkersPerDataObject": 3,  # 3 separate workers will be required to label each image.
       "TaskAvailabilityLifetimeInSeconds": 21600,  # Your workteam has 6 hours to complete all pending tasks.
       "TaskDescription": task_description,
       "TaskKeywords": task_keywords,
       "TaskTimeLimitInSeconds": 180,  # Each image must be labeled within 3 minutes.
       "TaskTitle": task_title,
       "UiConfig": {
           "UiTemplateS3Uri": "s3://{}/{}/instructions.template".format(BUCKET, EXP_NAME),
       },
   }

कार्य सबमिट करने के बाद, आपको निम्न के जैसा आउटपुट दिखाई देना चाहिए:

Labeling job name is: ground-truth-cm-1662738403

मूल्यांकन डेटासेट पर लेबलिंग कार्य सफलतापूर्वक पूरा होने तक प्रतीक्षा करें, फिर अगले चरण पर जारी रखें।

अनुमानित मॉडरेशन लेबल जेनरेट करने के लिए Amazon Rekognition मॉडरेशन API का उपयोग करें।

निम्नलिखित कोड स्निपेट दिखाता है कि Amazon Rekognition का उपयोग कैसे करें मॉडरेशन एपीआई मॉडरेशन लेबल उत्पन्न करने के लिए:

client=boto3.client('rekognition')
def moderate_image(photo, bucket):
    response = client.detect_moderation_labels(Image={'S3Object':{'Bucket':bucket,'Name':photo}})
    return len(response['ModerationLabels'])

प्रदर्शन का आकलन करें

आपने पहले मूल्यांकन डेटासेट के लिए ग्राउंड ट्रुथ लेबलिंग जॉब परिणामों से ग्राउंड ट्रुथ मॉडरेशन लेबल पुनर्प्राप्त किया, फिर आपने उसी डेटासेट के लिए अनुमानित मॉडरेशन लेबल प्राप्त करने के लिए Amazon Rekognition मॉडरेशन API चलाया। चूंकि यह एक बाइनरी वर्गीकरण समस्या है (सुरक्षित बनाम असुरक्षित सामग्री), हम निम्नलिखित मीट्रिक की गणना करते हैं (असुरक्षित सामग्री को सकारात्मक मानते हुए):

हम संबंधित मूल्यांकन मेट्रिक्स की गणना भी करते हैं:

निम्न कोड स्निपेट दिखाता है कि उन मीट्रिक की गणना कैसे करें:

FPR = FP / (FP + TN)
FNR = FN / (FN + TP)
Recall = TP / (TP + FN)
Precision = TP / (TP + FP)

निष्कर्ष

यह पोस्ट विभिन्न सटीकता मेट्रिक्स के संदर्भ में आपकी सामग्री मॉडरेशन सेवा के प्रदर्शन पहलू का मूल्यांकन करने के लिए आवश्यक प्रमुख तत्वों पर चर्चा करती है। हालांकि, किसी विशेष सामग्री मॉडरेशन सेवा को चुनते समय सटीकता कई आयामों में से केवल एक है जिसका मूल्यांकन आपको करना चाहिए। यह महत्वपूर्ण है कि आप सेवा के कुल फीचर सेट, उपयोग में आसानी, मौजूदा एकीकरण, गोपनीयता और सुरक्षा, अनुकूलन विकल्प, स्केलेबिलिटी निहितार्थ, ग्राहक सेवा और मूल्य निर्धारण जैसे अन्य मापदंडों को शामिल करें। Amazon Rekognition में सामग्री मॉडरेशन के बारे में अधिक जानने के लिए, पर जाएँ अमेज़न मान्यता सामग्री मॉडरेशन.

लेखक के बारे में

अमित गुप्ता एडब्ल्यूएस में वरिष्ठ एआई सर्विसेज सॉल्यूशंस आर्किटेक्ट हैं। वह बड़े पैमाने पर अच्छी तरह से आर्किटेक्टेड मशीन लर्निंग सॉल्यूशंस के साथ ग्राहकों को सक्षम बनाने के बारे में भावुक हैं।

डेविड मोडोलो एडब्ल्यूएस एआई लैब्स में एप्लाइड साइंस मैनेजर हैं। उन्होंने एडिनबर्ग विश्वविद्यालय (यूके) से कंप्यूटर विज़न में पीएचडी की है और वास्तविक दुनिया की ग्राहक समस्याओं के लिए नए वैज्ञानिक समाधान विकसित करने के बारे में भावुक हैं। काम के अलावा, उन्हें यात्रा करना और किसी भी तरह का खेल खेलना पसंद है, खासकर सॉकर।

जियान वू एडब्ल्यूएस में सीनियर एंटरप्राइज सॉल्यूशंस आर्किटेक्ट हैं। वह सभी आकार के ग्राहकों के साथ काम करते हुए 6 वर्षों से AWS के साथ है। उन्हें क्लाउड और एआई/एमएल को अपनाकर ग्राहकों को तेजी से नवाचार करने में मदद करने का शौक है। एडब्ल्यूएस में शामिल होने से पहले, जियान ने सॉफ्टवेयर विकास, सिस्टम कार्यान्वयन और बुनियादी ढांचे के प्रबंधन पर ध्यान केंद्रित करते हुए 10+ वर्ष बिताए। काम के अलावा, उन्हें सक्रिय रहना और अपने परिवार के साथ समय बिताना पसंद है।