ऑनलाइन एप्लिकेशन को अपनाने में वृद्धि और इंटरनेट उपयोगकर्ताओं की बढ़ती संख्या के साथ, साल दर साल डिजिटल धोखाधड़ी बढ़ रही है। अमेज़ॅन फ्रॉड डिटेक्टर उन्नत मशीन लर्निंग (एमएल) तकनीकों का उपयोग करके संभावित धोखाधड़ी वाली ऑनलाइन गतिविधियों की बेहतर पहचान करने में आपकी मदद करने के लिए पूरी तरह से प्रबंधित सेवा प्रदान करता है, और अमेज़ॅन से धोखाधड़ी का पता लगाने की 20 से अधिक वर्षों की विशेषज्ञता।
कई उपयोग के मामलों में धोखाधड़ी को तेजी से पकड़ने में आपकी मदद करने के लिए, अमेज़ॅन फ्रॉड डिटेक्टर विशिष्ट एल्गोरिदम, संवर्धन और फीचर ट्रांसफॉर्मेशन के साथ विशिष्ट मॉडल प्रदान करता है। मॉडल प्रशिक्षण पूरी तरह से स्वचालित और परेशानी मुक्त है, और आप इसमें दिए गए निर्देशों का पालन कर सकते हैं उपयोगकर्ता गाइड या संबंधित ब्लॉग पोस्ट आरंभ करना। हालांकि, प्रशिक्षित मॉडल के साथ, आपको यह तय करने की आवश्यकता है कि मॉडल परिनियोजन के लिए तैयार है या नहीं। इसके लिए एमएल, सांख्यिकी और धोखाधड़ी का पता लगाने में कुछ ज्ञान की आवश्यकता होती है, और कुछ विशिष्ट तरीकों को जानना मददगार हो सकता है।
यह पोस्ट आपको मॉडल प्रदर्शन का निदान करने और परिनियोजन के लिए सही मॉडल चुनने में मदद करेगी। हम Amazon फ्रॉड डिटेक्टर द्वारा प्रदान किए गए मेट्रिक्स के माध्यम से चलते हैं, संभावित मुद्दों का निदान करने में आपकी सहायता करते हैं, और मॉडल प्रदर्शन को बेहतर बनाने के लिए सुझाव प्रदान करते हैं। दृष्टिकोण ऑनलाइन धोखाधड़ी अंतर्दृष्टि (ओएफआई) और लेनदेन धोखाधड़ी अंतर्दृष्टि (टीएफआई) मॉडल टेम्पलेट दोनों पर लागू होते हैं।
समाधान अवलोकन
यह पोस्ट आपके मॉडल के प्रदर्शन का निदान करने के लिए एक एंड-टू-एंड प्रक्रिया प्रदान करती है। यह सबसे पहले अमेज़ॅन फ्रॉड डिटेक्टर कंसोल पर दिखाए गए सभी मॉडल मेट्रिक्स को पेश करता है, जिसमें एयूसी, स्कोर डिस्ट्रीब्यूशन, कन्फ्यूजन मैट्रिक्स, आरओसी कर्व और मॉडल वेरिएबल महत्व शामिल हैं। फिर हम विभिन्न मेट्रिक्स का उपयोग करके मॉडल के प्रदर्शन का निदान करने के लिए तीन-चरणीय दृष्टिकोण प्रस्तुत करते हैं। अंत में, हम विशिष्ट मुद्दों के लिए मॉडल प्रदर्शन को बेहतर बनाने के लिए सुझाव प्रदान करते हैं।
.. पूर्वापेक्षाएँ
अपने Amazon फ्रॉड डिटेक्टर मॉडल में गहराई से जाने से पहले, आपको निम्नलिखित पूर्वापेक्षाएँ पूरी करनी होंगी:
- एक एडब्ल्यूएस खाता बनाएँ।
- एक ईवेंट डेटासेट बनाएं मॉडल प्रशिक्षण के लिए।
- अपना डेटा अपलोड करें सेवा मेरे अमेज़न सरल भंडारण सेवा (अमेज़न S3) या अपने ईवेंट डेटा को Amazon फ्रॉड डिटेक्टर में डालें.
- Amazon फ्रॉड डिटेक्टर मॉडल बनाएं.
मॉडल मेट्रिक्स की व्याख्या करें
मॉडल प्रशिक्षण पूरा होने के बाद, अमेज़ॅन फ्रॉड डिटेक्टर मॉडलिंग डेटा के उस हिस्से का उपयोग करके आपके मॉडल का मूल्यांकन करता है जिसका उपयोग मॉडल प्रशिक्षण में नहीं किया गया था। यह मूल्यांकन मेट्रिक्स को पर लौटाता है मॉडल संस्करण उस मॉडल के लिए पृष्ठ। वे मेट्रिक्स उस मॉडल के प्रदर्शन को दर्शाते हैं जिसकी आप उत्पादन में तैनाती के बाद वास्तविक डेटा पर उम्मीद कर सकते हैं।
निम्नलिखित स्क्रीनशॉट अमेज़ॅन फ्रॉड डिटेक्टर द्वारा लौटाए गए मॉडल के प्रदर्शन का उदाहरण दिखाता है। आप स्कोर वितरण (बाएं) पर अलग-अलग थ्रेसहोल्ड चुन सकते हैं, और भ्रम मैट्रिक्स (दाएं) तदनुसार अपडेट किया जाता है।
प्रदर्शन की जांच करने और रणनीति नियमों पर निर्णय लेने के लिए आप निम्नलिखित निष्कर्षों का उपयोग कर सकते हैं:
- एयूसी, वक्र के अंतर्गत क्षेत्र) - इस मॉडल का समग्र प्रदर्शन। 0.50 के एयूसी वाला एक मॉडल एक सिक्का फ्लिप से बेहतर नहीं है क्योंकि यह यादृच्छिक मौका का प्रतिनिधित्व करता है, जबकि एक "परिपूर्ण" मॉडल का स्कोर 1.0 होगा। एयूसी जितना अधिक होगा, आपका मॉडल उतना ही बेहतर होगा कि धोखाधड़ी और वैध के बीच अंतर कर सके।
- स्कोर वितरण - मॉडल स्कोर वितरण का एक हिस्टोग्राम 100,000 घटनाओं की एक उदाहरण आबादी मानते हुए। अमेज़ॅन फ्रॉड डिटेक्टर 0–1000 के बीच मॉडल स्कोर उत्पन्न करता है, जहां स्कोर जितना कम होगा, धोखाधड़ी का जोखिम उतना ही कम होगा। वैध (हरा) और धोखाधड़ी (नीला) आबादी के बीच बेहतर अलगाव आमतौर पर एक बेहतर मॉडल का संकेत देता है। अधिक जानकारी के लिए देखें मॉडल स्कोर.
- असमंजस का जाल - एक तालिका जो चयनित दिए गए स्कोर थ्रेशोल्ड के लिए मॉडल के प्रदर्शन का वर्णन करती है, जिसमें वास्तविक सकारात्मक, वास्तविक नकारात्मक, झूठी सकारात्मक, झूठी नकारात्मक, सच्ची सकारात्मक दर (टीपीआर), और झूठी सकारात्मक दर (एफपीआर) शामिल है। टेबल पर गिनती 100,0000 घटनाओं की एक उदाहरण जनसंख्या मानती है। अधिक जानकारी के लिए देखें मॉडल प्रदर्शन मेट्रिक्स.
- आरओसी (रिसीवर ऑपरेटर विशेषता) वक्र - एक प्लॉट जो मॉडल की डायग्नोस्टिक क्षमता को दिखाता है, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है। यह सभी संभावित मॉडल स्कोर थ्रेसहोल्ड पर झूठी सकारात्मक दर के कार्य के रूप में वास्तविक सकारात्मक दर को प्लॉट करता है। चुनकर इस चार्ट को देखें उन्नत मेट्रिक्स. यदि आपने एक मॉडल के कई संस्करणों को प्रशिक्षित किया है, तो आप प्रदर्शन परिवर्तन की जांच के लिए विभिन्न FPR थ्रेशोल्ड का चयन कर सकते हैं।
- मॉडल चर महत्व - उत्पन्न मॉडल में उनके योगदान के आधार पर मॉडल चर की रैंक, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है। उस मॉडल संस्करण के डेटासेट में अन्य मॉडल चर की तुलना में उच्चतम मान वाला मॉडल चर मॉडल के लिए अधिक महत्वपूर्ण है, और डिफ़ॉल्ट रूप से शीर्ष पर सूचीबद्ध है। अधिक जानकारी के लिए देखें मॉडल चर महत्व.
मॉडल प्रदर्शन का निदान करें
अपने मॉडल को उत्पादन में लगाने से पहले, आपको मॉडल के प्रदर्शन को समझने और संभावित मुद्दों का निदान करने के लिए लौटाए गए मेट्रिक्स अमेज़ॅन फ्रॉड डिटेक्टर का उपयोग करना चाहिए। एमएल मॉडल की सामान्य समस्याओं को दो मुख्य श्रेणियों में विभाजित किया जा सकता है: डेटा से संबंधित मुद्दे और मॉडल से संबंधित मुद्दे। अमेज़ॅन फ्रॉड डिटेक्टर ने बैकएंड पर आपके मॉडल का मूल्यांकन और ट्यून करने के लिए सत्यापन और परीक्षण सेट का सावधानीपूर्वक उपयोग करके मॉडल से संबंधित मुद्दों का ध्यान रखा है। यदि आपका मॉडल परिनियोजन के लिए तैयार है या संभावित डेटा-संबंधी समस्याएँ हैं, तो यह सत्यापित करने के लिए आप निम्न चरणों को पूरा कर सकते हैं:
- समग्र मॉडल प्रदर्शन (एयूसी और स्कोर वितरण) की जाँच करें।
- व्यावसायिक आवश्यकताओं की समीक्षा करें (भ्रम मैट्रिक्स और तालिका)।
- मॉडल चर महत्व की जाँच करें।
समग्र मॉडल प्रदर्शन की जाँच करें: AUC और स्कोर वितरण
भविष्य की घटनाओं की अधिक सटीक भविष्यवाणी हमेशा भविष्य कहनेवाला मॉडल का प्राथमिक लक्ष्य होता है। अमेज़ॅन फ्रॉड डिटेक्टर द्वारा लौटाए गए एयूसी की गणना प्रशिक्षण में उपयोग नहीं किए गए ठीक से नमूने वाले परीक्षण सेट पर की जाती है। सामान्य तौर पर, 0.9 से अधिक AUC वाले मॉडल को एक अच्छा मॉडल माना जाता है।
यदि आप 0.8 से कम प्रदर्शन वाले मॉडल को देखते हैं, तो इसका आमतौर पर मतलब है कि मॉडल में सुधार की गुंजाइश है (हम इस पोस्ट में बाद में कम मॉडल प्रदर्शन के लिए सामान्य मुद्दों पर चर्चा करते हैं)। ध्यान दें कि "अच्छे" प्रदर्शन की परिभाषा आपके व्यवसाय और आधारभूत मॉडल पर अत्यधिक निर्भर करती है। आप अपने Amazon फ्रॉड डिटेक्टर मॉडल को बेहतर बनाने के लिए इस पोस्ट में दिए गए चरणों का पालन कर सकते हैं, भले ही इसका AUC 0.8 से अधिक हो।
दूसरी ओर, यदि एयूसी 0.99 से अधिक है, तो इसका मतलब है कि मॉडल परीक्षण सेट पर धोखाधड़ी और वैध घटनाओं को लगभग पूरी तरह से अलग कर सकता है। यह कभी-कभी "सच होने के लिए बहुत अच्छा" परिदृश्य होता है (हम इस पोस्ट में बाद में बहुत उच्च मॉडल प्रदर्शन के लिए सामान्य मुद्दों पर चर्चा करते हैं)।
समग्र एयूसी के अलावा, स्कोर वितरण आपको यह भी बता सकता है कि मॉडल कितनी अच्छी तरह फिट है। आदर्श रूप से, आपको पैमाने के दो सिरों पर स्थित वैध और धोखाधड़ी का बड़ा हिस्सा देखना चाहिए, जो इंगित करता है कि मॉडल स्कोर परीक्षण सेट पर घटनाओं को सटीक रूप से रैंक कर सकता है।
निम्नलिखित उदाहरण में, स्कोर वितरण में 0.96 का AUC है।
यदि वैध और धोखाधड़ी वितरण ओवरलैप या केंद्र में केंद्रित है, तो इसका शायद यह मतलब है कि मॉडल धोखाधड़ी की घटनाओं को वैध घटनाओं से अलग करने पर अच्छा प्रदर्शन नहीं करता है, जो यह संकेत दे सकता है कि ऐतिहासिक डेटा वितरण बदल गया है या आपको अधिक डेटा या सुविधाओं की आवश्यकता है।
0.64 के एयूसी के साथ स्कोर वितरण का एक उदाहरण निम्नलिखित है।
यदि आप एक ऐसा विभाजन बिंदु पा सकते हैं जो धोखाधड़ी और वैध घटनाओं को लगभग पूरी तरह से विभाजित कर सकता है, तो इस बात की बहुत अधिक संभावना है कि मॉडल में लेबल रिसाव की समस्या है या धोखाधड़ी के पैटर्न का पता लगाना बहुत आसान है, जिस पर आपका ध्यान आकर्षित होना चाहिए।
निम्नलिखित उदाहरण में, स्कोर वितरण में 1.0 का AUC है।
व्यावसायिक आवश्यकताओं की समीक्षा करें: भ्रम मैट्रिक्स और तालिका
हालांकि एयूसी मॉडल के प्रदर्शन का एक सुविधाजनक संकेतक है, लेकिन हो सकता है कि यह सीधे तौर पर आपकी व्यावसायिक आवश्यकता के अनुरूप न हो। अमेज़ॅन फ्रॉड डिटेक्टर धोखाधड़ी पकड़ने की दर (सच्ची सकारात्मक दर), वैध घटनाओं का प्रतिशत जो धोखाधड़ी (गलत सकारात्मक दर) के रूप में गलत तरीके से भविष्यवाणी की जाती है, और अधिक जैसे मेट्रिक्स प्रदान करता है, जो आमतौर पर व्यावसायिक आवश्यकताओं के रूप में उपयोग किए जाते हैं। जब आप किसी मॉडल को उचित रूप से अच्छे AUC के साथ प्रशिक्षित करते हैं, तो आपको उन मीट्रिक के साथ मॉडल की तुलना अपनी व्यावसायिक आवश्यकता के साथ करनी होगी।
भ्रम मैट्रिक्स और तालिका आपको प्रभाव की समीक्षा करने और यह जांचने के लिए एक इंटरफ़ेस प्रदान करती है कि क्या यह आपकी व्यावसायिक आवश्यकताओं को पूरा करता है। ध्यान दें कि संख्याएं मॉडल थ्रेशोल्ड पर निर्भर करती हैं, जहां थ्रेशोल्ड से बड़े स्कोर वाले ईवेंट को धोखाधड़ी के रूप में वर्गीकृत किया जाता है और थ्रेशोल्ड से कम स्कोर वाले ईवेंट को वैध के रूप में वर्गीकृत किया जाता है। आप अपनी व्यावसायिक आवश्यकताओं के आधार पर चुन सकते हैं कि किस सीमा का उपयोग करना है।
उदाहरण के लिए, यदि आपका लक्ष्य 73% धोखाधड़ी को पकड़ना है, तो (जैसा कि नीचे दिए गए उदाहरण में दिखाया गया है) आप 855 जैसी सीमा चुन सकते हैं, जो आपको सभी धोखाधड़ी के 73% पर कब्जा करने की अनुमति देती है। हालांकि, मॉडल धोखाधड़ी होने के लिए 3% वैध घटनाओं का गलत वर्गीकरण भी करेगा। यदि यह एफपीआर आपके व्यवसाय के लिए स्वीकार्य है, तो मॉडल परिनियोजन के लिए अच्छा है। अन्यथा, आपको मॉडल के प्रदर्शन में सुधार करने की आवश्यकता है।
एक अन्य उदाहरण यह है कि यदि वैध ग्राहक को अवरुद्ध करने या चुनौती देने की लागत बहुत अधिक है, तो आप कम एफपीआर और उच्च परिशुद्धता चाहते हैं। उस स्थिति में, आप 950 की सीमा चुन सकते हैं, जैसा कि निम्नलिखित उदाहरण में दिखाया गया है, जो वैध ग्राहकों के 1% को धोखाधड़ी के रूप में वर्गीकृत नहीं करेगा, और 80% पहचान की गई धोखाधड़ी वास्तव में धोखाधड़ी होगी।
इसके अलावा, आप कई थ्रेशोल्ड चुन सकते हैं और अलग-अलग परिणाम असाइन कर सकते हैं, जैसे ब्लॉक करना, जांच करना, पास करना। यदि आपको अपनी सभी व्यावसायिक आवश्यकताओं को पूरा करने वाली उचित सीमाएँ और नियम नहीं मिलते हैं, तो आपको अपने मॉडल को अधिक डेटा और विशेषताओं के साथ प्रशिक्षित करने पर विचार करना चाहिए।
मॉडल चर महत्व की जाँच करें
RSI मॉडल चर महत्व फलक प्रदर्शित करता है कि प्रत्येक चर आपके मॉडल में कैसे योगदान देता है। यदि एक चर का महत्व दूसरों की तुलना में काफी अधिक है, तो यह लेबल रिसाव का संकेत दे सकता है या धोखाधड़ी के पैटर्न का पता लगाना बहुत आसान है। ध्यान दें कि परिवर्तनीय महत्व आपके इनपुट चर पर वापस एकत्रित किया गया है। यदि आप का थोड़ा अधिक महत्व देखते हैं IP_ADDRESS
, CARD_BIN
, EMAIL_ADDRESS
, PHONE_NUMBER
, BILLING_ZIP
या, SHIPPING_ZIP
, यह संवर्धन की शक्ति के कारण हो सकता है।
निम्नलिखित उदाहरण संभावित लेबल रिसाव के साथ मॉडल चर महत्व को दर्शाता है investigation_status
.
मॉडल चर महत्व आपको इस बात के संकेत भी देता है कि कौन से अतिरिक्त चर संभावित रूप से मॉडल में वृद्धि ला सकते हैं। उदाहरण के लिए, यदि आप कम एयूसी देखते हैं और विक्रेता-संबंधित विशेषताएं उच्च महत्व दिखाती हैं, तो आप अधिक ऑर्डर सुविधाओं को एकत्रित करने पर विचार कर सकते हैं जैसे SELLER_CATEGORY
, SELLER_ADDRESS
, तथा SELLER_ACTIVE_YEARS
, और उन चरों को अपने मॉडल में जोड़ें।
कम मॉडल प्रदर्शन के लिए सामान्य मुद्दे
इस खंड में, हम कम मॉडल प्रदर्शन के संबंध में आपके सामने आने वाली सामान्य समस्याओं पर चर्चा करते हैं।
ऐतिहासिक डेटा वितरण बदल गया
ऐतिहासिक डेटा वितरण बहाव तब होता है जब आपके पास कोई बड़ा व्यावसायिक परिवर्तन या डेटा संग्रह समस्या होती है। उदाहरण के लिए, यदि आपने हाल ही में अपने उत्पाद को एक नए बाज़ार में लॉन्च किया है, तो IP_ADDRESS
, EMAIL
, तथा ADDRESS
संबंधित विशेषताएं पूरी तरह से भिन्न हो सकती हैं, और धोखाधड़ी का तरीका भी बदल सकता है। अमेज़न धोखाधड़ी डिटेक्टर का उपयोग करता है EVENT_TIMESTAMP
डेटा को विभाजित करने और अपने डेटासेट में ईवेंट के उपयुक्त सबसेट पर अपने मॉडल का मूल्यांकन करने के लिए। यदि आपका ऐतिहासिक डेटा वितरण महत्वपूर्ण रूप से बदलता है, तो मूल्यांकन सेट प्रशिक्षण डेटा से बहुत भिन्न हो सकता है, और रिपोर्ट किए गए मॉडल का प्रदर्शन कम हो सकता है।
आप अपने ऐतिहासिक डेटा को एक्सप्लोर करके संभावित डेटा वितरण परिवर्तन समस्या की जांच कर सकते हैं:
- उपयोग अमेज़न धोखाधड़ी डिटेक्टर डेटा प्रोफाइलर यह जांचने के लिए टूल कि क्या धोखाधड़ी दर और लेबल की गुम दर समय के साथ बदल गई है।
- जांचें कि क्या समय के साथ परिवर्तनीय वितरण महत्वपूर्ण रूप से बदल गया है, खासकर उच्च परिवर्तनीय महत्व वाली सुविधाओं के लिए।
- लक्ष्य चर द्वारा समय के साथ चर वितरण की जाँच करें। यदि आप हाल के डेटा में एक श्रेणी से काफी अधिक धोखाधड़ी की घटनाओं को देखते हैं, तो हो सकता है कि आप यह जांचना चाहें कि आपके व्यावसायिक निर्णयों का उपयोग करके परिवर्तन उचित है या नहीं।
यदि आप पाते हैं कि लेबल की गुम दर बहुत अधिक है या सबसे हाल की तारीखों के दौरान धोखाधड़ी की दर में लगातार गिरावट आई है, तो यह पूरी तरह से परिपक्व न होने वाले लेबल का संकेतक हो सकता है। आपको सबसे हाल का डेटा बहिष्कृत करना चाहिए या सटीक लेबल एकत्र करने के लिए अधिक समय तक प्रतीक्षा करनी चाहिए, और फिर अपने मॉडल को फिर से प्रशिक्षित करना चाहिए।
यदि आप विशिष्ट तिथियों पर धोखाधड़ी दर और चर के तेज स्पाइक को देखते हैं, तो आप दोबारा जांचना चाहेंगे कि यह एक बाहरी या डेटा संग्रह समस्या है या नहीं। उस स्थिति में, आपको उन ईवेंट को हटा देना चाहिए और मॉडल को फिर से प्रशिक्षित करना चाहिए।
यदि आप पाते हैं कि पुराना डेटा आपके वर्तमान और भविष्य के व्यवसाय का प्रतिनिधित्व नहीं कर सकता है, तो आपको डेटा की पुरानी अवधि को प्रशिक्षण से बाहर कर देना चाहिए। यदि आप Amazon फ्रॉड डिटेक्टर में संग्रहीत ईवेंट का उपयोग कर रहे हैं, तो आप बस एक नए संस्करण को फिर से प्रशिक्षित कर सकते हैं और प्रशिक्षण कार्य को कॉन्फ़िगर करते समय उचित दिनांक सीमा का चयन कर सकते हैं। यह यह भी संकेत दे सकता है कि आपके व्यवसाय में धोखाधड़ी का तरीका समय के साथ अपेक्षाकृत तेज़ी से बदलता है। मॉडल परिनियोजन के बाद, आपको अपने मॉडल को बार-बार प्रशिक्षित करने की आवश्यकता हो सकती है।
अनुचित चर प्रकार मानचित्रण
अमेज़ॅन फ्रॉड डिटेक्टर चर प्रकारों के आधार पर डेटा को समृद्ध और रूपांतरित करता है। यह महत्वपूर्ण है कि आप अपने वेरिएबल को सही प्रकार से मैप करें ताकि Amazon फ्रॉड डिटेक्टर मॉडल आपके डेटा का अधिकतम मूल्य ले सके। उदाहरण के लिए, यदि आप नक्शा IP
को CATEGORICAL
के बजाय टाइप करें IP_ADDRESS
, आपको नहीं मिलता IP-
बैकएंड में संबंधित संवर्धन।
सामान्य तौर पर, Amazon फ्रॉड डिटेक्टर निम्नलिखित क्रियाओं का सुझाव देता है:
- अपने चरों को विशिष्ट प्रकारों से मैप करें, जैसे
IP_ADDRESS
,EMAIL_ADDRESS
,CARD_BIN
, तथाPHONE_NUMBER
, ताकि Amazon फ्रॉड डिटेक्टर अतिरिक्त जानकारी निकाल और समृद्ध कर सके। - यदि आपको विशिष्ट चर प्रकार नहीं मिल रहा है, तो इसे तीन सामान्य प्रकारों में से किसी एक पर मैप करें:
NUMERIC
,CATEGORICAL
या,FREE_FORM_TEXT
. - यदि कोई चर टेक्स्ट के रूप में है और इसमें उच्च कार्डिनैलिटी है, जैसे कि ग्राहक समीक्षा या उत्पाद विवरण, तो आपको इसे इसके लिए मैप करना चाहिए
FREE_FORM_TEXT
परिवर्तनशील प्रकार ताकि अमेज़ॅन फ्रॉड डिटेक्टर आपके लिए बैकएंड पर टेक्स्ट फीचर्स और एम्बेडिंग निकाल सके। उदाहरण के लिए, यदि आप नक्शाurl_string
सेवा मेरेFREE_FORM_TEXT
, यह URL को टोकनाइज़ करने और डाउनस्ट्रीम मॉडल में फीड करने के लिए जानकारी निकालने में सक्षम है, जो इसे URL से अधिक छिपे हुए पैटर्न को सीखने में मदद करेगा।
यदि आप पाते हैं कि आपका कोई भी वैरिएबल प्रकार वैरिएबल कॉन्फ़िगरेशन में गलत तरीके से मैप किया गया है, तो आप अपना वैरिएबल प्रकार बदल सकते हैं और फिर मॉडल को फिर से प्रशिक्षित कर सकते हैं।
अपर्याप्त डेटा या सुविधाएँ
अमेज़ॅन फ्रॉड डिटेक्टर को ऑनलाइन फ्रॉड इनसाइट्स (ओएफआई) या ट्रांजेक्शन फ्रॉड इनसाइट्स (टीएफआई) मॉडल को प्रशिक्षित करने के लिए कम से कम 10,000 रिकॉर्ड की आवश्यकता होती है, जिनमें से कम से कम 400 रिकॉर्ड धोखाधड़ी के रूप में पहचाने जाते हैं। TFI को यह भी आवश्यक है कि डेटासेट की विविधता सुनिश्चित करने के लिए कपटपूर्ण रिकॉर्ड और वैध रिकॉर्ड दोनों कम से कम 100 अलग-अलग संस्थाओं से आते हैं। इसके अतिरिक्त, अमेज़ॅन फ्रॉड डिटेक्टर के लिए मॉडलिंग डेटा में कम से कम दो चर होना आवश्यक है। उपयोगी अमेज़ॅन फ्रॉड डिटेक्टर मॉडल बनाने के लिए वे न्यूनतम डेटा आवश्यकताएं हैं। हालांकि, अधिक रिकॉर्ड और चर का उपयोग करने से आमतौर पर एमएल मॉडल को आपके डेटा से अंतर्निहित पैटर्न को बेहतर ढंग से सीखने में मदद मिलती है। जब आप कम AUC देखते हैं या अपनी व्यावसायिक आवश्यकता को पूरा करने वाली थ्रेशोल्ड नहीं पाते हैं, तो आपको अपने मॉडल को अधिक डेटा के साथ फिर से प्रशिक्षित करने या अपने मॉडल में नई सुविधाएँ जोड़ने पर विचार करना चाहिए। आमतौर पर, हम पाते हैं EMAIL_ADDRESS
, IP
, PAYMENT_TYPE
, BILLING_ADDRESS
, SHIPPING_ADDRESS
, तथा DEVICE
धोखाधड़ी का पता लगाने में संबंधित चर महत्वपूर्ण हैं।
दूसरा संभावित कारण यह है कि आपके कुछ चरों में बहुत अधिक अनुपलब्ध मान हैं। यह देखने के लिए कि क्या ऐसा हो रहा है, मॉडल प्रशिक्षण संदेशों की जाँच करें और देखें प्रशिक्षण डेटा समस्याओं का निवारण करें सुझावों के लिए।
बहुत उच्च मॉडल प्रदर्शन के लिए सामान्य मुद्दे
इस खंड में, हम बहुत उच्च मॉडल प्रदर्शन से संबंधित सामान्य मुद्दों पर चर्चा करते हैं।
लेबल रिसाव
लेबल रिसाव तब होता है जब प्रशिक्षण डेटासेट ऐसी जानकारी का उपयोग करता है जिसकी भविष्यवाणी समय पर उपलब्ध होने की उम्मीद नहीं की जाती है। उत्पादन परिवेश में चलाने पर यह मॉडल की उपयोगिता को कम करके आंकता है।
उच्च एयूसी (1 के करीब), पूरी तरह से अलग स्कोर वितरण, और एक चर के महत्वपूर्ण रूप से उच्च परिवर्तनीय महत्व संभावित लेबल रिसाव मुद्दों के संकेतक हो सकते हैं। आप सुविधाओं और लेबल के बीच सहसंबंध की जांच भी कर सकते हैं डेटा प्रोफाइलर। फ़ीचर और लेबल सहसंबंध प्लॉट प्रत्येक फीचर और लेबल के बीच के संबंध को दर्शाता है। यदि एक विशेषता का लेबल के साथ 0.99 से अधिक सहसंबंध है, तो आपको यह जांचना चाहिए कि व्यावसायिक निर्णयों के आधार पर सुविधा का ठीक से उपयोग किया गया है या नहीं। उदाहरण के लिए, किसी ऋण आवेदन को स्वीकृत या अस्वीकार करने के लिए जोखिम मॉडल बनाने के लिए, आपको इस तरह की सुविधाओं का उपयोग नहीं करना चाहिए AMOUNT_PAID
, क्योंकि भुगतान हामीदारी प्रक्रिया के बाद होता है। यदि भविष्यवाणी करते समय कोई चर उपलब्ध नहीं है, तो आपको उस चर को मॉडल कॉन्फ़िगरेशन से हटा देना चाहिए और एक नए मॉडल को फिर से प्रशिक्षित करना चाहिए।
निम्नलिखित उदाहरण प्रत्येक चर और लेबल के बीच के संबंध को दर्शाता है। investigation_status
लेबल के साथ एक उच्च सहसंबंध (1 के करीब) है, इसलिए आपको दोबारा जांच करनी चाहिए कि क्या कोई लेबल रिसाव समस्या है।
सरल धोखाधड़ी पैटर्न
जब आपके डेटा में धोखाधड़ी के पैटर्न सरल होते हैं, तो आप बहुत उच्च मॉडल प्रदर्शन भी देख सकते हैं। उदाहरण के लिए, मान लें कि मॉडलिंग डेटा में सभी धोखाधड़ी की घटनाएं एक ही आंतरिक सेवा प्रदाता के माध्यम से आती हैं; मॉडल के लिए चुनना आसान है IP-
संबंधित चर और उच्च महत्व के साथ एक "परिपूर्ण" मॉडल लौटाते हैं IP
.
साधारण धोखाधड़ी पैटर्न हमेशा डेटा समस्या का संकेत नहीं देते हैं। यह सच हो सकता है कि आपके व्यवसाय में धोखाधड़ी के तौर-तरीकों को पकड़ना आसान है। हालांकि, निष्कर्ष निकालने से पहले, आपको यह सुनिश्चित करना होगा कि मॉडल प्रशिक्षण में उपयोग किए गए लेबल सटीक हैं, और मॉडलिंग डेटा जितना संभव हो उतने धोखाधड़ी पैटर्न को कवर करता है। उदाहरण के लिए, यदि आप नियमों के आधार पर अपनी धोखाधड़ी की घटनाओं को लेबल करते हैं, जैसे किसी विशिष्ट से सभी एप्लिकेशन को लेबल करना BILLING_ZIP
प्लस PRODUCT_CATEGORY
धोखाधड़ी के रूप में, मॉडल नियमों का अनुकरण करके और उच्च AUC प्राप्त करके उन धोखाधड़ी को आसानी से पकड़ सकता है।
आप विभिन्न श्रेणियों में लेबल वितरण की जांच कर सकते हैं या प्रत्येक सुविधा के डिब्बे का उपयोग कर सकते हैं डेटा प्रोफाइलर. उदाहरण के लिए, यदि आप देखते हैं कि अधिकांश धोखाधड़ी की घटनाएं एक या कुछ उत्पाद श्रेणियों से आती हैं, तो यह साधारण धोखाधड़ी पैटर्न का संकेतक हो सकता है, और आपको यह पुष्टि करने की आवश्यकता है कि यह डेटा संग्रह या प्रक्रिया की गलती नहीं है। अगर सुविधा की तरह है CUSTOMER_ID
, आपको मॉडल प्रशिक्षण में सुविधा को बाहर कर देना चाहिए।
निम्नलिखित उदाहरण विभिन्न श्रेणियों में लेबल वितरण को दर्शाता है product_category
. सभी धोखाधड़ी दो उत्पाद श्रेणियों से आती है।
अनुचित डेटा नमूनाकरण
गलत डेटा सैंपलिंग तब हो सकती है जब आपने सैंपल लिया और अपने डेटा का केवल एक हिस्सा Amazon फ्रॉड डिटेक्टर को भेजा। यदि डेटा ठीक से नमूना नहीं किया गया है और उत्पादन में यातायात का प्रतिनिधि नहीं है, तो रिपोर्ट किया गया मॉडल प्रदर्शन गलत होगा और उत्पादन भविष्यवाणी के लिए मॉडल बेकार हो सकता है। उदाहरण के लिए, यदि मॉडलिंग डेटा में सभी धोखाधड़ी की घटनाओं का नमूना एशिया से लिया गया है और सभी वैध घटनाओं का नमूना अमेरिका से लिया गया है, तो मॉडल धोखाधड़ी और वैध को अलग करना सीख सकता है BILLING_COUNTRY
. उस स्थिति में, मॉडल अन्य आबादी पर लागू होने के लिए सामान्य नहीं है।
आमतौर पर, हम सभी नवीनतम ईवेंट को बिना सैंपलिंग के भेजने का सुझाव देते हैं। डेटा आकार और धोखाधड़ी दर के आधार पर, अमेज़ॅन फ्रॉड डिटेक्टर आपके लिए मॉडल प्रशिक्षण से पहले नमूना लेता है। यदि आपका डेटा बहुत बड़ा है (100 जीबी से अधिक) और आप नमूना लेने और केवल एक सबसेट भेजने का निर्णय लेते हैं, तो आपको यादृच्छिक रूप से अपने डेटा का नमूना लेना चाहिए और सुनिश्चित करना चाहिए कि नमूना पूरी आबादी का प्रतिनिधि है। TFI के लिए, आपको इकाई के आधार पर अपने डेटा का नमूना लेना चाहिए, जिसका अर्थ है कि यदि एक इकाई का नमूना लिया जाता है, तो आपको उसका पूरा इतिहास शामिल करना चाहिए ताकि इकाई स्तर के योगों की गणना सही ढंग से की जा सके। ध्यान दें कि यदि आप केवल Amazon फ्रॉड डिटेक्टर को डेटा का एक सबसेट भेजते हैं, तो अनुमान के दौरान रीयल-टाइम एग्रीगेट गलत हो सकता है यदि संस्थाओं की पिछली घटनाएं नहीं भेजी जाती हैं।
एक और अनुचित डेटा नमूनाकरण मॉडल बनाने के लिए केवल एक दिन के डेटा की तरह, डेटा की एक छोटी अवधि का उपयोग कर सकता है। डेटा पक्षपाती हो सकता है, खासकर यदि आपके व्यवसाय या धोखाधड़ी के हमलों में मौसमी हो। हम आमतौर पर धोखाधड़ी के प्रकारों की विविधता सुनिश्चित करने के लिए मॉडलिंग में कम से कम दो चक्रों (जैसे 2 सप्ताह या 2 महीने) के डेटा को शामिल करने की सलाह देते हैं।
निष्कर्ष
सभी संभावित मुद्दों का निदान और समाधान करने के बाद, आपको एक उपयोगी अमेज़ॅन फ्रॉड डिटेक्टर मॉडल प्राप्त करना चाहिए और इसके प्रदर्शन के बारे में आश्वस्त होना चाहिए। अगले चरण के लिए, आप मॉडल और आपके व्यावसायिक नियमों के साथ एक डिटेक्टर बना सकते हैं, और इसे शैडो मोड मूल्यांकन के लिए उत्पादन में तैनात करने के लिए तैयार रहें।
परिशिष्ट
मॉडल प्रशिक्षण के लिए चर कैसे बहिष्कृत करें
गहरे गोता लगाने के बाद, आप एक चर रिसाव लक्ष्य जानकारी की पहचान कर सकते हैं, और इसे मॉडल प्रशिक्षण से बाहर करना चाहते हैं। आप निम्न चरणों को पूरा करके उन चरों को छोड़कर एक मॉडल संस्करण को फिर से प्रशिक्षित कर सकते हैं जो आप नहीं चाहते हैं:
- अमेज़ॅन फ्रॉड डिटेक्टर कंसोल पर, नेविगेशन फलक में, चुनें मॉडल.
- पर मॉडल पृष्ठ पर, वह मॉडल चुनें जिसे आप फिर से प्रशिक्षित करना चाहते हैं।
- पर क्रियाएँ मेनू, चुनें ट्रेन का नया संस्करण.
- वह दिनांक सीमा चुनें जिसका आप उपयोग करना चाहते हैं और चुनें अगला.
- पर प्रशिक्षण को कॉन्फ़िगर करें पृष्ठ, उस चर का चयन रद्द करें जिसे आप मॉडल प्रशिक्षण में उपयोग नहीं करना चाहते हैं।
- अपने धोखाधड़ी लेबल और वैध लेबल निर्दिष्ट करें और आप कैसे चाहते हैं कि Amazon फ्रॉड डिटेक्टर बिना लेबल वाली घटनाओं का उपयोग करे, फिर चुनें अगला.
- मॉडल कॉन्फ़िगरेशन की समीक्षा करें और चुनें मॉडल बनाएं और प्रशिक्षित करें.
इवेंट वेरिएबल टाइप कैसे बदलें
चर धोखाधड़ी की रोकथाम में उपयोग किए जाने वाले डेटा तत्वों का प्रतिनिधित्व करते हैं। अमेज़ॅन धोखाधड़ी डिटेक्टर में, सभी चर वैश्विक हैं और सभी घटनाओं और मॉडलों में साझा किए जाते हैं, जिसका अर्थ है कि एक चर का उपयोग कई घटनाओं में किया जा सकता है। उदाहरण के लिए, IP को साइन-इन ईवेंट से संबद्ध किया जा सकता है, और इसे लेन-देन ईवेंट से भी जोड़ा जा सकता है। स्वाभाविक रूप से, अमेज़ॅन फ्रॉड डिटेक्टर ने एक वैरिएबल बनने के बाद वेरिएबल प्रकार और डेटा प्रकार को लॉक कर दिया। किसी मौजूदा वेरिएबल को हटाने के लिए, आपको पहले सभी संबद्ध ईवेंट प्रकारों और मॉडलों को हटाना होगा। आप अमेज़ॅन फ्रॉड डिटेक्टर पर नेविगेट करके, विशिष्ट चर से जुड़े संसाधनों की जांच कर सकते हैं चर नेविगेशन फलक में, और चर नाम चुनना और संबद्ध संसाधन.
वेरिएबल और सभी संबद्ध ईवेंट प्रकार हटाएं
वेरिएबल को हटाने के लिए, निम्नलिखित चरणों को पूरा करें:
- अमेज़ॅन फ्रॉड डिटेक्टर कंसोल पर, नेविगेशन फलक में, चुनें चर.
- वह चर चुनें जिसे आप हटाना चाहते हैं।
- चुनें संबद्ध संसाधन इस चर का उपयोग करने वाले सभी प्रकार के ईवेंट की सूची देखने के लिए।
वेरिएबल को हटाने से पहले आपको उन संबद्ध ईवेंट प्रकारों को हटाना होगा। - संबद्ध ईवेंट प्रकार पृष्ठ पर जाने के लिए सूची में ईवेंट प्रकार चुनें.
- चुनें संग्रहित कार्यक्रम यह जाँचने के लिए कि क्या इस घटना प्रकार के तहत कोई डेटा संग्रहीत है।
- यदि Amazon Fraud Detector में ईवेंट संग्रहीत हैं, तो चुनें संग्रहीत ईवेंट हटाएं संग्रहीत घटनाओं को हटाने के लिए।
जब हटाने का कार्य पूरा हो जाता है, तो संदेश "इस घटना प्रकार के लिए संग्रहीत घटनाओं को सफलतापूर्वक हटा दिया गया" संदेश प्रकट होता है। - चुनें संबद्ध संसाधन.
यदि डिटेक्टर और मॉडल इस घटना प्रकार से जुड़े हैं, तो आपको पहले उन संसाधनों को हटाना होगा। - यदि डिटेक्टर संबद्ध हैं, तो सभी संबद्ध डिटेक्टरों को हटाने के लिए निम्न चरणों को पूरा करें:
- पर जाने के लिए डिटेक्टर चुनें डिटेक्टर विवरण इस पृष्ठ पर ज़ूम कई वीडियो ट्यूटोरियल और अन्य साहायक साधन प्रदान करता है।
- में मॉडल संस्करण फलक में, संसूचक का संस्करण चुनें।
- डिटेक्टर संस्करण पृष्ठ पर, चुनें क्रियाएँ.
- यदि डिटेक्टर संस्करण सक्रिय है, तो चुनें निष्क्रिय करें, चुनें इस डिटेक्टर संस्करण को किसी भिन्न संस्करण से बदले बिना निष्क्रिय करें, और चुनें डिटेक्टर संस्करण को निष्क्रिय करें।
- डिटेक्टर संस्करण के निष्क्रिय होने के बाद, चुनें क्रियाएँ और फिर मिटाना.
- सभी डिटेक्टर संस्करणों को हटाने के लिए इन चरणों को दोहराएं।
- पर डिटेक्टर विवरण पृष्ठ, चुनें संबद्ध नियम.
- हटाने के लिए नियम चुनें।
- चुनें क्रियाएँ और नियम संस्करण हटाएं.
- पुष्टि करने और चुनने के लिए नियम का नाम दर्ज करें संस्करण हटाएं.
- सभी संबद्ध नियमों को हटाने के लिए इन चरणों को दोहराएं।
- सभी डिटेक्टर संस्करण और संबंधित नियम हटा दिए जाने के बाद, पर जाएं डिटेक्टर विवरण पृष्ठ, चुनें क्रियाएँ, और चुनें डिटेक्टर हटाएं.
- डिटेक्टर का नाम दर्ज करें और चुनें डिटेक्टर हटाएं.
- अगले डिटेक्टर को हटाने के लिए इन चरणों को दोहराएं।
- यदि कोई मॉडल ईवेंट प्रकार से संबद्ध है, तो उन्हें हटाने के लिए निम्न चरणों को पूरा करें:
- मॉडल का नाम चुनें।
- में मॉडल संस्करण फलक, संस्करण चुनें।
- यदि मॉडल की स्थिति है
Active
, चुनें क्रियाएँ और मॉडल संस्करण को अनियोजित करें. - दर्ज
undeploy
पुष्टि करने और चुनने के लिए मॉडल संस्करण को अनियोजित करें.
स्थिति बदल जाती हैUndeploying
. प्रक्रिया को पूरा होने में कुछ मिनट लगते हैं। - स्थिति बनने के बाद
Ready to deploy
, क्रियाएँ चुनें और हटाएँ। - सभी मॉडल संस्करणों को हटाने के लिए इन चरणों को दोहराएं।
- मॉडल विवरण पृष्ठ पर, क्रियाएँ और मॉडल हटाएं चुनें।
- मॉडल का नाम दर्ज करें और मॉडल हटाएं चुनें।
- अगले मॉडल को हटाने के लिए इन चरणों को दोहराएं।
- सभी संबद्ध डिटेक्टरों और मॉडलों को हटा दिए जाने के बाद, चुनें क्रियाएँ और घटना प्रकार हटाएं पर घटना विवरण इस पृष्ठ पर ज़ूम कई वीडियो ट्यूटोरियल और अन्य साहायक साधन प्रदान करता है।
- ईवेंट प्रकार का नाम दर्ज करें और चुनें घटना प्रकार हटाएं.
- नेविगेशन फलक में, चुनें चर, और वह चर चुनें जिसे आप हटाना चाहते हैं।
- चर से जुड़े सभी प्रकार के ईवेंट को हटाने के लिए पिछले चरणों को दोहराएं।
- पर परिवर्तनीय विवरण पृष्ठ, चुनें क्रियाएँ और हटाएँ.
- चर का नाम दर्ज करें और चुनें चर हटाएं.
सही वेरिएबल प्रकार के साथ एक नया वेरिएबल बनाएं
अमेज़ॅन फ्रॉड डिटेक्टर से वेरिएबल और सभी संबद्ध ईवेंट प्रकार, संग्रहीत ईवेंट, मॉडल और डिटेक्टरों को हटाने के बाद, आप उसी नाम का एक नया वैरिएबल बना सकते हैं और इसे सही वेरिएबल प्रकार में मैप कर सकते हैं।
- अमेज़ॅन फ्रॉड डिटेक्टर कंसोल पर, नेविगेशन फलक में, चुनें चर.
- चुनें बनाएं.
- वह चर नाम दर्ज करें जिसे आप संशोधित करना चाहते हैं (जिसे आपने पहले हटा दिया था)।
- उस सही चर प्रकार का चयन करें जिसे आप बदलना चाहते हैं।
- चुनें चर बनाएँ।
डेटा अपलोड करें और मॉडल को फिर से प्रशिक्षित करें
चर प्रकार को अपडेट करने के बाद, आप डेटा को फिर से अपलोड कर सकते हैं और एक नए मॉडल को प्रशिक्षित कर सकते हैं। निर्देशों के लिए, देखें नई अमेज़ॅन धोखाधड़ी डिटेक्टर सुविधाओं के साथ ऑनलाइन लेनदेन धोखाधड़ी का पता लगाएं.
किसी मौजूदा ईवेंट प्रकार में नए वेरिएबल कैसे जोड़ें
मौजूदा ईवेंट प्रकार में नए चर जोड़ने के लिए, निम्न चरणों को पूरा करें:
- पिछले प्रशिक्षण सीवीएस फ़ाइल में नए चर जोड़ें।
- नई प्रशिक्षण डेटा फ़ाइल को S3 बकेट में अपलोड करें। अपनी प्रशिक्षण फ़ाइल के Amazon S3 स्थान पर ध्यान दें (उदाहरण के लिए,
s3://bucketname/path/to/some/object.csv
) और आपकी भूमिका का नाम। - अमेज़ॅन फ्रॉड डिटेक्टर कंसोल पर, नेविगेशन फलक में, चुनें आयोजन।
- पर घटना प्रकार पृष्ठ पर, उस ईवेंट प्रकार का नाम चुनें जिसे आप चर जोड़ना चाहते हैं।
- पर इवेंट प्रकार विवरण पृष्ठ, चुनें क्रियाएँ, तो चर जोड़ें.
- के अंतर्गत चुनें कि इस घटना के चर को कैसे परिभाषित किया जाए, चुनें एक प्रशिक्षण डाटासेट से चर का चयन करें.
- IAM भूमिका के लिए, मौजूदा IAM भूमिका का चयन करें या Amazon S3 में डेटा एक्सेस करने के लिए एक नई भूमिका बनाएं।
- के लिए डेटा स्थान, नई प्रशिक्षण फ़ाइल का S3 स्थान दर्ज करें और चुनें डालना।
मौजूदा ईवेंट प्रकार में मौजूद नहीं होने वाले नए चर सूची में दिखाई देने चाहिए।
- चुनें चर जोड़ें।
अब, नए वेरिएबल को मौजूदा ईवेंट प्रकार में जोड़ दिया गया है। यदि आप Amazon फ्रॉड डिटेक्टर में संग्रहीत ईवेंट का उपयोग कर रहे हैं, तो संग्रहीत ईवेंट के नए चर अभी भी गायब हैं। आपको नए चर के साथ प्रशिक्षण डेटा को अमेज़ॅन फ्रॉड डिटेक्टर में आयात करना होगा और फिर एक नए मॉडल संस्करण को फिर से प्रशिक्षित करना होगा। उसी के साथ नया प्रशिक्षण डेटा अपलोड करते समय EVENT_ID
और EVENT_TIMESTAMP
, नए ईवेंट वेरिएबल Amazon फ्रॉड डिटेक्टर में संग्रहीत पिछले ईवेंट वेरिएबल को अधिलेखित कर देते हैं।
लेखक के बारे में
जूलिया जू अमेज़ॅन फ्रॉड डिटेक्टर के साथ एक शोध वैज्ञानिक हैं। वह मशीन लर्निंग तकनीकों का उपयोग करके ग्राहकों की चुनौतियों को हल करने के बारे में भावुक है। अपने खाली समय में, वह लंबी पैदल यात्रा, पेंटिंग और नई कॉफी की दुकानों की खोज का आनंद लेती है।
हाओ झोउ अमेज़ॅन फ्रॉड डिटेक्टर के साथ एक शोध वैज्ञानिक हैं। उन्होंने अमेरिका के नॉर्थवेस्टर्न यूनिवर्सिटी से इलेक्ट्रिकल इंजीनियरिंग में पीएचडी की है। उन्हें धोखाधड़ी और दुरुपयोग से निपटने के लिए मशीन लर्निंग तकनीकों को लागू करने का शौक है।
अभिषेक रवि अमेज़ॅन फ्रॉड डिटेक्टर के साथ एक वरिष्ठ उत्पाद प्रबंधक हैं। वह ग्राहकों को प्रसन्न करने वाले उत्पादों के निर्माण के लिए तकनीकी क्षमताओं का लाभ उठाने के बारे में भावुक है।
- कॉइनस्मार्ट। यूरोप का सर्वश्रेष्ठ बिटकॉइन और क्रिप्टो एक्सचेंज।
- प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। नि: शुल्क प्रवेश।
- क्रिप्टोहॉक। Altcoin रडार। मुफ्त परीक्षण।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/diagnose-model-performance-before-deployment-for-amazon-fraud-detector/
- "
- 000
- 10
- 100
- 20 साल
- 9
- a
- क्षमता
- About
- पहुँच
- तदनुसार
- लेखा
- सही
- के पार
- कार्रवाई
- सक्रिय
- गतिविधियों
- जोड़ा
- इसके अलावा
- अतिरिक्त
- दत्तक ग्रहण
- उन्नत
- एल्गोरिदम
- सब
- की अनुमति देता है
- हमेशा
- वीरांगना
- उपयुक्त
- आवेदन
- अनुप्रयोगों
- लागू
- लागू
- दृष्टिकोण
- दृष्टिकोण
- उपयुक्त
- अनुमोदन करना
- क्षेत्र
- एशिया
- जुड़े
- ध्यान
- विशेषताओं
- स्वचालित
- उपलब्ध
- एडब्ल्यूएस
- आधारभूत
- क्योंकि
- से पहले
- नीचे
- बेहतर
- के बीच
- खंड
- सीमा
- लाना
- निर्माण
- व्यापार
- परिकलित
- क्षमताओं
- कब्जा
- कौन
- मामला
- मामलों
- कुश्ती
- वर्ग
- कारण
- कुछ
- चुनौतियों
- चुनौतीपूर्ण
- परिवर्तन
- चुनें
- वर्गीकृत
- कॉफी
- सिक्का
- इकट्ठा
- एकत्रित
- संग्रह
- का मुकाबला
- कैसे
- सामान्य
- पूरा
- पूरी तरह से
- पूरा
- आश्वस्त
- विन्यास
- भ्रम
- विचार करना
- कंसोल
- सुविधाजनक
- सका
- बनाना
- बनाया
- वर्तमान
- वक्र
- ग्राहक
- ग्राहक
- तिथि
- खजूर
- गहरा
- निर्भर करता है
- निर्भर करता है
- तैनात
- तैनाती
- तैनाती
- विवरण
- विवरण
- खोज
- विभिन्न
- डिजिटल
- सीधे
- चर्चा करना
- प्रदर्शित करता है
- वितरण
- वितरण
- विविधता
- नहीं करता है
- गिरा
- दौरान
- से प्रत्येक
- आसानी
- तत्व
- शुरू से अंत तक
- समाप्त होता है
- अभियांत्रिकी
- समृद्ध
- दर्ज
- संस्थाओं
- सत्ता
- वातावरण
- विशेष रूप से
- मूल्यांकन करें
- मूल्यांकन
- कार्यक्रम
- घटनाओं
- उदाहरण
- के सिवा
- मौजूदा
- उम्मीद
- अपेक्षित
- विशेषज्ञता
- अर्क
- और तेज
- Feature
- विशेषताएं
- अंत में
- प्रथम
- का पालन करें
- निम्नलिखित
- प्रपत्र
- धोखा
- मुक्त
- से
- समारोह
- भविष्य
- सामान्य जानकारी
- उत्पन्न
- वैश्विक
- लक्ष्य
- अच्छा
- अधिक से अधिक
- हरा
- विकास
- होना
- मदद
- सहायक
- मदद करता है
- हाई
- उच्चतर
- अत्यधिक
- ऐतिहासिक
- इतिहास
- रखती है
- कैसे
- How To
- तथापि
- HTTPS
- पहचान करना
- प्रभाव
- महत्व
- महत्वपूर्ण
- में सुधार
- सुधार
- शामिल
- सहित
- संकेत मिलता है
- करें-
- निवेश
- अंतर्दृष्टि
- इंटरफेस
- इंटरनेट
- जांच
- IP
- मुद्दा
- मुद्दों
- IT
- काम
- निर्णय
- जानना
- ज्ञान
- लेबल
- लेबलिंग
- लेबल
- बड़ा
- बड़ा
- ताज़ा
- शुभारंभ
- रिसाव
- जानें
- सीख रहा हूँ
- स्तर
- लाभ
- सूची
- सूचीबद्ध
- स्थान
- बंद
- मशीन
- यंत्र अधिगम
- बनाना
- निर्माण
- कामयाब
- प्रबंधक
- नक्शा
- बाजार
- मैट्रिक्स
- साधन
- संदेश
- मेट्रिक्स
- हो सकता है
- न्यूनतम
- ML
- आदर्श
- मॉडल
- महीने
- अधिक
- अधिकांश
- विभिन्न
- नेविगेट
- पथ प्रदर्शन
- की जरूरत है
- नकारात्मक
- नई सुविधाएँ
- नया बाज़ार
- अगला
- संख्या
- संख्या
- ऑफर
- ऑनलाइन
- ऑपरेटर
- आदेश
- अन्य
- अन्यथा
- कुल
- भाग
- आवेशपूर्ण
- भुगतान
- प्रतिशतता
- प्रदर्शन
- अवधि
- बिन्दु
- आबादी
- सकारात्मक
- संभव
- संभावित
- बिजली
- भविष्यवाणी
- वर्तमान
- निवारण
- पिछला
- प्राथमिक
- समस्याओं
- प्रक्रिया
- एस्ट्रो मॉल
- उत्पादन
- उत्पाद
- प्रदान करना
- बशर्ते
- प्रदाता
- प्रदान करता है
- जल्दी से
- रेंज
- वास्तविक समय
- उचित
- हाल
- हाल ही में
- की सिफारिश
- अभिलेख
- प्रतिबिंबित
- के बारे में
- प्रतिनिधित्व
- प्रतिनिधि
- का प्रतिनिधित्व करता है
- आवश्यकताएँ
- की आवश्यकता होती है
- अनुसंधान
- उपयुक्त संसाधन चुनें
- वापसी
- रिटर्न
- की समीक्षा
- वृद्धि
- जोखिम
- भूमिका
- नियम
- रन
- वही
- स्केल
- वैज्ञानिक
- चयनित
- सेवा
- सेट
- छाया
- साझा
- दुकानों
- कम
- दिखाना
- दिखाया
- सरल
- आकार
- So
- ठोस
- सुलझाने
- कुछ
- विशिष्ट
- विभाजित
- शुरू
- आँकड़े
- स्थिति
- फिर भी
- भंडारण
- स्ट्रेटेजी
- सफलतापूर्वक
- लक्ष्य
- तकनीकी
- तकनीक
- टेम्पलेट्स
- परीक्षण
- परीक्षण
- RSI
- तीन
- द्वार
- यहाँ
- पहर
- साधन
- ऊपर का
- TPR
- यातायात
- रेलगाड़ी
- प्रशिक्षण
- ट्रांजेक्शन
- परिवर्तनों
- प्रकार
- आम तौर पर
- के अंतर्गत
- समझना
- विश्वविद्यालय
- अपडेट
- us
- अमेरिका
- उपयोग
- उपयोगकर्ताओं
- आमतौर पर
- उपयोगिता
- सत्यापन
- मूल्य
- संस्करण
- देखें
- प्रतीक्षा
- क्या
- या
- जब
- बिना
- लायक
- होगा
- वर्ष
- साल
- आपका