जैसे-जैसे कंपनियां अपने मुख्यधारा के उद्यम अनुप्रयोगों के लिए मशीन लर्निंग (एमएल) को तेजी से अपना रही हैं, उनके अधिक व्यावसायिक निर्णय एमएल मॉडल से प्रभावित होते हैं। इसके परिणामस्वरूप, आपके सभी ML मॉडल में सरलीकृत अभिगम नियंत्रण और बढ़ी हुई पारदर्शिता होने से यह सत्यापित करना आसान हो जाता है कि आपके मॉडल अच्छा प्रदर्शन कर रहे हैं और ऐसा नहीं होने पर कार्रवाई करते हैं।
इस पोस्ट में, हम पता लगाते हैं कि कैसे कंपनियाँ केंद्रीकृत डैशबोर्ड के साथ अपने मॉडल में दृश्यता में सुधार कर सकती हैं और दो नई सुविधाओं का उपयोग करके अपने मॉडल के विस्तृत दस्तावेज़ीकरण कर सकती हैं: सेजमेकर मॉडल कार्ड और सेजमेकर मॉडल डैशबोर्ड। ये दोनों सुविधाएँ SageMaker ग्राहकों के लिए बिना किसी अतिरिक्त शुल्क के उपलब्ध हैं।
मॉडल शासन का अवलोकन
मॉडल गवर्नेंस एक ऐसा ढांचा है जो मॉडल के विकास, सत्यापन और उपयोग में व्यवस्थित दृश्यता देता है। मॉडल गवर्नेंस एंड-टू-एंड एमएल वर्कफ़्लो पर लागू होता है, जो एमएल उपयोग के मामले की पहचान करने से लेकर अलर्ट, रिपोर्ट और डैशबोर्ड के माध्यम से तैनात मॉडल की निरंतर निगरानी तक होता है। एक अच्छी तरह से लागू मॉडल गवर्नेंस फ्रेमवर्क को बड़े पैमाने पर एमएल जीवनचक्र की निगरानी करना आसान बनाने के लिए जीवनचक्र कार्यों को देखने, ट्रैक करने और प्रबंधित करने के लिए आवश्यक इंटरफेस की संख्या को कम करना चाहिए।
आज, संगठन अपने शासन और ऑडिटेबिलिटी वर्कफ़्लो के बड़े हिस्से को स्वचालित करने के लिए टूलिंग बनाने में महत्वपूर्ण तकनीकी विशेषज्ञता का निवेश करते हैं। उदाहरण के लिए, मॉडल निर्माताओं को मॉडल विनिर्देशों जैसे कि मॉडल के लिए इच्छित उपयोग, जोखिम रेटिंग और प्रदर्शन मानदंड को रिकॉर्ड करने की आवश्यकता होती है, जिसके खिलाफ मॉडल को मापा जाना चाहिए। इसके अलावा, उन्हें मॉडल के व्यवहार पर टिप्पणियों को रिकॉर्ड करने की भी आवश्यकता होती है, और इस कारण का दस्तावेजीकरण करते हैं कि उन्होंने कुछ महत्वपूर्ण निर्णय लिए जैसे कि वस्तुनिष्ठ कार्य जिसके लिए उन्होंने मॉडल को अनुकूलित किया।
उत्पादन उपयोग के लिए अनुमोदन में उपयोग के लिए ऐसी मॉडल जानकारी को कैप्चर करने और साझा करने के लिए कंपनियों के लिए एक्सेल या ईमेल जैसे टूल का उपयोग करना आम बात है। लेकिन जैसे-जैसे एमएल विकास का पैमाना बढ़ता है, जानकारी आसानी से खो जाती है या खो जाती है, और इन विवरणों पर नज़र रखना जल्दी से संभव हो जाता है। इसके अलावा, इन मॉडलों को तैनात किए जाने के बाद, आप अपने सभी मॉडलों, एंडपॉइंट्स, निगरानी इतिहास और वंश में एंड-टू-एंड दृश्यता प्राप्त करने के लिए विभिन्न स्रोतों से डेटा को एक साथ जोड़ सकते हैं। इस तरह के दृष्टिकोण के बिना, आप आसानी से अपने मॉडलों का ट्रैक खो सकते हैं, और हो सकता है कि आपको पता न चले कि आपको कब उन पर कार्रवाई करने की आवश्यकता है। यह समस्या अत्यधिक विनियमित उद्योगों में तीव्र है क्योंकि आप ऐसे नियमों के अधीन हैं जिनके लिए आपको ऐसे उपाय करने की आवश्यकता होती है।
जैसे-जैसे मॉडलों की मात्रा बढ़ने लगती है, कस्टम टूलिंग का प्रबंधन एक चुनौती बन सकता है और संगठनों को मुख्य व्यावसायिक जरूरतों पर ध्यान केंद्रित करने के लिए कम समय देता है। निम्नलिखित अनुभागों में, हम पता लगाते हैं कि कैसे SageMaker मॉडल कार्ड और SageMaker मॉडल डैशबोर्ड आपके शासन प्रयासों को बढ़ाने में आपकी सहायता कर सकते हैं।
सेजमेकर मॉडल कार्ड
मॉडल कार्ड आपको मानकीकृत करने में सक्षम बनाता है कि मॉडल कैसे प्रलेखित हैं, जिससे डिजाइन, निर्माण, प्रशिक्षण और मूल्यांकन से मॉडल के जीवनचक्र में दृश्यता प्राप्त होती है। मॉडल कार्ड का उद्देश्य मॉडल के बारे में व्यवसाय और तकनीकी मेटाडेटा के लिए सच्चाई का एकल स्रोत होना है, जिसका ऑडिटिंग और दस्तावेज़ीकरण उद्देश्यों के लिए मज़बूती से उपयोग किया जा सकता है। वे मॉडल की एक तथ्य पत्रक प्रदान करते हैं जो मॉडल शासन के लिए महत्वपूर्ण है।
मॉडल कार्ड उपयोगकर्ताओं को निर्णय लेने और संग्रहीत करने की अनुमति देते हैं जैसे कि अनुकूलन के लिए एक उद्देश्य फ़ंक्शन क्यों चुना गया था, और विवरण जैसे कि उपयोग और जोखिम रेटिंग। आप मूल्यांकन परिणामों को संलग्न और समीक्षा भी कर सकते हैं, और भविष्य के संदर्भ के लिए टिप्पणियों को लिख सकते हैं।
SageMaker पर प्रशिक्षित मॉडलों के लिए, मॉडल कार्ड प्रशिक्षण कार्य, प्रशिक्षण डेटासेट, मॉडल कलाकृतियों और अनुमान पर्यावरण जैसे विवरणों को खोज और ऑटो-पॉप्युलेट कर सकते हैं, जिससे कार्ड बनाने की प्रक्रिया में तेजी आती है। SageMaker Python SDK के साथ, आप मूल्यांकन मेट्रिक्स के साथ मॉडल कार्ड को मूल रूप से अपडेट कर सकते हैं।
मॉडल कार्ड मॉडल जोखिम प्रबंधकों, डेटा वैज्ञानिकों और एमएल इंजीनियरों को निम्नलिखित कार्य करने की क्षमता प्रदान करते हैं:
- दस्तावेज़ मॉडल आवश्यकताएँ जैसे जोखिम रेटिंग, इच्छित उपयोग, सीमाएँ और अपेक्षित प्रदर्शन
- SageMaker प्रशिक्षित मॉडलों के लिए ऑटो-पॉप्युलेट मॉडल कार्ड
- नॉन-सेजमेकर मॉडल के लिए अपनी खुद की जानकारी (BYOI) लेकर आएं
- मॉडल और डेटा मूल्यांकन परिणाम अपलोड और साझा करें
- कस्टम जानकारी को परिभाषित करें और कैप्चर करें
- मॉडल कार्ड की स्थिति कैप्चर करें (ड्राफ्ट, लंबित समीक्षा, या उत्पादन के लिए स्वीकृत)
- से मॉडल कार्ड हब तक पहुंचें एडब्ल्यूएस प्रबंधन कंसोल
- मॉडल कार्ड बनाएं, संपादित करें, देखें, निर्यात करें, क्लोन करें और हटाएं
- ट्रिगर वर्कफ़्लोज़ का उपयोग करना अमेज़न EventBridge मॉडल कार्ड स्थिति परिवर्तन घटनाओं के लिए एकीकरण
कंसोल का उपयोग करके सेजमेकर मॉडल कार्ड बनाएं
आप SageMaker कंसोल का उपयोग करके आसानी से मॉडल कार्ड बना सकते हैं। यहां आप सभी मौजूदा मॉडल कार्ड देख सकते हैं और आवश्यकतानुसार नए बना सकते हैं।
मॉडल कार्ड बनाते समय, आप महत्वपूर्ण मॉडल जानकारी जैसे मॉडल किसने बनाया, इसे क्यों विकसित किया गया, यह स्वतंत्र मूल्यांकन के लिए कैसा प्रदर्शन कर रहा है, और किसी भी अवलोकन को व्यावसायिक अनुप्रयोग के लिए मॉडल का उपयोग करने से पहले विचार करने की आवश्यकता है।
कंसोल पर एक मॉडल कार्ड बनाने के लिए, निम्न चरणों को पूरा करें:
- मॉडल अवलोकन विवरण दर्ज करें।
- प्रशिक्षण विवरण दर्ज करें (यदि मॉडल SageMaker पर प्रशिक्षित किया गया था तो ऑटो-आबादी)।
- मूल्यांकन परिणाम अपलोड करें।
- सिफारिशें और नैतिक विचार जैसे अतिरिक्त विवरण जोड़ें।
मॉडल कार्ड बनाने के बाद, आप इसे देखने के लिए एक संस्करण चुन सकते हैं।
निम्नलिखित स्क्रीनशॉट हमारे मॉडल कार्ड का विवरण दिखाता है।
आप PDF के रूप में साझा करने के लिए मॉडल कार्ड को निर्यात भी कर सकते हैं।
सेजमेकर पायथन एसडीके के माध्यम से सेजमेकर मॉडल कार्ड बनाएं और एक्सप्लोर करें
मॉडल कार्ड के साथ इंटरैक्ट करना कंसोल तक ही सीमित नहीं है। मॉडल कार्ड बनाने और एक्सप्लोर करने के लिए आप सैजमेकर पायथन एसडीके का भी उपयोग कर सकते हैं। सेजमेकर पायथन एसडीके डेटा वैज्ञानिकों और एमएल इंजीनियरों को सेजमेकर घटकों के साथ आसानी से बातचीत करने की अनुमति देता है। निम्नलिखित कोड स्निपेट्स नए जोड़े गए सैजमेकर पायथन एसडीके कार्यक्षमता का उपयोग करके एक मॉडल कार्ड बनाने की प्रक्रिया को प्रदर्शित करते हैं।
सुनिश्चित करें कि आपके पास SageMaker Python SDK का नवीनतम संस्करण स्थापित है:
एक बार जब आप सैजमेकर का उपयोग करके एक मॉडल को प्रशिक्षित और तैनात कर लेते हैं, तो आप मॉडल कार्ड में स्वचालित रूप से जानकारी भरने के लिए सैजमेकर मॉडल और प्रशिक्षण कार्य से जानकारी का उपयोग कर सकते हैं।
SageMaker Python SDK का उपयोग करके और SageMaker मॉडल नाम पास करके, हम स्वचालित रूप से मूल मॉडल जानकारी एकत्र कर सकते हैं। सैजमेकर मॉडल एआरएन, प्रशिक्षण वातावरण और मॉडल आउटपुट जैसी जानकारी अमेज़न सरल भंडारण सेवा (अमेज़न S3) स्थान सभी स्वचालित रूप से आबाद है। हम अन्य मॉडल तथ्यों को जोड़ सकते हैं, जैसे विवरण, समस्या प्रकार, एल्गोरिथम प्रकार, मॉडल निर्माता और स्वामी। निम्न कोड देखें:
हम स्वचालित रूप से बुनियादी प्रशिक्षण जानकारी जैसे प्रशिक्षण कार्य ARN, प्रशिक्षण वातावरण और प्रशिक्षण मेट्रिक्स भी एकत्र कर सकते हैं। अतिरिक्त प्रशिक्षण विवरण जोड़े जा सकते हैं, जैसे प्रशिक्षण उद्देश्य समारोह और अवलोकन। निम्न कोड देखें:
यदि हमारे पास मूल्यांकन मेट्रिक्स उपलब्ध हैं, तो हम उन्हें मॉडल कार्ड में भी जोड़ सकते हैं:
हम मॉडल के बारे में अतिरिक्त जानकारी भी जोड़ सकते हैं जो मॉडल शासन में मदद कर सकती है:
हमारे द्वारा आवश्यक सभी विवरण प्रदान करने के बाद, हम पूर्ववर्ती कॉन्फ़िगरेशन का उपयोग करके मॉडल कार्ड बना सकते हैं:
SageMaker SDK एक मॉडल कार्ड को अपडेट करने, लोड करने, सूचीबद्ध करने, निर्यात करने और हटाने की क्षमता भी प्रदान करता है।
मॉडल कार्ड के बारे में अधिक जानने के लिए, देखें डेवलपर गाइड और पालन इसका आरंभ करने के लिए उदाहरण नोटबुक।
सेजमेकर मॉडल डैशबोर्ड
मॉडल डैशबोर्ड खाते में बनाए गए सभी मॉडलों का एक केंद्रीकृत भंडार है। मॉडल आमतौर पर सैजमेकर पर प्रशिक्षण द्वारा बनाए जाते हैं, या आप अपने मॉडल को सैजमेकर पर होस्ट करने के लिए कहीं और प्रशिक्षित कर सकते हैं।
मॉडल डैशबोर्ड आईटी प्रशासकों, मॉडल जोखिम प्रबंधकों, या व्यापार जगत के नेताओं को सभी तैनात मॉडल और वे कैसा प्रदर्शन कर रहे हैं, यह देखने के लिए एक एकल इंटरफ़ेस प्रदान करता है। मॉडल प्रदर्शन में अंतर्दृष्टि प्राप्त करने के लिए आप अपने एंडपॉइंट, बैच ट्रांसफ़ॉर्म जॉब और मॉनिटरिंग जॉब देख सकते हैं। संगठन यह पहचानने के लिए गहन गोता लगा सकते हैं कि कौन से मॉडल में लापता या निष्क्रिय मॉनिटर हैं और डेटा बहाव, मॉडल बहाव, पूर्वाग्रह बहाव, और फीचर एट्रिब्यूशन बहाव के लिए सभी मॉडलों की जाँच की जा रही है यह सुनिश्चित करने के लिए SageMaker API का उपयोग करके उन्हें जोड़ें।
निम्न स्क्रीनशॉट मॉडल डैशबोर्ड का एक उदाहरण दिखाता है।
मॉडल डैशबोर्ड आपके सभी मॉडलों का अवलोकन प्रदान करता है, उनकी जोखिम रेटिंग क्या है और वे मॉडल उत्पादन में कैसा प्रदर्शन कर रहे हैं। यह SageMaker से जानकारी खींचकर करता है। प्रदर्शन निगरानी जानकारी के माध्यम से कब्जा कर लिया गया है अमेज़ॅन सैजमेकर मॉडल मॉनिटर, और आप सैजमेकर बैच ट्रांस्फ़ॉर्म जॉब्स के माध्यम से बैच पूर्वानुमानों के लिए बुलाए गए मॉडलों की जानकारी भी देख सकते हैं। वंशावली की जानकारी जैसे कि मॉडल को कैसे प्रशिक्षित किया गया था, डेटा का उपयोग किया गया था, और अधिक कैप्चर किया गया है, और मॉडल कार्ड से जानकारी भी खींची गई है।
मॉडल मॉनिटर बैच अनुमान या रीयल-टाइम एंडपॉइंट के लिए उत्पादन में उपयोग किए जाने वाले सैजमेकर मॉडल की गुणवत्ता पर नज़र रखता है। आप SageMaker API के माध्यम से निरंतर निगरानी या शेड्यूल किए गए मॉनिटर सेट कर सकते हैं, और मॉडल डैशबोर्ड के माध्यम से अलर्ट सेटिंग संपादित कर सकते हैं। आप अलर्ट सेट कर सकते हैं जो मॉडल गुणवत्ता में विचलन होने पर आपको सूचित करता है। इन विचलनों का शीघ्र और सक्रिय पता लगाने से आप सुधारात्मक कार्रवाइयाँ कर सकते हैं, जैसे मॉडल को फिर से प्रशिक्षित करना, अपस्ट्रीम सिस्टम का ऑडिट करना, या मॉडल की मैन्युअल रूप से निगरानी किए बिना या अतिरिक्त टूलिंग का निर्माण किए बिना गुणवत्ता के मुद्दों को ठीक करना। मॉडल डैशबोर्ड आपको त्वरित जानकारी देता है कि किन मॉडलों की निगरानी की जा रही है और वे कैसा प्रदर्शन कर रहे हैं। मॉडल मॉनिटर के बारे में अधिक जानकारी के लिए देखें डेटा और मॉडल की गुणवत्ता, पूर्वाग्रह और व्याख्यात्मकता के लिए मॉडल की निगरानी करें.
जब आप मॉडल डैशबोर्ड में एक मॉडल चुनते हैं, तो आप मॉडल में गहन अंतर्दृष्टि प्राप्त कर सकते हैं, जैसे कि मॉडल कार्ड (यदि कोई मौजूद है), मॉडल वंश, उस समापन बिंदु के बारे में विवरण जहां मॉडल को तैनात किया गया है, और निगरानी कार्यक्रम नमूना।
यदि आवश्यक हो तो यह दृश्य आपको एक मॉडल कार्ड बनाने की अनुमति देता है। मॉनिटरिंग शेड्यूल को मॉडल डैशबोर्ड के माध्यम से सक्रिय, निष्क्रिय या संपादित किया जा सकता है।
उन मॉडलों के लिए जिनके पास मॉनिटरिंग शेड्यूल नहीं है, आप इसे उस एंडपॉइंट के लिए मॉडल मॉनिटर को सक्षम करके सेट कर सकते हैं जिस पर मॉडल को तैनात किया गया है। अलर्ट विवरण और स्थिति के माध्यम से, आपको उन मॉडलों के बारे में सूचित किया जाएगा जो आपके द्वारा सेट किए गए मॉनिटर के आधार पर डेटा ड्रिफ्ट, मॉडल ड्रिफ्ट, बायस ड्रिफ्ट या फीचर ड्रिफ्ट दिखा रहे हैं।
आइए मॉडल मॉनिटरिंग सेट अप करने के तरीके के बारे में एक उदाहरण वर्कफ़्लो देखें। इस प्रक्रिया के प्रमुख चरण हैं:
- एंडपॉइंट (या बैच ट्रांसफ़ॉर्म जॉब) पर भेजे गए डेटा को कैप्चर करें।
- एक आधार रेखा स्थापित करें (प्रत्येक निगरानी प्रकार के लिए)।
- उल्लंघनों की रिपोर्ट करने और अलर्ट ट्रिगर करने के लिए आधार रेखा के विरुद्ध लाइव पूर्वानुमानों की तुलना करने के लिए एक मॉडल मॉनिटर शेड्यूल बनाएं।
चेतावनियों के आधार पर, आप समापन बिंदु को पिछले संस्करण में वापस लाने या नए डेटा के साथ मॉडल को फिर से प्रशिक्षित करने जैसी कार्रवाइयाँ कर सकते हैं। ऐसा करते समय, यह पता लगाना आवश्यक हो सकता है कि मॉडल को कैसे प्रशिक्षित किया गया था, जो कि मॉडल के वंश की कल्पना करके किया जा सकता है।
मॉडल डैशबोर्ड एक मॉडल के विशिष्ट विवरण में ड्रिल करने की क्षमता के अलावा, एक खाते में समग्र मॉडल पारिस्थितिकी तंत्र के बारे में जानकारी का एक समृद्ध सेट प्रदान करता है। मॉडल डैशबोर्ड के बारे में अधिक जानने के लिए देखें डेवलपर गाइड.
निष्कर्ष
मॉडल गवर्नेंस जटिल है और इसमें अक्सर किसी संगठन या उद्योग के लिए विशिष्ट रूप से बहुत सारी अनुकूलित ज़रूरतें शामिल होती हैं। यह उन विनियामक आवश्यकताओं पर आधारित हो सकता है जिनका आपके संगठन को अनुपालन करने की आवश्यकता है, संगठन में मौजूद व्यक्तियों के प्रकार, और उपयोग किए जा रहे मॉडल के प्रकार। शासन के लिए कोई एक आकार-फिट-सभी दृष्टिकोण नहीं है, और सही उपकरण उपलब्ध होना महत्वपूर्ण है ताकि एक मजबूत शासन प्रक्रिया को लागू किया जा सके।
SageMaker में उद्देश्य-निर्मित ML गवर्नेंस टूल्स के साथ, संगठन अपने विशिष्ट उपयोग मामलों के लिए ML परियोजनाओं पर नियंत्रण और दृश्यता में सुधार के लिए सही तंत्र को लागू कर सकते हैं। मॉडल कार्ड और मॉडल डैशबोर्ड को आज़माएं, और प्रश्नों और फीडबैक के साथ अपनी टिप्पणियां दें। मॉडल कार्ड और मॉडल डैशबोर्ड के बारे में अधिक जानने के लिए देखें डेवलपर गाइड.
लेखक के बारे में
किरीट थडका एक एमएल सॉल्यूशंस आर्किटेक्ट है जो सेजमेकर सर्विस एसए टीम में काम कर रहा है। एडब्ल्यूएस में शामिल होने से पहले, किरीट ने शुरुआती चरण के एआई स्टार्टअप्स में काम किया, इसके बाद कुछ समय एआई रिसर्च, एमएलओप्स और तकनीकी नेतृत्व में विभिन्न भूमिकाओं में परामर्श किया।
मार्क कारपो सेजमेकर सर्विस टीम के साथ एमएल आर्किटेक्ट हैं। वह ग्राहकों को बड़े पैमाने पर एमएल वर्कलोड के डिजाइन, तैनाती और प्रबंधन में मदद करने पर ध्यान केंद्रित करता है। अपने खाली समय में, उन्हें यात्रा करना और नई जगहों की खोज करना पसंद है।
रघु रमेश अमेज़ॅन सेजमेकर सर्विस टीम के साथ एक एमएल सॉल्यूशंस आर्किटेक्ट है। वह ग्राहकों को बड़े पैमाने पर सेजमेकर में एमएल प्रोडक्शन वर्कलोड बनाने, तैनात करने और माइग्रेट करने में मदद करने पर ध्यान केंद्रित करता है। वह मशीन लर्निंग, एआई और कंप्यूटर विज़न डोमेन में माहिर हैं, और यूटी डलास से कंप्यूटर साइंस में मास्टर डिग्री रखते हैं। अपने खाली समय में, उन्हें यात्रा करना और फोटोग्राफी करना पसंद है।
राम विट्ठल एडब्ल्यूएस में एमएल स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट हैं। उनके पास वितरित, हाइब्रिड और क्लाउड अनुप्रयोगों के निर्माण और निर्माण का 20 से अधिक वर्षों का अनुभव है। वह सुरक्षित और स्केलेबल एआई/एमएल और बिग डेटा सॉल्यूशंस के निर्माण के बारे में भावुक हैं ताकि उद्यम ग्राहकों को उनके व्यावसायिक परिणामों को बेहतर बनाने के लिए क्लाउड एडॉप्शन और ऑप्टिमाइज़ेशन यात्रा में मदद मिल सके। अपने खाली समय में, वह टेनिस, फोटोग्राफी और एक्शन फिल्मों का आनंद लेते हैं।
साहिल सैनी Amazon Web Services में एक ISV सॉल्यूशन आर्किटेक्ट है। वह एआई/एमएल, कंटेनर, एचपीसी और आईओटी के लिए एडब्ल्यूएस सेवाओं का उपयोग करके प्रौद्योगिकी समाधान के साथ एडब्ल्यूएस रणनीतिक ग्राहक उत्पाद और इंजीनियरिंग टीमों के साथ काम करता है। उन्होंने उद्यम ग्राहकों के लिए एआई/एमएल प्लेटफॉर्म स्थापित करने में मदद की है।
- AI
- ai कला
- ऐ कला जनरेटर
- ऐ रोबोट
- अमेज़न SageMaker
- कृत्रिम बुद्धिमत्ता
- कृत्रिम बुद्धिमत्ता प्रमाणन
- बैंकिंग में आर्टिफिशियल इंटेलिजेंस
- आर्टिफिशियल इंटेलिजेंस रोबोट
- आर्टिफिशियल इंटेलिजेंस रोबोट
- कृत्रिम बुद्धि सॉफ्टवेयर
- AWS मशीन लर्निंग
- blockchain
- ब्लॉकचेन सम्मेलन एआई
- कॉइनजीनियस
- संवादी कृत्रिम बुद्धिमत्ता
- क्रिप्टो सम्मेलन एआई
- दल-ए
- ध्यान लगा के पढ़ना या सीखना
- इसे गूगल करें
- इंटरमीडिएट (200)
- यंत्र अधिगम
- प्लेटो
- प्लेटो एआई
- प्लेटो डेटा इंटेलिजेंस
- प्लेटो गेम
- प्लेटोडाटा
- प्लेटोगेमिंग
- स्केल एआई
- वाक्यविन्यास
- जेफिरनेट