यह पोस्ट थॉमसन रॉयटर्स के रामदेव वुडाली और किरण मंत्रीप्रगदा द्वारा सह-लिखित है।
1992 में, थॉमसन रायटर (TR) ने अपनी पहली AI कानूनी अनुसंधान सेवा, WIN (वेस्टलॉ इज़ नेचुरल) जारी की, जो उस समय एक नवीनता थी, क्योंकि अधिकांश खोज इंजन केवल बूलियन शब्दों और कनेक्टर्स का समर्थन करते थे। तब से, टीआर ने कई और मील के पत्थर हासिल किए हैं क्योंकि इसके एआई उत्पादों और सेवाओं की संख्या और विविधता में लगातार वृद्धि हो रही है, दुनिया भर में कानूनी, कर, लेखा, अनुपालन और समाचार सेवा पेशेवरों का समर्थन करते हुए, हर साल अरबों मशीन लर्निंग (एमएल) अंतर्दृष्टि उत्पन्न होती है। .
एआई सेवाओं की इस जबरदस्त वृद्धि के साथ, टीआर के लिए अगला मील का पत्थर नवाचार को सुव्यवस्थित करना और सहयोग को सुगम बनाना था। एंटरप्राइज़ सर्वोत्तम प्रथाओं का पालन सुनिश्चित करते हुए व्यावसायिक कार्यों और एआई चिकित्सकों के व्यक्तित्व में एआई समाधानों के निर्माण और पुन: उपयोग को मानकीकृत करें:
- दोहराए जाने वाले उदासीन इंजीनियरिंग प्रयास को स्वचालित और मानकीकृत करें
- सामान्य प्रशासन मानकों के अनुसार आवश्यक अलगाव और संवेदनशील डेटा का नियंत्रण सुनिश्चित करें
- स्केलेबल कंप्यूटिंग संसाधनों तक आसान पहुंच प्रदान करें
इन आवश्यकताओं को पूरा करने के लिए, TR ने निम्नलिखित पाँच स्तंभों के आसपास एंटरप्राइज़ AI प्लेटफ़ॉर्म बनाया: एक डेटा सेवा, प्रयोग कार्यक्षेत्र, केंद्रीय मॉडल रजिस्ट्री, मॉडल परिनियोजन सेवा और मॉडल निगरानी।
इस पोस्ट में, हम चर्चा करते हैं कि TR और AWS ने TR के पहले एंटरप्राइज़ AI प्लेटफ़ॉर्म को विकसित करने के लिए कैसे सहयोग किया, एक वेब-आधारित टूल जो ML प्रयोग, प्रशिक्षण, एक केंद्रीय मॉडल रजिस्ट्री, मॉडल परिनियोजन और मॉडल निगरानी से लेकर क्षमताएँ प्रदान करेगा। इन सभी क्षमताओं को टीआर के निरंतर विकसित होने वाले सुरक्षा मानकों को पूरा करने और अंतिम उपयोगकर्ताओं को सरल, सुरक्षित और अनुपालन सेवाएं प्रदान करने के लिए बनाया गया है। हम यह भी साझा करते हैं कि कैसे टीआर सक्षम निगरानी और शासन एमएल मॉडल के लिए विभिन्न व्यावसायिक इकाइयों में कांच के एक फलक के साथ बनाया गया है।
चुनौतियाँ
ऐतिहासिक रूप से टीआर में, एमएल उन्नत डेटा वैज्ञानिकों और इंजीनियरों वाली टीमों के लिए एक क्षमता रही है। अत्यधिक कुशल संसाधनों वाली टीमें अपनी आवश्यकताओं के अनुसार जटिल एमएल प्रक्रियाओं को लागू करने में सक्षम थीं, लेकिन जल्दी ही बहुत खामोश हो गईं। मौन दृष्टिकोणों ने अत्यंत महत्वपूर्ण निर्णय लेने की भविष्यवाणियों में शासन प्रदान करने के लिए कोई दृश्यता प्रदान नहीं की।
टीआर बिजनेस टीमों के पास विशाल डोमेन ज्ञान है; हालाँकि, एमएल में आवश्यक तकनीकी कौशल और भारी इंजीनियरिंग प्रयासों से एमएल की शक्ति के साथ व्यावसायिक समस्याओं को हल करने के लिए अपनी गहरी विशेषज्ञता का उपयोग करना मुश्किल हो जाता है। टीआर कौशल का लोकतंत्रीकरण करना चाहता है, जिससे यह संगठन के भीतर अधिक लोगों के लिए सुलभ हो सके।
टीआर में अलग-अलग टीमें अपनी-अपनी प्रथाओं और कार्यप्रणालियों का पालन करती हैं। टीआर उन क्षमताओं का निर्माण करना चाहता है जो एमएल जीवनचक्र में अपने उपयोगकर्ताओं के लिए एमएल परियोजनाओं के वितरण में तेजी लाने के लिए टीमों को व्यावसायिक लक्ष्यों पर ध्यान केंद्रित करने में सक्षम बनाती हैं, न कि दोहराव वाले अविभाजित इंजीनियरिंग प्रयासों पर।
इसके अतिरिक्त, टीआर के एआई समाधानों में सामान्य शासन मानकों के लिए अनिवार्य करते हुए, डेटा और नैतिक एआई के आसपास के नियमों का विकास जारी है।
समाधान अवलोकन
TR के एंटरप्राइज़ AI प्लेटफ़ॉर्म की कल्पना अलग-अलग व्यक्तियों को सरल और मानकीकृत सेवाएं प्रदान करने के लिए की गई थी, जो ML जीवनचक्र के प्रत्येक चरण के लिए क्षमताओं की पेशकश करते थे। टीआर ने पांच प्रमुख श्रेणियों की पहचान की है जो टीआर की सभी आवश्यकताओं को संशोधित करती हैं:
- डेटा सेवा - उद्यम डेटा संपत्तियों तक आसान और सुरक्षित पहुंच को सक्षम करने के लिए
- प्रयोग कार्यक्षेत्र - एमएल मॉडल को प्रयोग करने और प्रशिक्षित करने की क्षमता प्रदान करना
- केंद्रीय मॉडल रजिस्ट्री - विभिन्न व्यावसायिक इकाइयों में निर्मित मॉडलों के लिए एक उद्यम सूची
- मॉडल परिनियोजन सेवा - टीआर के उद्यम सीआई/सीडी प्रथाओं का पालन करते हुए विभिन्न निष्कर्ष परिनियोजन विकल्प प्रदान करना
- मॉडल निगरानी सेवाएं - डेटा और मॉडल पूर्वाग्रह और बहाव की निगरानी करने की क्षमता प्रदान करना
जैसा कि निम्नलिखित आरेख में दिखाया गया है, ये माइक्रोसर्विसेज कुछ प्रमुख सिद्धांतों को ध्यान में रखकर बनाए गए हैं:
- उपयोगकर्ताओं से अविभाजित इंजीनियरिंग प्रयास को हटा दें
- एक बटन के क्लिक पर आवश्यक क्षमताएं प्रदान करें
- TR के उद्यम मानकों के अनुसार सभी क्षमताओं को सुरक्षित और नियंत्रित करें
- एमएल गतिविधियों के लिए कांच का एक फलक लाओ
टीआर के एआई प्लेटफॉर्म माइक्रोसर्विसेज के साथ बनाया गया है अमेज़न SageMaker मुख्य इंजन के रूप में, वर्कफ़्लोज़ के लिए AWS सर्वर रहित घटक, और CI/CD अभ्यासों के लिए AWS DevOps सेवाएँ। सेजमेकर स्टूडियो प्रयोग और प्रशिक्षण के लिए उपयोग किया जाता है, और SageMaker मॉडल रजिस्ट्री का उपयोग मॉडल पंजीकृत करने के लिए किया जाता है। केंद्रीय मॉडल रजिस्ट्री में SageMaker मॉडल रजिस्ट्री और a दोनों शामिल हैं अमेज़ॅन डायनेमोडीबी तालिका. सेजमेकर होस्टिंग सेवाएं मॉडल तैनात करने के लिए उपयोग किया जाता है, जबकि SageMaker मॉडल मॉनिटर और SageMaker स्पष्ट करें बहाव, पूर्वाग्रह, कस्टम मीट्रिक कैलकुलेटर और व्याख्यात्मकता के लिए मॉडल की निगरानी के लिए उपयोग किया जाता है।
निम्नलिखित खंड इन सेवाओं का विस्तार से वर्णन करते हैं।
डेटा सेवा
एक पारंपरिक एमएल परियोजना जीवनचक्र डेटा खोजने के साथ शुरू होता है। सामान्य तौर पर, डेटा वैज्ञानिक अपना 60% या उससे अधिक समय सही डेटा खोजने में लगाते हैं जब उन्हें इसकी आवश्यकता होती है। हर संगठन की तरह, TR के पास कई डेटा स्टोर हैं जो विभिन्न डेटा डोमेन के लिए सत्य के एकल बिंदु के रूप में काम करते हैं। TR ने दो प्रमुख एंटरप्राइज़ डेटा स्टोर की पहचान की जो उनके अधिकांश ML उपयोग मामलों के लिए डेटा प्रदान करते हैं: एक ऑब्जेक्ट स्टोर और एक रिलेशनल डेटा स्टोर। TR ने एक AI प्लेटफ़ॉर्म डेटा सेवा का निर्माण किया, जो उपयोगकर्ताओं के प्रयोग कार्यक्षेत्रों से दोनों डेटा स्टोर तक पहुँच प्रदान करती है और उपयोगकर्ताओं को स्वयं डेटा प्राप्त करने के लिए जटिल प्रक्रियाओं को नेविगेट करने के बोझ को हटाती है। टीआर का एआई प्लेटफॉर्म डेटा और मॉडल गवर्नेंस टीम द्वारा परिभाषित सभी अनुपालनों और सर्वोत्तम प्रथाओं का पालन करता है। इसमें एक अनिवार्य डेटा प्रभाव आकलन शामिल है जो एमएल चिकित्सकों को डेटा के नैतिक और उचित उपयोग को समझने और उसका पालन करने में मदद करता है, औपचारिक अनुमोदन प्रक्रियाओं के साथ डेटा तक उचित पहुंच सुनिश्चित करने के लिए। टीआर और उद्योग द्वारा निर्धारित सर्वोत्तम प्रथाओं के अनुसार इस सेवा के साथ-साथ सभी प्लेटफ़ॉर्म सेवाओं का मूल सुरक्षा और अनुपालन है।
अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) ऑब्जेक्ट स्टोरेज सामग्री डेटा झील के रूप में कार्य करता है। टीआर ने आवश्यक प्राधिकरण और ऑडिटेबिलिटी को बनाए रखते हुए सामग्री डेटा झील से उपयोगकर्ताओं के प्रयोग कार्यक्षेत्रों तक डेटा को सुरक्षित रूप से एक्सेस करने के लिए प्रक्रियाओं का निर्माण किया। स्नोफ्लेक का उपयोग एंटरप्राइज़ रिलेशनल प्राइमरी डेटा स्टोर के रूप में किया जाता है। उपयोगकर्ता के अनुरोध पर और डेटा स्वामी से अनुमोदन के आधार पर, AI प्लेटफ़ॉर्म डेटा सेवा उपयोगकर्ता को उनके प्रयोग कार्यक्षेत्र में आसानी से उपलब्ध डेटा का एक स्नैपशॉट प्रदान करती है।
विभिन्न स्रोतों से डेटा तक पहुँचना एक तकनीकी समस्या है जिसे आसानी से हल किया जा सकता है। लेकिन टीआर ने जिस जटिलता को हल किया है, वह अनुमोदन वर्कफ़्लो का निर्माण करना है जो डेटा स्वामी की पहचान को स्वचालित करता है, एक एक्सेस अनुरोध भेजता है, यह सुनिश्चित करता है कि डेटा स्वामी को सूचित किया जाए कि उनके पास एक लंबित एक्सेस अनुरोध है, और अनुमोदन स्थिति के आधार पर डेटा प्रदान करने के लिए कार्रवाई करें अनुरोधकर्ता। इस प्रक्रिया के दौरान सभी घटनाओं को लेखापरीक्षा और अनुपालन के लिए ट्रैक और लॉग किया जाता है।
जैसा कि निम्नलिखित आरेख में दिखाया गया है, TR उपयोग करता है AWS स्टेप फ़ंक्शंस कार्यप्रवाह व्यवस्थित करने के लिए और AWS लाम्बा कार्यक्षमता चलाने के लिए। अमेज़ॅन एपीआई गेटवे उनके वेब पोर्टल से उपयोग किए जाने वाले API समापन बिंदु के साथ कार्यक्षमता को उजागर करने के लिए उपयोग किया जाता है।
मॉडल प्रयोग और विकास
एमएल जीवनचक्र के मानकीकरण के लिए एक आवश्यक क्षमता एक ऐसा वातावरण है जो डेटा वैज्ञानिकों को विभिन्न एमएल फ्रेमवर्क और डेटा आकारों के साथ प्रयोग करने की अनुमति देता है। क्लाउड में इस तरह के एक सुरक्षित, आज्ञाकारी वातावरण को मिनटों में सक्षम करने से डेटा वैज्ञानिकों को क्लाउड इंफ्रास्ट्रक्चर, नेटवर्किंग आवश्यकताओं और सुरक्षा मानकों के उपायों को संभालने के बोझ से राहत मिलती है, बजाय डेटा साइंस समस्या पर ध्यान केंद्रित करने के।
TR एक प्रयोग कार्यक्षेत्र बनाता है जो सेवाओं तक पहुँच प्रदान करता है जैसे एडब्ल्यूएस गोंद, अमेज़ॅन ईएमआर, और SageMaker Studio डेटा प्रोसेसिंग और ML क्षमताओं को एंटरप्राइज़ क्लाउड सुरक्षा मानकों का पालन करने और प्रत्येक व्यावसायिक इकाई के लिए आवश्यक खाता अलगाव को सक्षम करने के लिए। समाधान को लागू करते समय टीआर को निम्नलिखित चुनौतियों का सामना करना पड़ा:
- शुरुआत में ऑर्केस्ट्रेशन पूरी तरह से स्वचालित नहीं था और इसमें कई मैनुअल चरण शामिल थे। जहां समस्याएं हो रही थीं, वहां ट्रैक करना आसान नहीं था। टीआर ने स्टेप फंक्शंस का उपयोग करके वर्कफ्लो को ऑर्केस्ट्रेट करके इस त्रुटि पर काबू पाया। स्टेप फंक्शंस के उपयोग से, जटिल वर्कफ्लो का निर्माण, स्टेट्स को मैनेज करना और एरर हैंडलिंग बहुत आसान हो गया है।
- उचित AWS पहचान और अभिगम प्रबंधन (IAM) प्रयोग कार्यक्षेत्र के लिए भूमिका परिभाषा को परिभाषित करना कठिन था। टीआर के आंतरिक सुरक्षा मानकों और कम से कम विशेषाधिकार मॉडल का अनुपालन करने के लिए, मूल रूप से कार्यक्षेत्र की भूमिका को इनलाइन नीतियों के साथ परिभाषित किया गया था। नतीजतन, इनलाइन नीति समय के साथ बढ़ती गई और IAM भूमिका के लिए अनुमत नीति आकार सीमा से अधिक हो गई। इसे कम करने के लिए, TR ने अधिक ग्राहक-प्रबंधित नीतियों का उपयोग करने और उन्हें कार्यक्षेत्र भूमिका परिभाषा में संदर्भित करने के लिए स्विच किया।
- TR कभी-कभी AWS खाता स्तर पर लागू डिफ़ॉल्ट संसाधन सीमा तक पहुँच जाता है। यह वांछित संसाधन प्रकार की सीमा तक पहुँचने के कारण SageMaker नौकरियों (उदाहरण के लिए, प्रशिक्षण कार्य) को लॉन्च करने में कभी-कभी विफल हो जाता है। टीआर ने इस मुद्दे पर सैजमेकर सर्विस टीम के साथ मिलकर काम किया। में AWS टीम द्वारा समर्थित सेवा के रूप में SageMaker को लॉन्च करने के बाद यह समस्या हल हो गई थी सेवा कोटा जून 2022 में।
आज, टीआर में डेटा वैज्ञानिक एक स्वतंत्र कार्यक्षेत्र बनाकर और सहयोग करने के लिए आवश्यक टीम के सदस्यों को जोड़कर एक एमएल परियोजना शुरू कर सकते हैं। SageMaker द्वारा पेश किया गया असीमित पैमाना उन्हें विभिन्न आकारों के साथ कस्टम कर्नेल इमेज प्रदान करके उनकी उंगलियों पर है। SageMaker Studio जल्द ही TR के AI प्लेटफ़ॉर्म में एक महत्वपूर्ण घटक बन गया और उसने उपयोगकर्ता के व्यवहार को प्रतिबंधित डेस्कटॉप अनुप्रयोगों के उपयोग से स्केलेबल और अल्पकालिक उद्देश्य-निर्मित इंजनों में बदल दिया। निम्नलिखित आरेख इस वास्तुकला को दिखाता है।
केंद्रीय मॉडल रजिस्ट्री
मॉडल रजिस्ट्री टीआर के सभी मशीन लर्निंग मॉडल के लिए एक केंद्रीय भंडार प्रदान करती है, व्यावसायिक कार्यों में मानकीकृत तरीके से जोखिम और स्वास्थ्य प्रबंधन को सक्षम करती है, और संभावित मॉडल के पुन: उपयोग को सुव्यवस्थित करती है। इसलिए, सेवा को निम्नलिखित करने की आवश्यकता है:
- SageMaker के भीतर या बाहर विकसित किए गए नए और पुराने मॉडल दोनों को पंजीकृत करने की क्षमता प्रदान करें
- मॉडल के जीवनचक्र को देखने और सामूहिक रूप से प्रबंधित करने के लिए डेटा वैज्ञानिकों, डेवलपर्स और हितधारकों को सक्षम करने के लिए शासन वर्कफ़्लो को लागू करें
- मेटाडेटा और हेल्थ मेट्रिक्स के साथ-साथ TR के सभी मॉडलों का एक केंद्रीकृत दृश्य बनाकर पारदर्शिता और सहयोग बढ़ाएँ
TR ने केवल SageMaker मॉडल रजिस्ट्री के साथ डिज़ाइन की शुरुआत की, लेकिन TR की प्रमुख आवश्यकताओं में से एक SageMaker के बाहर बनाए गए मॉडल को पंजीकृत करने की क्षमता प्रदान करना है। टीआर ने अलग-अलग रिलेशनल डेटाबेस का मूल्यांकन किया लेकिन डायनेमोडीबी को चुनना समाप्त कर दिया क्योंकि विरासत स्रोतों से आने वाले मॉडल के मेटाडेटा स्कीमा बहुत अलग होंगे। टीआर भी उपयोगकर्ताओं पर कोई अतिरिक्त काम नहीं थोपना चाहता था, इसलिए उन्होंने एआई प्लेटफॉर्म वर्कस्पेस सेजमेकर रजिस्ट्रियों के बीच केंद्रीय सेजमेकर रजिस्ट्री का उपयोग करके एक सहज स्वचालित सिंक्रनाइज़ेशन लागू किया। अमेज़न EventBridge नियम और आवश्यक IAM भूमिकाएँ। टीआर ने डायनेमोडीबी के साथ केंद्रीय रजिस्ट्री को बढ़ाया ताकि उपयोगकर्ताओं के डेस्कटॉप पर बनाए गए लीगेसी मॉडल को पंजीकृत करने की क्षमताओं का विस्तार किया जा सके।
TR का AI प्लेटफ़ॉर्म सेंट्रल मॉडल रजिस्ट्री AI प्लेटफ़ॉर्म पोर्टल में एकीकृत है और मॉडल खोजने, मॉडल मेटाडेटा अपडेट करने और मॉडल बेसलाइन मेट्रिक्स और आवधिक कस्टम मॉनिटरिंग मेट्रिक्स को समझने के लिए एक विज़ुअल इंटरफ़ेस प्रदान करता है। निम्नलिखित आरेख इस वास्तुकला को दिखाता है।
मॉडल की तैनाती
टीआर ने परिनियोजन को स्वचालित करने के लिए दो प्रमुख पैटर्न की पहचान की:
- सैजमेकर बैच के माध्यम से सैजमेकर का उपयोग करके विकसित किए गए मॉडल पसंदीदा शेड्यूल पर अनुमान प्राप्त करने के लिए नौकरियों को बदलते हैं
- SageMaker के बाहर विकसित किए गए मॉडल ओपन-सोर्स लाइब्रेरी का उपयोग करके स्थानीय डेस्कटॉप पर, कस्टम अनुमान कोड चलाने के लिए SageMaker प्रसंस्करण नौकरियों का उपयोग करके अपने स्वयं के कंटेनर दृष्टिकोण के माध्यम से, उन मॉडलों को कोड को फिर से सक्रिय किए बिना माइग्रेट करने के एक कुशल तरीके के रूप में
एआई प्लेटफॉर्म परिनियोजन सेवा के साथ, टीआर उपयोगकर्ता (डेटा वैज्ञानिक और एमएल इंजीनियर) कैटलॉग से एक मॉडल की पहचान कर सकते हैं और यूआई-संचालित वर्कफ़्लो के माध्यम से आवश्यक पैरामीटर प्रदान करके अपने चुने हुए एडब्ल्यूएस खाते में एक इंट्रेंस जॉब तैनात कर सकते हैं।
TR ने AWS DevOps सेवाओं का उपयोग करके इस परिनियोजन को स्वचालित किया AWS कोडपिपलीन और एडब्ल्यूएस कोडबिल्ड. TR, SageMaker इंट्रेंस जॉब बनाने के लिए डेटा पढ़ने और प्रीप्रोसेसिंग के वर्कफ़्लो को ऑर्केस्ट्रेट करने के लिए स्टेप फ़ंक्शंस का उपयोग करता है। टीआर आवश्यक घटकों को कोड के उपयोग के रूप में तैनात करता है एडब्ल्यूएस CloudFormation टेम्पलेट्स। निम्नलिखित आरेख इस वास्तुकला को दिखाता है।
मॉडल की निगरानी
मॉडल की निगरानी करने में सक्षम हुए बिना एमएल जीवनचक्र पूरा नहीं होता है। टीआर की एंटरप्राइज़ गवर्नेंस टीम किसी भी नियामक चुनौतियों का समाधान करने के लिए समय के साथ अपने मॉडल के प्रदर्शन की निगरानी करने के लिए व्यावसायिक टीमों को अनिवार्य और प्रोत्साहित करती है। टीआर ने बहाव के लिए निगरानी मॉडल और डेटा के साथ शुरुआत की। टीआर डेटा बेसलाइन प्रदान करने के लिए सैजमेकर मॉडल मॉनिटर का उपयोग करता है और समय-समय पर यह मॉनिटर करता है कि टीआर के डेटा और अनुमान कैसे बह रहे हैं। SageMaker मॉडल मॉनिटरिंग मेट्रिक्स के साथ, TR ने अपने मॉडल के लिए विशिष्ट कस्टम मेट्रिक्स विकसित करके निगरानी क्षमता को बढ़ाया। इससे टीआर के डेटा वैज्ञानिकों को यह समझने में मदद मिलेगी कि उनके मॉडल को कब फिर से प्रशिक्षित करना है।
ड्रिफ्ट मॉनिटरिंग के साथ-साथ टीआर मॉडलों में पूर्वाग्रह को भी समझना चाहता है। SageMaker Clarify की आउट-ऑफ-द-बॉक्स क्षमताओं का उपयोग TR की पूर्वाग्रह सेवा बनाने के लिए किया जाता है। TR डेटा और मॉडल पूर्वाग्रह दोनों की निगरानी करता है और उन मेट्रिक्स को AI प्लेटफ़ॉर्म पोर्टल के माध्यम से अपने उपयोगकर्ताओं के लिए उपलब्ध कराता है।
सभी टीमों को इन एंटरप्राइज़ मानकों को अपनाने में मदद करने के लिए, TR ने इन सेवाओं को AI प्लेटफ़ॉर्म पोर्टल के माध्यम से स्वतंत्र और आसानी से उपलब्ध कराया है। टीआर की व्यावसायिक टीमें पोर्टल में जा सकती हैं और अपने दम पर एक मॉडल मॉनिटरिंग जॉब या बायस मॉनिटरिंग जॉब तैनात कर सकती हैं और उन्हें अपने पसंदीदा शेड्यूल पर चला सकती हैं। उन्हें कार्य की स्थिति और प्रत्येक रन के लिए मीट्रिक के बारे में सूचित किया जाता है.
TR ने CI / CD परिनियोजन, वर्कफ़्लो ऑर्केस्ट्रेशन, सर्वरलेस फ्रेमवर्क और API एंडपॉइंट्स के लिए AWS सेवाओं का उपयोग किया, जो कि स्वतंत्र रूप से ट्रिगर की जा सकने वाली माइक्रोसर्विसेज बनाने के लिए है, जैसा कि निम्नलिखित आर्किटेक्चर में दिखाया गया है।
परिणाम और भविष्य में सुधार
TR का AI प्लेटफ़ॉर्म सभी पाँच प्रमुख घटकों के साथ Q3 2022 में लाइव हो गया: एक डेटा सेवा, प्रयोग कार्यक्षेत्र, केंद्रीय मॉडल रजिस्ट्री, मॉडल परिनियोजन और मॉडल निगरानी। टीआर ने अपनी व्यावसायिक इकाइयों के लिए मंच पर चढ़ने के लिए आंतरिक प्रशिक्षण सत्र आयोजित किए और उन्हें स्व-निर्देशित प्रशिक्षण वीडियो की पेशकश की।
एआई प्लेटफॉर्म ने टीआर की टीमों को क्षमताएं प्रदान की हैं जो पहले कभी मौजूद नहीं थीं; इसने TR की एंटरप्राइज गवर्नेंस टीम के लिए अनुपालन मानकों को बढ़ाने और रजिस्ट्री को केंद्रीकृत करने के लिए संभावनाओं की एक विस्तृत श्रृंखला खोली है, TR के भीतर सभी ML मॉडल में ग्लास व्यू का एक ही फलक प्रदान करता है।
टीआर स्वीकार करता है कि प्रारंभिक रिलीज पर कोई उत्पाद सर्वोत्तम नहीं है। टीआर के सभी घटक परिपक्वता के विभिन्न स्तरों पर हैं, और टीआर की एंटरप्राइज एआई प्लेटफॉर्म टीम उत्पाद सुविधाओं में लगातार सुधार करने के लिए निरंतर वृद्धि के चरण में है। टीआर की वर्तमान उन्नति पाइपलाइन में रीयल-टाइम, एसिंक्रोनस और मल्टी-मॉडल एंडपॉइंट जैसे अतिरिक्त सैजमेकर अनुमान विकल्प शामिल हैं। टीआर मॉडल की व्याख्यात्मकता को अपनी मॉडल निगरानी सेवा में एक विशेषता के रूप में जोड़ने की भी योजना बना रहा है। टीआर ने अपनी आंतरिक व्याख्यात्मकता सेवा विकसित करने के लिए सेजमेकर स्पष्ट करने की व्याख्यात्मक क्षमताओं का उपयोग करने की योजना बनाई है।
निष्कर्ष
टीआर अब बड़ी मात्रा में डेटा को सुरक्षित रूप से संसाधित कर सकता है और उन्नत एडब्ल्यूएस क्षमताओं का उपयोग कर सकता है ताकि एमएल परियोजना को पहले के महीनों की तुलना में हफ्तों के अंतराल में उत्पादन से उत्पादन तक ले जाया जा सके। AWS सेवाओं की आउट-ऑफ-द-बॉक्स क्षमताओं के साथ, TR के भीतर की टीमें पहली बार एमएल मॉडल को पंजीकृत और मॉनिटर कर सकती हैं, जिससे उनके विकसित मॉडल शासन मानकों का अनुपालन हो सके। टीआर ने डेटा वैज्ञानिकों और उत्पाद टीमों को सबसे जटिल समस्याओं को हल करने के लिए उनकी रचनात्मकता को प्रभावी ढंग से उजागर करने का अधिकार दिया।
AWS पर TR के एंटरप्राइज़ AI प्लेटफ़ॉर्म के बारे में अधिक जानने के लिए, देखें एडब्ल्यूएस पुन: आविष्कार 2022 सत्र. यदि आप यह जानना चाहते हैं कि TR का उपयोग करके मशीन लर्निंग के उपयोग को कैसे त्वरित किया गया AWS डेटा लैब कार्यक्रम, देखें मामले का अध्ययन.
लेखक के बारे में
रामदेव वुडाली एक डेटा आर्किटेक्ट है, जो डेटा वैज्ञानिकों और शोधकर्ताओं को डेटा विज्ञान पर ध्यान केंद्रित करके और बुनियादी ढांचे की जरूरतों पर ध्यान केंद्रित करके मशीन लर्निंग समाधान विकसित करने में सक्षम बनाने के लिए आर्किटेक्ट की मदद करता है और एआई / एमएल प्लेटफॉर्म का निर्माण करता है। अपने खाली समय में, वह ओरिगेमी टेसलेशन बनाने के लिए कागज को मोड़ना और बेमतलब की टी-शर्ट पहनना पसंद करते हैं।
किरण मंत्रीप्रगदा थॉमसन रॉयटर्स में एआई प्लेटफॉर्म के वरिष्ठ निदेशक हैं। AI प्लेटफ़ॉर्म टीम प्रोडक्शन-ग्रेड AI सॉफ़्टवेयर एप्लिकेशन को सक्षम करने और डेटा वैज्ञानिकों और मशीन लर्निंग शोधकर्ताओं के काम को सक्षम करने के लिए ज़िम्मेदार है। विज्ञान, एआई और इंजीनियरिंग के लिए एक जुनून के साथ, किरण एआई के वास्तविक नवाचार को अंतिम उपभोक्ताओं तक पहुंचाने के लिए अनुसंधान और उत्पादीकरण के बीच की खाई को पाटना पसंद करती हैं।
भावना चिरुमामिला AWS में सीनियर रेजिडेंट आर्किटेक्ट हैं। वह डेटा और एमएल संचालन के बारे में भावुक है, और उद्यमों को डेटा और एमएल रणनीति बनाने में मदद करने के लिए बहुत उत्साह लाती है। अपने खाली समय में, वह अपने परिवार के साथ यात्रा, लंबी पैदल यात्रा, बागवानी और वृत्तचित्र देखने में समय का आनंद लेती हैं।
श्रीनिवास शेख बोस्टन स्थित AWS में एक समाधान वास्तुकार है। वह उद्यम ग्राहकों को क्लाउड तक अपनी यात्रा को गति देने में मदद करता है। उन्हें कंटेनर और मशीन लर्निंग तकनीकों का शौक है। अपने खाली समय में, वह अपने परिवार के साथ समय बिताना, खाना बनाना और यात्रा करना पसंद करते हैं।
किंगवेई ली अमेज़न वेब सर्विसेज में मशीन लर्निंग स्पेशलिस्ट है। उन्होंने अपने सलाहकार के अनुसंधान अनुदान खाते को तोड़ने के बाद ऑपरेशन रिसर्च में पीएचडी प्राप्त की और उन्होंने नोबेल पुरस्कार देने का वादा किया। वर्तमान में, वह AWS पर वित्तीय सेवा और बीमा उद्योग के निर्माण मशीन लर्निंग समाधान में ग्राहकों की मदद करता है। अपने खाली समय में, वह पढ़ना और पढ़ाना पसंद करते हैं।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/how-thomson-reuters-built-an-ai-platform-using-amazon-sagemaker-to-accelerate-delivery-of-ml-projects/
- 100
- 2022
- 7
- a
- योग्य
- About
- में तेजी लाने के
- त्वरित
- पहुँच
- सुलभ
- अनुसार
- लेखा
- लेखांकन
- हासिल
- प्राप्त करने
- अधिग्रहण
- के पार
- कार्य
- कार्य करता है
- अतिरिक्त
- पता
- अपनाना
- उन्नत
- बाद
- AI
- ऐ मंच
- ऐ सेवा
- ऐ / एमएल
- सब
- की अनुमति देता है
- साथ - साथ
- वीरांगना
- अमेज़न SageMaker
- अमेज़ॅन वेब सेवा
- राशियाँ
- और
- एपीआई
- अनुप्रयोगों
- लागू
- दृष्टिकोण
- दृष्टिकोण
- अनुमोदन
- स्थापत्य
- चारों ओर
- प्राधिकरण
- को स्वचालित रूप से
- स्वचालित
- स्वचालित
- उपलब्ध
- एडब्ल्यूएस
- आधारित
- आधारभूत
- क्योंकि
- से पहले
- जा रहा है
- BEST
- सर्वोत्तम प्रथाओं
- के बीच
- पूर्वाग्रह
- अरबों
- बोस्टन
- पुल
- लाना
- लाता है
- तोड़ दिया
- निर्माण
- इमारत
- बनाता है
- बनाया गया
- बोझ
- व्यापार
- व्यावसायिक कार्य
- क्षमताओं
- मामलों
- सूची
- श्रेणियाँ
- के कारण होता
- केंद्रीय
- केंद्रीकृत
- चुनौतियों
- चेक
- चुनने
- करने के लिए चुना
- निकट से
- बादल
- क्लाउड इन्फ्रास्ट्रक्चर
- क्लाउड सुरक्षा
- कोड
- सहयोग
- सहयोग किया
- सहयोग
- सामूहिक रूप से
- अ रहे है
- सामान्य
- तुलना
- पूरा
- जटिल
- जटिलता
- अनुपालन
- आज्ञाकारी
- अंग
- घटकों
- शामिल
- कंप्यूटिंग
- प्रयुक्त
- उपभोक्ताओं
- कंटेनर
- कंटेनरों
- सामग्री
- जारी रखने के
- निरंतर
- नियंत्रण
- मूल
- बनाना
- बनाया
- बनाना
- रचनात्मकता
- महत्वपूर्ण
- महत्वपूर्ण
- वर्तमान
- वर्तमान में
- रिवाज
- ग्राहक
- तिथि
- डेटा लेक
- डेटा संसाधन
- डेटा विज्ञान
- डेटाबेस
- निर्णय
- गहरा
- गहरी विशेषज्ञता
- चूक
- उद्धार
- प्रसव
- प्रजातंत्रीय बनाना
- तैनात
- तैनाती
- तैनात
- वर्णन
- डिज़ाइन
- डेस्कटॉप
- विस्तार
- निर्धारित
- विकसित करना
- विकसित
- डेवलपर्स
- विकासशील
- विकास
- विभिन्न
- मुश्किल
- निदेशक
- चर्चा करना
- वृत्तचित्र
- डोमेन
- डोमेन
- नीचे
- शीघ्र
- आसान
- आसानी
- प्रभावी रूप से
- कुशल
- प्रयास
- सशक्त
- सक्षम
- सक्षम
- सक्षम बनाता है
- समर्थकारी
- को प्रोत्साहित करती है
- endpoint
- इंजन
- अभियांत्रिकी
- इंजीनियर्स
- इंजन
- वर्धित
- सुनिश्चित
- सुनिश्चित
- उद्यम
- उद्यम
- उत्साह
- वातावरण
- त्रुटि
- आवश्यक
- नैतिक
- मूल्यांकित
- घटनाओं
- कभी
- विकसित करना
- उद्विकासी
- उदाहरण
- प्रयोग
- विशेषज्ञता
- विस्तार
- अत्यंत
- की सुविधा
- विफल रहे
- परिवार
- Feature
- विशेषताएं
- कुछ
- अंतिम
- वित्तीय
- वित्तीय सेवा
- खोज
- खोज
- प्रथम
- पहली बार
- फोकस
- ध्यान केंद्रित
- का पालन करें
- निम्नलिखित
- इस प्रकार है
- औपचारिक
- चौखटे
- से
- पूरा
- पूरी तरह से
- कार्यक्षमता
- कार्यों
- भविष्य
- अन्तर
- सामान्य जानकारी
- उत्पन्न
- मिल
- कांच
- Go
- लक्ष्यों
- शासन
- अनुदान
- जमीन
- बढ़ रहा है
- हैंडलिंग
- कठिन
- स्वास्थ्य
- मदद
- मदद
- मदद करता है
- अत्यधिक
- होस्टिंग
- कैसे
- तथापि
- एचटीएमएल
- HTTPS
- पहचान
- पहचान करना
- पहचान
- पहचान
- छवियों
- प्रभाव
- लागू करने के
- कार्यान्वित
- कार्यान्वयन
- लगाया
- में सुधार
- in
- शामिल
- बढ़ना
- स्वतंत्र
- स्वतंत्र रूप से
- उद्योग
- इंफ्रास्ट्रक्चर
- प्रारंभिक
- नवोन्मेष
- अंतर्दृष्टि
- बजाय
- बीमा
- एकीकृत
- इंटरफेस
- आंतरिक
- शामिल
- अलगाव
- मुद्दा
- IT
- काम
- नौकरियां
- यात्रा
- कुंजी
- जानना
- ज्ञान
- झील
- लांच
- शुभारंभ
- शुरू करने
- जानें
- सीख रहा हूँ
- विरासत
- कानूनी
- स्तर
- स्तर
- पुस्तकालयों
- सीमा
- सीमाएं
- जीना
- स्थानीय
- मशीन
- यंत्र अधिगम
- बनाया गया
- प्रमुख
- बनाता है
- निर्माण
- प्रबंधन
- प्रबंध
- प्रबंध
- जनादेश
- ढंग
- गाइड
- बहुत
- परिपक्वता
- उपायों
- सदस्य
- मेटाडाटा
- के तरीके
- मीट्रिक
- मेट्रिक्स
- microservices
- विस्थापित
- मील का पत्थर
- उपलब्धियां
- मन
- मिनटों
- कम करना
- ML
- आदर्श
- मॉडल
- मॉनिटर
- निगरानी
- पर नज़र रखता है
- महीने
- अधिक
- अधिकांश
- विभिन्न
- प्राकृतिक
- नेविगेट करें
- आवश्यकता
- की जरूरत है
- शुद्ध कार्यशील
- नया
- समाचार
- अगला
- नोबेल पुरुस्कार
- संख्या
- वस्तु
- प्रासंगिक
- प्रस्तुत
- की पेशकश
- ऑफर
- जहाज
- ONE
- खुला स्रोत
- खोला
- संचालन
- ऑप्शंस
- आर्केस्ट्रा
- संगठन
- मौलिक रूप से
- बाहर
- अपना
- मालिक
- फलक
- काग़ज़
- पैरामीटर
- जुनून
- आवेशपूर्ण
- पैटर्न उपयोग करें
- स्टाफ़
- प्रदर्शन
- समय-समय
- चरण
- पाइपलाइन
- की योजना बना
- योजनाओं
- मंच
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- बिन्दु
- नीतियाँ
- नीति
- द्वार
- संभावनाओं
- पद
- संभावित
- बिजली
- प्रथाओं
- भविष्यवाणियों
- वरीय
- प्राथमिक
- सिद्धांतों
- पुरस्कार
- मुसीबत
- समस्याओं
- प्रक्रिया
- प्रक्रियाओं
- प्रसंस्करण
- एस्ट्रो मॉल
- उत्पादन
- उत्पाद
- पेशेवरों
- कार्यक्रम
- परियोजना
- परियोजनाओं
- वादा किया
- प्रदान करना
- बशर्ते
- प्रदान करता है
- प्रदान कर
- Q3
- q3 2022
- जल्दी से
- रेंज
- लेकर
- RE
- पहुँचे
- पढ़ना
- वास्तविक
- वास्तविक समय
- प्राप्त
- रजिस्टर
- रजिस्ट्री
- नियम
- नियामक
- और
- रिहा
- हटाना
- कोष
- का अनुरोध
- अपेक्षित
- आवश्यकताएँ
- अनुसंधान
- शोधकर्ताओं
- संसाधन
- उपयुक्त संसाधन चुनें
- जिम्मेदार
- रायटर
- जोखिम
- भूमिका
- भूमिकाओं
- नियम
- रन
- sagemaker
- सेजमेकर अनुमान
- स्केलेबल
- स्केल
- अनुसूची
- विज्ञान
- वैज्ञानिकों
- निर्बाध
- मूल
- Search
- खोज इंजन
- वर्गों
- सुरक्षित
- सिक्योर्ड
- सुरक्षित रूप से
- सुरक्षा
- भेजना
- वरिष्ठ
- संवेदनशील
- सेवा
- serverless
- सेवा
- सेवाएँ
- सत्र
- कई
- Share
- दिखाया
- सरल
- के बाद से
- एक
- आकार
- आकार
- कुशल
- कौशल
- आशुचित्र
- So
- सॉफ्टवेयर
- समाधान
- समाधान ढूंढे
- हल
- सूत्रों का कहना है
- विशेषज्ञ
- विशिष्ट
- बिताना
- खर्च
- ट्रेनिंग
- हितधारकों
- मानकीकरण
- मानकों
- शुरू
- शुरू होता है
- राज्य
- स्थिति
- कदम
- कदम
- भंडारण
- की दुकान
- भंडार
- रणनीतियों
- सुवीही
- स्टूडियो
- ऐसा
- समर्थित
- सहायक
- बंद कर
- तुल्यकालन
- तालिका
- लेना
- कर
- शिक्षण
- टीम
- टीमों
- तकनीकी
- तकनीकी कौशल
- टेक्नोलॉजीज
- टेम्पलेट्स
- शर्तों
- RSI
- लेकिन हाल ही
- इसलिये
- थॉमसन रायटर
- यहाँ
- भर
- पहर
- सेवा मेरे
- साधन
- ट्रैकिंग
- परंपरागत
- रेलगाड़ी
- प्रशिक्षण
- बदालना
- ट्रांसपेरेंसी
- यात्रा का
- भयानक
- शुरू हो रहा
- समझना
- इकाई
- इकाइयों
- खोल देना
- असीमित
- अपडेट
- उपयोग
- उपयोगकर्ता
- उपयोगकर्ताओं
- विविधता
- विभिन्न
- व्यापक
- के माध्यम से
- वीडियो
- देखें
- दृश्यता
- देख
- वेब
- वेब सेवाओं
- वेब आधारित
- सप्ताह
- या
- जब
- चौड़ा
- विस्तृत श्रृंखला
- मर्जी
- जीतना
- अंदर
- बिना
- काम
- काम किया
- workflows
- दुनिया भर
- होगा
- वर्ष
- आपका
- जेफिरनेट