कैसे सीसीसी इंटेलिजेंट सॉल्यूशंस ने अमेज़ॅन सैजमेकर का उपयोग करके जटिल एआई मॉडल की मेजबानी के लिए एक कस्टम दृष्टिकोण बनाया

यह पोस्ट सीसीसी इंटेलिजेंट सॉल्यूशंस के क्रिस्टोफर डियाज़, सैम किनार्ड, जैमे हिडाल्गो और डैनियल सुआरेज़ द्वारा सह-लिखित है।

इस पोस्ट में, हम चर्चा करते हैं कि कैसे सीसीसी इंटेलिजेंट सॉल्यूशंस (सीसीसी) संयुक्त अमेज़न SageMaker जटिल कृत्रिम बुद्धिमत्ता (एआई) मॉडल के प्रकारों को होस्ट करने में सक्षम एक कस्टम समाधान बनाने के लिए अन्य एडब्ल्यूएस सेवाओं के साथ। सीसीसी मल्टी-ट्रिलियन-डॉलर की संपत्ति और दुर्घटना बीमा अर्थव्यवस्था के लिए बीमाकर्ताओं, मरम्मतकर्ताओं, वाहन निर्माताओं, पार्ट आपूर्तिकर्ताओं, ऋणदाताओं और अन्य के संचालन को सशक्त बनाने वाला एक अग्रणी सॉफ्टवेयर-ए-सर्विस (सास) मंच है। सीसीसी क्लाउड तकनीक मिशन-महत्वपूर्ण वर्कफ़्लो, वाणिज्य और ग्राहक अनुभवों को डिजिटल बनाने वाले 30,000 से अधिक व्यवसायों को जोड़ती है। एआई, इंटरनेट ऑफ थिंग्स (आईओटी), ग्राहक अनुभव और नेटवर्क और वर्कफ़्लो प्रबंधन में एक विश्वसनीय नेता, सीसीसी ऐसे नवाचार प्रदान करता है जो लोगों के जीवन को तब आगे बढ़ाता है जब यह सबसे अधिक मायने रखता है।

चुनौती

सीसीसी सालाना 1 ट्रिलियन डॉलर से अधिक दावों के लेनदेन की प्रक्रिया करता है। जैसे-जैसे कंपनी अपने मौजूदा और नए उत्पाद कैटलॉग में एआई को एकीकृत करने के लिए विकसित हो रही है, जटिल व्यावसायिक आवश्यकताओं को हल करने के लिए मल्टी-मोडल मशीन लर्निंग (एमएल) मॉडलों को प्रशिक्षित करने और तैनात करने के लिए परिष्कृत दृष्टिकोण की आवश्यकता होती है। ये मॉडलों का एक वर्ग है जो मालिकाना एल्गोरिदम और विषय वस्तु डोमेन विशेषज्ञता को समाहित करता है जिसे सीसीसी ने वर्षों से विकसित किया है। ये मॉडल एकल पूर्वानुमान परिणाम बनाने के लिए सूक्ष्म डेटा और ग्राहक नियमों की नई परतों को ग्रहण करने में सक्षम होने चाहिए। इस ब्लॉग पोस्ट में, हम सीखेंगे कि कैसे CCC ने कई मल्टी-मोडल मॉडलों को एक समूह अनुमान पाइपलाइन में तैनात या होस्ट करने के लिए Amazon SageMaker होस्टिंग और अन्य AWS सेवाओं का लाभ उठाया।

जैसा कि निम्नलिखित चित्र में दिखाया गया है, एक पहनावा दो या दो से अधिक मॉडलों का एक संग्रह है जो एक एकल भविष्यवाणी उत्पन्न करने के लिए रैखिक या गैर-रेखीय फैशन में चलने के लिए व्यवस्थित होते हैं। जब रैखिक रूप से व्यवस्थित किया जाता है, तो किसी समूह के अलग-अलग मॉडलों को सीधे भविष्यवाणियों के लिए लागू किया जा सकता है और बाद में एकीकरण के लिए समेकित किया जा सकता है। कभी-कभी, संयोजन मॉडल को क्रमिक अनुमान पाइपलाइन के रूप में भी लागू किया जा सकता है।

हमारे उपयोग के मामले में, एन्सेम्बल पाइपलाइन पूरी तरह से अरेखीय है, जैसा कि निम्नलिखित चित्र में दर्शाया गया है। नॉनलाइनियर एसेम्बल पाइपलाइनें सैद्धांतिक रूप से सीधे एसाइक्लिक ग्राफ़ (डीएजी) हैं। हमारे उपयोग के मामले में, इस डीएजी पाइपलाइन में दोनों स्वतंत्र मॉडल थे जो समानांतर में चलते हैं (सेवा बी, सी) और अन्य मॉडल जो पिछले चरणों (सेवा डी) से भविष्यवाणियों का उपयोग करते हैं।

सीसीसी में अनुसंधान-संचालित संस्कृति से निकलने वाली एक प्रथा प्रौद्योगिकियों की निरंतर समीक्षा है जिसका लाभ ग्राहकों के लिए अधिक मूल्य लाने के लिए किया जा सकता है। जैसे ही सीसीसी को इस समग्र चुनौती का सामना करना पड़ा, नेतृत्व ने एडब्ल्यूएस की पेशकशों का पूरी तरह से आकलन करने के लिए एक प्रूफ-ऑफ-कॉन्सेप्ट (पीओसी) पहल शुरू की, विशेष रूप से, यह पता लगाने के लिए कि क्या अमेज़ॅन सेजमेकर और अन्य एडब्ल्यूएस उपकरण जटिल, गैर-रेखीय में व्यक्तिगत एआई मॉडल की मेजबानी का प्रबंधन कर सकते हैं। पहनावा।

कलाकारों की टुकड़ी ने समझाया: इस संदर्भ में, एक समूह 2 या अधिक एआई मॉडल का एक समूह है जो 1 समग्र भविष्यवाणी तैयार करने के लिए मिलकर काम करता है।

अनुसंधान को चलाने वाले प्रश्न

क्या अमेज़ॅन सेजमेकर का उपयोग एआई मॉडल के जटिल संयोजनों को होस्ट करने के लिए किया जा सकता है जो एक समग्र भविष्यवाणी प्रदान करने के लिए मिलकर काम करते हैं? यदि हां, तो क्या सेजमेकर बॉक्स से बाहर अन्य लाभ प्रदान कर सकता है, जैसे कि स्वचालन, विश्वसनीयता, निगरानी, ​​​​स्वचालित स्केलिंग और लागत-बचत उपाय?

क्लाउड प्रदाताओं की तकनीकी प्रगति का उपयोग करके सीसीसी के एआई मॉडल को तैनात करने के वैकल्पिक तरीके खोजने से सीसीसी को अपने प्रतिस्पर्धियों की तुलना में तेजी से बाजार में एआई समाधान लाने की अनुमति मिलेगी। इसके अतिरिक्त, एक से अधिक परिनियोजन वास्तुकला होने से व्यावसायिक प्राथमिकताओं के आधार पर लागत और प्रदर्शन के बीच संतुलन खोजने में लचीलापन मिलता है।

हमारी आवश्यकताओं के आधार पर, हमने उत्पादन-ग्रेड परिनियोजन आर्किटेक्चर के लिए चेकलिस्ट के रूप में सुविधाओं की निम्नलिखित सूची को अंतिम रूप दिया:

• जटिल समूहों के लिए समर्थन
• सभी घटकों के लिए गारंटीशुदा अपटाइम
• तैनात एआई मॉडल के लिए अनुकूलन योग्य स्वचालित स्केलिंग
• एआई मॉडल इनपुट और आउटपुट का संरक्षण
• सभी घटकों के लिए उपयोग मेट्रिक्स और लॉग
• लागत-बचत तंत्र

सीसीसी के अधिकांश एआई समाधान कंप्यूटर विज़न मॉडल पर निर्भर होने के कारण, छवि और वीडियो फ़ाइलों का समर्थन करने के लिए एक नई वास्तुकला की आवश्यकता थी जो रिज़ॉल्यूशन में वृद्धि जारी रखती है। इस वास्तुकला को एक अतुल्यकालिक मॉडल के रूप में डिजाइन और कार्यान्वित करने की सख्त आवश्यकता थी।

अनुसंधान के चक्रों और प्रारंभिक बेंचमार्किंग प्रयासों के बाद, सीसीसी ने निर्धारित किया कि सेजमेकर उनकी अधिकांश उत्पादन आवश्यकताओं को पूरा करने के लिए एकदम उपयुक्त है, विशेष रूप से गारंटीकृत अपटाइम सेजमेकर अपने अधिकांश अनुमान घटकों के लिए प्रदान करता है। Amazon S3 में इनपुट/आउटपुट को सेव करने वाले Amazon SageMaker एसिंक्रोनस इंफ़रेंस एंडपॉइंट की डिफ़ॉल्ट सुविधा जटिल एन्सेम्बल से उत्पन्न डेटा को संरक्षित करने के कार्य को सरल बनाती है। इसके अतिरिक्त, प्रत्येक एआई मॉडल को अपने स्वयं के समापन बिंदु द्वारा होस्ट किए जाने से, मॉडल या समापन बिंदु स्तर पर स्वचालित स्केलिंग नीतियों का प्रबंधन करना आसान हो जाता है। प्रबंधन को सरल बनाकर, इससे संभावित लागत-बचत लाभ यह है कि विकास टीमें कंप्यूटिंग संसाधनों के अति-प्रावधान को कम करने के लिए स्केलिंग नीतियों को ठीक करने के लिए अधिक समय आवंटित कर सकती हैं।

सेजमेकर को आर्किटेक्चर के महत्वपूर्ण घटक के रूप में उपयोग करने के साथ आगे बढ़ने का निर्णय लेने के बाद, हमने यह भी महसूस किया कि सेजमेकर एक और भी बड़े आर्किटेक्चर का हिस्सा हो सकता है, जो कई अन्य सर्वर रहित एडब्ल्यूएस-प्रबंधित सेवाओं के साथ पूरक है। इस जटिल वास्तुकला की उच्च-क्रम ऑर्केस्ट्रेशन और अवलोकन आवश्यकताओं को सुविधाजनक बनाने के लिए इस विकल्प की आवश्यकता थी।

सबसे पहले, पेलोड आकार की सीमाओं को हटाने और उच्च-यातायात परिदृश्यों के दौरान टाइमआउट जोखिम को काफी कम करने के लिए, सीसीसी ने एक आर्किटेक्चर लागू किया जो भविष्यवाणियों को अतुल्यकालिक रूप से चलाता है सेजमेकर अतुल्यकालिक अनुमान समापन बिंदु मुख्य बिल्डिंग ब्लॉक के रूप में अन्य AWS-प्रबंधित सेवाओं के साथ युग्मित। इसके अतिरिक्त, सिस्टम के लिए यूजर इंटरफ़ेस आग लगाओ और भूल जाओ डिजाइन पैटर्न का पालन करता है। दूसरे शब्दों में, एक बार जब उपयोगकर्ता ने अपना इनपुट सिस्टम पर अपलोड कर दिया, तो कुछ और करने की आवश्यकता नहीं है। भविष्यवाणी उपलब्ध होने पर उन्हें सूचित किया जाएगा। नीचे दिया गया चित्र हमारे अतुल्यकालिक घटना-संचालित आर्किटेक्चर का उच्च-स्तरीय अवलोकन दिखाता है। आगामी अनुभाग में, आइए हम डिज़ाइन किए गए आर्किटेक्चर के निष्पादन प्रवाह में गहराई से उतरें।

चरण-दर-चरण समाधान

चरण 1

एक ग्राहक एक अनुरोध करता है एडब्ल्यूएस एपीआई गेटवे समापनबिंदु. अनुरोध की सामग्री में एआई सेवा का नाम शामिल है जिससे उन्हें भविष्यवाणी और अधिसूचना की वांछित विधि की आवश्यकता होती है।

यह अनुरोध a को भेज दिया गया है lambda कार्य कहा जाता है नई भविष्यवाणी, जिनके मुख्य कार्य हैं:

• जांचें कि ग्राहक द्वारा अनुरोधित सेवा उपलब्ध है या नहीं।
• अनुरोध के लिए एक अद्वितीय पूर्वानुमान आईडी निर्दिष्ट करें। इस पूर्वानुमान आईडी का उपयोग उपयोगकर्ता पूरी प्रक्रिया के दौरान पूर्वानुमान की स्थिति की जांच करने के लिए कर सकता है।
• एक उत्पन्न करें अमेज़न S3 पूर्व-हस्ताक्षरित यूआरएल जिसे उपयोगकर्ता को पूर्वानुमान अनुरोध की इनपुट सामग्री अपलोड करने के लिए अगले चरण में उपयोग करने की आवश्यकता होगी।
• में एक प्रविष्टि बनाएं अमेज़ॅन डायनेमोडीबी प्राप्त अनुरोध की जानकारी के साथ.

लैम्ब्डा फ़ंक्शन एपीआई गेटवे एंडपॉइंट के माध्यम से एक संदेश के साथ एक प्रतिक्रिया लौटाएगा जिसमें अनुरोध को निर्दिष्ट भविष्यवाणी आईडी और अमेज़ॅन एस 3 पूर्व-हस्ताक्षरित यूआरएल शामिल है।

चरण 2

क्लाइंट पिछले चरण में उत्पन्न पूर्व-हस्ताक्षरित URL का उपयोग करके पूर्वानुमान इनपुट सामग्री को S3 बकेट में सुरक्षित रूप से अपलोड करता है। इनपुट सामग्री एआई सेवा पर निर्भर करती है और छवियों, सारणीबद्ध डेटा या दोनों के संयोजन से बनी हो सकती है।

चरण 3

जब उपयोगकर्ता इनपुट सामग्री अपलोड करता है तो S3 बकेट को एक ईवेंट ट्रिगर करने के लिए कॉन्फ़िगर किया गया है। यह अधिसूचना अमेज़ॅन एसक्यूएस कतार में भेजी जाती है और इसे लैम्ब्डा फ़ंक्शन द्वारा नियंत्रित किया जाता है प्रक्रिया इनपुट। प्रक्रिया इनपुट जिस सेवा के लिए अनुरोध किया जाना है उसका नाम जानने के लिए लैम्ब्डा DynamoDB से उस भविष्यवाणी आईडी से संबंधित जानकारी प्राप्त करेगा।

यह सेवा या तो एकल AI मॉडल हो सकती है, ऐसी स्थिति में प्रक्रिया इनपुट लैम्ब्डा उस मॉडल (चरण 3-ए) को होस्ट करने वाले सेजमेकर एंडपॉइंट से अनुरोध करेगा, या यह एक एकीकृत एआई सेवा हो सकती है, जिस स्थिति में प्रक्रिया इनपुट लैम्ब्डा चरण कार्यों की राज्य मशीन से अनुरोध करेगा जो संयोजन तर्क (चरण 3-बी) को होस्ट करता है।

किसी भी विकल्प में (एकल एआई मॉडल या असेंबल एआई सेवा), जब अंतिम भविष्यवाणी तैयार हो जाती है, तो इसे उपयुक्त एस 3 बाल्टी में संग्रहीत किया जाएगा, और कॉल करने वाले को चरण 1 में निर्दिष्ट विधि के माध्यम से सूचित किया जाएगा (चरण में सूचनाओं के बारे में अधिक विवरण) 4).

चरण 3-ए

यदि पूर्वानुमान आईडी एकल एआई मॉडल से संबद्ध है, तो प्रक्रिया इनपुट लैम्ब्डा मॉडल की सेवा देने वाले सेजमेकर एंडपॉइंट से अनुरोध करेगा। इस प्रणाली में, दो प्रकार के सेजमेकर एंडपॉइंट समर्थित हैं:

• अतुल्यकालिक: प्रक्रिया इनपुट लैम्ब्डा सेजमेकर एसिंक्रोनस एंडपॉइंट से अनुरोध करता है। तत्काल प्रतिक्रिया में S3 स्थान शामिल है जहां SageMaker भविष्यवाणी आउटपुट को सहेजेगा। यह अनुरोध अतुल्यकालिक है, आग लगाओ और भूल जाओ पैटर्न का पालन करते हुए, और लैम्ब्डा फ़ंक्शन के निष्पादन प्रवाह को अवरुद्ध नहीं करता है।
• तुल्यकालिक: प्रक्रिया इनपुट लैम्ब्डा सेजमेकर सिंक्रोनस एंडपॉइंट से अनुरोध करता है। चूंकि यह एक सिंक्रोनस अनुरोध है, प्रोसेस इनपुट प्रतिक्रिया की प्रतीक्षा करता है, और एक बार प्राप्त होने पर, यह इसे S3 में उसी तरह संग्रहीत करता है जैसे सेजमेकर एसिंक्रोनस एंडपॉइंट करेगा।

दोनों मामलों में (सिंक्रोनस या एसिंक्रोनस एंडपॉइंट), भविष्यवाणी को एक समान तरीके से संसाधित किया जाता है, आउटपुट को S3 बकेट में संग्रहीत किया जाता है। जब एसिंक्रोनस सेजमेकर एंडपॉइंट एक भविष्यवाणी पूरी करता है, तो एक अमेज़ॅन एसएनएस इवेंट ट्रिगर हो जाता है। यह व्यवहार लैम्ब्डा फ़ंक्शन में अतिरिक्त तर्क के साथ सिंक्रोनस एंडपॉइंट के लिए भी दोहराया जाता है।

चरण 3-बी

यदि पूर्वानुमान आईडी किसी एआई समूह से संबद्ध है, तो प्रक्रिया इनपुट लैम्ब्डा उस एआई एन्सेम्बल से संबंधित स्टेप फ़ंक्शन के लिए अनुरोध करेगा। जैसा कि ऊपर उल्लेख किया गया है, एआई एन्सेम्बल एक वास्तुकला है जो एआई मॉडल के एक समूह पर आधारित है जो एक समग्र भविष्यवाणी उत्पन्न करने के लिए मिलकर काम करता है। एआई समूह का ऑर्केस्ट्रेशन एक चरणीय फ़ंक्शन के माध्यम से किया जाता है।

स्टेप फ़ंक्शन में प्रति एआई सेवा में एक चरण होता है जिसमें समूह शामिल होता है। प्रत्येक चरण एक लैम्ब्डा फ़ंक्शन को लागू करेगा जो पिछले चरणों की पिछली एआई सेवा कॉल से आउटपुट सामग्री के विभिन्न संयोजनों का उपयोग करके अपनी संबंधित एआई सेवा के इनपुट को तैयार करेगा। इसके बाद यह प्रत्येक एआई सेवा को कॉल करता है, जो इस संदर्भ में, एक एआई मॉडल या कोई अन्य एआई समूह हो सकता है।

वही लैम्ब्डा फ़ंक्शन, जिसे कहा जाता है GetTransformCall एआई एन्सेम्बल की मध्यवर्ती भविष्यवाणियों को संभालने के लिए इसका उपयोग पूरे चरण फ़ंक्शन में किया जाता है, लेकिन प्रत्येक चरण के लिए अलग-अलग इनपुट पैरामीटर के साथ। इस इनपुट में कॉल की जाने वाली AI सेवा का नाम शामिल है। इसमें निर्दिष्ट एआई सेवा के लिए इनपुट बनाने के लिए मैपिंग परिभाषा भी शामिल है। यह एक कस्टम सिंटैक्स का उपयोग करके किया जाता है जिसे लैम्ब्डा डिकोड कर सकता है, जो संक्षेप में, एक JSON शब्दकोश है जहां मानों को पिछले AI भविष्यवाणियों की सामग्री से प्रतिस्थापित किया जाना चाहिए। लैम्ब्डा इन पिछली भविष्यवाणियों को अमेज़न S3 से डाउनलोड करेगा।

प्रत्येक चरण में, GetTransformCall लैम्ब्डा अमेज़ॅन एस3 से पिछले आउटपुट को पढ़ता है जो निर्दिष्ट एआई सेवा के इनपुट के निर्माण के लिए आवश्यक हैं। इसके बाद यह आह्वान करेगा नई भविष्यवाणी लैम्ब्डा कोड पहले चरण 1 में उपयोग किया गया था और सेवा का नाम, कॉलबैक विधि ("स्टेप फ़ंक्शन"), और अनुरोध पेलोड में कॉलबैक के लिए आवश्यक टोकन प्रदान करता है, जिसे बाद में एक नए पूर्वानुमान रिकॉर्ड के रूप में डायनेमोडीबी में सहेजा जाता है। लैम्ब्डा उस चरण के निर्मित इनपुट को S3 बकेट में भी संग्रहीत करता है। इस पर निर्भर करते हुए कि वह चरण एकल एआई मॉडल है या एआई समूह है, लैम्ब्डा एक सेजमेकर एंडपॉइंट या एक अलग चरण फ़ंक्शन के लिए अनुरोध करता है जो एआई समूह का प्रबंधन करता है जो मूल समूह की निर्भरता है।

एक बार अनुरोध किए जाने के बाद, चरण फ़ंक्शन लंबित स्थिति में प्रवेश करता है जब तक कि उसे कॉलबैक टोकन प्राप्त नहीं हो जाता है, यह दर्शाता है कि वह अगले चरण में जा सकता है। कॉलबैक टोकन भेजने की क्रिया लैम्ब्डा नामक फ़ंक्शन द्वारा की जाती है सूचनाएं (अधिक विवरण चरण 4 में) जब मध्यवर्ती भविष्यवाणी तैयार हो जाए। अंतिम भविष्यवाणी तैयार होने तक चरण फ़ंक्शन में परिभाषित प्रत्येक चरण के लिए यह प्रक्रिया दोहराई जाती है।

चरण 4

जब कोई भविष्यवाणी तैयार हो जाती है और S3 बकेट में संग्रहीत हो जाती है, तो एक SNS अधिसूचना चालू हो जाती है। इस घटना को प्रवाह के आधार पर विभिन्न तरीकों से ट्रिगर किया जा सकता है:

1. स्वचालित रूप से जब एक सेजमेकर एसिंक्रोनस एंडपॉइंट एक भविष्यवाणी पूरा करता है।
2. स्टेप फ़ंक्शन के अंतिम चरण के रूप में।
3. By प्रक्रिया इनपुट or GetTransformCall लैम्ब्डा जब एक सिंक्रोनस सेजमेकर एंडपॉइंट ने एक भविष्यवाणी लौटा दी है।

बी और सी के लिए, हम एक एसएनएस संदेश बनाते हैं जो ए स्वचालित रूप से भेजता है।

नोटिफिकेशन नामक एक लैम्ब्डा फ़ंक्शन इस एसएनएस विषय की सदस्यता लेता है। अधिसूचना लैम्ब्डा को डायनेमोडीबी से भविष्यवाणी आईडी से संबंधित जानकारी मिलेगी, स्थिति मान के साथ प्रविष्टि को "पूर्ण" या "त्रुटि" में अपडेट करें और डेटाबेस रिकॉर्ड में सहेजे गए कॉलबैक मोड के आधार पर आवश्यक कार्रवाई करें।

यदि यह भविष्यवाणी एआई समूह की एक मध्यवर्ती भविष्यवाणी है, जैसा कि चरण 3-बी में वर्णित है, तो इस भविष्यवाणी से जुड़ा कॉलबैक मोड "स्टेप फ़ंक्शन" होगा, और डेटाबेस रिकॉर्ड में विशिष्ट चरण से जुड़ा कॉलबैक टोकन होगा। समारोह की ओर कदम बढ़ाएं। सूचनाएँ लैम्ब्डा "SendTaskSuccess" या "SendTaskFairure" पद्धति का उपयोग करके AWS स्टेप फ़ंक्शंस API पर कॉल करेगी। यह स्टेप फ़ंक्शन को अगले चरण तक जारी रखने या बाहर निकलने की अनुमति देगा।

यदि पूर्वानुमान चरण फ़ंक्शन का अंतिम आउटपुट है और कॉलबैक मोड "वेबहुक" [या ईमेल, संदेश दलाल (काफ्का), आदि] है, तो अधिसूचनाएं लैम्ब्डा निर्दिष्ट तरीके से ग्राहक को सूचित करेगी। किसी भी समय, उपयोगकर्ता अपनी भविष्यवाणी की स्थिति का अनुरोध कर सकता है। अनुरोध में वह भविष्यवाणी आईडी शामिल होनी चाहिए जो चरण 1 में निर्दिष्ट की गई थी और अनुरोध को लैम्ब्डा फ़ंक्शन पर रूट करने के लिए एपीआई गेटवे के भीतर सही यूआरएल को इंगित करना चाहिए परिणाम.

परिणाम लैंबडा डायनेमोडीबी से एक अनुरोध करेगा, अनुरोध की स्थिति प्राप्त करेगा और उपयोगकर्ता को जानकारी लौटाएगा। यदि भविष्यवाणी की स्थिति है त्रुटि, तो विफलता पर प्रासंगिक विवरण प्रतिक्रिया में शामिल किया जाएगा। यदि भविष्यवाणी की स्थिति है सफलता, उपयोगकर्ता को भविष्यवाणी सामग्री डाउनलोड करने के लिए एक S3 पूर्व-हस्ताक्षरित URL लौटाया जाएगा।

परिणामों

प्रारंभिक प्रदर्शन परीक्षण परिणाम आशाजनक हैं और इस नई तैनाती वास्तुकला के कार्यान्वयन को बढ़ाने के लिए सीसीसी के मामले का समर्थन करते हैं।

उल्लेखनीय टिप्पणियाँ:

• परीक्षण से उच्च थ्रूपुट और उच्च ट्रैफ़िक परिदृश्यों के दौरान 0 प्रतिशत विफलता दर के साथ प्रसंस्करण बैच या समवर्ती अनुरोधों में ताकत का पता चलता है।
• संदेश कतारें अनुरोधों के अचानक प्रवाह के दौरान सिस्टम के भीतर स्थिरता प्रदान करती हैं जब तक कि स्केलिंग ट्रिगर अतिरिक्त गणना संसाधनों का प्रावधान नहीं कर सकते। ट्रैफ़िक को 3 गुना बढ़ाने पर, औसत अनुरोध विलंबता में केवल 5 प्रतिशत की वृद्धि हुई।
• विभिन्न सिस्टम घटकों के बीच संचार ओवरहेड के कारण स्थिरता की कीमत में विलंबता बढ़ जाती है। जब उपयोगकर्ता ट्रैफ़िक बेसलाइन सीमा से ऊपर होता है, तो अतिरिक्त विलंबता को अधिक गणना संसाधन प्रदान करके आंशिक रूप से कम किया जा सकता है यदि प्रदर्शन लागत पर उच्च प्राथमिकता है।
• सेजमेकर के अतुल्यकालिक अनुमान समापन बिंदु अनुरोध प्राप्त करने के लिए समापन बिंदु को सक्रिय रखते हुए इंस्टेंस गिनती को शून्य तक स्केल करने की अनुमति देते हैं। यह कार्यक्षमता गणना लागत खर्च किए बिना तैनाती को जारी रखने और दो परिदृश्यों में आवश्यकता होने पर शून्य से स्केल करने में सक्षम बनाती है: कम परीक्षण वातावरण में उपयोग की जाने वाली सेवा तैनाती और तत्काल प्रसंस्करण की आवश्यकता के बिना न्यूनतम ट्रैफ़िक वाले।

निष्कर्ष

जैसा कि पीओसी प्रक्रिया के दौरान देखा गया, सीसीसी और एडब्ल्यूएस द्वारा संयुक्त रूप से बनाया गया अभिनव डिजाइन जटिल मल्टी-मोडल एआई एन्सेम्बल को होस्ट करने और अनुमान पाइपलाइनों को प्रभावी ढंग से और निर्बाध रूप से व्यवस्थित करने के लिए अन्य एडब्ल्यूएस प्रबंधित सेवाओं के साथ अमेज़ॅन सेजमेकर का उपयोग करने के लिए एक ठोस आधार प्रदान करता है। अमेज़ॅन सेजमेकर की एसिंक्रोनस इंफ़रेंस जैसी आउट-ऑफ़-द-बॉक्स कार्यक्षमताओं का लाभ उठाकर, सीसीसी के पास विशेष व्यवसाय-महत्वपूर्ण कार्यों पर ध्यान केंद्रित करने के अधिक अवसर हैं। सीसीसी की अनुसंधान-संचालित संस्कृति की भावना में, यह नवीन वास्तुकला विकसित होती रहेगी क्योंकि सीसीसी ग्राहकों के लिए शक्तिशाली नए एआई समाधान लाने में एडब्ल्यूएस के साथ आगे बढ़ने का मार्ग प्रशस्त करती है।

अतुल्यकालिक अनुमान समापन बिंदुओं को बनाने, लागू करने और मॉनिटर करने के विस्तृत चरणों के लिए, देखें दस्तावेज़ीकरण, जिसमें एक भी शामिल है नमूना नोटबुक आरंभ करने में आपकी सहायता के लिए. मूल्य निर्धारण की जानकारी के लिए, जाएँ अमेज़न SageMaker मूल्य निर्धारण.

कंप्यूटर विज़न और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) जैसे असंरचित डेटा के साथ अतुल्यकालिक अनुमान का उपयोग करने के उदाहरणों के लिए, देखें Amazon SageMaker एसिंक्रोनस एंडपॉइंट के साथ बड़े वीडियो पर कंप्यूटर विज़न अनुमान चलाएँ और हगिंग फेस और अमेज़ॅन सेजमेकर एसिंक्रोनस इंट्रेंस एंडपॉइंट्स के साथ उच्च-मूल्य वाले अनुसंधान में सुधार करें, क्रमशः।

---

लेखक के बारे में

क्रिस्टोफर डियाज़ू सीसीसी इंटेलिजेंट सॉल्यूशंस में लीड आर एंड डी इंजीनियर हैं। आर एंड डी टीम के सदस्य के रूप में, उन्होंने ईटीएल टूलींग, बैकएंड वेब डेवलपमेंट, वितरित सिस्टम पर एआई मॉडल को प्रशिक्षित करने के लिए शोधकर्ताओं के साथ सहयोग करने और अनुसंधान और संचालन टीमों के बीच नई एआई सेवाओं की डिलीवरी की सुविधा प्रदान करने जैसी कई परियोजनाओं पर काम किया है। उनका हालिया फोकस कंपनी के एआई मॉडल विकास जीवनचक्र के विभिन्न पहलुओं को बढ़ाने के लिए क्लाउड टूलींग समाधानों पर शोध करने पर रहा है। अपने खाली समय में, वह अपने गृहनगर शिकागो में नए रेस्तरां आज़माना और अपने घर में जितने लेगो सेट रख सकते हैं, इकट्ठा करना पसंद करते हैं। क्रिस्टोफर ने नॉर्थईस्टर्न इलिनोइस विश्वविद्यालय से कंप्यूटर विज्ञान में स्नातक की उपाधि प्राप्त की।

एमी पुरस्कार विजेता सैम किनार्ड सीसीसी इंटेलिजेंट सॉल्यूशंस में सॉफ्टवेयर इंजीनियरिंग के वरिष्ठ प्रबंधक हैं। ऑस्टिन, टेक्सास में स्थित, वह एआई रनटाइम टीम से उलझता है, जो उच्च उपलब्धता और बड़े पैमाने पर सीसीसी के एआई उत्पादों की सेवा के लिए जिम्मेदार है। अपने खाली समय में, सैम अपने दो अद्भुत बच्चों की वजह से नींद से वंचित रहने का आनंद लेता है। सैम ने ऑस्टिन में टेक्सास विश्वविद्यालय से कंप्यूटर विज्ञान में स्नातक और गणित में विज्ञान स्नातक की उपाधि प्राप्त की है।

जैमे हिडाल्गो सीसीसी इंटेलिजेंट सॉल्यूशंस में वरिष्ठ सिस्टम इंजीनियर हैं। एआई अनुसंधान टीम में शामिल होने से पहले, उन्होंने क्लाउड उत्पादों और सेवाओं की तैनाती का समर्थन करने के लिए एडब्ल्यूएस में बुनियादी ढांचे के डिजाइन, निर्माण और स्वचालित करने के लिए कंपनी के माइक्रोसर्विसेज आर्किटेक्चर के वैश्विक प्रवास का नेतृत्व किया। वर्तमान में, वह एआई प्रशिक्षण के लिए निर्मित ऑन-प्रिमाइसेस डेटा सेंटर क्लस्टर का निर्माण और समर्थन करता है और कंपनी के एआई अनुसंधान और तैनाती के भविष्य के लिए क्लाउड समाधान भी डिजाइन और बनाता है।

डैनियल सुआरेज़ सीसीसी इंटेलिजेंट सॉल्यूशंस में डेटा साइंस इंजीनियर हैं। एआई इंजीनियरिंग टीम के सदस्य के रूप में, वह मेट्रिक्स और एमएल संचालन के अन्य पहलुओं के उत्पादन, मूल्यांकन और निगरानी में एआई मॉडल के स्वचालन और तैयारी पर काम करते हैं। डैनियल ने इलिनोइस इंस्टीट्यूट ऑफ टेक्नोलॉजी से कंप्यूटर साइंस में मास्टर डिग्री और यूनिवर्सिडैड पोलिटेकनिका डी मैड्रिड से टेलीकम्यूनिकेशन इंजीनियरिंग में मास्टर और बैचलर की डिग्री प्राप्त की।

अरुणाप्रसथ शंकर AWS के साथ एक वरिष्ठ AI/ML विशेषज्ञ समाधान आर्किटेक्ट हैं, जो वैश्विक ग्राहकों को क्लाउड में उनके AI समाधानों को प्रभावी ढंग से और कुशलता से बढ़ाने में मदद करते हैं। अपने खाली समय में, अरुण को विज्ञान-फाई फिल्में देखना और शास्त्रीय संगीत सुनना पसंद है।

जस्टिन मैकविहटर AWS में सॉल्यूशंस आर्किटेक्ट मैनेजर हैं। वह अद्भुत सॉल्यूशंस आर्किटेक्ट्स की एक टीम के साथ काम करते हैं जो ग्राहकों को AWS प्लेटफॉर्म को अपनाने के दौरान सकारात्मक अनुभव देने में मदद करते हैं। जब काम पर नहीं होते हैं, तो जस्टिन अपने दो लड़कों के साथ वीडियो गेम खेलना, आइस हॉकी खेलना और अपनी जीप में ऑफ-रोडिंग करना पसंद करते हैं।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/how-ccc-intelligent-solutions-created-a-custom-approach-for-hosting-complex-ai-models-using-amazon-sagemaker/