आजकल, हमारे अधिकांश ग्राहक बड़े भाषा मॉडल (एलएलएम) के बारे में उत्साहित हैं और सोच रहे हैं कि जेनेरिक एआई उनके व्यवसाय को कैसे बदल सकता है। हालाँकि, ऐसे समाधान और मॉडल को व्यवसाय-सामान्य संचालन में लाना कोई आसान काम नहीं है। इस पोस्ट में, हम चर्चा करते हैं कि एमएलओपीएस सिद्धांतों का उपयोग करके फाउंडेशन मॉडल ऑपरेशंस (एफएमओपीएस) के लिए जेनेरिक एआई अनुप्रयोगों को कैसे संचालित किया जाए। इसके अलावा, हम टेक्स्ट-टू-टेक्स्ट एप्लिकेशन और एलएलएम ऑपरेशंस (एलएलएमओपीएस), जो कि एफएमओपीएस का एक उपसमूह है, के सबसे सामान्य जेनरेटिव एआई उपयोग के मामले पर गहराई से विचार करते हैं। निम्नलिखित चित्र उन विषयों को दर्शाता है जिन पर हम चर्चा करते हैं।
विशेष रूप से, हम संक्षेप में एमएलओपीएस सिद्धांतों का परिचय देते हैं और प्रक्रियाओं, लोगों, मॉडल चयन और मूल्यांकन, डेटा गोपनीयता और मॉडल परिनियोजन के संबंध में एफएमओपीएस और एलएलएमओपीएस की तुलना में मुख्य विभेदकों पर ध्यान केंद्रित करते हैं। यह उन ग्राहकों पर लागू होता है जो उन्हें लीक से हटकर उपयोग करते हैं, स्क्रैच से फाउंडेशन मॉडल बनाते हैं, या उन्हें फाइन-ट्यून करते हैं। हमारा दृष्टिकोण ओपन-सोर्स और मालिकाना मॉडल दोनों पर समान रूप से लागू होता है।
एमएल परिचालन सारांश
जैसा कि पोस्ट में बताया गया है MLOps ने Amazon SageMaker के साथ उद्यमों के लिए रोडमैप की नींव रखी, एमएल और ऑपरेशंस (एमएलओपीएस) मशीन लर्निंग (एमएल) समाधानों को कुशलतापूर्वक उत्पादित करने के लिए लोगों, प्रक्रियाओं और प्रौद्योगिकी का संयोजन है। इसे प्राप्त करने के लिए, टीमों और व्यक्तियों के संयोजन को सहयोग करने की आवश्यकता है, जैसा कि निम्नलिखित आंकड़े में दिखाया गया है।
ये टीमें इस प्रकार हैं:
- उन्नत विश्लेषण टीम (डेटा लेक और डेटा जाल) - डेटा इंजीनियर कई स्रोतों से डेटा तैयार करने और प्राप्त करने, डेटा को क्यूरेट करने और सूचीबद्ध करने के लिए ईटीएल (एक्सट्रैक्ट, ट्रांसफॉर्म और लोड) पाइपलाइनों का निर्माण करने और एमएल उपयोग मामलों के लिए आवश्यक ऐतिहासिक डेटा तैयार करने के लिए जिम्मेदार हैं। ये डेटा मालिक कई व्यावसायिक इकाइयों या टीमों को अपने डेटा तक पहुंच प्रदान करने पर केंद्रित हैं।
- डेटा विज्ञान टीम - डेटा वैज्ञानिकों को नोटबुक में काम करने वाले पूर्वनिर्धारित प्रमुख प्रदर्शन संकेतक (KPI) के आधार पर सर्वोत्तम मॉडल बनाने पर ध्यान केंद्रित करने की आवश्यकता है। अनुसंधान चरण के पूरा होने के बाद, डेटा वैज्ञानिकों को सीआई/सीडी पाइपलाइनों का उपयोग करके निर्माण (एमएल पाइपलाइन) और मॉडल को उत्पादन में तैनात करने के लिए ऑटोमेशन बनाने के लिए एमएल इंजीनियरों के साथ सहयोग करने की आवश्यकता है।
- बिजनेस टीम - एक उत्पाद स्वामी मॉडल प्रदर्शन का मूल्यांकन करने के लिए उपयोग किए जाने वाले व्यावसायिक मामले, आवश्यकताओं और KPI को परिभाषित करने के लिए जिम्मेदार है। एमएल उपभोक्ता अन्य व्यावसायिक हितधारक हैं जो निर्णय लेने के लिए अनुमान परिणामों (भविष्यवाणियों) का उपयोग करते हैं।
- प्लेटफार्म टीम – आर्किटेक्ट व्यवसाय के समग्र क्लाउड आर्किटेक्चर और सभी विभिन्न सेवाओं को एक साथ कैसे जोड़ा जाता है, इसके लिए जिम्मेदार हैं। सुरक्षा एसएमई व्यावसायिक सुरक्षा नीतियों और जरूरतों के आधार पर वास्तुकला की समीक्षा करते हैं। एमएलओपीएस इंजीनियर डेटा वैज्ञानिकों और एमएल इंजीनियरों को एमएल उपयोग के मामलों का उत्पादन करने के लिए एक सुरक्षित वातावरण प्रदान करने के लिए जिम्मेदार हैं। विशेष रूप से, वे व्यवसाय और सुरक्षा आवश्यकताओं के आधार पर सीआई/सीडी पाइपलाइनों, उपयोगकर्ता और सेवा भूमिकाओं और कंटेनर निर्माण, मॉडल खपत, परीक्षण और तैनाती पद्धति को मानकीकृत करने के लिए जिम्मेदार हैं।
- जोखिम और अनुपालन टीम - अधिक प्रतिबंधात्मक वातावरण के लिए, ऑडिटर डेटा, कोड और मॉडल कलाकृतियों का आकलन करने और यह सुनिश्चित करने के लिए जिम्मेदार हैं कि व्यवसाय डेटा गोपनीयता जैसे नियमों का अनुपालन करता है।
ध्यान दें कि व्यवसाय की स्केलिंग और एमएलओपीएस परिपक्वता के आधार पर एक ही व्यक्ति द्वारा कई व्यक्तियों को कवर किया जा सकता है।
इन व्यक्तियों को विभिन्न प्रक्रियाओं को निष्पादित करने के लिए समर्पित वातावरण की आवश्यकता होती है, जैसा कि निम्नलिखित चित्र में दिखाया गया है।
वातावरण इस प्रकार हैं:
- मंच प्रशासन - प्लेटफ़ॉर्म प्रशासन वातावरण वह स्थान है जहां प्लेटफ़ॉर्म टीम के पास AWS खाते बनाने और सही उपयोगकर्ताओं और डेटा को लिंक करने की पहुंच होती है
- जानकारी - डेटा परत, जिसे अक्सर डेटा लेक या डेटा जाल के रूप में जाना जाता है, वह वातावरण है जिसका उपयोग डेटा इंजीनियर या मालिक और व्यावसायिक हितधारक डेटा तैयार करने, बातचीत करने और डेटा के साथ कल्पना करने के लिए करते हैं।
- प्रयोग - डेटा वैज्ञानिक नए पुस्तकालयों और एमएल तकनीकों का परीक्षण करने के लिए सैंडबॉक्स या प्रयोग वातावरण का उपयोग करते हैं ताकि यह साबित हो सके कि उनकी अवधारणा का प्रमाण व्यावसायिक समस्याओं को हल कर सकता है
- मॉडल निर्माण, मॉडल परीक्षण, मॉडल परिनियोजन - मॉडल निर्माण, परीक्षण और परिनियोजन वातावरण एमएलओपीएस की परत है, जहां डेटा वैज्ञानिक और एमएल इंजीनियर अनुसंधान को स्वचालित करने और उत्पादन में स्थानांतरित करने के लिए सहयोग करते हैं
- एमएल शासन - पहेली का अंतिम भाग एमएल गवर्नेंस वातावरण है, जहां सभी मॉडल और कोड कलाकृतियों को संबंधित व्यक्तियों द्वारा संग्रहीत, समीक्षा और ऑडिट किया जाता है।
निम्नलिखित चित्र संदर्भ वास्तुकला को दर्शाता है, जिस पर पहले ही चर्चा की जा चुकी है MLOps ने Amazon SageMaker के साथ उद्यमों के लिए रोडमैप की नींव रखी.
प्रत्येक व्यावसायिक इकाई के पास एमएल उपयोग के मामलों का उत्पादन करने के लिए विकास (स्वचालित मॉडल प्रशिक्षण और निर्माण), प्रीप्रोडक्शन (स्वचालित परीक्षण), और उत्पादन (मॉडल परिनियोजन और सेवा) खातों का प्रत्येक सेट होता है, जो एक केंद्रीकृत या विकेन्द्रीकृत डेटा झील या डेटा से डेटा पुनर्प्राप्त करता है। जाल, क्रमशः। सभी उत्पादित मॉडल और कोड स्वचालन एक मॉडल रजिस्ट्री की क्षमता का उपयोग करके एक केंद्रीकृत टूलींग खाते में संग्रहीत किए जाते हैं। इन सभी खातों के लिए बुनियादी ढांचा कोड को एक साझा सेवा खाते (उन्नत एनालिटिक्स गवर्नेंस अकाउंट) में संस्करणित किया गया है, जिसे प्लेटफ़ॉर्म टीम प्रत्येक नई टीम के एमएलओपीएस प्लेटफ़ॉर्म पर ऑनबोर्डिंग के लिए अमूर्त, टेम्पलेटाइज़, रखरखाव और पुन: उपयोग कर सकती है।
जेनरेटिव एआई परिभाषाएं और एमएलओपीएस में अंतर
क्लासिक एमएल में, लोगों, प्रक्रियाओं और प्रौद्योगिकी का पूर्ववर्ती संयोजन आपके एमएल उपयोग मामलों को उत्पादित करने में आपकी सहायता कर सकता है। हालाँकि, जेनरेटिव एआई में, उपयोग के मामलों की प्रकृति के लिए या तो उन क्षमताओं के विस्तार या नई क्षमताओं की आवश्यकता होती है। इन नई धारणाओं में से एक है फाउंडेशन मॉडल (एफएम)। उन्हें ऐसा इसलिए कहा जाता है क्योंकि उनका उपयोग अन्य एआई मॉडल की एक विस्तृत श्रृंखला बनाने के लिए किया जा सकता है, जैसा कि निम्नलिखित आंकड़े में दिखाया गया है।
एफएम को टेराबाइट्स डेटा के आधार पर प्रशिक्षित किया गया है और जेनरेटिव एआई उपयोग मामलों की तीन मुख्य श्रेणियों के आधार पर अगले सर्वोत्तम उत्तर की भविष्यवाणी करने में सक्षम होने के लिए इसमें सैकड़ों अरब पैरामीटर हैं:
- पाठ-से-पाठ - एफएम (एलएलएम) को बिना लेबल वाले डेटा (जैसे मुफ्त पाठ) के आधार पर प्रशिक्षित किया गया है और वे अगले सर्वोत्तम शब्द या शब्दों के अनुक्रम (पैराग्राफ या लंबे निबंध) की भविष्यवाणी करने में सक्षम हैं। मुख्य उपयोग के मामले मानव-जैसे चैटबॉट, संक्षेपण, या प्रोग्रामिंग कोड जैसी अन्य सामग्री निर्माण के आसपास हैं।
- टेक्स्ट-टू-इमेज - लेबल किया गया डेटा, जैसे कि जोड़े , का उपयोग एफएम को प्रशिक्षित करने के लिए किया गया है, जो पिक्सेल के सर्वोत्तम संयोजन की भविष्यवाणी करने में सक्षम हैं। उदाहरण के उपयोग के मामले कपड़े डिजाइन पीढ़ी या काल्पनिक वैयक्तिकृत छवियां हैं।
- टेक्स्ट-टू-ऑडियो या वीडियो - एफएम प्रशिक्षण के लिए लेबल किए गए और बिना लेबल वाले दोनों डेटा का उपयोग किया जा सकता है। एक मुख्य जेनरेटिव एआई उपयोग उदाहरण संगीत रचना है।
उन जेनरेटिव एआई उपयोग मामलों का उत्पादन करने के लिए, हमें निम्नलिखित को शामिल करने के लिए एमएलओपीएस डोमेन को उधार लेने और विस्तारित करने की आवश्यकता है:
- एफएम परिचालन (एफएमओपीएस) - यह किसी भी उपयोग के मामले सहित जेनरेटिव एआई समाधान का उत्पादन कर सकता है
- एलएलएम संचालन (एलएलएमओपीएस) - यह एफएमओपीएस का एक उपसमूह है जो टेक्स्ट-टू-टेक्स्ट जैसे एलएलएम-आधारित समाधानों के उत्पादन पर ध्यान केंद्रित करता है
निम्नलिखित आंकड़ा इन उपयोग मामलों के ओवरलैप को दर्शाता है।
क्लासिक एमएल और एमएलओपीएस की तुलना में, एफएमओपीएस और एलएलएमओपीएस चार मुख्य श्रेणियों के आधार पर स्थगित होते हैं जिन्हें हम निम्नलिखित अनुभागों में शामिल करते हैं: लोग और प्रक्रिया, एफएम का चयन और अनुकूलन, एफएम का मूल्यांकन और निगरानी, डेटा गोपनीयता और मॉडल परिनियोजन, और प्रौद्योगिकी की जरूरतें। हम निगरानी को एक अलग पोस्ट में कवर करेंगे।
जनरेटिव एआई उपयोगकर्ता प्रकार के अनुसार परिचालन यात्रा
प्रक्रियाओं के विवरण को सरल बनाने के लिए, हमें मुख्य जेनरेटर एआई उपयोगकर्ता प्रकारों को वर्गीकृत करने की आवश्यकता है, जैसा कि निम्नलिखित आंकड़े में दिखाया गया है।
उपयोगकर्ता प्रकार इस प्रकार हैं:
- प्रदाताओं - वे उपयोगकर्ता जो शुरू से एफएम बनाते हैं और उन्हें अन्य उपयोगकर्ताओं (फाइन-ट्यूनर और उपभोक्ता) को एक उत्पाद के रूप में प्रदान करते हैं। उनके पास गहन एंड-टू-एंड एमएल और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) विशेषज्ञता और डेटा विज्ञान कौशल, और विशाल डेटा लेबलर और संपादक टीमें हैं।
- फाइन-ट्यूनर - उपयोगकर्ता जो कस्टम आवश्यकताओं को पूरा करने के लिए प्रदाताओं से एफएम को पुनः प्रशिक्षित (फाइन-ट्यून) करते हैं। वे उपभोक्ताओं द्वारा उपयोग के लिए एक सेवा के रूप में मॉडल की तैनाती की योजना बनाते हैं। इन उपयोगकर्ताओं को मजबूत एंड-टू-एंड एमएल और डेटा विज्ञान विशेषज्ञता और मॉडल परिनियोजन और अनुमान के ज्ञान की आवश्यकता है। ट्यूनिंग के लिए त्वरित इंजीनियरिंग सहित मजबूत डोमेन ज्ञान भी आवश्यक है।
- उपभोक्ताओं - उपयोगकर्ता जो वांछित कार्यों को पूरा करने के लिए टेक्स्ट प्रॉम्प्टिंग या विज़ुअल इंटरफ़ेस द्वारा प्रदाताओं या फाइन-ट्यूनर से जेनरेटिव एआई सेवाओं के साथ बातचीत करते हैं। किसी एमएल विशेषज्ञता की आवश्यकता नहीं है, लेकिन अधिकतर, एप्लिकेशन डेवलपर्स या सेवा क्षमताओं की समझ रखने वाले अंतिम उपयोगकर्ताओं के लिए। बेहतर परिणाम के लिए केवल शीघ्र इंजीनियरिंग आवश्यक है।
परिभाषा और आवश्यक एमएल विशेषज्ञता के अनुसार, एमएलओपीएस की आवश्यकता ज्यादातर प्रदाताओं और फाइन-ट्यूनर के लिए होती है, जबकि उपभोक्ता जेनरेटिव एआई एप्लिकेशन बनाने के लिए डेवऑप्स और ऐपडेव जैसे एप्लिकेशन उत्पादन सिद्धांतों का उपयोग कर सकते हैं। इसके अलावा, हमने उपयोगकर्ता प्रकारों के बीच एक आंदोलन देखा है, जहां प्रदाता एक विशिष्ट कार्यक्षेत्र (जैसे वित्तीय क्षेत्र) के आधार पर उपयोग के मामलों का समर्थन करने के लिए फाइन-ट्यूनर बन सकते हैं या उपभोक्ता अधिक सटीक परिणाम प्राप्त करने के लिए फाइन-ट्यूनर बन सकते हैं। लेकिन आइए प्रति उपयोगकर्ता प्रकार की मुख्य प्रक्रियाओं का अवलोकन करें।
उपभोक्ताओं की यात्रा
निम्नलिखित चित्र उपभोक्ता यात्रा को दर्शाता है।
जैसा कि पहले उल्लेख किया गया है, उपभोक्ताओं को एक एफएम का चयन, परीक्षण और उपयोग करना आवश्यक है, विशिष्ट इनपुट प्रदान करके इसके साथ बातचीत करना, अन्यथा इसे कहा जाता है संकेतों. कंप्यूटर प्रोग्रामिंग और एआई के संदर्भ में संकेत, उस इनपुट को संदर्भित करते हैं जो प्रतिक्रिया उत्पन्न करने के लिए किसी मॉडल या सिस्टम को दिया जाता है। यह एक टेक्स्ट, कमांड या एक प्रश्न के रूप में हो सकता है, जिसका उपयोग सिस्टम आउटपुट को संसाधित करने और उत्पन्न करने के लिए करता है। एफएम द्वारा उत्पन्न आउटपुट का उपयोग अंतिम उपयोगकर्ताओं द्वारा किया जा सकता है, जो मॉडल की भविष्य की प्रतिक्रियाओं को बढ़ाने के लिए इन आउटपुट को रेट करने में भी सक्षम होना चाहिए।
इन मूलभूत प्रक्रियाओं से परे, हमने देखा है कि उपभोक्ता फाइन-ट्यूनर द्वारा दी गई कार्यक्षमता का उपयोग करके एक मॉडल को फाइन-ट्यून करने की इच्छा व्यक्त कर रहे हैं। उदाहरण के लिए, एक वेबसाइट लें जो छवियां उत्पन्न करती है। यहां, अंतिम-उपयोगकर्ता निजी खाते सेट कर सकते हैं, व्यक्तिगत तस्वीरें अपलोड कर सकते हैं, और बाद में उन छवियों से संबंधित सामग्री उत्पन्न कर सकते हैं (उदाहरण के लिए, एक मोटरसाइकिल पर अंतिम-उपयोगकर्ता को तलवार लहराते हुए या किसी विदेशी स्थान पर स्थित छवि बनाते हुए)। इस परिदृश्य में, उपभोक्ता द्वारा डिज़ाइन किए गए जेनरेटिव एआई एप्लिकेशन को इस कार्यक्षमता को अंतिम उपयोगकर्ताओं तक पहुंचाने के लिए एपीआई के माध्यम से फाइन-ट्यूनर बैकएंड के साथ इंटरैक्ट करना होगा।
हालाँकि, इससे पहले कि हम इसमें गहराई से उतरें, आइए सबसे पहले मॉडल चयन, परीक्षण, उपयोग, इनपुट और आउटपुट इंटरैक्शन और रेटिंग की यात्रा पर ध्यान केंद्रित करें, जैसा कि निम्नलिखित आंकड़े में दिखाया गया है।
चरण 1. शीर्ष एफएम क्षमताओं को समझें
उपयोग के मामले, उपलब्ध डेटा, विनियमों आदि के आधार पर, फाउंडेशन मॉडल का चयन करते समय कई आयामों पर विचार करने की आवश्यकता होती है। एक अच्छी चेकलिस्ट, हालांकि व्यापक नहीं है, निम्नलिखित हो सकती है:
- मालिकाना या ओपन-सोर्स एफएम - मालिकाना मॉडल अक्सर वित्तीय लागत पर आते हैं, लेकिन वे आम तौर पर बेहतर प्रदर्शन (उत्पन्न पाठ या छवि की गुणवत्ता के संदर्भ में) प्रदान करते हैं, अक्सर मॉडल प्रदाताओं की समर्पित टीमों द्वारा विकसित और रखरखाव किया जाता है जो इष्टतम प्रदर्शन और विश्वसनीयता सुनिश्चित करते हैं। दूसरी ओर, हम ओपन-सोर्स मॉडल को भी अपनाते हुए देखते हैं, जो मुफ़्त होने के अलावा, सुलभ और लचीले होने के अतिरिक्त लाभ प्रदान करते हैं (उदाहरण के लिए, प्रत्येक ओपन-सोर्स मॉडल ठीक-ठीक ट्यून करने योग्य है)। मालिकाना मॉडल का एक उदाहरण एंथ्रोपिक का क्लाउड मॉडल है, और जुलाई 40 तक उच्च प्रदर्शन वाले ओपन-सोर्स मॉडल का एक उदाहरण फाल्कन-2023बी है।
- वाणिज्यिक अनुज्ञापत्र - एफएम पर निर्णय लेते समय लाइसेंस संबंधी विचार महत्वपूर्ण होते हैं। यह ध्यान रखना महत्वपूर्ण है कि कुछ मॉडल ओपन-सोर्स हैं लेकिन लाइसेंसिंग प्रतिबंधों या शर्तों के कारण व्यावसायिक उद्देश्यों के लिए उपयोग नहीं किया जा सकता है। अंतर सूक्ष्म हो सकते हैं: नव जारी xgen-7b-8k-आधार उदाहरण के लिए, मॉडल खुला स्रोत है और व्यावसायिक रूप से प्रयोग करने योग्य है (अपाचे-2.0 लाइसेंस), जबकि मॉडल का अनुदेश ठीक-ठीक संस्करण है xgen-7b-8k-इंस्ट केवल अनुसंधान प्रयोजनों के लिए जारी किया गया है। व्यावसायिक एप्लिकेशन के लिए एफएम का चयन करते समय, लाइसेंस समझौते को सत्यापित करना, इसकी सीमाओं को समझना और यह सुनिश्चित करना आवश्यक है कि यह परियोजना के इच्छित उपयोग के साथ संरेखित हो।
- पैरामीटर्स - मापदंडों की संख्या, जिसमें तंत्रिका नेटवर्क में वजन और पूर्वाग्रह शामिल हैं, एक अन्य महत्वपूर्ण कारक है। अधिक मापदंडों का मतलब आम तौर पर अधिक जटिल और संभावित रूप से शक्तिशाली मॉडल होता है, क्योंकि यह डेटा में अधिक जटिल पैटर्न और सहसंबंधों को पकड़ सकता है। हालाँकि, समस्या यह है कि इसे चलाने के लिए अधिक कम्प्यूटेशनल संसाधनों की आवश्यकता होती है और इसलिए, इसे चलाने में अधिक लागत आती है। इसके अतिरिक्त, हम छोटे मॉडलों की ओर रुझान देखते हैं, विशेष रूप से ओपन-सोर्स स्पेस (7-40 बिलियन तक के मॉडल) में, जो अच्छा प्रदर्शन करते हैं, खासकर, जब फाइन-ट्यून किया जाता है।
- गति - किसी मॉडल की गति उसके आकार से प्रभावित होती है। बढ़ी हुई कम्प्यूटेशनल जटिलता के कारण बड़े मॉडल डेटा को धीमी (उच्च विलंबता) संसाधित करते हैं। इसलिए, गति के लिए व्यावहारिक आवश्यकताओं के साथ उच्च पूर्वानुमानित शक्ति (अक्सर बड़े मॉडल) वाले मॉडल की आवश्यकता को संतुलित करना महत्वपूर्ण है, विशेष रूप से चैट बॉट जैसे अनुप्रयोगों में, जो वास्तविक समय या निकट-वास्तविक समय प्रतिक्रियाओं की मांग करते हैं।
- संदर्भ विंडो का आकार (टोकन की संख्या) - संदर्भ विंडो, अधिकतम संख्या में टोकन द्वारा परिभाषित होती है जो प्रति प्रॉम्प्ट इनपुट या आउटपुट हो सकती है, यह निर्धारित करने में महत्वपूर्ण है कि मॉडल एक समय में कितने संदर्भ पर विचार कर सकता है (एक टोकन अंग्रेजी के लिए लगभग 0.75 शब्दों का अनुवाद करता है)। बड़े संदर्भ विंडो वाले मॉडल पाठ के लंबे अनुक्रमों को समझ और उत्पन्न कर सकते हैं, जो लंबी बातचीत या दस्तावेज़ों से जुड़े कार्यों के लिए उपयोगी हो सकते हैं।
- प्रशिक्षण डेटासेट - यह समझना भी महत्वपूर्ण है कि एफएम को किस प्रकार के डेटा पर प्रशिक्षित किया गया था। कुछ मॉडलों को इंटरनेट डेटा, कोडिंग स्क्रिप्ट, निर्देश या मानव प्रतिक्रिया जैसे विविध टेक्स्ट डेटासेट पर प्रशिक्षित किया जा सकता है। दूसरों को टेक्स्ट और छवि डेटा के संयोजन जैसे मल्टीमॉडल डेटासेट पर भी प्रशिक्षित किया जा सकता है। यह विभिन्न कार्यों के लिए मॉडल की उपयुक्तता को प्रभावित कर सकता है। इसके अलावा, किसी मॉडल को प्रशिक्षित किए गए सटीक स्रोतों के आधार पर किसी संगठन को कॉपीराइट संबंधी चिंताएं हो सकती हैं - इसलिए, प्रशिक्षण डेटासेट का बारीकी से निरीक्षण करना अनिवार्य है।
- गुणवत्ता - एफएम की गुणवत्ता उसके प्रकार (मालिकाना बनाम खुला स्रोत), आकार और जिस पर इसे प्रशिक्षित किया गया था, उसके आधार पर भिन्न हो सकती है। गुणवत्ता संदर्भ-निर्भर है, जिसका अर्थ है कि एक एप्लिकेशन के लिए जो उच्च-गुणवत्ता माना जाता है वह दूसरे के लिए नहीं हो सकता है। उदाहरण के लिए, इंटरनेट डेटा पर प्रशिक्षित एक मॉडल को संवादी पाठ तैयार करने के लिए उच्च गुणवत्ता वाला माना जा सकता है, लेकिन तकनीकी या विशेष कार्यों के लिए इसे कम गुणवत्ता वाला माना जा सकता है।
- ठीक ट्यूनेबल - किसी एफएम के मॉडल भार या परतों को समायोजित करके उसे ठीक करने की क्षमता एक महत्वपूर्ण कारक हो सकती है। फ़ाइन-ट्यूनिंग मॉडल को एप्लिकेशन के विशिष्ट संदर्भ में बेहतर ढंग से अनुकूलित करने की अनुमति देती है, जिससे हाथ में विशिष्ट कार्य पर प्रदर्शन में सुधार होता है। हालाँकि, फ़ाइन-ट्यूनिंग के लिए अतिरिक्त कम्प्यूटेशनल संसाधनों और तकनीकी विशेषज्ञता की आवश्यकता होती है, और सभी मॉडल इस सुविधा का समर्थन नहीं करते हैं। ओपन-सोर्स मॉडल (सामान्य तौर पर) हमेशा ठीक-ट्यून करने योग्य होते हैं क्योंकि मॉडल कलाकृतियाँ डाउनलोड करने के लिए उपलब्ध होती हैं और उपयोगकर्ता अपनी इच्छानुसार उनका विस्तार और उपयोग करने में सक्षम होते हैं। मालिकाना मॉडल कभी-कभी फ़ाइन-ट्यूनिंग का विकल्प प्रदान कर सकते हैं।
- मौजूदा ग्राहक कौशल - एफएम का चयन ग्राहक या विकास टीम के कौशल और परिचितता से भी प्रभावित हो सकता है। यदि किसी संगठन की टीम में कोई एआई/एमएल विशेषज्ञ नहीं है, तो एक एपीआई सेवा उनके लिए बेहतर अनुकूल हो सकती है। साथ ही, यदि किसी टीम के पास किसी विशिष्ट एफएम के साथ व्यापक अनुभव है, तो उसे सीखने और नए को अपनाने के लिए समय और संसाधनों का निवेश करने के बजाय इसका उपयोग जारी रखना अधिक कुशल हो सकता है।
निम्नलिखित दो शॉर्टलिस्ट का उदाहरण है, एक मालिकाना मॉडल के लिए और एक ओपन-सोर्स मॉडल के लिए। आप उपलब्ध विकल्पों का त्वरित अवलोकन प्राप्त करने के लिए अपनी विशिष्ट आवश्यकताओं के आधार पर समान तालिकाएँ संकलित कर सकते हैं। ध्यान दें कि उन मॉडलों का प्रदर्शन और पैरामीटर तेजी से बदलते हैं और पढ़ने के समय तक पुराने हो सकते हैं, जबकि अन्य क्षमताएं विशिष्ट ग्राहकों के लिए महत्वपूर्ण हो सकती हैं, जैसे समर्थित भाषा।
AWS (जुलाई 2023) में उपलब्ध उल्लेखनीय स्वामित्व एफएम का एक उदाहरण निम्नलिखित है।
AWS (जुलाई 2023) में उपलब्ध उल्लेखनीय ओपन-सोर्स FM का एक उदाहरण निम्नलिखित है।
आपके द्वारा 10-20 संभावित उम्मीदवार मॉडलों का अवलोकन संकलित करने के बाद, इस शॉर्टलिस्ट को और परिष्कृत करना आवश्यक हो जाता है। इस खंड में, हम एक तीव्र तंत्र का प्रस्ताव करते हैं जो अगले दौर के लिए उम्मीदवारों के रूप में दो या तीन व्यवहार्य अंतिम मॉडल तैयार करेगा।
निम्नलिखित चित्र प्रारंभिक शॉर्टलिस्टिंग प्रक्रिया को दर्शाता है।
आमतौर पर, शीघ्र इंजीनियर, जो उच्च गुणवत्ता वाले संकेत बनाने में विशेषज्ञ होते हैं जो एआई मॉडल को उपयोगकर्ता इनपुट को समझने और संसाधित करने की अनुमति देते हैं, एक मॉडल पर एक ही कार्य (जैसे संक्षेपण) करने के लिए विभिन्न तरीकों के साथ प्रयोग करते हैं। हमारा सुझाव है कि ये संकेत तुरंत नहीं बनाए जाते हैं, बल्कि प्रॉम्प्ट कैटलॉग से व्यवस्थित रूप से निकाले जाते हैं। यह प्रॉम्प्ट कैटलॉग प्रतिकृति से बचने, संस्करण नियंत्रण को सक्षम करने और विभिन्न विकास चरणों में विभिन्न प्रॉम्प्ट परीक्षकों के बीच स्थिरता सुनिश्चित करने के लिए टीम के भीतर संकेतों को साझा करने के लिए संकेतों को संग्रहीत करने के लिए एक केंद्रीय स्थान है, जिसे हम अगले भाग में पेश करते हैं। यह प्रॉम्प्ट कैटलॉग एक फीचर स्टोर के Git रिपॉजिटरी के समान है। जेनेरिक एआई डेवलपर, जो संभावित रूप से प्रॉम्प्ट इंजीनियर के समान व्यक्ति हो सकता है, को यह निर्धारित करने के लिए आउटपुट का मूल्यांकन करने की आवश्यकता है कि क्या यह जेनेरिक एआई एप्लिकेशन के लिए उपयुक्त होगा जिसे वे विकसित करना चाहते हैं।
चरण 2. शीर्ष एफएम का परीक्षण और मूल्यांकन करें
शॉर्टलिस्ट को लगभग तीन एफएम तक कम करने के बाद, हम उपयोग के मामले में एफएम की क्षमताओं और उपयुक्तता का परीक्षण करने के लिए एक मूल्यांकन चरण की अनुशंसा करते हैं। मूल्यांकन डेटा की उपलब्धता और प्रकृति के आधार पर, हम विभिन्न तरीकों का सुझाव देते हैं, जैसा कि निम्नलिखित चित्र में दिखाया गया है।
पहले उपयोग करने की विधि इस बात पर निर्भर करती है कि आपने परीक्षण डेटा को लेबल किया है या नहीं।
यदि आपने डेटा लेबल किया है, तो आप इसका उपयोग मॉडल मूल्यांकन करने के लिए कर सकते हैं, जैसा कि हम पारंपरिक एमएल मॉडल के साथ करते हैं (कुछ नमूने इनपुट करें और लेबल के साथ आउटपुट की तुलना करें)। इस पर निर्भर करते हुए कि क्या परीक्षण डेटा में अलग-अलग लेबल हैं (जैसे सकारात्मक, नकारात्मक, या तटस्थ भावना विश्लेषण) या असंरचित पाठ (जैसे संक्षेपण) है, हम मूल्यांकन के लिए विभिन्न तरीकों का प्रस्ताव करते हैं:
- सटीकता मेट्रिक्स - असतत आउटपुट (जैसे भावना विश्लेषण) के मामले में, हम सटीकता, रिकॉल और एफ 1 स्कोर जैसे मानक सटीकता मेट्रिक्स का उपयोग कर सकते हैं
- समानता मेट्रिक्स - यदि आउटपुट असंरचित है (जैसे कि सारांश), तो हम ROUGE और कोसाइन समानता जैसे समानता मेट्रिक्स का सुझाव देते हैं
कुछ उपयोग के मामले खुद को एक सही उत्तर देने में सक्षम नहीं होते हैं (उदाहरण के लिए, "मेरी 5 वर्षीय बेटी के लिए बच्चों की एक छोटी कहानी बनाएं")। ऐसे मामलों में, मॉडलों का मूल्यांकन करना अधिक चुनौतीपूर्ण हो जाता है क्योंकि आपके पास परीक्षण डेटा लेबल नहीं होता है। हम मॉडल की मानव समीक्षा बनाम स्वचालित मूल्यांकन के महत्व के आधार पर दो दृष्टिकोण प्रस्तावित करते हैं:
- ह्यूमन-इन-द-लूप (HIL) - इस मामले में, शीघ्र परीक्षकों की एक टीम एक मॉडल से प्रतिक्रियाओं की समीक्षा करेगी। एप्लिकेशन कितना महत्वपूर्ण है, इसके आधार पर, शीघ्र परीक्षक 100% मॉडल आउटपुट या सिर्फ एक नमूने की समीक्षा कर सकते हैं।
- एलएलएम संचालित मूल्यांकन - इस परिदृश्य में, शीघ्र परीक्षकों को एलएलएम द्वारा प्रतिस्थापित किया जाता है, आदर्श रूप से वह जो परीक्षण किए जा रहे लोगों की तुलना में अधिक शक्तिशाली (हालांकि शायद धीमा और सबसे महंगा) है। एलएलएम सभी मॉडल-जनरेटेड प्रतिक्रियाओं की समीक्षा करेगा और उन्हें स्कोर करेगा। इस पद्धति के परिणामस्वरूप गुणवत्ता कम हो सकती है, लेकिन यह एक सस्ता और तेज़ मूल्यांकन विकल्प है जो मॉडल के प्रदर्शन पर एक अच्छा प्रारंभिक गेज प्रदान कर सकता है।
उदाहरण के लिए, हम एलएलएम के लिए निम्नलिखित उदाहरण संकेत का उपयोग कर सकते हैं, जिसमें इनपुट क्वेरी, एलएलएम प्रतिक्रिया और निर्देश शामिल हैं: "हम ऊपर प्रदर्शित उपयोगकर्ता प्रश्न के जवाब में एआई सहायक के प्रदर्शन पर आपकी प्रतिक्रिया का अनुरोध करना चाहते हैं।" . कृपया सहायक की प्रतिक्रिया की सहायता, प्रासंगिकता, सटीकता, विवरण के स्तर को रेटिंग दें। सहायक को 1 से 10 के पैमाने पर एक समग्र स्कोर प्राप्त होगा, जहां एक उच्च स्कोर बेहतर समग्र प्रदर्शन को इंगित करता है।
यह संकेत मूल्यांकन के लिए दूसरे एलएलएम (ईवलएलएलएम) को भेजा जाएगा। निम्नलिखित एक उदाहरण है जहां फाल्कन-40बी मॉडल की प्रतिक्रिया का मूल्यांकन एक इवलएलएलएम (इस मामले में क्लाउड) द्वारा किया गया है। हम इस प्रश्न का उपयोग करते हैं "क्या होगा यदि स्वेज़ नहर का निर्माण कभी नहीं किया गया?" प्रतिक्रिया इस प्रकार है:
प्रश्न: यदि स्वेज़ नहर का निर्माण कभी नहीं हुआ होता तो क्या होता?
फाल्कन-40बी-निर्देश
यदि स्वेज़ नहर का निर्माण कभी नहीं हुआ होता, तो भूमध्य सागर और लाल सागर के बीच नेविगेट करने के लिए जहाजों को अफ्रीका के चारों ओर यात्रा करनी पड़ती। इससे यात्रा में काफी समय और दूरी बढ़ जाएगी, जिससे यह कम कुशल और अधिक महंगी हो जाएगी। इसके अतिरिक्त, स्वेज नहर के बिना, मध्य पूर्व और उत्तरी अफ्रीका के कई देश बाकी दुनिया से बहुत कम जुड़े होते, जिससे आर्थिक और सांस्कृतिक विकास बाधित होता।
समीक्षा (स्कोर: 9/10)
सहायक की प्रतिक्रिया अत्यधिक प्रासंगिक, सटीक और विस्तृत है। यह स्वेज़ नहर के अस्तित्व के बारे में उपयोगकर्ता के काल्पनिक प्रश्न का उत्कृष्ट उत्तर प्रदान करता है। सहायक समुद्री यात्रा पर पड़ने वाले प्रभाव और मध्य पूर्व और उत्तरी अफ्रीका पर आर्थिक और सांस्कृतिक प्रभाव को सही ढंग से बताता है। हालाँकि, इसे अधिक व्यापक प्रतिक्रिया के लिए भू-राजनीतिक निहितार्थों या वैश्विक व्यापार पैटर्न पर प्रभाव के बारे में और विस्तार से बताया जा सकता था।
निम्नलिखित आंकड़ा शुरू से अंत तक मूल्यांकन प्रक्रिया का उदाहरण दिखाता है।
इस उदाहरण के आधार पर, मूल्यांकन करने के लिए, हमें उदाहरण संकेत प्रदान करने की आवश्यकता है, जिसे हम प्रॉम्प्ट कैटलॉग में संग्रहीत करते हैं, और हमारे विशिष्ट अनुप्रयोगों के आधार पर एक मूल्यांकन लेबल या अनलेबल डेटासेट प्रदान करते हैं। उदाहरण के लिए, एक लेबल किए गए मूल्यांकन डेटासेट के साथ, हम संकेत (इनपुट और क्वेरी) प्रदान कर सकते हैं जैसे "मुझे 2023 में यूके के प्रधान मंत्री का पूरा नाम दें" और आउटपुट और उत्तर, जैसे "ऋषि सनक।" बिना लेबल वाले डेटासेट के साथ, हम केवल प्रश्न या निर्देश प्रदान करते हैं, जैसे "रिटेल वेबसाइट के लिए स्रोत कोड जेनरेट करें।" हम प्रॉम्प्ट कैटलॉग और मूल्यांकन डेटासेट के संयोजन को कहते हैं मूल्यांकन शीघ्र सूची. हम प्रॉम्प्ट कैटलॉग और मूल्यांकन प्रॉम्प्ट कैटलॉग को अलग करते हैं, इसका कारण यह है कि उत्तरार्द्ध सामान्य संकेतों और निर्देशों (जैसे प्रश्न उत्तर) के बजाय एक विशिष्ट उपयोग के मामले के लिए समर्पित है, जो प्रॉम्प्ट कैटलॉग में शामिल है।
इस मूल्यांकन प्रॉम्प्ट कैटलॉग के साथ, अगला कदम शीर्ष एफएम को मूल्यांकन प्रॉम्प्ट फ़ीड करना है। परिणाम एक मूल्यांकन परिणाम डेटासेट है जिसमें प्रत्येक एफएम के संकेत, आउटपुट और एक स्कोर (यदि यह मौजूद है) के साथ लेबल आउटपुट शामिल है। बिना लेबल वाले मूल्यांकन प्रॉम्प्ट कैटलॉग के मामले में, एचआईएल या एलएलएम के लिए परिणामों की समीक्षा करने और स्कोर और फीडबैक प्रदान करने के लिए एक अतिरिक्त कदम है (जैसा कि हमने पहले बताया था)। अंतिम परिणाम समग्र परिणाम होंगे जो सभी आउटपुट के स्कोर को जोड़ते हैं (औसत सटीकता या मानव रेटिंग की गणना करते हैं) और उपयोगकर्ताओं को मॉडल की गुणवत्ता को बेंचमार्क करने की अनुमति देते हैं।
मूल्यांकन परिणाम एकत्र होने के बाद, हम कई आयामों के आधार पर एक मॉडल चुनने का प्रस्ताव करते हैं। ये आम तौर पर परिशुद्धता, गति और लागत जैसे कारकों पर आते हैं। निम्नलिखित चित्र एक उदाहरण दिखाता है.
प्रत्येक मॉडल में इन आयामों के साथ ताकत और कुछ निश्चित समझौते होंगे। उपयोग के मामले के आधार पर, हमें इन आयामों को अलग-अलग प्राथमिकताएँ निर्दिष्ट करनी चाहिए। पिछले उदाहरण में, हमने सबसे महत्वपूर्ण कारक के रूप में लागत को प्राथमिकता देने का चुनाव किया, उसके बाद सटीकता और फिर गति को। भले ही यह धीमा है और FM1 जितना कुशल नहीं है, फिर भी यह होस्ट करने के लिए पर्याप्त रूप से प्रभावी और काफी सस्ता है। परिणामस्वरूप, हम FM2 को शीर्ष विकल्प के रूप में चुन सकते हैं।
चरण 3. जेनरेटिव एआई एप्लिकेशन बैकएंड और फ्रंटएंड विकसित करें
इस बिंदु पर, जेनेरिक एआई डेवलपर्स ने शीघ्र इंजीनियरों और परीक्षकों की मदद से विशिष्ट एप्लिकेशन के लिए सही एफएम का चयन किया है। अगला कदम जेनेरिक एआई एप्लिकेशन को विकसित करना शुरू करना है। हमने जेनेरिक एआई एप्लिकेशन के विकास को दो परतों, एक बैकएंड और फ्रंट एंड में विभाजित किया है, जैसा कि निम्नलिखित चित्र में दिखाया गया है।
बैकएंड पर, जेनेरिक एआई डेवलपर्स चयनित एफएम को समाधानों में शामिल करते हैं और एंड-यूज़र इनपुट को उपयुक्त एफएम संकेतों में बदलने के लिए स्वचालन बनाने के लिए शीघ्र इंजीनियरों के साथ मिलकर काम करते हैं। प्रॉम्प्ट परीक्षक स्वचालित या मैन्युअल (HIL या LLM) परीक्षण के लिए प्रॉम्प्ट कैटलॉग में आवश्यक प्रविष्टियाँ बनाते हैं। फिर, जेनरेटिव एआई डेवलपर्स अंतिम आउटपुट प्रदान करने के लिए शीघ्र चेनिंग और एप्लिकेशन तंत्र बनाते हैं। इस संदर्भ में, प्रॉम्प्ट चेनिंग, अधिक गतिशील और प्रासंगिक रूप से जागरूक एलएलएम एप्लिकेशन बनाने की एक तकनीक है। यह एक जटिल कार्य को छोटे, अधिक प्रबंधनीय उप-कार्यों की श्रृंखला में तोड़कर काम करता है। उदाहरण के लिए, यदि हम एलएलएम से यह प्रश्न पूछते हैं कि "ब्रिटेन के प्रधान मंत्री का जन्म कहां हुआ था और वह स्थान लंदन से कितनी दूर है," तो कार्य को अलग-अलग संकेतों में विभाजित किया जा सकता है, जहां उत्तर के आधार पर एक संकेत बनाया जा सकता है। पिछले त्वरित मूल्यांकन के, जैसे "ब्रिटेन के प्रधान मंत्री कौन हैं," "उनका जन्मस्थान क्या है," और "वह स्थान लंदन से कितनी दूर है?" एक निश्चित इनपुट और आउटपुट गुणवत्ता सुनिश्चित करने के लिए, जेनरेटिव एआई डेवलपर्स को एंड-यूज़र इनपुट और एप्लिकेशन आउटपुट की निगरानी और फ़िल्टर करने के लिए तंत्र बनाने की भी आवश्यकता है। यदि, उदाहरण के लिए, एलएलएम एप्लिकेशन को विषाक्त अनुरोधों और प्रतिक्रियाओं से बचना है, तो वे इनपुट और आउटपुट के लिए एक विषाक्तता डिटेक्टर लगा सकते हैं और उन्हें फ़िल्टर कर सकते हैं। अंत में, उन्हें एक रेटिंग तंत्र प्रदान करने की आवश्यकता है, जो अच्छे और बुरे उदाहरणों के साथ मूल्यांकन शीघ्र कैटलॉग के संवर्द्धन का समर्थन करेगा। उन तंत्रों का अधिक विस्तृत प्रतिनिधित्व भविष्य के पोस्टों में प्रस्तुत किया जाएगा।
जेनरेटिव एआई एंड-यूज़र को कार्यक्षमता प्रदान करने के लिए, बैकएंड के साथ इंटरैक्ट करने वाली फ्रंटएंड वेबसाइट का विकास आवश्यक है। इसलिए, DevOps और AppDevs (क्लाउड पर एप्लिकेशन डेवलपर्स) व्यक्तियों को इनपुट/आउटपुट और रेटिंग की कार्यक्षमता को लागू करने के लिए सर्वोत्तम विकास प्रथाओं का पालन करने की आवश्यकता है।
इस बुनियादी कार्यक्षमता के अलावा, फ्रंटएंड और बैकएंड को व्यक्तिगत उपयोगकर्ता खाते बनाने, डेटा अपलोड करने, ब्लैक बॉक्स के रूप में फाइन-ट्यूनिंग शुरू करने और मूल एफएम के बजाय वैयक्तिकृत मॉडल का उपयोग करने की सुविधा को शामिल करने की आवश्यकता है। जेनेरिक एआई एप्लिकेशन का उत्पादन सामान्य एप्लिकेशन के समान है। निम्नलिखित चित्र एक उदाहरण वास्तुकला को दर्शाता है।
इस आर्किटेक्चर में, जेनेरेटिव एआई डेवलपर्स, प्रॉम्प्ट इंजीनियर और डेवऑप्स या ऐपडेव्स समर्पित कोड रिपॉजिटरी का उपयोग करके और विलय करके एक विकास वातावरण (पिछले आंकड़े में जेनेरेटिव एआई ऐप डेव) में सीआई/सीडी के माध्यम से इसे तैनात करके एप्लिकेशन को मैन्युअल रूप से बनाते और परीक्षण करते हैं। देव शाखा. इस स्तर पर, जेनेरिक एआई डेवलपर्स एपीआई को कॉल करके संबंधित एफएम का उपयोग करेंगे जैसा कि फाइन-ट्यूनर के एफएम प्रदाताओं द्वारा प्रदान किया गया है। फिर, एप्लिकेशन का बड़े पैमाने पर परीक्षण करने के लिए, उन्हें परीक्षण शाखा में कोड को बढ़ावा देने की आवश्यकता है, जो सीआई/सीडी के माध्यम से प्रीप्रोडक्शन वातावरण (जेनरेटिव एआई ऐप प्री-प्रोड) में तैनाती को ट्रिगर करेगा। इस माहौल में, शीघ्र परीक्षकों को बड़ी मात्रा में शीघ्र संयोजनों को आज़माने और परिणामों की समीक्षा करने की आवश्यकता होती है। भविष्य में परीक्षण प्रक्रिया को स्वचालित करने के लिए संकेतों, आउटपुट और समीक्षा के संयोजन को मूल्यांकन प्रॉम्प्ट कैटलॉग में ले जाने की आवश्यकता है। इस व्यापक परीक्षण के बाद, अंतिम चरण मुख्य शाखा (जेनेरेटिव एआई ऐप प्रोड) के साथ विलय करके सीआई/सीडी के माध्यम से जेनेरिक एआई एप्लिकेशन को उत्पादन में बढ़ावा देना है। ध्यान दें कि प्रॉम्प्ट कैटलॉग, मूल्यांकन डेटा और परिणाम, अंतिम-उपयोगकर्ता डेटा और मेटाडेटा, और फाइन-ट्यून किए गए मॉडल मेटाडेटा सहित सभी डेटा को डेटा लेक या डेटा जाल परत में संग्रहीत करने की आवश्यकता है। सीआई/सीडी पाइपलाइनों और रिपॉजिटरी को एक अलग टूलींग खाते में संग्रहीत करने की आवश्यकता है (एमएलओपीएस के लिए वर्णित के समान)।
प्रदाताओं की यात्रा
एफएम प्रदाताओं को गहन शिक्षण मॉडल जैसे एफएम को प्रशिक्षित करने की आवश्यकता है। उनके लिए एंड-टू-एंड एमएलओपीएस जीवनचक्र और बुनियादी ढांचा आवश्यक है। ऐतिहासिक डेटा तैयार करने, मॉडल मूल्यांकन और निगरानी में परिवर्धन की आवश्यकता होती है। निम्नलिखित चित्र उनकी यात्रा को दर्शाता है।
क्लासिक एमएल में, ऐतिहासिक डेटा अक्सर ईटीएल पाइपलाइनों के माध्यम से जमीनी सच्चाई को फीड करके बनाया जाता है। उदाहरण के लिए, मंथन पूर्वानुमान उपयोग के मामले में, एक स्वचालन ग्राहक की नई स्थिति के आधार पर डेटाबेस तालिका को स्वचालित रूप से मंथन/नहीं करने के लिए अद्यतन करता है। एफएम के मामले में, उन्हें अरबों लेबल वाले या बिना लेबल वाले डेटा बिंदुओं की आवश्यकता होती है। टेक्स्ट-टू-इमेज उपयोग के मामलों में, डेटा लेबलर्स की एक टीम को लेबल करने की आवश्यकता होती है मैन्युअल रूप से जोड़े. यह एक महँगा अभ्यास है जिसके लिए बड़ी संख्या में लोगों के संसाधनों की आवश्यकता होती है। अमेज़न सेजमेकर ग्राउंड ट्रुथ प्लस आपके लिए यह गतिविधि करने के लिए लेबलर्स की एक टीम प्रदान कर सकता है। कुछ उपयोग मामलों के लिए, इस प्रक्रिया को आंशिक रूप से स्वचालित भी किया जा सकता है, उदाहरण के लिए सीएलआईपी-जैसे मॉडल का उपयोग करके। एलएलएम के मामले में, जैसे टेक्स्ट-टू-टेक्स्ट, डेटा लेबल रहित होता है। हालाँकि, उन्हें तैयार रहने और मौजूदा ऐतिहासिक गैर-सूचीबद्ध डेटा के प्रारूप का पालन करने की आवश्यकता है। इसलिए, आवश्यक डेटा तैयार करने और निरंतरता सुनिश्चित करने के लिए डेटा संपादकों की आवश्यकता होती है।
ऐतिहासिक डेटा तैयार करने के साथ, अगला चरण मॉडल का प्रशिक्षण और उत्पादनीकरण है। ध्यान दें कि उन्हीं मूल्यांकन तकनीकों का उपयोग किया जा सकता है जैसा हमने उपभोक्ताओं के लिए वर्णित किया है।
फाइन ट्यूनर्स की यात्रा
फाइन-ट्यूनर का लक्ष्य मौजूदा एफएम को उनके विशिष्ट संदर्भ में अनुकूलित करना है। उदाहरण के लिए, एक एफएम मॉडल एक सामान्य-उद्देश्य वाले पाठ को संक्षेप में प्रस्तुत कर सकता है, लेकिन एक वित्तीय रिपोर्ट को सटीक रूप से नहीं प्रस्तुत कर सकता है या एक गैर-सामान्य प्रोग्रामिंग भाषा के लिए स्रोत कोड उत्पन्न नहीं कर सकता है। उन मामलों में, फाइन-ट्यूनर को डेटा को लेबल करने, प्रशिक्षण कार्य चलाकर मॉडल को फाइन-ट्यून करने, मॉडल को तैनात करने, उपभोक्ता प्रक्रियाओं के आधार पर इसका परीक्षण करने और मॉडल की निगरानी करने की आवश्यकता होती है। निम्नलिखित चित्र इस प्रक्रिया को दर्शाता है।
फिलहाल, दो फाइन-ट्यूनिंग तंत्र हैं:
- फ़ाइन ट्यूनिंग - एफएम और लेबल किए गए डेटा का उपयोग करके, एक प्रशिक्षण कार्य गहन शिक्षण मॉडल परतों के वजन और पूर्वाग्रहों की पुनर्गणना करता है। यह प्रक्रिया कम्प्यूटेशनल रूप से गहन हो सकती है और इसके लिए प्रतिनिधि मात्रा में डेटा की आवश्यकता होती है लेकिन यह सटीक परिणाम उत्पन्न कर सकता है।
- पैरामीटर-कुशल फ़ाइन-ट्यूनिंग (PEFT) - सभी भारों और पूर्वाग्रहों की पुनर्गणना करने के बजाय, शोधकर्ताओं ने दिखाया है कि गहन शिक्षण मॉडल में अतिरिक्त छोटी परतें जोड़कर, वे संतोषजनक परिणाम प्राप्त कर सकते हैं (उदाहरण के लिए, लोरा). पीईएफटी को गहरी फाइन-ट्यूनिंग और कम इनपुट डेटा वाले प्रशिक्षण कार्य की तुलना में कम कम्प्यूटेशनल शक्ति की आवश्यकता होती है। दोष संभावित कम सटीकता है।
निम्नलिखित चित्र इन तंत्रों को दर्शाता है।
अब जब हमने दो मुख्य फ़ाइन-ट्यूनिंग विधियों को परिभाषित कर लिया है, तो अगला चरण यह निर्धारित करना है कि हम ओपन-सोर्स और मालिकाना एफएम को कैसे तैनात और उपयोग कर सकते हैं।
ओपन-सोर्स एफएम के साथ, फाइन-ट्यूनर वेब से मॉडल आर्टिफैक्ट और सोर्स कोड डाउनलोड कर सकते हैं, उदाहरण के लिए, इसका उपयोग करके हगिंग फेस मॉडल हब. यह आपको मॉडल को गहराई से ठीक करने, इसे स्थानीय मॉडल रजिस्ट्री में संग्रहीत करने और इसे किसी में तैनात करने की सुविधा देता है अमेज़न SageMaker समापनबिंदु. इस प्रक्रिया के लिए इंटरनेट कनेक्शन की आवश्यकता होती है. अधिक सुरक्षित वातावरण (जैसे कि वित्तीय क्षेत्र में ग्राहकों के लिए) का समर्थन करने के लिए, आप परिसर में मॉडल डाउनलोड कर सकते हैं, सभी आवश्यक सुरक्षा जांच चला सकते हैं, और उन्हें AWS खाते पर स्थानीय बकेट में अपलोड कर सकते हैं। फिर, फाइन-ट्यूनर बिना इंटरनेट कनेक्शन के स्थानीय बकेट से एफएम का उपयोग करते हैं। यह डेटा गोपनीयता सुनिश्चित करता है, और डेटा इंटरनेट पर यात्रा नहीं करता है। निम्नलिखित चित्र इस विधि को दर्शाता है।
मालिकाना एफएम के साथ, परिनियोजन प्रक्रिया अलग होती है क्योंकि फाइन-ट्यूनर के पास मॉडल आर्टिफैक्ट या स्रोत कोड तक पहुंच नहीं होती है। मॉडल मालिकाना एफएम प्रदाता एडब्ल्यूएस खातों और मॉडल रजिस्ट्रियों में संग्रहीत हैं। ऐसे मॉडल को सेजमेकर एंडपॉइंट पर तैनात करने के लिए, फाइन-ट्यूनर केवल मॉडल पैकेज का अनुरोध कर सकते हैं जिसे सीधे एंडपॉइंट पर तैनात किया जाएगा। इस प्रक्रिया के लिए मालिकाना एफएम प्रदाताओं के खातों में ग्राहक डेटा का उपयोग करने की आवश्यकता होती है, जो फाइन-ट्यूनिंग करने के लिए दूरस्थ खाते में उपयोग किए जा रहे ग्राहक-संवेदनशील डेटा और एक मॉडल रजिस्ट्री में होस्ट किए जाने वाले मॉडल के बारे में सवाल उठाता है जो कई ग्राहकों के बीच साझा किया जाता है। . इससे एक बहु-किरायेदारी समस्या पैदा होती है जो और अधिक चुनौतीपूर्ण हो जाती है यदि मालिकाना एफएम प्रदाताओं को इन मॉडलों की सेवा करने की आवश्यकता होती है। यदि फाइन-ट्यूनर उपयोग करते हैं अमेज़ॅन बेडरॉक, इन चुनौतियों का समाधान हो गया है - डेटा इंटरनेट पर यात्रा नहीं करता है और एफएम प्रदाताओं के पास फाइन-ट्यूनर के डेटा तक पहुंच नहीं है। यदि फाइन-ट्यूनर कई ग्राहकों के मॉडल की सेवा करना चाहते हैं, तो ओपन-सोर्स मॉडल के लिए भी यही चुनौतियाँ हैं, जैसे कि हमने पहले उस वेबसाइट के साथ उदाहरण दिया था जिस पर हजारों ग्राहक वैयक्तिकृत चित्र अपलोड करेंगे। हालाँकि, इन परिदृश्यों को नियंत्रणीय माना जा सकता है क्योंकि इसमें केवल फाइन-ट्यूनर ही शामिल होता है। निम्नलिखित चित्र इस विधि को दर्शाता है।
प्रौद्योगिकी के दृष्टिकोण से, एक फाइन-ट्यूनर को जिस आर्किटेक्चर का समर्थन करने की आवश्यकता होती है वह एमएलओपीएस के समान है (निम्न चित्र देखें)। एमएल पाइपलाइनों का निर्माण करके डेव में फाइन-ट्यूनिंग आयोजित करने की आवश्यकता है, जैसे कि का उपयोग करना अमेज़न SageMaker पाइपलाइन; प्रीप्रोसेसिंग, फाइन-ट्यूनिंग (प्रशिक्षण कार्य), और पोस्टप्रोसेसिंग करना; और ओपन-सोर्स एफएम के मामले में फाइन-ट्यून किए गए मॉडल को स्थानीय मॉडल रजिस्ट्री में भेजना (अन्यथा, नया मॉडल मालिकाना एफएम प्रदान वातावरण में संग्रहीत किया जाएगा)। फिर, प्री-प्रोडक्शन में, हमें मॉडल का परीक्षण करने की आवश्यकता है जैसा कि हम उपभोक्ताओं के परिदृश्य के लिए वर्णन करते हैं। अंत में, मॉडल को उत्पाद में प्रस्तुत किया जाएगा और उसकी निगरानी की जाएगी। ध्यान दें कि वर्तमान (फाइन-ट्यून) एफएम को जीपीयू इंस्टेंस एंडपॉइंट की आवश्यकता होती है। यदि हमें प्रत्येक सुव्यवस्थित मॉडल को एक अलग समापन बिंदु पर तैनात करने की आवश्यकता है, तो इससे सैकड़ों मॉडलों के मामले में लागत बढ़ सकती है। इसलिए, हमें मल्टी-मॉडल एंडपॉइंट्स का उपयोग करने और मल्टी-टेनेंसी चुनौती को हल करने की आवश्यकता है।
फाइन-ट्यूनर एक विशिष्ट संदर्भ के आधार पर एफएम मॉडल को अपने व्यावसायिक उद्देश्य के लिए उपयोग करने के लिए अनुकूलित करते हैं। इसका मतलब है कि अधिकांश समय, फाइन-ट्यूनर भी उपभोक्ता होते हैं जिन्हें सभी परतों का समर्थन करने की आवश्यकता होती है, जैसा कि हमने पिछले अनुभागों में वर्णित किया है, जिसमें जेनरेटिव एआई एप्लिकेशन डेवलपमेंट, डेटा लेक और डेटा जाल और एमएलओपीएस शामिल हैं।
निम्नलिखित आंकड़ा संपूर्ण एफएम फाइन-ट्यूनिंग जीवनचक्र को दर्शाता है जिसे फाइन-ट्यूनर को जेनरेटिव एआई एंड-यूज़र प्रदान करने की आवश्यकता होती है।
निम्नलिखित चित्र प्रमुख चरणों को दर्शाता है।
मुख्य चरण निम्नलिखित हैं:
- अंतिम उपयोगकर्ता एक व्यक्तिगत खाता बनाता है और निजी डेटा अपलोड करता है।
- डेटा को डेटा लेक में संग्रहीत किया जाता है और एफएम द्वारा अपेक्षित प्रारूप का पालन करने के लिए पूर्व-संसाधित किया जाता है।
- यह एक फाइन-ट्यूनिंग एमएल पाइपलाइन को ट्रिगर करता है जो मॉडल को मॉडल रजिस्ट्री में जोड़ता है,
- वहां से, या तो मॉडल को न्यूनतम परीक्षण के साथ उत्पादन में तैनात किया जाता है या मॉडल एचआईएल और मैन्युअल अनुमोदन गेट्स के साथ व्यापक परीक्षण को आगे बढ़ाता है।
- अंतिम-उपयोगकर्ताओं के लिए फाइन-ट्यून मॉडल उपलब्ध कराया गया है।
क्योंकि यह बुनियादी ढांचा गैर-उद्यम ग्राहकों के लिए जटिल है, एडब्ल्यूएस ने ऐसे आर्किटेक्चर बनाने और बेहतर एफएम को उत्पादन के करीब लाने के प्रयास को बढ़ावा देने के लिए अमेज़ॅन बेडरॉक जारी किया।
एफएमओपीएस और एलएलएमओपीएस व्यक्तित्व और प्रक्रिया विभेदक
पूर्ववर्ती उपयोगकर्ता प्रकार की यात्राओं (उपभोक्ता, निर्माता और फाइन-ट्यूनर) के आधार पर, विशिष्ट कौशल वाले नए व्यक्तियों की आवश्यकता होती है, जैसा कि निम्नलिखित आंकड़े में दिखाया गया है।
नए व्यक्तित्व इस प्रकार हैं:
- डेटा लेबलर और संपादक - ये उपयोगकर्ता डेटा को लेबल करते हैं, जैसे जोड़े बनाएं, या बिना लेबल वाला डेटा तैयार करें, जैसे मुफ़्त टेक्स्ट, और उन्नत एनालिटिक्स टीम और डेटा लेक वातावरण का विस्तार करें।
- फाइन-ट्यूनर - इन उपयोगकर्ताओं को एफएम पर गहरा ज्ञान है और वे उन्हें ट्यून करना जानते हैं, जिससे डेटा साइंस टीम का विस्तार होगा जो क्लासिक एमएल पर ध्यान केंद्रित करेगी।
- जनरेटिव एआई डेवलपर्स – उन्हें एफएम का चयन करने, प्रॉम्प्ट और एप्लिकेशन को चेन करने और इनपुट और आउटपुट को फ़िल्टर करने का गहरा ज्ञान है। वे एक नई टीम-जेनरेटिव एआई एप्लिकेशन टीम से संबंधित हैं।
- शीघ्र इंजीनियरों - ये उपयोगकर्ता संदर्भ के समाधान को अनुकूलित करने और परीक्षण करने और प्रॉम्प्ट कैटलॉग का प्रारंभिक संस्करण बनाने के लिए इनपुट और आउटपुट संकेतों को डिज़ाइन करते हैं। उनकी टीम जेनरेटिव एआई एप्लिकेशन टीम है।
- परीक्षकों को प्रेरित करें - वे बड़े पैमाने पर जेनरेटिव एआई समाधान (बैकएंड और फ्रंटएंड) का परीक्षण करते हैं और त्वरित कैटलॉग और मूल्यांकन डेटासेट को बढ़ाने के लिए अपने परिणाम फ़ीड करते हैं। उनकी टीम जेनरेटिव एआई एप्लिकेशन टीम है।
- ऐपडेव और डेवऑप्स - वे जेनरेटिव एआई एप्लिकेशन का फ्रंट एंड (जैसे वेबसाइट) विकसित करते हैं। उनकी टीम जेनरेटिव एआई एप्लिकेशन टीम है।
- जेनरेटिव एआई एंड-यूजर्स - ये उपयोगकर्ता जेनेरिक एआई अनुप्रयोगों को ब्लैक बॉक्स के रूप में उपभोग करते हैं, डेटा साझा करते हैं और आउटपुट की गुणवत्ता को रेट करते हैं।
जेनरेटिव एआई को शामिल करने के लिए एमएलओपीएस प्रोसेस मैप के विस्तारित संस्करण को निम्नलिखित चित्र के साथ चित्रित किया जा सकता है।
एक नई एप्लिकेशन परत वह वातावरण है जहां जेनरेटिव एआई डेवलपर्स, प्रॉम्प्ट इंजीनियर और टेस्टर्स और ऐपडेव्स ने जेनरेटिव एआई एप्लिकेशन का बैकएंड और फ्रंट एंड बनाया है। जेनेरिक एआई एंड-यूजर्स इंटरनेट (जैसे वेब यूआई) के माध्यम से जेनेरिक एआई अनुप्रयोगों के फ्रंट एंड के साथ इंटरैक्ट करते हैं। दूसरी ओर, डेटा लेबलर्स और संपादकों को डेटा लेक या डेटा जाल के बैकएंड तक पहुंच के बिना डेटा को प्रीप्रोसेस करने की आवश्यकता होती है। इसलिए, डेटा के साथ सुरक्षित रूप से इंटरैक्ट करने के लिए एक संपादक के साथ एक वेब यूआई (वेबसाइट) आवश्यक है। सेजमेकर ग्राउंड ट्रुथ इस कार्यक्षमता को बॉक्स से बाहर प्रदान करता है।
निष्कर्ष
एमएलओपीएस हमें एमएल मॉडल को कुशलतापूर्वक तैयार करने में मदद कर सकते हैं। हालाँकि, जेनेरिक एआई अनुप्रयोगों को संचालित करने के लिए, आपको अतिरिक्त कौशल, प्रक्रियाओं और प्रौद्योगिकियों की आवश्यकता होती है, जो एफएमओपीएस और एलएलएमओपीएस की ओर ले जाती हैं। इस पोस्ट में, हमने एफएमओपीएस और एलएलएमओपीएस की मुख्य अवधारणाओं को परिभाषित किया और लोगों, प्रक्रियाओं, प्रौद्योगिकी, एफएम मॉडल चयन और मूल्यांकन के संदर्भ में एमएलओपीएस क्षमताओं की तुलना में प्रमुख विभेदकों का वर्णन किया। इसके अलावा, हमने एक जेनेरिक एआई डेवलपर की विचार प्रक्रिया और एक जेनेरिक एआई एप्लिकेशन के विकास जीवनचक्र का वर्णन किया है।
भविष्य में, हम चर्चा किए गए डोमेन के अनुसार समाधान प्रदान करने पर ध्यान केंद्रित करेंगे, और एफएम निगरानी (जैसे विषाक्तता, पूर्वाग्रह और मतिभ्रम) और तीसरे पक्ष या निजी डेटा स्रोत वास्तुशिल्प पैटर्न को एकीकृत करने के तरीके के बारे में अधिक विवरण प्रदान करेंगे, जैसे कि एफएमओपीएस/एलएलएमओपीएस में पुनर्प्राप्ति संवर्धित पीढ़ी (आरएजी)।
अधिक जानने के लिए, देखें MLOps ने Amazon SageMaker के साथ उद्यमों के लिए रोडमैप की नींव रखी और अंत-से-अंत समाधान आज़माएँ Amazon SageMaker जम्पस्टार्ट पूर्व-प्रशिक्षित मॉडल के साथ MLOps प्रथाओं को लागू करना.
यदि आपके पास कोई टिप्पणी या प्रश्न हैं, तो कृपया उन्हें टिप्पणी अनुभाग में छोड़ दें।
लेखक के बारे में
डॉ. सुकरातिस कार्तिकी अमेज़ॅन वेब सर्विसेज के लिए एक वरिष्ठ मशीन लर्निंग और ऑपरेशंस स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट हैं। सोक्राटिस एडब्ल्यूएस सेवाओं का फायदा उठाकर और उनके ऑपरेटिंग मॉडल, यानी एमएलओपीएस फाउंडेशन, और सर्वोत्तम विकास प्रथाओं का लाभ उठाते हुए परिवर्तन रोडमैप को आकार देकर उद्यम ग्राहकों को अपने मशीन लर्निंग (एमएल) समाधानों को औद्योगिकीकृत करने में सक्षम बनाने पर ध्यान केंद्रित करता है। उन्होंने ऊर्जा, खुदरा, स्वास्थ्य, वित्त/बैंकिंग, मोटरस्पोर्ट्स आदि के क्षेत्रों में नवीन एंड-टू-एंड उत्पादन-स्तर एमएल और इंटरनेट ऑफ थिंग्स (IoT) समाधानों का आविष्कार, डिजाइन, नेतृत्व और कार्यान्वयन पर 15+ वर्ष बिताए हैं। सोकराटिस को अपना खाली समय परिवार और दोस्तों के साथ या मोटरसाइकिल चलाना पसंद है।
हाइको हॉट्ज़ो प्राकृतिक भाषा प्रसंस्करण, बड़े भाषा मॉडल और जेनरेटिव एआई पर विशेष ध्यान देने के साथ एआई और मशीन लर्निंग के लिए एक वरिष्ठ समाधान वास्तुकार हैं। इस भूमिका से पहले, वह अमेज़ॅन की ईयू ग्राहक सेवा के लिए डेटा साइंस के प्रमुख थे। हेइको हमारे ग्राहकों को AWS पर उनकी AI/ML यात्रा में सफल होने में मदद करता है और उसने बीमा, वित्तीय सेवाओं, मीडिया और मनोरंजन, स्वास्थ्य देखभाल, उपयोगिताओं और विनिर्माण सहित कई उद्योगों में संगठनों के साथ काम किया है। अपने खाली समय में, हेइको यथासंभव यात्रा करता है।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. ऑटोमोटिव/ईवीएस, कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- चार्टप्राइम. चार्टप्राइम के साथ अपने ट्रेडिंग गेम को उन्नत करें। यहां पहुंचें।
- BlockOffsets. पर्यावरणीय ऑफसेट स्वामित्व का आधुनिकीकरण। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/fmops-llmops-operationalize-generative-ai-and-differences-with-mlops/
- :हैस
- :है
- :नहीं
- :कहाँ
- $यूपी
- 1
- 10
- 100
- 2023
- 23
- 7
- 75
- a
- क्षमता
- योग्य
- About
- ऊपर
- अमूर्त
- पहुँच
- सुलभ
- तक पहुँचने
- लेखा
- अकौन्टस(लेखा)
- शुद्धता
- सही
- सही रूप में
- पाना
- कार्रवाई
- गतिविधि
- अनुकूलन
- अनुकूलन
- जोड़ना
- जोड़ने
- इसके अलावा
- अतिरिक्त
- इसके अतिरिक्त
- अतिरिक्त
- जोड़ता है
- प्रशासन
- दत्तक ग्रहण
- उन्नत
- अफ्रीका
- बाद
- समझौता
- AI
- एअर इंडिया और मशीन लर्निंग
- एआई सहायक
- एआई मॉडल
- ऐ सेवा
- ऐ मामलों का उपयोग करें
- ऐ / एमएल
- उद्देश्य
- संरेखित करता है
- सब
- अनुमति देना
- की अनुमति देता है
- साथ में
- पहले ही
- भी
- हालांकि
- हमेशा
- वीरांगना
- अमेज़न SageMaker
- अमेज़न SageMaker जम्पस्टार्ट
- अमेज़ॅन वेब सेवा
- के बीच में
- राशि
- an
- विश्लेषण
- विश्लेषिकी
- और
- और बुनियादी ढांचे
- अन्य
- जवाब
- जवाब
- कोई
- एपीआई
- एपीआई
- अनुप्रयोग
- आवेदन
- अनुप्रयोग विकास
- अनुप्रयोगों
- लागू करें
- दृष्टिकोण
- दृष्टिकोण
- उपयुक्त
- अनुमोदन
- लगभग
- आर्किटेक्ट
- वास्तु
- स्थापत्य
- हैं
- चारों ओर
- AS
- आकलन
- सहायक
- At
- अंकेक्षित
- लेखा परीक्षकों
- संवर्धित
- को स्वचालित रूप से
- स्वचालित
- स्वचालित
- स्वतः
- स्वचालन
- उपलब्धता
- उपलब्ध
- औसत
- से बचने
- एडब्ल्यूएस
- बैकएण्ड
- बुरा
- शेष
- आधारित
- बुनियादी
- BE
- क्योंकि
- बन
- हो जाता है
- किया गया
- से पहले
- जा रहा है
- बेंचमार्क
- लाभ
- BEST
- बेहतर
- के बीच
- पूर्वाग्रह
- पूर्वाग्रहों
- बिलियन
- अरबों
- काली
- जन्म
- उधार
- के छात्रों
- बॉट
- मुक्केबाज़ी
- बक्से
- शाखा
- तोड़कर
- संक्षिप्त
- लाना
- टूटा
- निर्माण
- इमारत
- बनाया गया
- व्यापार
- लेकिन
- by
- गणना
- कॉल
- बुलाया
- बुला
- कर सकते हैं
- उम्मीदवार
- उम्मीदवारों
- क्षमताओं
- क्षमता
- कब्जा
- मामला
- मामलों
- सूची
- श्रेणियाँ
- केंद्रीय
- केंद्रीकृत
- कुछ
- चुनौती
- चुनौतियों
- चुनौतीपूर्ण
- परिवर्तन
- chatbots
- सस्ता
- जाँचता
- चुनाव
- चुनने
- क्लासिक
- निकट से
- करीब
- कपड़ा
- बादल
- कोड
- कोडन
- सहयोग
- संयोजन
- संयोजन
- गठबंधन
- कैसे
- टिप्पणियाँ
- वाणिज्यिक
- व्यावसायिक रूप से
- सामान्य
- तुलना
- तुलना
- पूरा
- समापन
- जटिल
- जटिलता
- अनुपालन
- आज्ञाकारी
- रचना
- व्यापक
- कम्प्यूटेशनल शक्ति
- कंप्यूटर
- ध्यान देना
- संकल्पना
- अवधारणाओं
- चिंताओं
- स्थितियां
- आचरण
- संचालित
- जुड़ा हुआ
- संबंध
- इसके फलस्वरूप
- विचार करना
- विचार
- माना
- उपभोग
- उपभोक्ता
- उपभोक्ताओं
- खपत
- कंटेनर
- शामिल हैं
- सामग्री
- सामग्री निर्माण
- प्रसंग
- जारी रखने के
- नियंत्रण
- संवादी
- बातचीत
- Copyright
- इसी
- लागत
- महंगा
- लागत
- सका
- देशों
- आवरण
- कवर
- बनाना
- बनाया
- बनाता है
- बनाना
- निर्माण
- महत्वपूर्ण
- महत्वपूर्ण
- सांस्कृतिक
- वर्तमान
- रिवाज
- ग्राहक
- ग्राहक डेटा
- ग्राहक सेवा
- ग्राहक
- तिथि
- डेटा लेक
- डेटा अंक
- डेटा तैयारी
- गोपनीय आँकड़ा
- डेटा विज्ञान
- डाटाबेस
- डेटासेट
- विकेन्द्रीकृत
- निर्णय लेने से
- निर्णय
- समर्पित
- गहरा
- विस्तृत विश्लेषण
- ध्यान लगा के पढ़ना या सीखना
- परिभाषित
- परिभाषित करने
- परिभाषा
- परिभाषाएँ
- उद्धार
- गड्ढा
- मांग
- निर्भर करता है
- निर्भर करता है
- चित्रण
- तैनात
- तैनात
- तैनाती
- तैनाती
- वर्णन
- वर्णित
- विवरण
- डिज़ाइन
- बनाया गया
- डिज़ाइन बनाना
- इच्छा
- वांछित
- विस्तृत
- विवरण
- निर्धारित करना
- निर्धारित करने
- देव
- विकसित करना
- विकसित
- डेवलपर
- डेवलपर्स
- विकासशील
- विकास
- विकास दल
- मतभेद
- विभिन्न
- में अंतर
- आयाम
- सीधे
- चर्चा करना
- चर्चा की
- दिखाया गया है
- दूरी
- डुबकी
- कई
- do
- दस्तावेजों
- नहीं करता है
- डोमेन
- डोमेन
- dont
- नीचे
- डाउनलोड
- ड्राइव
- दो
- गतिशील
- e
- से प्रत्येक
- पूर्व
- पूर्व
- आसान
- आर्थिक
- संपादक
- प्रभावी
- कुशल
- कुशलता
- प्रयास
- भी
- सविस्तार
- निर्वाचित
- सक्षम
- समर्थकारी
- समाप्त
- शुरू से अंत तक
- endpoint
- ऊर्जा
- इंजीनियर
- अभियांत्रिकी
- इंजीनियर्स
- अंग्रेज़ी
- बढ़ाना
- सुनिश्चित
- सुनिश्चित
- उद्यम
- उद्यम
- मनोरंजन
- वातावरण
- वातावरण
- समान रूप से
- विशेष रूप से
- आवश्यक
- आदि
- EU
- मूल्यांकन करें
- मूल्यांकित
- मूल्यांकन
- और भी
- प्रत्येक
- उदाहरण
- उदाहरण
- उत्कृष्ट
- उत्तेजित
- व्यायाम
- मौजूदा
- मौजूद
- विदेशी
- उम्मीद
- महंगा
- अनुभव
- प्रयोग
- विशेषज्ञता
- विशेषज्ञों
- शोषण
- विस्तार
- का विस्तार
- विस्तार
- व्यापक
- विस्तृत अनुभव
- बड़े पैमाने पर
- उद्धरण
- f1
- चेहरा
- कारक
- कारकों
- सुपरिचय
- परिवार
- दूर
- और तेज
- Feature
- प्रतिक्रिया
- भोजन
- आकृति
- फ़िल्टर
- छानने
- अंतिम
- अंत में
- वित्तीय
- वित्तीय रिपोर्ट
- वित्तीय क्षेत्र
- वित्तीय सेवाओं
- प्रथम
- फिट
- लचीलापन
- लचीला
- फोकस
- ध्यान केंद्रित
- केंद्रित
- ध्यान केंद्रित
- का पालन करें
- पीछा किया
- निम्नलिखित
- इस प्रकार है
- के लिए
- उपभोक्ताओं के लिए
- प्रपत्र
- प्रारूप
- बुनियाद
- चार
- मुक्त
- मित्रों
- से
- सामने
- फ़्रंट एंड
- दृश्यपटल
- पूर्ण
- कार्यक्षमता
- मौलिक
- आगे
- और भी
- भविष्य
- गेट्स
- नाप
- सामान्य जानकारी
- सामान्य उद्देश्य
- आम तौर पर
- उत्पन्न
- उत्पन्न
- उत्पन्न करता है
- सृजन
- पीढ़ी
- उत्पादक
- जनरेटिव एआई
- भू राजनीतिक
- मिल
- जाना
- दी
- देता है
- वैश्विक
- वैश्विक व्यापार
- अच्छा
- शासन
- GPU
- जमीन
- था
- हाथ
- दोहन
- है
- होने
- he
- सिर
- स्वास्थ्य
- स्वास्थ्य सेवा
- मदद
- मदद करता है
- यहाँ उत्पन्न करें
- हाई
- उच्च गुणवत्ता
- उच्चतर
- अत्यधिक
- उसके
- ऐतिहासिक
- पकड़
- मेजबान
- मेजबानी
- कैसे
- How To
- तथापि
- एचटीएमएल
- HTTPS
- मानव
- सैकड़ों
- i
- आदर्श
- if
- दिखाता है
- की छवि
- छवियों
- काल्पनिक
- प्रभाव
- लागू करने के
- कार्यान्वयन
- निहितार्थ
- महत्व
- महत्वपूर्ण
- में सुधार लाने
- in
- शामिल
- शामिल
- सहित
- सम्मिलित
- बढ़ना
- वृद्धि हुई
- इंगित करता है
- संकेतक
- व्यक्ति
- उद्योगों
- प्रभाव
- प्रभावित
- इंफ्रास्ट्रक्चर
- प्रारंभिक
- अभिनव
- निवेश
- निविष्टियां
- उदाहरण
- बजाय
- निर्देश
- बीमा
- एकीकृत
- इरादा
- बातचीत
- बातचीत
- बातचीत
- सूचना का आदान प्रदान
- इंटरफेस
- इंटरनेट
- इंटरनेट कनेक्शन
- चीजों की इंटरनेट
- में
- परिचय कराना
- निवेश करना
- शामिल
- शामिल
- IOT
- IT
- आईटी इस
- काम
- यात्रा
- यात्रा
- जुलाई
- केवल
- कुंजी
- महत्वपूर्ण कारक
- बच्चा
- जानना
- ज्ञान
- जानने वाला
- लेबल
- लेबल
- झील
- भाषा
- बड़ा
- बड़ा
- पिछली बार
- विलंब
- परत
- परतों
- प्रमुख
- बिक्रीसूत्र
- जानें
- सीख रहा हूँ
- छोड़ना
- देना
- कम
- स्तर
- लाभ
- पुस्तकालयों
- लाइसेंस
- लाइसेंसिंग
- जीवन चक्र
- पसंद
- को यह पसंद है
- सीमाओं
- LINK
- एलएलएम
- भार
- स्थानीय
- स्थित
- स्थान
- लंडन
- लंबा
- लंबे समय तक
- कम
- मशीन
- यंत्र अधिगम
- बनाया गया
- मुख्य
- बनाए रखना
- बहुमत
- निर्माण
- प्रबंधनीय
- अनिवार्य
- गाइड
- मैन्युअल
- विनिर्माण
- बहुत
- नक्शा
- विशाल
- परिपक्वता
- अधिकतम
- मई..
- me
- अर्थ
- साधन
- तंत्र
- तंत्र
- मीडिया
- आभ्यंतरिक
- उल्लेख किया
- विलय
- जाल
- मेटाडाटा
- तरीका
- क्रियाविधि
- तरीकों
- मेट्रिक्स
- मध्यम
- मध्य पूर्व
- हो सकता है
- न्यूनतम
- ML
- एमएलओपीएस
- आदर्श
- मॉडल
- मॉनिटर
- नजर रखी
- निगरानी
- अधिक
- अधिक कुशल
- अधिकांश
- अधिकतर
- मोटरस्पोर्ट्स
- चाल
- ले जाया गया
- आंदोलन
- बहुत
- विभिन्न
- संगीत
- चाहिए
- my
- नाम
- प्राकृतिक
- प्राकृतिक भाषा संसाधन
- प्रकृति
- नेविगेट करें
- आवश्यक
- आवश्यकता
- जरूरत
- की जरूरत है
- नकारात्मक
- नेटवर्क
- तंत्रिका नेटवर्क
- तटस्थ
- कभी नहीँ
- नया
- नए नए
- अगला
- NLP
- नहीं
- साधारण
- उत्तर
- प्रसिद्ध
- संख्या
- निरीक्षण
- of
- प्रस्ताव
- प्रस्तुत
- अक्सर
- on
- ज्ञानप्राप्ति
- ONE
- लोगों
- केवल
- खुला
- खुला स्रोत
- परिचालन
- संचालन
- इष्टतम
- विकल्प
- ऑप्शंस
- or
- संगठन
- संगठनों
- अन्य
- अन्य
- अन्यथा
- हमारी
- आउट
- परिणाम
- उत्पादन
- के ऊपर
- कुल
- सिंहावलोकन
- अपना
- मालिक
- मालिकों
- पैकेज
- जोड़े
- पैरामीटर
- पैटर्न उपयोग करें
- स्टाफ़
- प्रति
- निष्पादन
- प्रदर्शन
- प्रदर्शन
- शायद
- व्यक्ति
- स्टाफ़
- निजीकृत
- परिप्रेक्ष्य
- चरण
- तस्वीरें
- टुकड़ा
- पाइपलाइन
- जगह
- मंच
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- कृप्या अ
- बिन्दु
- अंक
- नीतियाँ
- सकारात्मक
- अधिकारी
- संभव
- पद
- पोस्ट
- संभावित
- संभावित
- बिजली
- शक्तिशाली
- व्यावहारिक
- प्रथाओं
- शुद्धता
- भविष्यवाणी करना
- भविष्यवाणी
- भविष्यवाणियों
- तैयारी
- तैयार करना
- तैयार
- तैयारी
- प्रस्तुत
- पिछला
- पहले से
- मुख्य
- प्रधानमंत्री
- सिद्धांतों
- पूर्व
- प्राथमिकता
- एकांत
- निजी
- मुसीबत
- प्रक्रिया
- प्रक्रियाओं
- प्रसंस्करण
- प्रस्तुत
- उत्पादक
- एस्ट्रो मॉल
- उत्पादन
- प्रोग्रामिंग
- परियोजना
- को बढ़ावा देना
- प्रमाण
- अवधारणा के सुबूत
- प्रस्ताव
- मालिकाना
- साबित करना
- प्रदान करना
- बशर्ते
- प्रदाता
- प्रदाताओं
- प्रदान करता है
- प्रदान कर
- उद्देश्य
- प्रयोजनों
- धक्का
- पहेली
- गुणवत्ता
- प्रश्न
- प्रशन
- त्वरित
- उठाता
- रेंज
- लेकर
- तेजी
- मूल्यांकन करें
- बल्कि
- दर्ज़ा
- पढ़ना
- वास्तविक समय
- कारण
- प्राप्त करना
- की सिफारिश
- लाल
- घटी
- को परिष्कृत
- के बारे में
- रजिस्ट्रियों
- रजिस्ट्री
- नियम
- सम्बंधित
- रिहा
- प्रासंगिकता
- प्रासंगिक
- विश्वसनीयता
- बाकी है
- दूरस्थ
- प्रतिस्थापित
- रिपोर्ट
- कोष
- प्रतिनिधित्व
- प्रतिनिधि
- का अनुरोध
- अनुरोधों
- अपेक्षित
- आवश्यकताएँ
- की आवश्यकता होती है
- अनुसंधान
- शोधकर्ताओं
- उपयुक्त संसाधन चुनें
- क्रमश
- प्रतिक्रिया
- प्रतिक्रियाएं
- जिम्मेदार
- बाकी
- प्रतिबंध
- प्रतिबंधक
- परिणाम
- परिणाम
- खुदरा
- पुनः प्रयोग
- की समीक्षा
- समीक्षा
- घुड़सवारी
- सही
- रोडमैप
- भूमिका
- भूमिकाओं
- लगभग
- दौर
- रन
- दौड़ना
- sagemaker
- वही
- सैंडबॉक्स
- स्केल
- स्केलिंग
- परिदृश्य
- परिदृश्यों
- विज्ञान
- वैज्ञानिकों
- स्कोर
- खरोंच
- लिपियों
- एसईए
- अनुभाग
- वर्गों
- सेक्टर
- सुरक्षित
- सुरक्षित रूप से
- सुरक्षा
- सुरक्षा नीतियां
- देखना
- मांग
- चयनित
- का चयन
- चयन
- भेजना
- वरिष्ठ
- भेजा
- भावुकता
- अलग
- अनुक्रम
- कई
- सेवा
- सेवा
- सेवाएँ
- सेवारत
- सेट
- कई
- आकार देने
- Share
- साझा
- जहाजों
- कम
- चाहिए
- दिखाया
- दिखाता है
- पक्ष
- महत्वपूर्ण
- काफी
- समान
- को आसान बनाने में
- आकार
- कौशल
- छोटा
- छोटे
- एसएमई
- So
- समाधान
- समाधान ढूंढे
- हल
- कुछ
- स्रोत
- स्रोत कोड
- सूत्रों का कहना है
- अंतरिक्ष
- विशेष
- विशेषज्ञ
- विशेषीकृत
- विशिष्ट
- विशेष रूप से
- गति
- बिताना
- खर्च
- ट्रेनिंग
- चरणों
- हितधारकों
- मानक
- मानकीकरण
- प्रारंभ
- स्थिति
- कदम
- कदम
- की दुकान
- संग्रहित
- भंडारण
- कहानी
- ताकत
- मजबूत
- इसके बाद
- सफल
- ऐसा
- सुझाव
- उपयुक्तता
- उपयुक्त
- संक्षेप में प्रस्तुत करना
- सारांश
- समर्थन
- समर्थित
- माना
- निश्चित
- स्विफ्ट
- प्रणाली
- तालिका
- लेना
- कार्य
- कार्य
- टीम
- टीमों
- तकनीकी
- तकनीक
- टेक्नोलॉजीज
- टेक्नोलॉजी
- शर्तों
- परीक्षण
- परीक्षण किया
- परीक्षकों
- परीक्षण
- से
- कि
- RSI
- भविष्य
- स्रोत
- यूके
- दुनिया
- लेकिन हाल ही
- उन
- अपने
- फिर
- वहाँ।
- इसलिये
- इन
- वे
- चीज़ें
- विचारधारा
- तीसरे दल
- इसका
- उन
- हालांकि?
- विचार
- हजारों
- तीन
- पहर
- सेवा मेरे
- एक साथ
- टोकन
- टोकन
- ऊपर का
- विषय
- की ओर
- व्यापार
- परंपरागत
- रेलगाड़ी
- प्रशिक्षित
- प्रशिक्षण
- बदालना
- परिवर्तन
- यात्रा
- यात्रा
- प्रवृत्ति
- ट्रिगर
- <strong>उद्देश्य</strong>
- सच
- कोशिश
- दो
- टाइप
- प्रकार
- आम तौर पर
- ui
- Uk
- समझना
- समझ
- इकाई
- इकाइयों
- अपडेट
- अपलोड हो रहा है
- us
- प्रयोग करने योग्य
- प्रयोग
- उपयोग
- उदाहरण
- प्रयुक्त
- उपयोगकर्ता
- उपयोगकर्ताओं
- का उपयोग करता है
- का उपयोग
- उपयोगिताओं
- उपयोग किया
- विभिन्न
- सत्यापित
- संस्करण
- बनाम
- ऊर्ध्वाधर
- के माध्यम से
- व्यवहार्य
- कल्पना
- vs
- करना चाहते हैं
- था
- we
- वेब
- वेब सेवाओं
- वेबसाइट
- कुंआ
- क्या
- एचएमबी क्या है?
- कब
- जहाँ तक
- या
- कौन कौन से
- जब
- कौन
- चौड़ा
- विस्तृत श्रृंखला
- मर्जी
- खिड़की
- खिड़कियां
- साथ में
- अंदर
- बिना
- शब्द
- शब्द
- काम
- एक साथ काम करो
- काम किया
- काम कर रहे
- कार्य
- विश्व
- होगा
- साल
- प्राप्ति
- आप
- आपका
- जेफिरनेट