जनरेटिव एआई में तेजी से विकास के कारण हाल के वर्षों में संवादी एआई ने एक लंबा सफर तय किया है, विशेष रूप से निर्देश फाइन-ट्यूनिंग और मानव प्रतिक्रिया से सुदृढीकरण सीखने जैसी प्रशिक्षण तकनीकों द्वारा पेश किए गए बड़े भाषा मॉडल (एलएलएम) के प्रदर्शन में सुधार। जब सही तरीके से संकेत दिया जाए, तो ये मॉडल बिना किसी कार्य-विशिष्ट प्रशिक्षण डेटा के सुसंगत बातचीत कर सकते हैं। हालाँकि, वे उद्यम-विशिष्ट प्रश्नों का अच्छी तरह से सामान्यीकरण नहीं कर सकते क्योंकि, उत्तर उत्पन्न करने के लिए, वे पूर्व-प्रशिक्षण के दौरान सामने आए सार्वजनिक डेटा पर भरोसा करते हैं। इस तरह के डेटा में अक्सर आधुनिक व्यवसायों में उपलब्ध आंतरिक दस्तावेजों में निहित विशेष ज्ञान का अभाव होता है, जिसे आमतौर पर फार्मास्युटिकल अनुसंधान, वित्तीय जांच और ग्राहक सहायता जैसे डोमेन में सटीक उत्तर प्राप्त करने के लिए आवश्यक होता है।
एआई सहायक बनाने के लिए जो विशिष्ट उद्यम ज्ञान पर आधारित चर्चा करने में सक्षम हैं, हमें इन शक्तिशाली लेकिन सामान्य एलएलएम को दस्तावेजों के आंतरिक ज्ञान आधारों से जोड़ने की आवश्यकता है। आपके आंतरिक डेटा स्रोतों से प्राप्त जानकारी के साथ एलएलएम पीढ़ी के संदर्भ को समृद्ध करने की इस पद्धति को रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) कहा जाता है, और ऐसे सहायक तैयार करता है जो डोमेन विशिष्ट और अधिक भरोसेमंद होते हैं, जैसा कि दिखाया गया है नॉलेज-इंटेंसिव एनएलपी टास्क के लिए रिट्रीवल-ऑगमेंटेड जनरेशन. आरएजी की लोकप्रियता के पीछे एक अन्य चालक इसके कार्यान्वयन में आसानी और परिपक्व वेक्टर खोज समाधानों का अस्तित्व है, जैसे कि इसके द्वारा पेश किए गए समाधान अमेज़ॅन केंद्र (देखें अमेज़ॅन केंद्र ने पुनर्प्राप्ति एपीआई लॉन्च किया) और अमेज़न ओपन सर्च सर्विस (देखें अमेज़ॅन ओपनसर्च सेवा में के-निकटतम पड़ोसी (के-एनएन) खोजें), दूसरों के बीच में।
हालाँकि, सिमेंटिक खोज के साथ लोकप्रिय RAG डिज़ाइन पैटर्न उन सभी प्रकार के प्रश्नों का उत्तर नहीं दे सकता है जो दस्तावेज़ों पर संभव हैं। यह उन प्रश्नों के लिए विशेष रूप से सच है जिनके लिए कई दस्तावेज़ों में विश्लेषणात्मक तर्क की आवश्यकता होती है। उदाहरण के लिए, कल्पना करें कि आप किसी निवेश कंपनी की अगले वर्ष की रणनीति की योजना बना रहे हैं। एक आवश्यक कदम उम्मीदवार कंपनियों के वित्तीय परिणामों और संभावित जोखिमों का विश्लेषण और तुलना करना होगा। इस कार्य में विश्लेषणात्मक तर्क प्रश्नों का उत्तर देना शामिल है। उदाहरण के लिए, क्वेरी "मुझे पिछले 5 वर्षों में सबसे अधिक राजस्व वाली शीर्ष 2 कंपनियां बताएं और उनके मुख्य जोखिमों की पहचान करें" के लिए तर्क के कई चरणों की आवश्यकता होती है, जिनमें से कुछ सिमेंटिक खोज पुनर्प्राप्ति का उपयोग कर सकते हैं, जबकि अन्य को विश्लेषणात्मक क्षमताओं की आवश्यकता होती है।
इस पोस्ट में, हम दिखाते हैं कि एक बुद्धिमान दस्तावेज़ सहायक को कैसे डिज़ाइन किया जाए जो तीन भागों में विश्लेषणात्मक और बहु-चरणीय तर्क प्रश्नों का उत्तर देने में सक्षम हो। भाग 1 में, हम विश्लेषणात्मक प्रश्नों पर आरएजी डिज़ाइन पैटर्न और इसकी सीमाओं की समीक्षा करते हैं। फिर हम आपको एक अधिक बहुमुखी वास्तुकला से परिचित कराते हैं जो इन सीमाओं को पार कर जाती है। भाग 2 आपको संरचित डेटा तैयार करने के लिए उपयोग की जाने वाली इकाई निष्कर्षण पाइपलाइन में गहराई से उतरने में मदद करता है, जो विश्लेषणात्मक प्रश्न उत्तर के लिए एक प्रमुख घटक है। भाग 3 आपको उपयोग करने के तरीके के बारे में बताता है अमेज़ॅन बेडरॉक एलएलएम उस डेटा को क्वेरी करने और एक एलएलएम एजेंट बनाने के लिए है जो विश्लेषणात्मक क्षमताओं के साथ आरएजी को बढ़ाता है, जिससे आप बुद्धिमान दस्तावेज़ सहायक बनाने में सक्षम होते हैं जो कई दस्तावेज़ों में जटिल डोमेन-विशिष्ट प्रश्नों का उत्तर दे सकते हैं।
भाग 1: आरएजी सीमाएँ और समाधान अवलोकन
इस खंड में, हम आरएजी डिज़ाइन पैटर्न की समीक्षा करते हैं और विश्लेषणात्मक प्रश्नों पर इसकी सीमाओं पर चर्चा करते हैं। हम एक अधिक बहुमुखी वास्तुकला भी प्रस्तुत करते हैं जो इन सीमाओं को पार कर जाती है।
आरएजी का अवलोकन
RAG समाधान से प्रेरित हैं प्रतिनिधित्व सीखना और शब्दार्थ खोज ऐसे विचार जिन्हें 2010 से धीरे-धीरे रैंकिंग समस्याओं (उदाहरण के लिए, अनुशंसा और खोज) और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) कार्यों में अपनाया गया है।
आज इस्तेमाल किया जाने वाला लोकप्रिय दृष्टिकोण तीन चरणों से बना है:
- एक ऑफ़लाइन बैच प्रोसेसिंग कार्य इनपुट ज्ञान आधार से दस्तावेज़ों को ग्रहण करता है, उन्हें टुकड़ों में विभाजित करता है, पूर्व-प्रशिक्षित एम्बेडिंग मॉडल का उपयोग करके अपने शब्दार्थ का प्रतिनिधित्व करने के लिए प्रत्येक टुकड़े के लिए एक एम्बेडिंग बनाता है, जैसे अमेज़न टाइटन एम्बेडिंग मॉडल, फिर इन एम्बेडिंग का उपयोग सिमेंटिक सर्च इंडेक्स बनाने के लिए इनपुट के रूप में करता है।
- वास्तविक समय में एक नए प्रश्न का उत्तर देते समय, इनपुट प्रश्न को एक एम्बेडिंग में बदल दिया जाता है, जिसका उपयोग समानता मीट्रिक, जैसे कोसाइन समानता और अनुमानित निकटतम पड़ोसियों एल्गोरिदम का उपयोग करके दस्तावेजों के सबसे समान हिस्सों को खोजने और निकालने के लिए किया जाता है। मेटाडेटा फ़िल्टरिंग के साथ खोज परिशुद्धता में भी सुधार किया जा सकता है।
- एक प्रॉम्प्ट का निर्माण एक संदर्भ के साथ एक सिस्टम संदेश के संयोजन से किया जाता है जो चरण 2 में निकाले गए दस्तावेज़ों के प्रासंगिक हिस्सों और स्वयं इनपुट प्रश्न से बनता है। संदर्भ से प्रश्न का अंतिम उत्तर उत्पन्न करने के लिए यह संकेत एलएलएम मॉडल में प्रस्तुत किया जाता है।
सही अंतर्निहित एम्बेडिंग मॉडल के साथ, इनपुट दस्तावेज़ खंडों और इनपुट प्रश्नों के सटीक अर्थपूर्ण प्रतिनिधित्व और एक कुशल अर्थपूर्ण खोज मॉड्यूल का उत्पादन करने में सक्षम, यह समाधान उन प्रश्नों का उत्तर देने में सक्षम है जिनके लिए दस्तावेज़ों के डेटाबेस में मौजूदा जानकारी पुनर्प्राप्त करने की आवश्यकता होती है। उदाहरण के लिए, यदि आपके पास कोई सेवा या उत्पाद है, तो आप उसके FAQ अनुभाग या दस्तावेज़ीकरण को अनुक्रमित करके शुरू कर सकते हैं और अपनी विशिष्ट पेशकश के अनुरूप प्रारंभिक संवादात्मक AI बना सकते हैं।
सिमेंटिक खोज पर आधारित RAG की सीमाएँ
हालाँकि RAG आधुनिक डोमेन-विशिष्ट AI सहायकों में एक आवश्यक घटक है और एक विशेष ज्ञान आधार के आसपास संवादात्मक AI के निर्माण के लिए एक समझदार प्रारंभिक बिंदु है, यह उन प्रश्नों का उत्तर नहीं दे सकता है जिनके लिए आपके ज्ञान आधार में सभी दस्तावेज़ों को स्कैन करने, तुलना करने और तर्क करने की आवश्यकता होती है। एक साथ, विशेष रूप से जब संवर्द्धन पूरी तरह से अर्थ संबंधी खोज पर आधारित हो।
इन सीमाओं को समझने के लिए, आइए वित्तीय रिपोर्टों के आधार पर कहां निवेश करना है यह तय करने के उदाहरण पर फिर से विचार करें। यदि हम इन रिपोर्टों के साथ बातचीत करने के लिए आरएजी का उपयोग करते हैं, तो हम ऐसे प्रश्न पूछ सकते हैं जैसे "2022 में कंपनी एक्स के सामने क्या जोखिम हैं," या "2022 में कंपनी वाई का शुद्ध राजस्व क्या है?" इनमें से प्रत्येक प्रश्न के लिए, संबंधित एम्बेडिंग वेक्टर, जो प्रश्न के अर्थपूर्ण अर्थ को एन्कोड करता है, का उपयोग खोज सूचकांक में उपलब्ध दस्तावेज़ों के शीर्ष-K शब्दार्थ रूप से समान हिस्सों को पुनः प्राप्त करने के लिए किया जाता है। यह आम तौर पर निकटतम पड़ोसी समाधान जैसे अनुमानित समाधान को नियोजित करके पूरा किया जाता है FAISS, NMSLIB, pgvector, या अन्य, जो संतोषजनक सटीकता बनाए रखते हुए वास्तविक समय के प्रदर्शन को प्राप्त करने के लिए पुनर्प्राप्ति गति और रिकॉल के बीच संतुलन बनाने का प्रयास करता है।
हालाँकि, पूर्ववर्ती दृष्टिकोण सभी दस्तावेजों में विश्लेषणात्मक प्रश्नों का सटीक उत्तर नहीं दे सकता है, जैसे "5 में सबसे अधिक शुद्ध राजस्व वाली शीर्ष 2022 कंपनियां कौन सी हैं?"
ऐसा इसलिए है क्योंकि सिमेंटिक सर्च रिट्रीवल इनपुट प्रश्न के दस्तावेजों के सबसे समान हिस्सों को खोजने का प्रयास करता है। लेकिन क्योंकि किसी भी दस्तावेज़ में राजस्व का व्यापक सारांश नहीं है, यह उन दस्तावेज़ों के टुकड़े लौटाएगा जिनमें केवल "शुद्ध राजस्व" और संभवतः "2022" का उल्लेख है, उच्चतम राजस्व वाली कंपनियों पर ध्यान केंद्रित करने की आवश्यक शर्त को पूरा किए बिना। यदि हम इन पुनर्प्राप्ति परिणामों को एलएलएम में इनपुट प्रश्न का उत्तर देने के संदर्भ के रूप में प्रस्तुत करते हैं, तो यह एक भ्रामक उत्तर तैयार कर सकता है या उत्तर देने से इनकार कर सकता है, क्योंकि आवश्यक सही जानकारी गायब है।
ये सीमाएँ डिज़ाइन द्वारा आती हैं क्योंकि सिमेंटिक खोज प्रासंगिक दस्तावेज़ों को खोजने के लिए सभी एम्बेडिंग वैक्टरों का गहन स्कैन नहीं करती है। इसके बजाय, यह उचित पुनर्प्राप्ति गति को बनाए रखने के लिए अनुमानित निकटतम पड़ोसी तरीकों का उपयोग करता है। इन विधियों में दक्षता के लिए एक प्रमुख रणनीति अनुक्रमण के दौरान एम्बेडिंग स्थान को समूहों में विभाजित करना है। यह जोड़ीवार तुलना की आवश्यकता के बिना, शीघ्रता से पहचानने की अनुमति देता है कि पुनर्प्राप्ति के दौरान किन समूहों में प्रासंगिक एम्बेडिंग हो सकती है। इसके अतिरिक्त, यहां तक कि केएनएन जैसी पारंपरिक निकटतम पड़ोसी तकनीकें, जो सभी दस्तावेजों को स्कैन करती हैं, केवल बुनियादी दूरी मेट्रिक्स की गणना करती हैं और विश्लेषणात्मक तर्क के लिए आवश्यक जटिल तुलनाओं के लिए उपयुक्त नहीं हैं। इसलिए, सिमेंटिक सर्च वाला आरएजी उन सवालों के जवाब देने के लिए तैयार नहीं किया गया है जिनमें सभी दस्तावेज़ों में विश्लेषणात्मक तर्क शामिल होते हैं।
इन सीमाओं को दूर करने के लिए, हम एक समाधान प्रस्तावित करते हैं जो आरएजी को मेटाडेटा और इकाई निष्कर्षण, एसक्यूएल क्वेरी और एलएलएम एजेंटों के साथ जोड़ता है, जैसा कि निम्नलिखित अनुभागों में वर्णित है।
मेटाडेटा, एसक्यूएल और एलएलएम एजेंटों के साथ आरएजी सीमाओं पर काबू पाना
आइए उस प्रश्न की अधिक गहराई से जांच करें जिस पर आरएजी विफल रहता है, ताकि हम इसका प्रभावी ढंग से उत्तर देने के लिए आवश्यक तर्क का पता लगा सकें। यह विश्लेषण हमें सही दृष्टिकोण की ओर इंगित करेगा जो समग्र समाधान में आरएजी का पूरक हो सकता है।
प्रश्न पर विचार करें: "5 में सबसे अधिक राजस्व वाली शीर्ष 2022 कंपनियां कौन सी हैं?"
इस प्रश्न का उत्तर देने में सक्षम होने के लिए, हमें यह करना होगा:
- प्रत्येक कंपनी के राजस्व की पहचान करें।
- उनमें से प्रत्येक के लिए 2022 का राजस्व रखने के लिए फ़िल्टर करें।
- राजस्व को अवरोही क्रम में क्रमबद्ध करें।
- कंपनी के नाम के साथ शीर्ष 5 राजस्व को अलग करें।
आमतौर पर, ये विश्लेषणात्मक ऑपरेशन पांडा या एसक्यूएल इंजन जैसे टूल का उपयोग करके संरचित डेटा पर किए जाते हैं। यदि हमारे पास कॉलम वाली SQL तालिका तक पहुंच होती company
, revenue
, तथा year
, हम निम्नलिखित उदाहरण के समान SQL क्वेरी चलाकर आसानी से अपने प्रश्न का उत्तर दे सकते हैं:
SELECT company, revenue FROM table_name WHERE year = 2022 ORDER BY revenue DESC LIMIT 5;
SQL तालिका में संरचित मेटाडेटा को संग्रहीत करना जिसमें प्रासंगिक संस्थाओं के बारे में जानकारी शामिल है, आपको सही SQL क्वेरी लिखकर कई प्रकार के विश्लेषणात्मक प्रश्नों का उत्तर देने में सक्षम बनाता है। यही कारण है कि हम अपने समाधान में RAG को एक ऑफ़लाइन प्रक्रिया में निकाले गए मेटाडेटा द्वारा पॉप्युलेट किए गए SQL तालिका के विरुद्ध वास्तविक समय SQL क्वेरी मॉड्यूल के साथ पूरक करते हैं।
लेकिन हम इस दृष्टिकोण को एलएलएम-आधारित संवादी एआई में कैसे लागू और एकीकृत कर सकते हैं?
SQL विश्लेषणात्मक तर्क जोड़ने में सक्षम होने के लिए तीन चरण हैं:
- मेटाडेटा निष्कर्षण - असंरचित दस्तावेज़ों से मेटाडेटा को SQL तालिका में निकालें
- एसक्यूएल पर टेक्स्ट करें - एलएलएम का उपयोग करके इनपुट प्रश्नों से SQL क्वेरीज़ को सटीक रूप से तैयार करें
- उपकरण चयन - पहचानें कि क्या किसी प्रश्न का उत्तर RAG या SQL क्वेरी का उपयोग करके दिया जाना चाहिए
इन चरणों को लागू करने के लिए, पहले हम मानते हैं कि असंरचित दस्तावेज़ों से जानकारी निकालना एक पारंपरिक एनएलपी कार्य है जिसके लिए एलएलएम शून्य-शॉट या कुछ-शॉट सीखने के माध्यम से उच्च सटीकता प्राप्त करने का वादा दिखाते हैं। दूसरा, प्राकृतिक भाषा से SQL क्वेरी उत्पन्न करने की इन मॉडलों की क्षमता वर्षों से सिद्ध है, जैसा कि इसमें देखा गया है 2020 रिलीज of अमेज़ॅन क्विकसाइट क्यू. अंत में, किसी विशिष्ट प्रश्न के लिए स्वचालित रूप से सही टूल का चयन करना उपयोगकर्ता अनुभव को बढ़ाता है और बहु-चरणीय तर्क के माध्यम से जटिल प्रश्नों का उत्तर देने में सक्षम बनाता है। इस सुविधा को लागू करने के लिए, हम बाद के अनुभाग में एलएलएम एजेंटों के बारे में विस्तार से बताएंगे।
संक्षेप में, हम जो समाधान प्रस्तावित करते हैं वह निम्नलिखित मुख्य घटकों से बना है:
- पीढ़ी के संदर्भ को बढ़ाने के लिए सिमेंटिक खोज पुनर्प्राप्ति
- संरचित मेटाडेटा निष्कर्षण और SQL के साथ क्वेरी करना
- एक एजेंट जो किसी प्रश्न का उत्तर देने के लिए सही टूल का उपयोग करने में सक्षम है
समाधान अवलोकन
निम्नलिखित चित्र समाधान की सरलीकृत वास्तुकला को दर्शाता है। यह आपको मुख्य घटकों की भूमिका को पहचानने और समझने में मदद करता है और वे पूर्ण एलएलएम-सहायक व्यवहार को लागू करने के लिए कैसे बातचीत करते हैं। इस समाधान को लागू करते समय क्रमांकन संचालन के क्रम के साथ संरेखित होता है।
व्यवहार में, हमने इस समाधान को निम्नलिखित विस्तृत वास्तुकला में बताए अनुसार लागू किया है।
इस वास्तुकला के लिए, हम एक कार्यान्वयन का प्रस्ताव करते हैं GitHub, शिथिल युग्मित घटकों के साथ जहां बैकएंड (5), डेटा पाइपलाइन (1, 2, 3) और फ्रंट एंड (4) अलग-अलग विकसित हो सकते हैं। इसका उद्देश्य उत्पादन के लिए समाधान को अनुकूलित और बेहतर बनाते समय सभी दक्षताओं में सहयोग को सरल बनाना है।
समाधान तैनात करें
इस समाधान को अपने AWS खाते में स्थापित करने के लिए, निम्नलिखित चरणों को पूरा करें:
- क्लोन किया गया GitHub पर भंडार.
- बैकएंड स्थापित करें AWS क्लाउड डेवलपमेंट किट (एडब्ल्यूएस सीडीके) अनुप्रयोग:
- ओपन
backend
फ़ोल्डर. - रन
npm install
निर्भरताएँ स्थापित करने के लिए। - यदि आपने चालू खाते और क्षेत्र में कभी भी AWS CDK का उपयोग नहीं किया है, तो चलाएँ बूटस्ट्रैपिंग साथ में
npx cdk bootstrap
. - रन
npx cdk deploy
ढेर तैनात करने के लिए।
- ओपन
- वैकल्पिक रूप से, चलाएँ
streamlit-ui
के रूप में इस प्रकार है:- हम इस रिपॉजिटरी को एक में क्लोन करने की सलाह देते हैं अमेज़ॅन सैजमेकर स्टूडियो पर्यावरण। अधिक जानकारी के लिए देखें त्वरित सेटअप का उपयोग करके Amazon SageMaker डोमेन पर ऑनबोर्ड करें.
- अंदर
frontend/streamlit-ui
फ़ोल्डर, चलाएँbash run-streamlit-ui.sh
. - डेमो खोलने के लिए निम्नलिखित प्रारूप वाला लिंक चुनें:
https://{domain_id}.studio.{region}.sagemaker.aws/jupyter/default/proxy/{port_number}/
.
- अंततः, आप चला सकते हैं अमेज़न SageMaker पाइपलाइन में परिभाषित
data-pipelines/04-sagemaker-pipeline-for-documents-processing.ipynb
इनपुट पीडीएफ दस्तावेज़ों को संसाधित करने और एलएलएम सहायक द्वारा उपयोग की जाने वाली एसक्यूएल तालिका और सिमेंटिक सर्च इंडेक्स तैयार करने के लिए नोटबुक।
इस पोस्ट के बाकी हिस्सों में, हम सबसे महत्वपूर्ण घटकों और डिज़ाइन विकल्पों को समझाने पर ध्यान केंद्रित करते हैं, ताकि आंतरिक ज्ञान के आधार पर अपना स्वयं का एआई सहायक डिज़ाइन करते समय आपको प्रेरणा मिल सके। हम मानते हैं कि घटक 1 और 4 समझने में आसान हैं, और मुख्य घटक 2, 3, और 5 पर ध्यान केंद्रित करते हैं।
भाग 2: इकाई निष्कर्षण पाइपलाइन
इस अनुभाग में, हम संरचित डेटा तैयार करने के लिए उपयोग की जाने वाली इकाई निष्कर्षण पाइपलाइन में गहराई से उतरते हैं, जो विश्लेषणात्मक प्रश्न उत्तर के लिए एक प्रमुख घटक है।
पाठ निष्कर्षण
दस्तावेज़ आमतौर पर पीडीएफ प्रारूप में या स्कैन की गई छवियों के रूप में संग्रहीत किए जाते हैं। वे सरल पैराग्राफ लेआउट या जटिल तालिकाओं से बने हो सकते हैं, और उनमें डिजिटल या हस्तलिखित पाठ हो सकता है। जानकारी को सही ढंग से निकालने के लिए, हमें इन कच्चे दस्तावेज़ों को उनकी मूल संरचना को संरक्षित करते हुए सादे पाठ में बदलने की आवश्यकता है। ऐसा करने के लिए, आप उपयोग कर सकते हैं अमेज़न टेक्सट्रेक, जो एक मशीन लर्निंग (एमएल) सेवा है जो डिजिटल और हस्तलिखित इनपुट से टेक्स्ट, टेबल और फॉर्म निष्कर्षण के लिए परिपक्व एपीआई प्रदान करती है।
घटक 2 में, हम पाठ और तालिकाएँ निम्नानुसार निकालते हैं:
- प्रत्येक दस्तावेज़ के लिए, हम टेक्स्ट और तालिकाएँ निकालने के लिए Amazon Texttract को कॉल करते हैं।
- हम निम्नलिखित का उपयोग करते हैं पायथन लिपि पांडा डेटाफ़्रेम के रूप में तालिकाओं को फिर से बनाने के लिए।
- हम परिणामों को एक दस्तावेज़ में समेकित करते हैं और तालिकाओं को मार्कडाउन के रूप में सम्मिलित करते हैं।
इस प्रक्रिया को निम्नलिखित प्रवाह आरेख द्वारा रेखांकित किया गया है और इसमें ठोस रूप से प्रदर्शित किया गया है notebooks/03-pdf-document-processing.ipynb
.
एलएलएम का उपयोग करके इकाई निष्कर्षण और पूछताछ
विश्लेषणात्मक प्रश्नों का प्रभावी ढंग से उत्तर देने के लिए, आपको अपने दस्तावेज़ के ज्ञान आधार से प्रासंगिक मेटाडेटा और इकाइयों को एक सुलभ संरचित डेटा प्रारूप में निकालने की आवश्यकता है। हम इसकी लोकप्रियता, उपयोग में आसानी और मापनीयता के कारण इस जानकारी को संग्रहीत करने और उत्तर प्राप्त करने के लिए SQL का उपयोग करने का सुझाव देते हैं। यह विकल्प प्राकृतिक भाषा से SQL क्वेरी उत्पन्न करने की सिद्ध भाषा मॉडल की क्षमता से भी लाभान्वित होता है।
इस अनुभाग में, हम निम्नलिखित घटकों पर गहराई से विचार करते हैं जो विश्लेषणात्मक प्रश्नों को सक्षम बनाते हैं:
- एक बैच प्रक्रिया जो एलएलएम का उपयोग करके असंरचित डेटा से संरचित डेटा निकालती है
- एक वास्तविक समय मॉड्यूल जो प्राकृतिक भाषा के प्रश्नों को SQL प्रश्नों में परिवर्तित करता है और SQL डेटाबेस से परिणाम पुनर्प्राप्त करता है
आप विश्लेषणात्मक प्रश्नों का समर्थन करने के लिए प्रासंगिक मेटाडेटा निम्नानुसार निकाल सकते हैं:
- आपके द्वारा निकाली जाने वाली जानकारी के लिए एक JSON स्कीमा परिभाषित करें, जिसमें प्रत्येक फ़ील्ड और उसके डेटा प्रकार का विवरण शामिल है, और अपेक्षित मानों के उदाहरण शामिल हैं।
- प्रत्येक दस्तावेज़ के लिए, JSON स्कीमा के साथ एक एलएलएम बताएं और उसे प्रासंगिक डेटा सटीक रूप से निकालने के लिए कहें।
- जब दस्तावेज़ की लंबाई संदर्भ लंबाई से अधिक हो, और एलएलएम के साथ निष्कर्षण लागत को कम करने के लिए, आप निष्कर्षण के दौरान दस्तावेजों के प्रासंगिक हिस्सों को पुनर्प्राप्त करने और एलएलएम में प्रस्तुत करने के लिए सिमेंटिक खोज का उपयोग कर सकते हैं।
- JSON आउटपुट को पार्स करें और LLM निष्कर्षण को मान्य करें।
- वैकल्पिक रूप से, Amazon S3 पर CSV फ़ाइलों के रूप में परिणामों का बैकअप लें।
- बाद में पूछताछ के लिए SQL डेटाबेस में लोड करें।
इस प्रक्रिया को निम्नलिखित आर्किटेक्चर द्वारा प्रबंधित किया जाता है, जहां टेक्स्ट प्रारूप में दस्तावेज़ों को एक पायथन स्क्रिप्ट के साथ लोड किया जाता है जो एक में चलती है अमेज़न SageMaker प्रसंस्करण निष्कर्षण करने का कार्य.
संस्थाओं के प्रत्येक समूह के लिए, हम गतिशील रूप से एक प्रॉम्प्ट का निर्माण करते हैं जिसमें सूचना निष्कर्षण कार्य का स्पष्ट विवरण शामिल होता है, और एक JSON स्कीमा शामिल होता है जो अपेक्षित आउटपुट को परिभाषित करता है और संदर्भ के रूप में प्रासंगिक दस्तावेज़ खंड शामिल करता है। हम कुछ-शॉट सीखने के साथ निष्कर्षण प्रदर्शन को बेहतर बनाने के लिए इनपुट और सही आउटपुट के कुछ उदाहरण भी जोड़ते हैं। इसमें प्रदर्शित किया गया है notebooks/05-entities-extraction-to-structured-metadata.ipynb
.
भाग 3: अमेज़ॅन बेडरॉक के साथ एक एजेंटिक दस्तावेज़ सहायक बनाएं
इस अनुभाग में, हम प्रदर्शित करते हैं कि डेटा को क्वेरी करने और एक एलएलएम एजेंट बनाने के लिए अमेज़ॅन बेडरॉक एलएलएम का उपयोग कैसे करें जो विश्लेषणात्मक क्षमताओं के साथ आरएजी को बढ़ाता है, जिससे आप बुद्धिमान दस्तावेज़ सहायक बनाने में सक्षम होते हैं जो कई दस्तावेजों में जटिल डोमेन-विशिष्ट प्रश्नों का उत्तर दे सकते हैं। आप इसका उल्लेख कर सकते हैं GitHub पर लैम्ब्डा फ़ंक्शन इस भाग में वर्णित एजेंट और उपकरणों के ठोस कार्यान्वयन के लिए।
SQL क्वेरीज़ तैयार करें और विश्लेषणात्मक प्रश्नों के उत्तर दें
अब जब हमारे पास एक संरचित मेटाडेटा स्टोर है, जिसमें प्रासंगिक इकाइयां निकाली गई हैं और एक एसक्यूएल डेटाबेस में लोड की गई हैं, जिन्हें हम क्वेरी कर सकते हैं, तो सवाल यह है कि इनपुट प्राकृतिक भाषा प्रश्नों से सही एसक्यूएल क्वेरी कैसे उत्पन्न करें?
आधुनिक एलएलएम एसक्यूएल उत्पन्न करने में अच्छे हैं। उदाहरण के लिए, यदि आप एंथ्रोपिक क्लाउड एलएलएम से अनुरोध करते हैं अमेज़ॅन बेडरॉक SQL क्वेरी उत्पन्न करने के लिए, आपको प्रशंसनीय उत्तर दिखाई देंगे। हालाँकि, अधिक सटीक SQL क्वेरी तक पहुँचने के लिए संकेत लिखते समय हमें कुछ नियमों का पालन करना होगा। मतिभ्रम और वाक्यविन्यास त्रुटियों को कम करने के लिए जटिल प्रश्नों के लिए ये नियम विशेष रूप से महत्वपूर्ण हैं:
- प्रॉम्प्ट के भीतर कार्य का सटीक वर्णन करें
- तालिका के प्रत्येक कॉलम का वर्णन करते हुए और उसके डेटा प्रकार को निर्दिष्ट करते हुए, प्रॉम्प्ट के भीतर SQL तालिकाओं की स्कीमा शामिल करें
- एलएलएम को स्पष्ट रूप से बताएं कि केवल मौजूदा कॉलम नाम और डेटा प्रकारों का उपयोग करें
- SQL तालिकाओं की कुछ पंक्तियाँ जोड़ें
आप जनरेट की गई SQL क्वेरी को इसका उपयोग करके पोस्टप्रोसेस भी कर सकते हैं linter जैसे sqlfluff फ़ॉर्मेटिंग को सही करने के लिए, या पार्सर जैसे sqlglot सिंटैक्स त्रुटियों का पता लगाने और क्वेरी को अनुकूलित करने के लिए। इसके अलावा, जब प्रदर्शन आवश्यकता को पूरा नहीं करता है, तो आप अधिक सटीक SQL क्वेरी उत्पन्न करने की दिशा में कुछ-शॉट सीखने के साथ मॉडल को चलाने के लिए प्रॉम्प्ट के भीतर कुछ उदाहरण प्रदान कर सकते हैं।
कार्यान्वयन के दृष्टिकोण से, हम एक का उपयोग करते हैं AWS लाम्बा निम्नलिखित प्रक्रिया को व्यवस्थित करने का कार्य:
- संबंधित SQL क्वेरी प्राप्त करने के लिए इनपुट प्रश्न के साथ अमेज़ॅन बेडरॉक में एंथ्रोपिक क्लाउड मॉडल को कॉल करें। यहां, हम इसका उपयोग करते हैं एसक्यूएलडेटाबेस प्रासंगिक एसक्यूएल तालिकाओं के स्कीमा विवरण जोड़ने के लिए लैंगचेन से क्लास, और एक कस्टम प्रॉम्प्ट का उपयोग करें।
- SQL क्वेरी को पार्स करें, सत्यापित करें और उसके विरुद्ध चलाएँ Amazon Aurora PostgreSQL-संगत संस्करण डेटाबेस।
समाधान के इस भाग की वास्तुकला को निम्नलिखित चित्र में दर्शाया गया है।
SQL इंजेक्शन हमलों को रोकने के लिए सुरक्षा संबंधी विचार
जैसे ही हम SQL डेटाबेस को क्वेरी करने के लिए AI सहायक को सक्षम करते हैं, हमें यह सुनिश्चित करना होगा कि इससे सुरक्षा कमजोरियां न आएं। इसे प्राप्त करने के लिए, हम SQL इंजेक्शन हमलों को रोकने के लिए निम्नलिखित सुरक्षा उपाय प्रस्तावित करते हैं:
- कम से कम विशेषाधिकार वाली IAM अनुमतियाँ लागू करें - लैम्ब्डा फ़ंक्शन की अनुमति को सीमित करें जो एक का उपयोग करके SQL क्वेरी चलाता है AWS पहचान और अभिगम प्रबंधन (IAM) नीति और भूमिका जो इसका अनुसरण करती है न्यूनतम विशेषाधिकार सिद्धांत. इस मामले में, हम केवल-पढ़ने के लिए पहुंच प्रदान करते हैं।
- डेटा पहुंच सीमित करें - सूचना प्रकटीकरण हमलों को रोकने के लिए केवल न्यूनतम तालिकाओं और स्तंभों तक पहुंच प्रदान करें।
- एक मॉडरेशन परत जोड़ें - एक मॉडरेशन परत का परिचय दें जो शीघ्र इंजेक्शन प्रयासों का पता लगाता है और उन्हें सिस्टम के बाकी हिस्सों में फैलने से रोकता है। यह नियम-आधारित फ़िल्टर, ज्ञात प्रॉम्प्ट इंजेक्शन उदाहरणों के डेटाबेस के विरुद्ध समानता मिलान, या एक एमएल क्लासिफायरियर का रूप ले सकता है।
पीढ़ी के संदर्भ को बढ़ाने के लिए सिमेंटिक खोज पुनर्प्राप्ति
हम जो समाधान प्रस्तावित करते हैं वह घटक 3 में सिमेंटिक खोज के साथ आरएजी का उपयोग करता है। आप इस मॉड्यूल का उपयोग करके कार्यान्वित कर सकते हैं अमेज़ॅन बेडरॉक के लिए ज्ञानकोष. इसके अतिरिक्त, RAG को लागू करने के लिए कई अन्य विकल्प भी हैं, जैसे कि अमेज़ॅन केंद्र पुनर्प्राप्ति एपीआई, अमेज़ॅन ओपनसर्च वेक्टर डेटाबेस, तथा अमेज़ॅन ऑरोरा पोस्टग्रेएसक्यूएल पीजीवेक्टर के साथ, दूसरों के बीच में। खुला स्रोत पैकेज aws-genai-llm-चैटबॉट यह दर्शाता है कि एलएलएम-संचालित चैटबॉट को लागू करने के लिए इनमें से कई वेक्टर खोज विकल्पों का उपयोग कैसे करें।
इस समाधान में, क्योंकि हमें SQL क्वेरी और वेक्टर खोज दोनों की आवश्यकता है, हमने Amazon Aurora PostgreSQL का उपयोग करने का निर्णय लिया पीजीवेक्टर एक्सटेंशन, जो दोनों सुविधाओं का समर्थन करता है। इसलिए, हम निम्नलिखित आर्किटेक्चर के साथ सिमेंटिक-सर्च RAG घटक को कार्यान्वित करते हैं।
पूर्ववर्ती वास्तुकला का उपयोग करके प्रश्नों का उत्तर देने की प्रक्रिया दो मुख्य चरणों में की जाती है।
सबसे पहले, एक ऑफ़लाइन-बैच प्रक्रिया, जो सेजमेकर प्रोसेसिंग जॉब के रूप में चलती है, निम्नानुसार सिमेंटिक सर्च इंडेक्स बनाती है:
- या तो समय-समय पर, या नए दस्तावेज़ प्राप्त होने पर, सेजमेकर कार्य चलाया जाता है।
- यह अमेज़ॅन S3 से टेक्स्ट दस्तावेज़ों को लोड करता है और उन्हें ओवरलैपिंग टुकड़ों में विभाजित करता है।
- प्रत्येक टुकड़े के लिए, यह एक एम्बेडिंग वेक्टर उत्पन्न करने के लिए अमेज़ॅन टाइटन एम्बेडिंग मॉडल का उपयोग करता है।
- यह उपयोग करता है पीजीवेक्टर अपने दस्तावेज़ खंडों और मेटाडेटा के साथ एम्बेडिंग को अमेज़ॅन ऑरोरा पोस्टग्रेएसक्यूएल में समाहित करने के लिए लैंगचेन से क्लास लें और सभी एम्बेडिंग वैक्टर पर एक सिमेंटिक सर्च इंडेक्स बनाएं।
दूसरा, वास्तविक समय में और प्रत्येक नए प्रश्न के लिए, हम निम्नानुसार एक उत्तर बनाते हैं:
- प्रश्न ऑर्केस्ट्रेटर द्वारा प्राप्त किया जाता है जो लैम्ब्डा फ़ंक्शन पर चलता है।
- ऑर्केस्ट्रेटर प्रश्न को उसी एम्बेडिंग मॉडल के साथ एम्बेड करता है।
- यह PostgreSQL सिमेंटिक सर्च इंडेक्स से शीर्ष-K सबसे प्रासंगिक दस्तावेज़ खंड पुनर्प्राप्त करता है। यह परिशुद्धता में सुधार के लिए वैकल्पिक रूप से मेटाडेटा फ़िल्टरिंग का उपयोग करता है।
- इन हिस्सों को इनपुट प्रश्न के साथ एलएलएम प्रॉम्प्ट में गतिशील रूप से डाला जाता है।
- उपलब्ध संदर्भ के आधार पर इनपुट प्रश्न का उत्तर देने का निर्देश देने के लिए, अमेज़ॅन बेडरॉक पर एंथ्रोपिक क्लाउड को संकेत प्रस्तुत किया जाता है।
- अंत में, उत्पन्न उत्तर ऑर्केस्ट्रेटर को वापस भेज दिया जाता है।
एक एजेंट तर्क करने और कार्य करने के लिए उपकरणों का उपयोग करने में सक्षम है
इस पोस्ट में अब तक, हमने उन प्रश्नों के उपचार पर चर्चा की है जिनके लिए आरएजी या विश्लेषणात्मक तर्क की आवश्यकता होती है। हालाँकि, वास्तविक दुनिया के कई प्रश्न अंतिम उत्तर तक पहुंचने के लिए दोनों क्षमताओं की मांग करते हैं, कभी-कभी तर्क के कई चरणों में। इन अधिक जटिल प्रश्नों का समर्थन करने के लिए, हमें एक एजेंट की अवधारणा का परिचय देना होगा।
एलएलएम एजेंट, जैसे कि अमेज़ॅन बेडरॉक के लिए एजेंट, हाल ही में एक आशाजनक समाधान के रूप में उभरा है जो वर्तमान संदर्भ का उपयोग करके तर्क और अनुकूलन करने और विकल्पों की सूची से उचित कार्यों को चुनने के लिए एलएलएम का उपयोग करने में सक्षम है, जो एक सामान्य समस्या-समाधान रूपरेखा प्रस्तुत करता है। जैसा कि चर्चा में है एलएलएम संचालित स्वायत्त एजेंटएलएलएम एजेंटों के लिए कई प्रेरक रणनीतियाँ और डिज़ाइन पैटर्न हैं जो जटिल तर्क का समर्थन करते हैं।
ऐसा ही एक डिज़ाइन पैटर्न रीज़न एंड एक्ट (रिएक्ट) है, जिसे पेश किया गया है प्रतिक्रिया: भाषा मॉडल में तर्क और अभिनय का समन्वय. रिएक्ट में, एजेंट इनपुट के रूप में एक लक्ष्य लेता है जो एक प्रश्न हो सकता है, इसका उत्तर देने के लिए गायब जानकारी के टुकड़ों की पहचान करता है, और उपलब्ध टूल के विवरण के आधार पर जानकारी इकट्ठा करने के लिए पुनरावृत्त रूप से सही टूल का प्रस्ताव करता है। किसी दिए गए टूल से उत्तर प्राप्त करने के बाद, एलएलएम पुनर्मूल्यांकन करता है कि क्या उसके पास प्रश्न का पूर्ण उत्तर देने के लिए आवश्यक सभी जानकारी है। यदि नहीं, तो यह तर्क का एक और चरण करता है और अधिक जानकारी इकट्ठा करने के लिए उसी या किसी अन्य उपकरण का उपयोग करता है, जब तक कि अंतिम प्रतिक्रिया तैयार न हो जाए या कोई सीमा पूरी न हो जाए।
निम्नलिखित अनुक्रम आरेख बताता है कि एक रिएक्ट एजेंट इस प्रश्न का उत्तर देने के लिए कैसे काम करता है "मुझे पिछले 5 वर्षों में सबसे अधिक राजस्व वाली शीर्ष 2 कंपनियां बताएं और शीर्ष से जुड़े जोखिमों की पहचान करें।"
पायथन में इस दृष्टिकोण को लागू करने का विवरण इसमें वर्णित है कस्टम एलएलएम एजेंट. हमारे समाधान में, एजेंट और उपकरण निम्नलिखित हाइलाइट किए गए आंशिक आर्किटेक्चर के साथ कार्यान्वित किए जाते हैं।
एक इनपुट प्रश्न का उत्तर देने के लिए, हम निम्नानुसार AWS सेवाओं का उपयोग करते हैं:
- एक उपयोगकर्ता यूआई के माध्यम से अपना प्रश्न इनपुट करता है, जो एक एपीआई को कॉल करता है अमेज़ॅन एपीआई गेटवे.
- एपीआई गेटवे एजेंट निष्पादक को लागू करने वाले लैम्ब्डा फ़ंक्शन को प्रश्न भेजता है।
- एजेंट एलएलएम को एक प्रॉम्प्ट के साथ कॉल करता है जिसमें उपलब्ध टूल का विवरण, रिएक्ट निर्देश प्रारूप और इनपुट प्रश्न होता है, और फिर पूरा करने के लिए अगली कार्रवाई को पार्स करता है।
- कार्रवाई में यह शामिल है कि किस टूल को कॉल करना है और कार्रवाई इनपुट क्या है।
- यदि उपयोग करने के लिए उपकरण SQL है, तो एजेंट निष्पादक प्रश्न को SQL में बदलने और उसे चलाने के लिए SQLQA को कॉल करता है। फिर यह परिणाम को प्रॉम्प्ट में जोड़ता है और एलएलएम को फिर से कॉल करता है यह देखने के लिए कि क्या यह मूल प्रश्न का उत्तर दे सकता है या यदि अधिक कार्रवाइयों की आवश्यकता है।
- इसी तरह, यदि उपयोग किया जाने वाला उपकरण सिमेंटिक सर्च है, तो एक्शन इनपुट को पार्स किया जाता है और PostgreSQL सिमेंटिक सर्च इंडेक्स से पुनर्प्राप्त करने के लिए उपयोग किया जाता है। यह परिणामों को प्रॉम्प्ट में जोड़ता है और जाँचता है कि क्या एलएलएम उत्तर देने में सक्षम है या उसे किसी अन्य कार्रवाई की आवश्यकता है।
- किसी प्रश्न का उत्तर देने के लिए सभी जानकारी उपलब्ध होने के बाद, एलएलएम एजेंट एक अंतिम उत्तर तैयार करता है और इसे उपयोगकर्ता को वापस भेजता है।
आप अतिरिक्त टूल के साथ एजेंट का विस्तार कर सकते हैं। कार्यान्वयन में उपलब्ध है GitHub, हम प्रदर्शित करते हैं कि आप उपरोक्त SQL इंजन और सिमेंटिक सर्च टूल में अतिरिक्त टूल के रूप में एक खोज इंजन और एक कैलकुलेटर कैसे जोड़ सकते हैं। चल रहे वार्तालाप इतिहास को संग्रहीत करने के लिए, हम एक का उपयोग करते हैं अमेज़ॅन डायनेमोडीबी तालिका.
अब तक के अपने अनुभव से, हमने देखा है कि एक सफल एजेंट की कुंजी निम्नलिखित हैं:
- एक अंतर्निहित एलएलएम जो रिएक्ट प्रारूप के साथ तर्क करने में सक्षम है
- उपलब्ध उपकरणों का स्पष्ट विवरण, उनका उपयोग कब करना है, और उनके इनपुट तर्कों का विवरण, संभावित रूप से, इनपुट और अपेक्षित आउटपुट का एक उदाहरण
- रिएक्ट प्रारूप की एक स्पष्ट रूपरेखा जिसका एलएलएम को पालन करना होगा
- व्यावसायिक प्रश्न को हल करने के लिए सही उपकरण एलएलएम एजेंट को उपयोग के लिए उपलब्ध कराए गए
- एलएलएम एजेंट प्रतिक्रियाओं से आउटपुट को उचित रूप से पार्स करना
लागतों को अनुकूलित करने के लिए, हम सबसे सामान्य प्रश्नों को उनके उत्तरों के साथ कैश करने और अंतर्निहित एलएलएम पर कॉल को कम करने के लिए समय-समय पर इस कैश को अपडेट करने की सलाह देते हैं। उदाहरण के लिए, आप सबसे सामान्य प्रश्नों के साथ एक सिमेंटिक सर्च इंडेक्स बना सकते हैं, जैसा कि पहले बताया गया है, और एलएलएम को कॉल करने से पहले इंडेक्स के साथ नए उपयोगकर्ता के प्रश्न का मिलान कर सकते हैं। अन्य कैशिंग विकल्पों का पता लगाने के लिए, देखें एलएलएम कैशिंग एकीकरण.
वीडियो, छवि, ऑडियो और 3डी फ़ाइलों जैसे अन्य प्रारूपों का समर्थन करना
आप एक ही समाधान को विभिन्न प्रकार की सूचनाओं, जैसे छवियों, वीडियो, ऑडियो और 3डी डिज़ाइन फ़ाइलों जैसे सीएडी या मेश फ़ाइलों पर लागू कर सकते हैं। इसमें पाठ में फ़ाइल सामग्री का वर्णन करने के लिए स्थापित एमएल तकनीकों का उपयोग करना शामिल है, जिसे बाद में उस समाधान में शामिल किया जा सकता है जिसे हमने पहले खोजा था। यह दृष्टिकोण आपको इन विविध डेटा प्रकारों पर QA वार्तालाप आयोजित करने में सक्षम बनाता है। उदाहरण के लिए, आप छवियों, वीडियो या ऑडियो सामग्री का पाठ्य विवरण बनाकर अपने दस्तावेज़ डेटाबेस का विस्तार कर सकते हैं। आप इन प्रारूपों के भीतर तत्वों पर वर्गीकरण या ऑब्जेक्ट डिटेक्शन के माध्यम से गुणों की पहचान करके मेटाडेटा तालिका को भी बढ़ा सकते हैं। इस निकाले गए डेटा को मेटाडेटा स्टोर या दस्तावेज़ों के लिए सिमेंटिक सर्च इंडेक्स में अनुक्रमित किए जाने के बाद, प्रस्तावित प्रणाली की समग्र वास्तुकला काफी हद तक सुसंगत रहती है।
निष्कर्ष
इस पोस्ट में, हमने दिखाया कि डोमेन-विशिष्ट एआई सहायक के निर्माण के लिए आरएजी डिज़ाइन पैटर्न के साथ एलएलएम का उपयोग कैसे आवश्यक है, लेकिन व्यावसायिक मूल्य उत्पन्न करने के लिए विश्वसनीयता के आवश्यक स्तर तक पहुंचने के लिए अपर्याप्त है। इस वजह से, हमने एजेंटों और उपकरणों की अवधारणाओं के साथ लोकप्रिय आरएजी डिज़ाइन पैटर्न का विस्तार करने का प्रस्ताव दिया, जहां उपकरणों का लचीलापन हमें पारंपरिक एनएलपी तकनीकों और आधुनिक एलएलएम क्षमताओं दोनों का उपयोग करने की अनुमति देता है ताकि एआई सहायक को जानकारी प्राप्त करने और सहायता के लिए अधिक विकल्पों के साथ सक्षम किया जा सके। व्यावसायिक समस्याओं को कुशलतापूर्वक हल करने में उपयोगकर्ता।
समाधान आपके संपूर्ण ज्ञान आधार पर विभिन्न प्रकार की पुनर्प्राप्ति, विश्लेषणात्मक तर्क और बहु-चरणीय तर्क प्रश्नों का उत्तर देने में सक्षम एलएलएम सहायक की डिज़ाइन प्रक्रिया को प्रदर्शित करता है। हमने उन प्रश्नों और कार्यों के आधार पर पीछे की ओर सोचने के महत्व पर भी प्रकाश डाला है जिनमें आपके एलएलएम सहायक से उपयोगकर्ताओं की सहायता की अपेक्षा की जाती है। इस मामले में, डिज़ाइन यात्रा हमें तीन घटकों के साथ एक आर्किटेक्चर की ओर ले गई: सिमेंटिक खोज, मेटाडेटा निष्कर्षण और एसक्यूएल क्वेरी, और एलएलएम एजेंट और उपकरण, जो हमें लगता है कि कई उपयोग के मामलों के लिए सामान्य और पर्याप्त लचीला है। हम यह भी मानते हैं कि इस समाधान से प्रेरणा प्राप्त करके और अपने उपयोगकर्ताओं की ज़रूरतों को गहराई से जानकर, आप इस समाधान को उस दिशा में आगे बढ़ा पाएंगे जो आपके लिए सबसे अच्छा काम करता है।
लेखक के बारे में
मोहम्मद अली जमौई प्रोडक्शन मशीन लर्निंग में 10 वर्षों के अनुभव के साथ एक वरिष्ठ एमएल प्रोटोटाइप आर्किटेक्ट हैं। उन्हें मशीन लर्निंग और सॉफ्टवेयर इंजीनियरिंग के साथ व्यावसायिक समस्याओं को हल करने और ग्राहकों को एमएल के साथ व्यावसायिक मूल्य निकालने में मदद करने में आनंद आता है। एडब्ल्यूएस ईएमईए प्रोटोटाइपिंग और क्लाउड इंजीनियरिंग के हिस्से के रूप में, वह ग्राहकों को व्यावसायिक समाधान बनाने में मदद करते हैं जो एमएलओपी, एनएलपी, सीवी और एलएलएम में नवाचारों का लाभ उठाते हैं।
ग्यूसेप हेन्नेन एक प्रोसर्व एसोसिएट कंसल्टेंट है। ग्यूसेप अपने ग्राहकों के लिए स्पष्ट और प्रभावी समाधान विकसित करने के लिए एआई एंड एमएल के संयोजन में अपने विश्लेषणात्मक कौशल को लागू करता है। वह जटिल समस्याओं का सरल समाधान निकालना पसंद करते हैं, विशेष रूप से वे जिनमें नवीनतम तकनीकी विकास और अनुसंधान शामिल हैं।
लॉरेन्स दस केट एक वरिष्ठ डेटा वैज्ञानिक हैं. लॉरेन्स ईएमईए में उद्यम ग्राहकों के साथ काम करता है और उन्हें एडब्ल्यूएस एआई/एमएल प्रौद्योगिकियों का उपयोग करके अपने व्यावसायिक परिणामों में तेजी लाने में मदद करता है। वह एनएलपी समाधानों में माहिर हैं और आपूर्ति श्रृंखला और लॉजिस्टिक्स उद्योग पर ध्यान केंद्रित करते हैं। अपने खाली समय में उन्हें पढ़ना और कला पसंद है।
इरीना राडू एक प्रोटोटाइप एंगेजमेंट मैनेजर है, जो AWS EMEA प्रोटोटाइपिंग और क्लाउड इंजीनियरिंग का हिस्सा है। वह ग्राहकों को नवीनतम तकनीक से सर्वोत्तम लाभ लेने, तेजी से नवाचार करने और बड़ा सोचने में मदद कर रही है।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/boosting-rag-based-intelligent-document-assistants-using-entity-extraction-sql-querying-and-agents-with-amazon-bedrock/
- :हैस
- :है
- :नहीं
- :कहाँ
- $यूपी
- 1
- 10
- 100
- 2022
- 3d
- 7
- a
- क्षमता
- योग्य
- About
- में तेजी लाने के
- पहुँच
- सुलभ
- पूरा
- लेखा
- शुद्धता
- सही
- सही रूप में
- पाना
- प्राप्त करने
- के पार
- अधिनियम
- अभिनय
- कार्य
- कार्रवाई
- अनुकूलन
- जोड़ना
- इसके अतिरिक्त
- जोड़ता है
- दत्तक
- बाद
- फिर
- के खिलाफ
- एजेंट
- एजेंटों
- AI
- एआई सहायक
- ऐ / एमएल
- कलन विधि
- संरेखित करता है
- सब
- की अनुमति देता है
- साथ - साथ
- भी
- वीरांगना
- अमेज़न SageMaker
- अमेज़न टेक्सट्रेक
- अमेज़ॅन वेब सेवा
- के बीच में
- an
- विश्लेषण
- विश्लेषणात्मक
- विश्लेषण करें
- और
- अन्य
- जवाब
- जवाब
- anthropic
- कोई
- एपीआई
- एपीआई
- लागू होता है
- लागू करें
- दृष्टिकोण
- उपयुक्त
- अनुमानित
- स्थापत्य
- हैं
- तर्क
- चारों ओर
- कला
- AS
- पूछना
- सहायता
- सहायक
- सहायकों
- सहयोगी
- जुड़े
- मान लीजिये
- At
- आक्रमण
- प्रयास
- ऑडियो
- बढ़ाना
- संवर्धित
- अरोड़ा
- स्वतः
- स्वायत्त
- उपलब्ध
- एडब्ल्यूएस
- वापस
- बैकएण्ड
- शेष
- आधार
- आधारित
- बुनियादी
- BE
- क्योंकि
- किया गया
- से पहले
- व्यवहार
- पीछे
- मानना
- लाभ
- BEST
- के बीच
- परे
- बड़ा
- बढ़ाने
- के छात्रों
- निर्माण
- इमारत
- व्यापार
- व्यवसायों
- लेकिन
- by
- कैश
- सीएडी
- कॉल
- बुलाया
- बुला
- कॉल
- कर सकते हैं
- उम्मीदवार
- क्षमताओं
- सक्षम
- ले जाना
- मामला
- मामलों
- श्रृंखला
- chatbot
- जाँचता
- चुनाव
- विकल्प
- चुनें
- कक्षा
- वर्गीकरण
- स्पष्ट
- बादल
- सुसंगत
- सहयोग
- स्तंभ
- स्तंभ
- संयोजन
- जोड़ती
- कैसे
- सामान्य
- कंपनियों
- कंपनी
- तुलना
- की तुलना
- तुलना
- पूरक हैं
- पूरा
- जटिल
- जटिल
- अंग
- घटकों
- प्रकृतिस्थ
- व्यापक
- गणना करना
- अवधारणाओं
- ठोस
- शर्त
- आचरण
- जुडिये
- विचार करना
- विचार
- संगत
- को मजबूत
- निर्माण
- सलाहकार
- शामिल
- निहित
- शामिल हैं
- सामग्री
- प्रसंग
- कन्वर्सेशन (Conversation)
- संवादी
- संवादी ऐ
- बातचीत
- बदलना
- परिवर्तित
- मूल
- सही
- ठीक प्रकार से
- इसी
- लागत
- लागत
- सका
- युग्मित
- बनाना
- बनाता है
- बनाना
- वर्तमान
- रिवाज
- ग्राहक
- ग्राहक सहयोग
- ग्राहक
- तिथि
- डेटा प्राप्त करना
- आँकड़े वाला वैज्ञानिक
- डाटाबेस
- का फैसला किया
- निर्णय लेने से
- गहरा
- और गहरा
- परिभाषित
- परिभाषित करता है
- गड्ढा
- मांग
- डेमो
- दिखाना
- साबित
- दर्शाता
- निर्भरता
- तैनात
- वर्णन
- वर्णित
- का वर्णन
- विवरण
- डिज़ाइन
- डिजाइन पैटर्न्स
- डिज़ाइन प्रक्रिया
- डिज़ाइन बनाना
- विस्तृत
- विवरण
- पता लगाना
- खोज
- विकसित करना
- विकास
- के घटनाक्रम
- डिजिटल
- प्रकटीकरण
- चर्चा करना
- चर्चा की
- विचार - विमर्श
- दूरी
- डुबकी
- कई
- डाइविंग
- do
- दस्तावेज़
- दस्तावेज़ीकरण
- दस्तावेजों
- कर देता है
- नहीं करता है
- डोमेन
- डोमेन
- किया
- नीचे
- ड्राइवर
- दो
- दौरान
- गतिशील
- से प्रत्येक
- पूर्व
- शीघ्र
- आराम
- उपयोग में आसानी
- आसानी
- प्रभावी
- प्रभावी रूप से
- दक्षता
- कुशल
- कुशलता
- भी
- तत्व
- embedding
- ईएमईए
- उभरा
- रोजगार
- सक्षम
- सक्षम बनाता है
- समर्थकारी
- समाप्त
- सगाई
- इंजन
- अभियांत्रिकी
- इंजन
- बढ़ाना
- बढ़ाता है
- पर्याप्त
- समृद्ध
- उद्यम
- संस्थाओं
- सत्ता
- वातावरण
- त्रुटियाँ
- विशेष रूप से
- आवश्यक
- स्थापित
- और भी
- विकसित करना
- की जांच
- उदाहरण
- उदाहरण
- अस्तित्व
- मौजूदा
- विस्तार
- अपेक्षित
- अनुभव
- समझाया
- समझा
- बताते हैं
- का पता लगाने
- पता लगाया
- उजागर
- विस्तार
- का विस्तार
- विस्तार
- अतिरिक्त
- उद्धरण
- निष्कर्षण
- अर्क
- का सामना करना पड़ा
- विफल रहता है
- सामान्य प्रश्न
- दूर
- और तेज
- Feature
- विशेषताएं
- प्रतिक्रिया
- कुछ
- खेत
- पट्टिका
- फ़ाइलें
- छानने
- फ़िल्टर
- अंतिम
- अंत में
- वित्तीय
- खोज
- प्रथम
- लचीलापन
- लचीला
- प्रवाह
- फोकस
- ध्यान केंद्रित
- निम्नलिखित
- इस प्रकार है
- के लिए
- प्रपत्र
- प्रारूप
- निर्मित
- रूपों
- ढांचा
- मुक्त
- से
- सामने
- फ़्रंट एंड
- पूरा
- पूर्ण
- पूरी तरह से
- समारोह
- आगे
- प्रवेश द्वार
- इकट्ठा
- सामान्य जानकारी
- उत्पन्न
- उत्पन्न
- सृजन
- पीढ़ी
- उत्पादक
- जनरेटिव एआई
- मिल
- मिल रहा
- GitHub
- दी
- लक्ष्य
- अच्छा
- धीरे - धीरे
- अनुदान
- समूह
- समूह की
- था
- है
- होने
- he
- मदद
- मदद
- मदद करता है
- यहाँ उत्पन्न करें
- हाई
- उच्चतम
- हाइलाइट
- उसके
- इतिहास
- उम्मीद है कि
- कैसे
- How To
- तथापि
- एचटीएमएल
- HTTPS
- मानव
- विचारों
- पहचानती
- पहचान करना
- पहचान
- पहचान
- if
- की छवि
- छवियों
- कल्पना करना
- लागू करने के
- कार्यान्वयन
- कार्यान्वित
- कार्यान्वयन
- महत्व
- महत्वपूर्ण
- में सुधार
- उन्नत
- सुधार
- में सुधार लाने
- in
- शामिल
- अनुक्रमणिका
- अनुक्रमित
- उद्योग
- करें-
- जानकारी निकासी
- प्रारंभिक
- कुछ नया
- नवाचारों
- निवेश
- निविष्टियां
- प्रेरणा
- प्रेरित
- प्रेरित
- स्थापित
- उदाहरण
- बजाय
- एकीकृत
- बुद्धिमान
- बातचीत
- आंतरिक
- में
- परिचय कराना
- शुरू की
- निवेश करना
- जांच
- निवेश
- शामिल करना
- IT
- आईटी इस
- खुद
- काम
- यात्रा
- जेपीजी
- JSON
- रखना
- कुंजी
- Instagram पर
- ज्ञान
- जानने वाला
- भाषा
- बड़ा
- बड़े पैमाने पर
- पिछली बार
- बाद में
- ताज़ा
- शुरूआत
- परत
- सीख रहा हूँ
- कम से कम
- नेतृत्व
- लंबाई
- स्तर
- लीवरेज
- पसंद
- सीमा
- सीमाओं
- LINK
- लिंक्डइन
- सूची
- एलएलएम
- भार
- रसद
- रसद उद्योग
- लंबा
- प्यार करता है
- मशीन
- यंत्र अधिगम
- बनाया गया
- मुख्य
- बनाए रखना
- को बनाए रखने के
- बनाना
- कामयाब
- प्रबंधक
- बहुत
- मैच
- मिलान
- परिपक्व
- मई..
- me
- अर्थ
- उपायों
- मिलना
- उल्लेख है
- केवल
- जाल
- message
- मेटाडाटा
- तरीका
- तरीकों
- मीट्रिक
- मेट्रिक्स
- न्यूनतम
- भ्रामक
- लापता
- ML
- एमएलओपीएस
- आदर्श
- मॉडल
- संयम
- आधुनिक
- मॉड्यूल
- अधिक
- और भी
- अधिकांश
- विभिन्न
- चाहिए
- नामों
- प्राकृतिक
- प्राकृतिक भाषा संसाधन
- आवश्यक
- आवश्यकता
- जरूरत
- की जरूरत है
- पड़ोसियों
- जाल
- शुद्ध राजस्व
- कभी नहीँ
- नया
- अगला
- NLP
- कोई नहीं
- नोटबुक
- धारणा
- वस्तु
- ऑब्जेक्ट डिटेक्शन
- of
- प्रस्तुत
- की पेशकश
- ऑफ़लाइन
- अक्सर
- on
- ONE
- चल रहे
- केवल
- खुला
- खुला स्रोत
- संचालन
- ऑप्टिमाइज़ करें
- ऑप्शंस
- or
- आदेश
- मूल
- अन्य
- अन्य
- हमारी
- आउट
- परिणामों
- रूपरेखा
- उल्लिखित
- उत्पादन
- outputs के
- के ऊपर
- कुल
- काबू
- अपना
- पैकेज
- पांडा
- भाग
- भागों
- पैटर्न
- पैटर्न उपयोग करें
- पीडीएफ
- निष्पादन
- प्रदर्शन
- अनुमति
- परिप्रेक्ष्य
- फार्मास्युटिकल
- टुकड़े
- पाइपलाइन
- मैदान
- की योजना बना
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- प्रशंसनीय
- बिन्दु
- नीति
- लोकप्रिय
- लोकप्रियता
- आबादी वाले
- संभव
- संभवतः
- पद
- PostgreSQL
- संभावित
- संभावित
- संचालित
- शक्तिशाली
- अभ्यास
- शुद्धता
- तैयार करना
- वर्तमान
- प्रस्तुत
- प्रस्तुत
- संरक्षण
- को रोकने के
- रोकता है
- पहले से
- विशेषाधिकार
- समस्या को सुलझाना
- समस्याओं
- प्रक्रिया
- प्रसंस्करण
- पैदा करता है
- उत्पादन
- एस्ट्रो मॉल
- उत्पादन
- वादा
- होनहार
- गुण
- प्रस्ताव
- प्रस्तावित
- का प्रस्ताव
- प्रोटोटाइप
- साबित
- प्रदान करना
- प्रदान करता है
- सार्वजनिक
- अजगर
- क्यू एंड ए
- प्रश्नों
- प्रश्न
- प्रशन
- त्वरित
- जल्दी से
- रैंकिंग
- उपवास
- कच्चा
- पहुंच
- पहुँचे
- प्रतिक्रिया
- पढ़ना
- तैयार
- वास्तविक
- असली दुनिया
- वास्तविक समय
- कारण
- उचित
- प्राप्त
- प्राप्त
- हाल
- हाल ही में
- पहचान
- की सिफारिश
- सिफारिश
- को कम करने
- उल्लेख
- क्षेत्र
- प्रासंगिक
- विश्वसनीयता
- भरोसा करना
- बाकी है
- रिपोर्ट
- कोष
- प्रतिनिधित्व
- का अनुरोध
- की आवश्यकता होती है
- अपेक्षित
- आवश्यकता
- की आवश्यकता होती है
- अनुसंधान
- प्रतिक्रिया
- प्रतिक्रियाएं
- बाकी
- परिणाम
- परिणाम
- वापसी
- राजस्व
- राजस्व
- की समीक्षा
- सही
- जोखिम
- भूमिका
- नियम
- रन
- दौड़ना
- चलाता है
- sagemaker
- वही
- अनुमापकता
- स्कैन
- स्कैनिंग
- वैज्ञानिक
- लिपि
- Search
- search engine
- दूसरा
- अनुभाग
- वर्गों
- सुरक्षा
- सुरक्षा उपाय
- देखना
- शोध
- देखा
- का चयन
- चयन
- अर्थ विज्ञान
- भेजता
- वरिष्ठ
- भेजा
- अनुक्रम
- सेवा
- सेवाएँ
- वह
- चाहिए
- दिखाना
- पता चला
- दिखाया
- समान
- सरल
- सरलीकृत
- को आसान बनाने में
- एक साथ
- के बाद से
- एक
- कौशल
- So
- अब तक
- सॉफ्टवेयर
- सॉफ्टवेयर इंजीनियरिंग
- केवल
- समाधान
- समाधान ढूंढे
- सुलझाने
- कुछ
- कभी कभी
- स्रोत
- सूत्रों का कहना है
- अंतरिक्ष
- विशेषीकृत
- माहिर
- विशिष्ट
- गति
- विभाजन
- धुआँरा
- चरणों
- प्रारंभ
- शुरुआत में
- रास्ते पर लाना
- कदम
- कदम
- की दुकान
- संग्रहित
- सरल
- रणनीतियों
- स्ट्रेटेजी
- हड़ताल
- प्रयास करना
- संरचना
- संरचित
- स्टूडियो
- सफल
- ऐसा
- सुझाव
- उपयुक्त
- संक्षेप में प्रस्तुत करना
- आपूर्ति
- आपूर्ति श्रृंखला
- समर्थन
- समर्थन करता है
- निश्चित
- वाक्यविन्यास
- प्रणाली
- तालिका
- अनुरूप
- लेना
- लेता है
- कार्य
- कार्य
- तकनीक
- तकनीक
- प्रौद्योगिकीय
- टेक्नोलॉजीज
- कहना
- दस
- टेक्स्ट
- शाब्दिक
- धन्यवाद
- कि
- RSI
- जानकारी
- लेकिन हाल ही
- उन
- फिर
- वहाँ।
- जिसके चलते
- इसलिये
- इन
- वे
- सोचना
- विचारधारा
- इसका
- उन
- तीन
- यहाँ
- पहर
- टाइटन
- सेवा मेरे
- आज
- साधन
- उपकरण
- ऊपर का
- शीर्ष 5
- की ओर
- की ओर
- निशान
- परंपरागत
- प्रशिक्षण
- बदालना
- इलाज
- <strong>उद्देश्य</strong>
- भरोसेमंद
- दो
- टाइप
- प्रकार
- आम तौर पर
- ui
- आधारभूत
- समझना
- जब तक
- अद्यतन
- के ऊपर
- us
- उपयोग
- प्रयुक्त
- उपयोगकर्ता
- उपयोगकर्ता अनुभव
- उपयोगकर्ताओं
- का उपयोग करता है
- का उपयोग
- सत्यापित करें
- मूल्य
- मान
- विविधता
- विभिन्न
- बहुमुखी
- वीडियो
- वीडियो
- कमजोरियों
- सैर
- मार्ग..
- we
- वेब
- वेब सेवाओं
- कुंआ
- थे
- क्या
- कब
- जहाँ तक
- या
- कौन कौन से
- जब
- क्यों
- विकिपीडिया
- मर्जी
- साथ में
- अंदर
- बिना
- कार्य
- होगा
- लिख रहे हैं
- X
- वर्ष
- साल
- आप
- आपका
- जेफिरनेट