यह ब्लॉग पोस्ट डीपसेट से तुआना सेलिक के साथ सह-लिखित है।
एंटरप्राइज़ खोज दस्तावेज़ डिजिटलीकरण और ज्ञान प्रबंधन के माध्यम से संगठनात्मक दक्षता का एक महत्वपूर्ण घटक है। एंटरप्राइज़ खोज में डिजिटल फ़ाइलों जैसे दस्तावेज़ों को संग्रहीत करना, खोज के लिए दस्तावेज़ों को अनुक्रमित करना और उपयोगकर्ता प्रश्नों के आधार पर प्रासंगिक परिणाम प्रदान करना शामिल है। बड़े भाषा मॉडल (एलएलएम) के आगमन के साथ, हम उपयोगकर्ताओं को परिणाम प्रदान करने में बातचीत के अनुभवों को लागू कर सकते हैं। हालाँकि, हमें यह सुनिश्चित करने की आवश्यकता है कि एलएलएम कंपनी डेटा पर प्रतिक्रियाओं को सीमित करें, जिससे मॉडल मतिभ्रम कम हो।
इस पोस्ट में, हम हेस्टैक पाइपलाइनों और फाल्कन-40बी-इंस्ट्रक्ट मॉडल का उपयोग करके रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) के साथ एंटरप्राइज़ खोज के लिए एंड-टू-एंड जेनरेटिव एआई एप्लिकेशन बनाने का तरीका दिखाते हैं। अमेज़न SageMaker जम्पस्टार्ट और अमेज़न ओपन सर्च सर्विस. इस पोस्ट में दिखाए गए नमूने का स्रोत कोड यहां उपलब्ध है गिटहब भंडार
समाधान अवलोकन
जेनरेटिव एआई एप्लिकेशन प्रतिक्रियाओं को केवल कंपनी डेटा तक सीमित रखने के लिए, हमें रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) नामक तकनीक का उपयोग करने की आवश्यकता है। आरएजी दृष्टिकोण का उपयोग करने वाला एक एप्लिकेशन एंटरप्राइज़ ज्ञान आधार या सामग्री से उपयोगकर्ता के अनुरोध के लिए सबसे अधिक प्रासंगिक जानकारी प्राप्त करता है, इसे उपयोगकर्ता के अनुरोध के साथ एक संकेत के रूप में संदर्भ के रूप में बंडल करता है, और फिर प्रतिक्रिया प्राप्त करने के लिए इसे एलएलएम को भेजता है। एलएलएम में इनपुट संकेतों के लिए अधिकतम शब्द गणना की सीमाएं होती हैं, इसलिए उद्यम में हजारों या लाखों दस्तावेजों के बीच सही मार्ग चुनने से एलएलएम की सटीकता पर सीधा प्रभाव पड़ता है।
उद्यम खोज में RAG तकनीक तेजी से महत्वपूर्ण हो गई है। इस पोस्ट में, हम एक वर्कफ़्लो दिखाते हैं जो फाल्कन-40बी-इंस्ट्रक्ट मॉडल को तैनात करने के लिए सेजमेकर जम्पस्टार्ट का लाभ उठाता है और पुनर्प्राप्ति संवर्धित प्रश्न उत्तर पाइपलाइन को डिजाइन करने और चलाने के लिए हेस्टैक का उपयोग करता है। अंतिम पुनर्प्राप्ति संवर्द्धन वर्कफ़्लो में निम्नलिखित उच्च-स्तरीय चरण शामिल हैं:
- उपयोगकर्ता क्वेरी का उपयोग एक रिट्रीवर घटक के लिए किया जाता है, जो हमारे डेटाबेस से सबसे प्रासंगिक संदर्भ को पुनः प्राप्त करने के लिए एक वेक्टर खोज करता है।
- यह संदर्भ एक प्रॉम्प्ट में अंतर्निहित है जिसे एलएलएम को केवल दिए गए संदर्भ से उत्तर उत्पन्न करने का निर्देश देने के लिए डिज़ाइन किया गया है।
- एलएलएम केवल प्राप्त संकेत में सन्निहित संदर्भ पर विचार करके मूल क्वेरी पर प्रतिक्रिया उत्पन्न करता है।
सेजमेकर जम्पस्टार्ट
सेजमेकर जंपस्टार्ट एक मॉडल हब के रूप में कार्य करता है जो टेक्स्ट, विज़न, ऑडियो और एम्बेडिंग उपयोग के मामलों के लिए गहन शिक्षण मॉडल की एक विस्तृत श्रृंखला को समाहित करता है। 500 से अधिक मॉडलों के साथ, इसके मॉडल हब में AWS के भागीदारों जैसे AI21, स्टेबिलिटी AI, कोहेयर और लाइटऑन के सार्वजनिक और मालिकाना दोनों मॉडल शामिल हैं। यह एलेक्साटीएम जैसे पूरी तरह से अमेज़ॅन द्वारा विकसित फाउंडेशन मॉडल को भी होस्ट करता है। कुछ मॉडल आपको अपने डेटा के साथ उन्हें बेहतर बनाने की क्षमता प्रदान करते हैं। सेजमेकर जंपस्टार्ट समाधान टेम्पलेट भी प्रदान करता है जो सामान्य उपयोग के मामलों के लिए बुनियादी ढांचा स्थापित करता है, और सेजमेकर के साथ मशीन लर्निंग (एमएल) के लिए निष्पादन योग्य उदाहरण नोटबुक भी प्रदान करता है।
सूखी घास का ढेर
सूखी घास का ढेर डीपसेट द्वारा एक ओपन-सोर्स फ्रेमवर्क है जो डेवलपर्स को मॉडल, वेक्टर डीबी, फ़ाइल कन्वर्टर्स और अनगिनत अन्य मॉड्यूल जैसे विभिन्न घटकों से बने एलएलएम अनुप्रयोगों को व्यवस्थित करने की अनुमति देता है। हेस्टैक प्रदान करता है पाइप लाइनें और एजेंटोंखोज, प्रश्न उत्तर और संवादात्मक एआई सहित विभिन्न उपयोग के मामलों के लिए एलएलएम अनुप्रयोगों को डिजाइन करने के लिए दो शक्तिशाली संरचनाएं। अत्याधुनिक पुनर्प्राप्ति विधियों और ठोस मूल्यांकन मेट्रिक्स पर बड़े फोकस के साथ, यह आपको एक विश्वसनीय, भरोसेमंद एप्लिकेशन भेजने के लिए आवश्यक सभी चीजें प्रदान करता है। आप पाइपलाइनों को क्रमबद्ध कर सकते हैं वाईएएमएल फ़ाइलें, उन्हें a के माध्यम से बेनकाब करें बाकी एपीआई, और उन्हें अपने कार्यभार के साथ लचीले ढंग से स्केल करें, जिससे आपके एप्लिकेशन को प्रोटोटाइप चरण से उत्पादन तक ले जाना आसान हो जाएगा।
अमेज़न ओपन सर्च
ओपनसर्च सेवा एक पूरी तरह से प्रबंधित सेवा है जो एडब्ल्यूएस क्लाउड में ओपनसर्च को तैनात करना, स्केल करना और संचालित करना आसान बनाती है। ओपनसर्च अपाचे 2.0 लाइसेंस के तहत लाइसेंस प्राप्त खोज, विश्लेषण, सुरक्षा निगरानी और अवलोकन अनुप्रयोगों के लिए एक स्केलेबल, लचीला और एक्स्टेंसिबल ओपन-सोर्स सॉफ्टवेयर सूट है।
हाल के वर्षों में, खोज को बढ़ाने के लिए एमएल तकनीकें तेजी से लोकप्रिय हो गई हैं। उनमें से एक का उपयोग है एम्बेडिंग मॉडल, एक प्रकार का मॉडल जो डेटा के एक बड़े समूह को एन-डायमेंशनल स्पेस में एनकोड कर सकता है जहां प्रत्येक इकाई को एन-डायमेंशनल स्पेस में एनकोड किया जाता है वेक्टर, उस स्थान में एक डेटा बिंदु, और इस तरह व्यवस्थित किया गया कि समान इकाइयाँ एक साथ करीब हों। एक वेक्टर डेटाबेस k-NN इंडेक्स जैसे विशेष इंडेक्स प्रदान करके कुशल वेक्टर समानता खोज प्रदान करता है।
ओपनसर्च सेवा की वेक्टर डेटाबेस क्षमताओं के साथ, आप सिमेंटिक खोज, एलएलएम के साथ आरएजी, अनुशंसा इंजन और समृद्ध मीडिया खोज लागू कर सकते हैं। इस पोस्ट में, हम बाहरी ज्ञान आधार के साथ जेनेरिक एलएलएम को पूरक करने में सक्षम बनाने के लिए आरएजी का उपयोग करते हैं जो आम तौर पर वेक्टर-एन्कोडेड ज्ञान लेखों के साथ हाइड्रेटेड वेक्टर डेटाबेस का उपयोग करके बनाया जाता है।
अनुप्रयोग अवलोकन
निम्नलिखित चित्र अंतिम अनुप्रयोग की संरचना को दर्शाता है।
इस एप्लिकेशन में, हम अपलोड किए गए दस्तावेज़ों और इंडेक्स दस्तावेज़ों को प्रबंधित करने के लिए हेस्टैक इंडेक्सिंग पाइपलाइन का उपयोग करते हैं और अनुक्रमित दस्तावेज़ों से ज्ञान पुनर्प्राप्ति करने के लिए हेस्टैक क्वेरी पाइपलाइन का उपयोग करते हैं।
हेस्टैक इंडेक्सिंग पाइपलाइन में निम्नलिखित उच्च-स्तरीय चरण शामिल हैं:
- एक दस्तावेज़ अपलोड करें।
- हस्ताक्षर करना
DocumentStore
और सूचकांक दस्तावेज़।
हम OpenSearch को अपने रूप में उपयोग करते हैं दस्तावेज़ भंडार और एक हेस्टैक अनुक्रमण पाइपलाइन हमारी फ़ाइलों को OpenSearch पर प्रीप्रोसेस और अनुक्रमित करने के लिए। सूखी घास का ढेर फ़ाइल कन्वर्टर्स और preprocessor आपको अपनी कच्ची फ़ाइलों को साफ करने और ऐसे आकार और प्रारूप में तैयार करने की अनुमति देता है जिसे आपकी प्राकृतिक भाषा प्रसंस्करण (एनएलपी) पाइपलाइन और पसंद का भाषा मॉडल संभाल सके। हमने यहां जिस इंडेक्सिंग पाइपलाइन का उपयोग किया है उसका भी उपयोग किया जाता है sentence-transformers/all-MiniLM-L12-v2
प्रत्येक दस्तावेज़ के लिए एम्बेडिंग बनाने के लिए, जिसका उपयोग हम कुशल पुनर्प्राप्ति के लिए करते हैं।
हेस्टैक क्वेरी पाइपलाइन में निम्नलिखित उच्च-स्तरीय चरण शामिल हैं:
- हम RAG पाइपलाइन को एक क्वेरी भेजते हैं।
- An एंबेडिंगरिट्रीवर घटक एक फ़िल्टर के रूप में कार्य करता है जो सबसे अधिक प्रासंगिक को पुनः प्राप्त करता है
top_k
OpenSearch में हमारे अनुक्रमित दस्तावेज़ों से दस्तावेज़। इसे प्राप्त करने के लिए हम क्वेरी और दस्तावेज़ (अनुक्रमण पर) दोनों को एम्बेड करने के लिए अपनी पसंद के एम्बेडिंग मॉडल का उपयोग करते हैं। - पुनर्प्राप्त दस्तावेज़ फाल्कन-40बी-इंस्ट्रक्शन मॉडल के हमारे प्रॉम्प्ट में एम्बेडेड हैं।
- एलएलएम एक प्रतिक्रिया के साथ लौटता है जो पुनर्प्राप्त दस्तावेजों पर आधारित है।
मॉडल परिनियोजन के लिए, हम सेजमेकर जम्पस्टार्ट का उपयोग करते हैं, जो एक बटन के साधारण पुश के माध्यम से मॉडलों को तैनात करना सरल बनाता है। हालाँकि हमने इस उदाहरण के लिए फाल्कन-40बी-इंस्ट्रक्शन का उपयोग और परीक्षण किया है, आप सेजमेकर पर उपलब्ध किसी भी हगिंग फेस मॉडल का उपयोग कर सकते हैं।
अंतिम समाधान पर उपलब्ध है घास का ढेर बनाने वाला रिपॉजिटरी और ओपनसर्च वेबसाइट और दस्तावेज़ीकरण (ओपनसर्च 2.7 के लिए) का उपयोग हमारे उदाहरण डेटा के रूप में संवर्धित प्रश्न उत्तर पुनर्प्राप्ति करने के लिए करता है।
.. पूर्वापेक्षाएँ
किसी भी AWS सेवा का उपयोग करने से पहले हमें सबसे पहले यह सुनिश्चित करना होगा कि हमने AWS खाता बना लिया है और उसके लिए साइन अप कर लिया है। फिर आपको एक प्रशासनिक उपयोगकर्ता और समूह बनाना चाहिए। दोनों चरणों के निर्देशों के लिए, देखें अमेज़ॅन सेजमेकर पूर्वापेक्षाएँ सेट करें.
हेस्टैक का उपयोग करने में सक्षम होने के लिए, आपको इसे इंस्टॉल करना होगा farm-haystack
आवश्यक निर्भरता के साथ पैकेज। इसे पूरा करने के लिए, का उपयोग करें requirements.txt
में दायर गिटहब भंडार चलाकर pip install requirements.txt
.
दस्तावेज़ों को OpenSearch पर अनुक्रमित करें
हेस्टैक डेटाबेस के लिए कई कनेक्टर प्रदान करता है, जिन्हें कहा जाता है DocumentStores
. इस RAG वर्कफ़्लो के लिए, हम इसका उपयोग करते हैं OpenSearchDocumentStore
. उदाहरण कोष इसमें एक अनुक्रमण पाइपलाइन और शामिल है एडब्ल्यूएस CloudFormation टेम्पलेट एक स्थापित करने के लिए OpenSearchDocumentStore
ओपनसर्च वेबसाइट और दस्तावेज़ीकरण पृष्ठों से क्रॉल किए गए दस्तावेज़ों के साथ।
अक्सर, किसी एनएलपी एप्लिकेशन को उत्पादन उपयोग के मामलों में काम करने के लिए, हमें डेटा तैयार करने और सफाई के बारे में सोचना पड़ता है। इससे ढका हुआ है हेस्टैक अनुक्रमण पाइपलाइन, जो आपको अपने स्वयं के डेटा तैयारी चरणों को डिज़ाइन करने की अनुमति देता है, जो अंततः आपके दस्तावेज़ों को आपकी पसंद के डेटाबेस में लिखते हैं।
अनुक्रमणिका पाइपलाइन में आपके दस्तावेज़ों के लिए एम्बेडिंग बनाने का चरण भी शामिल हो सकता है। पुनर्प्राप्ति चरण के लिए यह अत्यधिक महत्वपूर्ण है. हमारे उदाहरण में, हम उपयोग करते हैं वाक्य-ट्रांसफार्मर/ऑल-मिनीएलएम-एल12-वी2 हमारे एम्बेडिंग मॉडल के रूप में। इस मॉडल का उपयोग हमारे सभी अनुक्रमित दस्तावेज़ों के लिए एम्बेडिंग बनाने के लिए किया जाता है, बल्कि क्वेरी के समय उपयोगकर्ता की क्वेरी के लिए भी किया जाता है।
दस्तावेज़ों को अनुक्रमित करने के लिए OpenSearchDocumentStore
, हम विस्तृत निर्देशों के साथ दो विकल्प प्रदान करते हैं README उदाहरण भंडार का. यहां, हम AWS पर तैनात ओपनसर्च सेवा को अनुक्रमित करने के चरणों के बारे में जानेंगे।
ओपनसर्च सेवा प्रारंभ करें
प्रदान का उपयोग करें CloudFormation टेम्पलेट AWS पर ओपनसर्च सेवा स्थापित करने के लिए। निम्नलिखित आदेश चलाकर, आपके पास एक खाली ओपनसर्च सेवा होगी। फिर आप या तो हमारे द्वारा प्रदान किए गए उदाहरण डेटा को अनुक्रमित करना चुन सकते हैं या अपने स्वयं के डेटा का उपयोग कर सकते हैं, जिसे आप साफ़ कर सकते हैं और इसका उपयोग करके प्रीप्रोसेस कर सकते हैं हेस्टैक इंडेक्सिंग पाइपलाइन. ध्यान दें कि यह एक ऐसा उदाहरण बनाता है जो इंटरनेट के लिए खुला है, जिसे उत्पादन उपयोग के लिए अनुशंसित नहीं किया गया है।
स्टैक लॉन्च को पूरा होने के लिए लगभग 30 मिनट का समय दें। आप AWS CloudFormation कंसोल पर नेविगेट करके इसकी प्रगति की जांच कर सकते हैं ढेर पृष्ठ और नामित स्टैक की तलाश कर रहा हूँ HaystackOpensearch
.
दस्तावेज़ों को OpenSearch में अनुक्रमित करें
अब जबकि हमारे पास एक चालू OpenSearch सेवा है, हम इससे जुड़ने के लिए OpenSearchDocumentStore क्लास का उपयोग कर सकते हैं और इसमें अपने दस्तावेज़ लिख सकते हैं।
OpenSearch के लिए होस्टनाम प्राप्त करने के लिए, निम्न आदेश चलाएँ:
सबसे पहले, निम्नलिखित निर्यात करें:
फिर, आप का उपयोग कर सकते हैं opensearch_indexing_pipeline.py
प्रदान किए गए डेमो डेटा को प्रीप्रोसेस और इंडेक्स करने के लिए स्क्रिप्ट।
यदि आप अपने स्वयं के डेटा का उपयोग करना चाहते हैं, तो इंडेक्सिंग पाइपलाइन को संशोधित करें opensearch_indexing_pipeline.py
को शामिल करने के लिए फ़ाइल कनवर्टर और preprocessor आपके लिए आवश्यक सेटअप चरण.
पुनर्प्राप्ति संवर्धित प्रश्न उत्तर पाइपलाइन को लागू करें
अब जबकि हमारे पास OpenSearch में अनुक्रमित डेटा है, हम इन दस्तावेज़ों पर प्रश्न उत्तर दे सकते हैं। इस RAG पाइपलाइन के लिए, हम फाल्कन-40बी-इंस्ट्रक्ट मॉडल का उपयोग करते हैं जिसे हमने सेजमेकर जम्पस्टार्ट पर तैनात किया है।
आपके पास ज्यूपिटर नोटबुक से मॉडल को प्रोग्रामेटिक रूप से तैनात करने का विकल्प भी है। निर्देशों के लिए, देखें गीथहब रेपो.
- सेजमेकर जम्पस्टार्ट पर फाल्कन-40बी-इंस्ट्रक्ट मॉडल खोजें।
- अपने मॉडल को सेजमेकर जम्पस्टार्ट पर तैनात करें, और एंडपॉइंट नाम पर ध्यान दें।
- निम्नलिखित मान निर्यात करें:
- रन
python rag_pipeline.py
.
यह एक कमांड लाइन उपयोगिता शुरू करेगा जो उपयोगकर्ता के प्रश्न की प्रतीक्षा करेगा। उदाहरण के लिए, आइए पूछें "मैं ओपनसर्च सीएलआई कैसे स्थापित कर सकता हूं?"
यह परिणाम इसलिए प्राप्त हुआ है क्योंकि हमने अपना प्रॉम्प्ट इसमें परिभाषित किया है हेस्टैक प्रॉम्प्ट टेम्पलेट निम्नलिखित होना:
आगे अनुकूलन
आप समाधान में विभिन्न तत्वों के लिए अतिरिक्त अनुकूलन कर सकते हैं, जैसे कि निम्नलिखित:
- डेटा - हमने ओपनसर्च प्रदान किया है दस्तावेज़ीकरण और वेबसाइट उदाहरण डेटा के रूप में डेटा। को संशोधित करना याद रखें
opensearch_indexing_pipeline.py
यदि आपने अपने स्वयं के डेटा का उपयोग करना चुना है तो आपकी आवश्यकताओं के अनुरूप स्क्रिप्ट। - आदर्श - इस उदाहरण में, हमने फाल्कन-40बी-इंस्ट्रक्शन मॉडल का उपयोग किया है। आप सेजमेकर पर किसी अन्य हगिंग फेस मॉडल को तैनात करने और उपयोग करने के लिए स्वतंत्र हैं। ध्यान दें कि किसी मॉडल को बदलने का मतलब यह होगा कि आपको अपने प्रॉम्प्ट को उस चीज़ के अनुरूप ढालना चाहिए जिसे इसे संभालने के लिए डिज़ाइन किया गया है।
- प्राम्प्ट - इस पोस्ट के लिए, हमने अपना खुद का बनाया
PromptTemplate
जो मॉडल को दिए गए संदर्भ के आधार पर प्रश्नों के उत्तर देने का निर्देश देता है और यदि संदर्भ में प्रासंगिक जानकारी शामिल नहीं है तो "मुझे नहीं पता" उत्तर देने का निर्देश देता है। आप फाल्कन-40बी-इंस्ट्रक्शन के साथ विभिन्न संकेतों के साथ प्रयोग करने के लिए इस संकेत को बदल सकते हैं। आप यहां से हमारे कुछ संकेत भी प्राप्त कर सकते हैं प्रॉम्प्टहब. - एम्बेडिंग मॉडल - पुनर्प्राप्ति चरण के लिए, हम एक हल्के एम्बेडिंग मॉडल का उपयोग करते हैं: वाक्य-ट्रांसफार्मर/ऑल-मिनीएलएम-एल12-वी2. हालाँकि, आप इसे अपनी आवश्यकताओं के अनुसार बदल भी सकते हैं। अपने में अपेक्षित एम्बेडिंग आयामों को संशोधित करना याद रखें
DocumentStore
तदनुसार। - पुनर्प्राप्त दस्तावेज़ों की संख्या – आप मांगे गए दस्तावेज़ों की संख्या के साथ खिलवाड़ करना भी चुन सकते हैं
EmbeddingRetriever
प्रत्येक क्वेरी के लिए पुनः प्राप्त करने के लिए। हमारे सेटअप में, यह इस पर सेट है टॉप_के=5. आप यह देखने के लिए इस आंकड़े को बदलने का प्रयोग कर सकते हैं कि क्या अधिक संदर्भ प्रदान करने से आपके परिणामों की सटीकता में सुधार होता है।
उत्पादन की तैयारी
इस पोस्ट में प्रस्तावित समाधान परियोजना विकास प्रक्रिया के समय-मूल्य में तेजी ला सकता है। आप एक ऐसा प्रोजेक्ट बना सकते हैं जिसे AWS क्लाउड पर सुरक्षा और गोपनीयता वातावरण के साथ स्केल करना आसान हो।
सुरक्षा और गोपनीयता के लिए, ओपनसर्च सेवा डेटा सुरक्षा प्रदान करती है पहचान और पहुंच प्रबंधन और क्रॉस-सर्विस भ्रमित प्रॉक्सी रोकथाम. आप सुक्ष्म उपयोगकर्ता अभिगम नियंत्रण को नियोजित कर सकते हैं ताकि उपयोगकर्ता केवल उस डेटा तक पहुंच सके जिसके लिए वे अधिकृत हैं। इसके अतिरिक्त, सेजमेकर कॉन्फ़िगर करने योग्य सुरक्षा सेटिंग्स प्रदान करता है नियंत्रण का उपयोग, आँकड़ा रक्षण, तथा लॉगिंग और निगरानी. आप अपने डेटा को विश्राम के दौरान और पारगमन के दौरान सुरक्षित रख सकते हैं AWS प्रमुख प्रबंधन सेवा (एडब्ल्यूएस केएमएस) चाबियाँ। आप इसका उपयोग करके सेजमेकर मॉडल परिनियोजन या एंडपॉइंट एक्सेस के लॉग को भी ट्रैक कर सकते हैं अमेज़ॅन क्लाउडवॉच. अधिक जानकारी के लिए देखें Amazon CloudWatch के साथ Amazon SageMaker की निगरानी करें.
ओपनसर्च सेवा पर उच्च स्केलेबिलिटी के लिए, आप इसे समायोजित कर सकते हैं आपके OpenSearch सेवा डोमेन का आकार बदलना और रोजगार परिचालन संबंधी सर्वोत्तम प्रथाएँ. आप अपने सेजमेकर एंडपॉइंट को ऑटो स्केलिंग का भी लाभ उठा सकते हैं—आप कर सकते हैं सेजमेकर मॉडल को स्वचालित रूप से स्केल करें ट्रैफ़िक बढ़ने या संसाधनों का उपयोग नहीं होने पर समापन बिंदु को समायोजित करने के लिए।
क्लीन अप
लागत बचाने के लिए, इस पोस्ट के हिस्से के रूप में आपके द्वारा तैनात किए गए सभी संसाधनों को हटा दें। यदि आपने CloudFormation स्टैक लॉन्च किया है, तो आप इसे AWS CloudFormation कंसोल के माध्यम से हटा सकते हैं। इसी तरह, आप सेजमेकर कंसोल के माध्यम से बनाए गए किसी भी सेजमेकर एंडपॉइंट को हटा सकते हैं।
निष्कर्ष
इस पोस्ट में, हमने दिखाया कि हेस्टैक पाइपलाइनों और सेजमेकर जंपस्टार्ट और ओपनसर्च सर्विस के फाल्कन-40बी-इंस्ट्रक्ट मॉडल का उपयोग करके आरएजी के साथ एंटरप्राइज़ खोज के लिए एंड-टू-एंड जेनरेटिव एआई एप्लिकेशन कैसे बनाया जाए। उद्यम खोज में आरएजी दृष्टिकोण महत्वपूर्ण है क्योंकि यह सुनिश्चित करता है कि उत्पन्न प्रतिक्रियाएं इन-डोमेन हैं और इसलिए मतिभ्रम को कम करती हैं। हेस्टैक पाइपलाइनों का उपयोग करके, हम मॉडल और वेक्टर डेटाबेस जैसे विभिन्न घटकों से बने एलएलएम अनुप्रयोगों को व्यवस्थित करने में सक्षम हैं। सेजमेकर जम्पस्टार्ट हमें एलएलएम तैनात करने के लिए एक-क्लिक समाधान प्रदान करता है, और हमने अपने अनुक्रमित डेटा के लिए वेक्टर डेटाबेस के रूप में ओपनसर्च सेवा का उपयोग किया। आप इस पोस्ट में उल्लिखित चरणों और उपलब्ध स्रोत कोड का उपयोग करके, अपने एंटरप्राइज़ जनरेटिव एआई अनुप्रयोगों के लिए अवधारणा के आरएजी प्रमाणों का प्रयोग और निर्माण शुरू कर सकते हैं। गिटहब भंडार.
लेखक के बारे में
तुआना सेलिक डीपसेट में लीड डेवलपर एडवोकेट हैं, जहां वह हेस्टैक के लिए ओपन-सोर्स समुदाय पर ध्यान केंद्रित करती हैं। वह डेवलपर संबंध समारोह का नेतृत्व करती है और नियमित रूप से एनएलपी के बारे में कार्यक्रमों में बोलती है और समुदाय के लिए शिक्षण सामग्री बनाती है।
रॉय अल्लेला म्यूनिख, जर्मनी स्थित AWS में एक वरिष्ठ AI/ML विशेषज्ञ समाधान वास्तुकार हैं। रॉय AWS ग्राहकों को - छोटे स्टार्टअप से लेकर बड़े उद्यमों तक - AWS पर बड़े भाषा मॉडल को कुशलतापूर्वक प्रशिक्षित करने और तैनात करने में मदद करता है। रॉय को कम्प्यूटेशनल अनुकूलन समस्याओं और एआई कार्यभार के प्रदर्शन में सुधार का शौक है।
मिया चांग अमेज़ॅन वेब सर्विसेज के लिए एक एमएल स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट है। वह ईएमईए में ग्राहकों के साथ काम करती है और अनुप्रयुक्त गणित, कंप्यूटर विज्ञान और एआई/एमएल में अपनी पृष्ठभूमि के साथ क्लाउड पर एआई/एमएल वर्कलोड चलाने के लिए सर्वोत्तम प्रथाओं को साझा करती है। वह एनएलपी-विशिष्ट कार्यभार पर ध्यान केंद्रित करती है, और एक सम्मेलन वक्ता और एक पुस्तक लेखक के रूप में अपना अनुभव साझा करती है। अपने खाली समय में, वह लंबी पैदल यात्रा, बोर्ड गेम और कॉफी बनाना पसंद करती हैं।
इनाम सैयद AWS में एक स्टार्टअप सॉल्यूशंस आर्किटेक्ट है, जिसका फोकस B2B और SaaS स्टार्टअप्स को स्केलिंग और विकास हासिल करने में सहायता करने पर है। उन्हें सर्वर रहित आर्किटेक्चर और एआई/एमएल के प्रति गहरा जुनून है। अपने ख़ाली समय में, इनाम अपने परिवार के साथ गुणवत्तापूर्ण क्षणों का आनंद लेता है और बाइकिंग और बैडमिंटन के प्रति अपने प्यार का आनंद उठाता है।
डेविड टिपेट एडब्ल्यूएस में ओपन-सोर्स ओपनसर्च पर काम करने वाले वरिष्ठ डेवलपर एडवोकेट हैं। उनके काम में खोज और प्रासंगिकता से लेकर अवलोकन और सुरक्षा विश्लेषण तक ओपनसर्च के सभी क्षेत्र शामिल हैं।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. ऑटोमोटिव/ईवीएस, कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- चार्टप्राइम. चार्टप्राइम के साथ अपने ट्रेडिंग गेम को उन्नत करें। यहां पहुंचें।
- BlockOffsets. पर्यावरणीय ऑफसेट स्वामित्व का आधुनिकीकरण। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/build-production-ready-generative-ai-applications-for-enterprise-search-using-haystack-pipelines-and-amazon-sagemaker-jumpstart-with-llms/
- :हैस
- :है
- :नहीं
- :कहाँ
- $यूपी
- 100
- 12
- 13
- 30
- 500
- 7
- 8
- a
- योग्य
- About
- में तेजी लाने के
- पहुँच
- पूरा
- तदनुसार
- लेखा
- शुद्धता
- पाना
- हासिल
- प्राप्त करने
- कार्य करता है
- अनुकूलन
- अतिरिक्त
- इसके अतिरिक्त
- प्रशासनिक
- लाभ
- आगमन
- वकील
- AI
- ऐ / एमएल
- सब
- अनुमति देना
- की अनुमति देता है
- साथ में
- भी
- हालांकि
- वीरांगना
- अमेज़न SageMaker
- अमेज़न SageMaker जम्पस्टार्ट
- अमेज़ॅन वेब सेवा
- के बीच में
- an
- विश्लेषिकी
- और
- जवाब
- कोई
- अपाचे
- आवेदन
- अनुप्रयोगों
- लागू
- दृष्टिकोण
- लगभग
- हैं
- क्षेत्रों के बारे में जानकारी का उपयोग करके ट्रेडिंग कर सकते हैं।
- चारों ओर
- ऐरे
- कला
- लेख
- AS
- की सहायता
- At
- ऑडियो
- संवर्धित
- लेखक
- अधिकृत
- स्वत:
- उपलब्ध
- एडब्ल्यूएस
- एडब्ल्यूएस CloudFormation
- B2B
- पृष्ठभूमि
- आधार
- आधारित
- BE
- क्योंकि
- बन
- से पहले
- जा रहा है
- नीचे
- BEST
- सर्वोत्तम प्रथाओं
- बड़ा
- ब्लॉग
- मंडल
- बोर्ड खेल
- परिवर्तन
- किताब
- के छात्रों
- विस्तृत
- निर्माण
- इमारत
- बनाया गया
- बंडल
- लेकिन
- बटन
- by
- बुलाया
- कर सकते हैं
- क्षमताओं
- मामलों
- परिवर्तन
- बदलना
- चेक
- चुनाव
- चुनें
- चुनने
- चुना
- कक्षा
- सफाई
- करीब
- बादल
- कोड
- कॉफी
- सामान्य
- समुदाय
- कंपनी
- पूरक हैं
- पूरा
- अंग
- घटकों
- शामिल
- कंप्यूटर
- कम्प्यूटर साइंस
- संकल्पना
- सम्मेलन
- उलझन में
- जुडिये
- पर विचार
- कंसोल
- निहित
- सामग्री
- प्रसंग
- नियंत्रण
- संवादी
- संवादी ऐ
- लागत
- कवर
- कवर
- बनाना
- बनाया
- बनाता है
- महत्वपूर्ण
- ग्राहक
- तिथि
- डेटा तैयारी
- आँकड़ा रक्षण
- डाटाबेस
- डेटाबेस
- डीबीएस
- सौदा
- गहरा
- ध्यान लगा के पढ़ना या सीखना
- परिभाषित
- डेमो
- निर्भरता
- तैनात
- तैनात
- तैनाती
- तैनाती
- डिज़ाइन
- बनाया गया
- डिज़ाइन बनाना
- विस्तृत
- विकसित
- डेवलपर
- डेवलपर्स
- विकास
- विभिन्न
- डिजिटल
- डिजिटलीकरण
- आयाम
- प्रत्यक्ष
- do
- दस्तावेज़
- दस्तावेज़ीकरण
- दस्तावेजों
- कर देता है
- नहीं करता है
- डॉन
- dont
- से प्रत्येक
- आसान
- दक्षता
- कुशल
- कुशलता
- भी
- तत्व
- एम्बेड
- एम्बेडेड
- embedding
- ईएमईए
- सक्षम
- समाप्त
- शुरू से अंत तक
- endpoint
- इंजन
- बढ़ाना
- सुनिश्चित
- सुनिश्चित
- उद्यम
- संस्थाओं
- सत्ता
- वातावरण
- मूल्यांकन
- घटनाओं
- सब कुछ
- उदाहरण
- अपेक्षित
- अनुभव
- अनुभव
- प्रयोग
- निर्यात
- बाहरी
- चेहरा
- परिवार
- आकृति
- पट्टिका
- फ़ाइलें
- फ़िल्टर
- अंतिम
- प्रथम
- फिट
- लचीला
- लचीलेपन
- फोकस
- केंद्रित
- निम्नलिखित
- के लिए
- प्रारूप
- बुनियाद
- ढांचा
- मुक्त
- से
- पूरी तरह से
- समारोह
- Games
- उत्पन्न
- उत्पन्न
- उत्पन्न करता है
- पीढ़ी
- उत्पादक
- जनरेटिव एआई
- जर्मनी
- मिल
- दी
- समूह
- विकास
- संभालना
- है
- होने
- he
- मदद करता है
- उसे
- यहाँ उत्पन्न करें
- हाई
- उच्च स्तर
- अत्यधिक
- उसके
- मेजबान
- कैसे
- How To
- तथापि
- एचटीएमएल
- http
- HTTPS
- हब
- i
- पहचान
- if
- प्रभाव
- लागू करने के
- महत्वपूर्ण
- में सुधार लाने
- in
- शामिल
- शामिल
- सहित
- वृद्धि हुई
- तेजी
- अनुक्रमणिका
- अनुक्रमित
- अनुक्रमणिका
- करें-
- इंफ्रास्ट्रक्चर
- निवेश
- स्थापित
- उदाहरण
- निर्देश
- इंटरनेट
- में
- IT
- आईटी इस
- जेपीजी
- कुंजी
- Instagram पर
- जानना
- ज्ञान
- ज्ञान प्रबंधन
- भाषा
- बड़ा
- लांच
- शुभारंभ
- नेतृत्व
- बिक्रीसूत्र
- सीख रहा हूँ
- लाइसेंस
- लाइसेंस - प्राप्त
- हल्के
- पसंद
- संभावित
- सीमा
- सीमाओं
- लाइन
- एलएलएम
- लॉग इन
- लॉगिंग
- देख
- मोहब्बत
- मशीन
- यंत्र अधिगम
- बनाया गया
- बनाना
- बनाता है
- निर्माण
- प्रबंधन
- कामयाब
- प्रबंध
- सामग्री
- गणित
- अधिकतम
- मई..
- मतलब
- मीडिया
- तरीकों
- मेट्रिक्स
- लाखों
- मिनटों
- कम करने
- ML
- आदर्श
- मॉडल
- संशोधित
- मॉड्यूल
- लम्हें
- निगरानी
- अधिक
- अधिकांश
- चाल
- नाम
- नामांकित
- प्राकृतिक
- प्राकृतिक भाषा संसाधन
- नेविगेट
- आवश्यकता
- की जरूरत है
- NLP
- नोटबुक
- संख्या
- of
- प्रस्ताव
- ऑफर
- on
- केवल
- खुला
- खुला स्रोत
- खुला स्रोत सॉफ्टवेयर
- संचालित
- इष्टतमीकरण
- विकल्प
- ऑप्शंस
- or
- संगठनात्मक
- संगठित
- मूल
- अन्य
- हमारी
- उल्लिखित
- के ऊपर
- अपना
- पैकेज
- पृष्ठ
- पृष्ठों
- भाग
- भागीदारों
- जुनून
- आवेशपूर्ण
- निष्पादन
- प्रदर्शन
- पाइपलाइन
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- प्ले
- कृप्या अ
- बिन्दु
- लोकप्रिय
- पद
- शक्तिशाली
- प्रथाओं
- तैयारी
- तैयार करना
- एकांत
- समस्याओं
- प्रक्रिया
- प्रसंस्करण
- उत्पादन
- प्रगति
- परियोजना
- सबूत
- प्रस्तावित
- मालिकाना
- रक्षा करना
- सुरक्षा
- प्रोटोटाइप
- प्रदान करना
- बशर्ते
- प्रदान करता है
- प्रदान कर
- प्रतिनिधि
- सार्वजनिक
- धक्का
- गुणवत्ता
- प्रश्नों
- प्रश्न
- प्रशन
- कच्चा
- प्राप्त
- हाल
- सिफारिश
- की सिफारिश की
- नियमित तौर पर
- संबंधों
- प्रासंगिकता
- प्रासंगिक
- विश्वसनीय
- याद
- कोष
- का अनुरोध
- की आवश्यकता होती है
- अपेक्षित
- आवश्यकताएँ
- उपयुक्त संसाधन चुनें
- प्रतिक्रिया
- प्रतिक्रियाएं
- बाकी
- रोकना
- परिणाम
- परिणाम
- रिटर्न
- धनी
- सही
- रॉय
- रन
- दौड़ना
- सास
- sagemaker
- सहेजें
- कहना
- अनुमापकता
- स्केलेबल
- स्केल
- स्केलिंग
- विज्ञान
- Search
- सुरक्षा
- देखना
- भेजें
- भेजता
- वरिष्ठ
- serverless
- कार्य करता है
- सेवा
- सेवाएँ
- सेट
- सेटिंग्स
- व्यवस्था
- आकार
- शेयरों
- वह
- समुंद्री जहाज
- चाहिए
- दिखाना
- प्रदर्शन
- प्रदर्शन
- पर हस्ताक्षर किए
- समान
- उसी प्रकार
- सरल
- केवल
- छोटा
- So
- सॉफ्टवेयर
- केवल
- ठोस
- समाधान
- समाधान ढूंढे
- कुछ
- कुछ
- स्रोत
- स्रोत कोड
- अंतरिक्ष
- वक्ता
- बोलता हे
- विशेषज्ञ
- विशेषीकृत
- स्थिरता
- धुआँरा
- ट्रेनिंग
- प्रारंभ
- स्टार्टअप
- स्टार्टअप
- कदम
- कदम
- भंडारण
- मजबूत
- संरचना
- ऐसा
- सूट
- निश्चित
- लेना
- लेता है
- तकनीक
- टेम्पलेट्स
- परीक्षण किया
- कि
- RSI
- स्रोत
- उन
- फिर
- जिसके चलते
- इसलिये
- इन
- वे
- बात
- सोचना
- इसका
- हजारों
- यहाँ
- पहर
- सेवा मेरे
- एक साथ
- ट्रैक
- यातायात
- पारगमन
- भरोसेमंद
- दो
- टाइप
- आम तौर पर
- अंत में
- के अंतर्गत
- अपलोड की गई
- us
- उपयोग
- प्रयुक्त
- उपयोगकर्ता
- उपयोगकर्ताओं
- का उपयोग करता है
- का उपयोग
- उपयोगिता
- मूल्य
- मान
- विभिन्न
- के माध्यम से
- दृष्टि
- प्रतीक्षा करता है
- we
- वेब
- वेब सेवाओं
- वेबसाइट
- कब
- कौन कौन से
- मर्जी
- साथ में
- अंदर
- शब्द
- काम
- वर्कफ़्लो
- काम कर रहे
- कार्य
- होगा
- लिखना
- यमलो
- साल
- आप
- आपका
- जेफिरनेट