10 मिनट से भी कम समय में अपने पीसी पर स्थानीय स्तर पर एलएलएम कैसे चलाएं

व्यावहारिक व क्रियाशील बड़े पैमाने पर मशीन-लर्निंग प्रशिक्षण क्लस्टर और एआई पीसी की सभी चर्चाओं के साथ, आपको यह सोचने के लिए माफ कर दिया जाएगा कि आपको घर पर टेक्स्ट-और-कोड-जनरेटिंग बड़े भाषा मॉडल (एलएलएम) के साथ खेलने के लिए किसी प्रकार के विशेष हार्डवेयर की आवश्यकता है।

वास्तव में, इस बात की अच्छी संभावना है कि आप जिस डेस्कटॉप सिस्टम पर यह पढ़ रहे हैं क्षमता से अधिक एलएलएम की एक विस्तृत श्रृंखला चलाने में, जिसमें मिस्ट्रल जैसे चैट बॉट या कोडेलमा जैसे स्रोत कोड जनरेटर शामिल हैं।

वास्तव में, ओलामा, एलएम सूट और लामा.सीपीपी जैसे खुले तौर पर उपलब्ध टूल के साथ, इन मॉडलों को आपके सिस्टम पर चलाना अपेक्षाकृत आसान है।

सरलता और क्रॉस-प्लेटफ़ॉर्म अनुकूलता के हित में, हम इस पर विचार करने जा रहे हैं ओलामा, जो एक बार इंस्टॉल हो जाने पर विंडोज़, लिनक्स और मैक पर कमोबेश एक जैसा काम करता है।

ओलामा को स्थापित करना

आपके आधार ऑपरेटिंग सिस्टम की परवाह किए बिना, ओलामा को स्थापित करना बहुत सीधा है। यह खुला स्रोत है, जिसे आप देख सकते हैं यहाँ उत्पन्न करें.

विंडोज़ या मैक ओएस चलाने वालों के लिए, आगे बढ़ें ollama.com और इसे किसी अन्य एप्लिकेशन की तरह डाउनलोड और इंस्टॉल करें।

लिनक्स चलाने वालों के लिए, यह और भी सरल है: बस इसे एक लाइनर चलाएँ - आप मैन्युअल इंस्टॉलेशन निर्देश पा सकते हैं यहाँ उत्पन्न करें, यदि आप उन्हें चाहते हैं - और आप दौड़ के लिए तैयार हैं।

कर्ल -fsSL https://ollama.com/install.sh | श

अपना पहला मॉडल स्थापित कर रहा हूँ

आपका ऑपरेटिंग सिस्टम चाहे जो भी हो, ओलामा के साथ काम करना काफी हद तक एक समान है। ओलामा शुरुआत करने की सलाह देते हैं लामा 2 7बी, एक सात-बिलियन-पैरामीटर ट्रांसफार्मर-आधारित तंत्रिका नेटवर्क, लेकिन इस गाइड के लिए हम इस पर एक नज़र डालेंगे मिस्ट्रल 7बी चूँकि यह काफी सक्षम है और कुछ का स्रोत रहा है विवाद हाल के सप्ताहों में।

पावरशेल या टर्मिनल एमुलेटर खोलकर और मॉडल को इंटरैक्टिव चैट मोड में डाउनलोड करने और शुरू करने के लिए निम्नलिखित कमांड निष्पादित करके प्रारंभ करें।

ओलामा रन मिस्ट्रल

डाउनलोड करने पर, आपको एक चैट प्रॉम्प्ट पर ले जाया जाएगा जहां आप चैटजीपीटी, कोपायलट, या गूगल जेमिनी की तरह ही मॉडल के साथ बातचीत करना शुरू कर सकते हैं।

यदि आपको कुछ नहीं मिलता है, तो आपको पहले विंडोज़ पर स्टार्ट मेनू या मैक पर एप्लिकेशन फ़ोल्डर से ओलामा लॉन्च करने की आवश्यकता हो सकती है।

मॉडल, टैग और परिमाणीकरण

मिस्टल 7बी मॉडल के अन्य संस्करणों सहित कई एलएलएम में से एक है, जो ओलामा का उपयोग करके पहुंच योग्य है। आप प्रत्येक को चलाने के निर्देशों के साथ पूरी सूची पा सकते हैं यहाँ उत्पन्न करें, लेकिन सामान्य वाक्यविन्यास कुछ इस प्रकार है:

ओलामा रन मॉडल-नाम: मॉडल-टैग

मॉडल-टैग का उपयोग यह निर्दिष्ट करने के लिए किया जाता है कि आप मॉडल का कौन सा संस्करण डाउनलोड करना चाहते हैं। यदि आप इसे छोड़ देते हैं, तो ओलामा मान लेते हैं कि आप नवीनतम संस्करण चाहते हैं। हमारे अनुभव में, यह मॉडल का 4-बिट परिमाणित संस्करण होता है।

उदाहरण के लिए, यदि आप मेटा के Llama2 7B को FP16 पर चलाना चाहते हैं, तो यह इस तरह दिखेगा:

ओलामा रन लामा2:7बी-चैट-एफपी16

लेकिन इसे आज़माने से पहले, आप यह जांचना चाहेंगे कि आपके सिस्टम में पर्याप्त मेमोरी है। मिस्ट्रल के साथ हमारे पिछले उदाहरण में 4-बिट परिमाणीकरण का उपयोग किया गया था, जिसका अर्थ है कि मॉडल को प्रत्येक 1 बिलियन पैरामीटर के लिए आधा गीगाबाइट मेमोरी की आवश्यकता होती है। और मत भूलिए: इसमें सात अरब पैरामीटर हैं।

क्वांटाइजेशन एक ऐसी तकनीक है जिसका उपयोग मॉडल के वजन और सक्रियता को कम परिशुद्धता में परिवर्तित करके संपीड़ित करने के लिए किया जाता है। यह मिस्ट्रल 7बी को 4 जीबी जीपीयू या सिस्टम रैम के भीतर चलाने की अनुमति देता है, आमतौर पर आउटपुट की गुणवत्ता में न्यूनतम बलिदान के साथ, हालांकि आपका माइलेज भिन्न हो सकता है।

ऊपर प्रयुक्त लामा 2 7बी उदाहरण आधी परिशुद्धता (एफपी16) पर चलता है। परिणामस्वरूप, आपको वास्तव में प्रति बिलियन पैरामीटर्स पर 2GB मेमोरी की आवश्यकता होगी, जो इस मामले में 14GB से कुछ अधिक बैठती है। जब तक आपको 16जीबी या अधिक वीआरएएम वाला नया जीपीयू नहीं मिलता, आपके पास मॉडल को उस परिशुद्धता से चलाने के लिए पर्याप्त संसाधन नहीं हो सकते हैं।

ओलामा को मैनेज करना

ओलामा का उपयोग करके स्थापित मॉडलों को प्रबंधित करना, अद्यतन करना और हटाना उन लोगों के लिए बिल्कुल घर जैसा महसूस होना चाहिए जिन्होंने पहले डॉकर सीएलआई जैसी चीज़ों का उपयोग किया है।

इस अनुभाग में हम कुछ अधिक सामान्य कार्यों पर चर्चा करेंगे जिन्हें आप निष्पादित करना चाहेंगे।

स्थापित मॉडलों की सूची प्राप्त करने के लिए:

ओलामा सूची

किसी मॉडल को हटाने के लिए, आप चलाएंगे:

ओलामा आरएम मॉडल-नाम: मॉडल-टैग

किसी मौजूदा मॉडल को खींचने या अपडेट करने के लिए, चलाएँ:

ओलामा पुल मॉडल-नाम: मॉडल-टैग

अतिरिक्त ओलामा कमांड चलाकर पाया जा सकता है:

ओलामा--मदद

जैसा कि हमने पहले उल्लेख किया है, ओलामा स्थानीय एलएलएम को चलाने और परीक्षण करने के लिए कई रूपरेखाओं में से एक है। यदि आप इसमें परेशानी में पड़ जाते हैं, तो आपको दूसरों के साथ अधिक भाग्य मिल सकता है। और नहीं, किसी एआई ने यह नहीं लिखा।

रजिस्टर इसका लक्ष्य आपको निकट भविष्य में एलएलएम के उपयोग के बारे में और अधिक जानकारी देना है, इसलिए अपने ज्वलंत एआई पीसी प्रश्नों को टिप्पणी अनुभाग में साझा करना सुनिश्चित करें। और इसके बारे में मत भूलना आपूर्ति श्रृंखला सुरक्षा। ®

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_pc_local_llm/