কীভাবে 10 মিনিটেরও কম সময়ে আপনার পিসিতে স্থানীয়ভাবে একটি এলএলএম চালাবেন

হাত বিশাল মেশিন-লার্নিং ট্রেনিং ক্লাস্টার এবং এআই পিসিগুলির সমস্ত আলোচনার সাথে আপনি বাড়িতে বসে টেক্সট-এবং-কোড-উৎপাদনকারী বৃহৎ ভাষা মডেল (এলএলএম) এর সাথে খেলতে আপনার বিশেষ ধরণের হার্ডওয়্যারের প্রয়োজন মনে করার জন্য ক্ষমা করা হবে।

বাস্তবে, আপনি যে ডেস্কটপ সিস্টেমে এটি পড়ছেন তার একটি ভাল সুযোগ রয়েছে সামর্থ্যের চেয়ে বেশি মিস্ট্রালের মতো চ্যাট বট বা কোডেলমার মতো সোর্স কোড জেনারেটর সহ বিস্তৃত পরিসরের এলএলএম চালানো।

আসলে, Ollama, LM Suite, এবং Llama.cpp-এর মতো খোলামেলা উপলভ্য সরঞ্জামগুলির সাথে, এই মডেলগুলি আপনার সিস্টেমে চালানো তুলনামূলকভাবে সহজ।

সরলতা এবং ক্রস-প্ল্যাটফর্ম সামঞ্জস্যের স্বার্থে, আমরা দেখতে যাচ্ছি ওল্লামা, যা একবার ইনস্টল হয়ে গেলে Windows, Linux এবং Mac জুড়ে কমবেশি একই কাজ করে।

ওল্লামা ইনস্টল করা হচ্ছে

আপনার বেস অপারেটিং সিস্টেম নির্বিশেষে ওল্লামা ইনস্টল করা বেশ সোজা। এটি ওপেন সোর্স, যা আপনি চেক আউট করতে পারেন এখানে.

যারা উইন্ডোজ বা ম্যাক অপারেটিং সিস্টেম চালাচ্ছেন তাদের জন্য ollama.com এবং অন্যান্য অ্যাপ্লিকেশনের মতো এটি ডাউনলোড এবং ইনস্টল করুন।

যারা লিনাক্স চালাচ্ছেন তাদের জন্য এটি আরও সহজ: শুধু এই এক লাইনারটি চালান — আপনি ম্যানুয়াল ইনস্টলেশন নির্দেশাবলী খুঁজে পেতে পারেন এখানে, যদি আপনি তাদের চান — এবং আপনি ঘোড়দৌড় বন্ধ করছি.

curl -fsSL https://ollama.com/install.sh | শ

আপনার প্রথম মডেল ইনস্টল করা হচ্ছে

আপনার অপারেটিং সিস্টেম যাই হোক না কেন, ওল্লামার সাথে কাজ করা অনেকাংশে একই। ওল্লামা দিয়ে শুরু করার পরামর্শ দেন লামা 2 7B, একটি সাত-বিলিয়ন-প্যারামিটার ট্রান্সফরমার-ভিত্তিক নিউরাল নেটওয়ার্ক, কিন্তু এই নির্দেশিকাটির জন্য আমরা একবার দেখে নেব মিস্ট্রাল 7 বি যেহেতু এটি বেশ সক্ষম এবং কিছু উৎস হয়েছে বিতর্ক সাম্প্রতিক সপ্তাহে।

পাওয়ারশেল বা একটি টার্মিনাল এমুলেটর খোলার মাধ্যমে শুরু করুন এবং একটি ইন্টারেক্টিভ চ্যাট মোডে মডেলটি ডাউনলোড এবং শুরু করতে নিম্নলিখিত কমান্ডটি কার্যকর করুন।

ওল্লামা রান মিস্ট্রাল

ডাউনলোড করার পরে, আপনাকে একটি চ্যাট প্রম্পটে ড্রপ করা হবে যেখানে আপনি ChatGPT, Copilot, বা Google Gemini এর মতো মডেলের সাথে ইন্টারঅ্যাক্ট শুরু করতে পারেন৷

আপনি যদি কিছু না পান, তাহলে আপনাকে প্রথমে Windows-এর স্টার্ট মেনু বা Mac-এ অ্যাপ্লিকেশন ফোল্ডার থেকে ওল্লামা চালু করতে হতে পারে।

মডেল, ট্যাগ এবং কোয়ান্টাইজেশন

Mistal 7B মডেলের অন্যান্য সংস্করণ সহ বেশ কয়েকটি এলএলএম-এর মধ্যে একটি, যা ওল্লামা ব্যবহার করে অ্যাক্সেসযোগ্য। আপনি প্রতিটি চালানোর জন্য নির্দেশাবলী সহ সম্পূর্ণ তালিকা খুঁজে পেতে পারেন এখানে, কিন্তু সাধারণ সিনট্যাক্স এই মত কিছু যায়:

ওল্লামা রান মডেল-নাম: মডেল-ট্যাগ

মডেল-ট্যাগগুলি নির্দিষ্ট করতে ব্যবহৃত হয় মডেলটির কোন সংস্করণটি আপনি ডাউনলোড করতে চান৷ যদি আপনি এটি বন্ধ করে দেন, ওল্লামা ধরে নেন আপনি সর্বশেষ সংস্করণটি চান। আমাদের অভিজ্ঞতায়, এটি মডেলের একটি 4-বিট কোয়ান্টাইজড সংস্করণ হতে থাকে।

যদি, উদাহরণস্বরূপ, আপনি FP2 এ Meta's Llama7 16B চালাতে চান, তাহলে এটি দেখতে এরকম হবে:

ollama রান llama2:7b-chat-fp16

কিন্তু আপনি এটি চেষ্টা করার আগে, আপনি আপনার সিস্টেমে যথেষ্ট মেমরি আছে তা দুইবার চেক করতে চাইতে পারেন। মিস্ট্রালের সাথে আমাদের আগের উদাহরণে 4-বিট কোয়ান্টাইজেশন ব্যবহার করা হয়েছে, যার মানে প্রতি 1 বিলিয়ন প্যারামিটারের জন্য মডেলটির অর্ধেক গিগাবাইট মেমরির প্রয়োজন। এবং ভুলবেন না: এটির সাত বিলিয়ন প্যারামিটার রয়েছে।

কোয়ান্টাইজেশন হল একটি কৌশল যা মডেলটিকে সংকুচিত করার জন্য এর ওজন এবং সক্রিয়করণকে কম নির্ভুলতায় রূপান্তরিত করে। এটি Mistral 7B কে 4GB GPU বা সিস্টেম RAM এর মধ্যে চালানোর অনুমতি দেয়, সাধারণত আউটপুটের মানের ক্ষেত্রে ন্যূনতম আত্মত্যাগের সাথে, যদিও আপনার মাইলেজ পরিবর্তিত হতে পারে।

উপরে ব্যবহৃত Llama 2 7B উদাহরণটি অর্ধেক নির্ভুলতায় চলে (FP16)। ফলস্বরূপ, প্রতি বিলিয়ন প্যারামিটারে আপনার আসলে 2GB মেমরির প্রয়োজন হবে, যা এই ক্ষেত্রে মাত্র 14GB-এর উপরে কাজ করে। আপনি যদি 16GB বা তার বেশি vRAM সহ একটি নতুন GPU না পান, আপনার কাছে সেই নির্ভুলতায় মডেলটি চালানোর জন্য পর্যাপ্ত সংস্থান নাও থাকতে পারে।

ওল্লামা পরিচালনা

ওল্লামা ব্যবহার করে ইনস্টল করা মডেলগুলি পরিচালনা, আপডেট করা এবং অপসারণ করা যে কেউ আগে ডকার CLI-এর মতো জিনিসগুলি ব্যবহার করেছেন তার জন্য বাড়িতেই সঠিক বোধ করা উচিত।

এই বিভাগে আমরা আরও কয়েকটি সাধারণ কাজ সম্পর্কে আলোচনা করব যা আপনি সম্পাদন করতে চান।

ইনস্টল করা মডেলগুলির একটি তালিকা পেতে চালান:

ওল্লামা তালিকা

একটি মডেল অপসারণ করতে, আপনি চালাবেন:

ollama rm মডেল-নাম: মডেল-ট্যাগ

একটি বিদ্যমান মডেল টান বা আপডেট করতে, চালান:

ollama pull model-name:model-tag

অতিরিক্ত ওল্লামা কমান্ড চালানোর মাধ্যমে পাওয়া যাবে:

ওল্লামা -- সাহায্য

যেমনটি আমরা আগে উল্লেখ করেছি, স্থানীয় এলএলএম চালানো এবং পরীক্ষা করার জন্য ওল্লামা হল অনেকগুলি কাঠামোর মধ্যে একটি। আপনি যদি এটির সাথে সমস্যায় পড়েন তবে আপনি অন্যদের সাথে আরও ভাগ্য পেতে পারেন। এবং না, একটি এআই এটি লেখেনি।

নিবন্ধনকর্মী অদূর ভবিষ্যতে আপনাকে LLM ব্যবহার করার বিষয়ে আরও কিছু নিয়ে আসার লক্ষ্য, তাই আপনার জ্বলন্ত AI PC প্রশ্নগুলি মন্তব্য বিভাগে শেয়ার করতে ভুলবেন না। এবং সম্পর্কে ভুলবেন না সরবরাহ চেইন নিরাপত্তা। ®

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_pc_local_llm/