বিগ ডেটা এবং এআই-এর যুগে, কোম্পানিগুলি প্রতিযোগিতামূলক প্রান্ত অর্জনের জন্য এই প্রযুক্তিগুলি ব্যবহার করার জন্য ক্রমাগত উপায় খুঁজছে। এই মুহূর্তে AI-এর সবচেয়ে উষ্ণ এলাকাগুলির মধ্যে একটি হল জেনারেটিভ AI, এবং সঙ্গত কারণে। জেনারেটিভ এআই শক্তিশালী সমাধান সরবরাহ করে যা সৃজনশীলতা এবং উদ্ভাবনের ক্ষেত্রে যা সম্ভব তার সীমানাকে ঠেলে দেয়। এই অত্যাধুনিক সমাধানগুলির মূলে রয়েছে একটি ফাউন্ডেশন মডেল (FM), একটি অত্যন্ত উন্নত মেশিন লার্নিং মডেল যা প্রচুর পরিমাণে ডেটার উপর প্রাক-প্রশিক্ষিত। এই ফাউন্ডেশন মডেলগুলির মধ্যে অনেকগুলি মানব-সদৃশ পাঠ্য বোঝার এবং তৈরি করার ক্ষেত্রে অসাধারণ ক্ষমতা দেখিয়েছে, যা বিষয়বস্তু তৈরি থেকে গ্রাহক সমর্থন অটোমেশন পর্যন্ত বিভিন্ন অ্যাপ্লিকেশনের জন্য একটি মূল্যবান হাতিয়ার করে তুলেছে।
যাইহোক, এই মডেলগুলি তাদের চ্যালেঞ্জ ছাড়া নয়। এগুলি ব্যতিক্রমীভাবে বড় এবং প্রশিক্ষণের জন্য প্রচুর পরিমাণে ডেটা এবং গণনামূলক সংস্থান প্রয়োজন। উপরন্তু, প্রশিক্ষণ প্রক্রিয়া অপ্টিমাইজ করা এবং পরামিতিগুলি ক্রমাঙ্কন করা একটি জটিল এবং পুনরাবৃত্তিমূলক প্রক্রিয়া হতে পারে, যার জন্য দক্ষতা এবং সতর্ক পরীক্ষার প্রয়োজন হয়। এটি তাদের নিজস্ব ভিত্তি মডেল তৈরি করতে খুঁজছেন এমন অনেক সংস্থার জন্য বাধা হতে পারে। এই চ্যালেঞ্জটি কাটিয়ে উঠতে, অনেক গ্রাহক বিদ্যমান ফাউন্ডেশন মডেলগুলিকে সূক্ষ্ম-সুর করার কথা বিবেচনা করছেন৷ মডেলে ইতিমধ্যে এনকোড করা জ্ঞান সংরক্ষণ করার সময় নির্দিষ্ট অ্যাপ্লিকেশনের জন্য মডেল প্যারামিটারের একটি ছোট অংশ সামঞ্জস্য করার জন্য এটি একটি জনপ্রিয় কৌশল। এটি একটি নির্দিষ্ট ডোমেন বা টাস্কে কাস্টমাইজ করার জন্য প্রয়োজনীয় সংস্থানগুলি হ্রাস করার সময় এই মডেলগুলির শক্তি ব্যবহার করার অনুমতি দেয়৷
ফাইন-টিউনিং ফাউন্ডেশন মডেলের দুটি প্রাথমিক পদ্ধতি রয়েছে: ঐতিহ্যগত ফাইন-টিউনিং এবং প্যারামিটার-দক্ষ ফাইন-টিউনিং। প্রথাগত ফাইন-টিউনিং একটি নির্দিষ্ট ডাউনস্ট্রিম কাজের জন্য প্রাক-প্রশিক্ষিত মডেলের সমস্ত প্যারামিটার আপডেট করা জড়িত। অন্যদিকে, প্যারামিটার-দক্ষ সূক্ষ্ম-টিউনিং-এ বিভিন্ন ধরনের কৌশল রয়েছে যা সমস্ত মূল মডেলের পরামিতি আপডেট না করেই একটি মডেলের কাস্টমাইজেশনের অনুমতি দেয়। এরকম একটি কৌশল হল নিম্ন-র্যাঙ্ক অ্যাডাপ্টেশন (LoRA)। এতে পূর্ব-প্রশিক্ষিত মডেলে ছোট, টাস্ক-নির্দিষ্ট মডিউল যোগ করা এবং নিচের চিত্রের মতো বাকি প্যারামিটারগুলি ঠিক রেখে তাদের প্রশিক্ষণ দেওয়া জড়িত।
উত্স: AWS (O'Reilly, 2023) এ জেনারেটিভ AI
LoRA সম্প্রতি বেশ কিছু কারণে জনপ্রিয়তা পেয়েছে। এটি দ্রুত প্রশিক্ষণ, মেমরির প্রয়োজনীয়তা হ্রাস এবং একাধিক ডাউনস্ট্রিম কাজের জন্য প্রাক-প্রশিক্ষিত মডেলগুলি পুনরায় ব্যবহার করার ক্ষমতা প্রদান করে। আরও গুরুত্বপূর্ণ, বেস মডেল এবং অ্যাডাপ্টার আলাদাভাবে সংরক্ষণ করা যেতে পারে এবং যেকোন সময় একত্রিত করা যেতে পারে, যা সূক্ষ্ম-টিউন করা সংস্করণগুলি সংরক্ষণ, বিতরণ এবং ভাগ করা সহজ করে তোলে। যাইহোক, এটি একটি নতুন চ্যালেঞ্জের সূচনা করে: কীভাবে এই নতুন ধরণের সূক্ষ্ম-টিউনড মডেলগুলিকে সঠিকভাবে পরিচালনা করা যায়। আপনার কি বেস মডেল এবং অ্যাডাপ্টার একত্রিত করা উচিত বা তাদের আলাদা রাখা উচিত? এই পোস্টে, আমরা LoRA ফাইন-টিউনড মডেলগুলি পরিচালনা করার জন্য সর্বোত্তম অনুশীলনের মধ্য দিয়ে চলেছি আমাজন সেজমেকার এই উদীয়মান প্রশ্নের সমাধান করতে।
SageMaker মডেল রেজিস্ট্রিতে FM-এর সাথে কাজ করা
এই পোস্টে, আমরা QLoRA পদ্ধতি ব্যবহার করে Llama2 লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) ফাইন-টিউন করার একটি এন্ড-টু-এন্ড উদাহরণের মধ্য দিয়ে চলেছি। QLoRA 4-বিট/8-বিট কোয়ান্টাইজেশনের সাথে প্যারামিটার দক্ষ ফাইন-টিউনিংয়ের সুবিধাগুলিকে একত্রিত করে যাতে একটি নির্দিষ্ট কাজ বা ব্যবহারের ক্ষেত্রে একটি এফএমকে ফাইন-টিউন করার জন্য প্রয়োজনীয় সংস্থানগুলিকে আরও কমিয়ে দেওয়া হয়। এর জন্য, আমরা প্রাক-প্রশিক্ষিত 7 বিলিয়ন প্যারামিটার Llama2 মডেল ব্যবহার করব এবং ডেটাব্রিক্স-ডলি-15k ডেটাসেটে এটিকে সূক্ষ্ম-টিউন করব। Llama2-এর মতো LLM-এর বিলিয়ন প্যারামিটার রয়েছে এবং বিশাল টেক্সট ডেটাসেটগুলিতে পূর্বপ্রশিক্ষিত। ফাইন-টিউনিং একটি ছোট ডেটাসেট ব্যবহার করে একটি ডাউনস্ট্রিম টাস্কে একটি এলএলএমকে অভিযোজিত করে। যাইহোক, সূক্ষ্ম-টিউনিং বড় মডেলগুলি গণনাগতভাবে ব্যয়বহুল। এই কারণেই আমরা এই গণনার খরচ কমাতে ফাইনটিউনিংয়ের সময় ওজনের পরিমাণ নির্ধারণ করতে QLoRA পদ্ধতি ব্যবহার করব।
আমাদের উদাহরণগুলিতে, আপনি দুটি নোটবুক পাবেন (llm-finetune-combined-with-registry.ipynb
এবং llm-finetune-separate-with-registry.ipynb
) নিম্নলিখিত ডায়াগ্রামে চিত্রিত হিসাবে প্রতিটি LoRA ফাইন-টিউনড মডেলগুলি পরিচালনা করার জন্য একটি ভিন্ন উপায়ে কাজ করে:
- প্রথমত, আমরা সেজমেকার স্টুডিও নোটবুক ব্যবহার করে 2 বিলিয়ন প্যারামিটার সহ প্রাক-প্রশিক্ষিত Llama7 মডেল ডাউনলোড করি। Llama2-এর মতো LLM, ডোমেন-নির্দিষ্ট ডেটার উপর সূক্ষ্ম-টিউন করার সময় প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) কাজগুলিতে অত্যাধুনিক কর্মক্ষমতা দেখিয়েছে।
- এর পরে, আমরা QLoRA পদ্ধতি ব্যবহার করে ডেটাব্রিক্স-ডলি-2k ডেটাসেটে Llama15 সূক্ষ্ম-টিউন করি। QLoRA মডেলের ওজন পরিমাপ করে ফাইন-টিউনিংয়ের গণনামূলক খরচ কমায়।
- ফাইন-টিউনিংয়ের সময়, আমরা গ্রেডিয়েন্ট, লস ইত্যাদির মতো মেট্রিকগুলিকে স্বয়ংক্রিয়ভাবে লগ করতে ট্রান্সফরমার এপিআই-এর সাথে সেজমেকার এক্সপেরিমেন্ট প্লাসকে একীভূত করি।
- তারপরে আমরা দুটি পদ্ধতি ব্যবহার করে সেজমেকার মডেল রেজিস্ট্রিতে সূক্ষ্ম-টিউন করা Llama2 মডেলটিকে সংস্করণ করি:
- সম্পূর্ণ মডেল সংরক্ষণ
- অ্যাডাপ্টার এবং বেস মডেল আলাদাভাবে সংরক্ষণ করা।
- অবশেষে, আমরা ডিপ জাভা লাইব্রেরি (ডিজেএল) ব্যবহার করে সূক্ষ্ম-টিউন করা লামা2 মডেলগুলি হোস্ট করি সেজমেকার রিয়েল-টাইম এন্ডপয়েন্টে।
নিম্নলিখিত বিভাগে, আমরা বিভিন্ন LLM ওয়ার্কফ্লোগুলির জন্য SageMaker-এর নমনীয়তা প্রদর্শন করতে এবং এই বৈশিষ্ট্যগুলি কীভাবে আপনার মডেলগুলির ক্রিয়াকলাপগুলিকে উন্নত করতে সাহায্য করতে পারে তা প্রদর্শন করতে এই প্রতিটি ধাপে গভীরভাবে ডুব দেব।
পূর্বশর্ত
কোডের সাথে পরীক্ষা শুরু করার জন্য নিম্নলিখিত পূর্বশর্তগুলি সম্পূর্ণ করুন৷
- একটা তৈরি কর সেজমেকার স্টুডিও ডোমেন: অ্যামাজন সেজমেকার স্টুডিও, বিশেষ করে স্টুডিও নোটবুক, Llama2 ফাইন-টিউনিং কাজ শুরু করতে ব্যবহৃত হয় তারপর নিবন্ধন করুন এবং মডেলগুলি দেখুন সেজমেকার মডেল রেজিস্ট্রি. সেজমেকার পরীক্ষা-নিরীক্ষা Llama2 ফাইন-টিউনিং কাজের লগ (প্রশিক্ষণ ক্ষতি/পরীক্ষার ক্ষতি/ইত্যাদি) দেখতে এবং তুলনা করতেও ব্যবহৃত হয়।
- একটি Amazon Simple Storage Service (S3) বালতি তৈরি করুন: প্রশিক্ষণ নিদর্শন এবং মডেল ওজন সংরক্ষণ করার জন্য একটি S3 বালতি অ্যাক্সেস প্রয়োজন. নির্দেশাবলীর জন্য, পড়ুন বালতি তৈরি হচ্ছে. এই পোস্টের জন্য ব্যবহৃত নমুনা কোডটি SageMaker ডিফল্ট S3 বালতি ব্যবহার করবে তবে আপনি যে কোনও প্রাসঙ্গিক S3 বালতি ব্যবহার করতে এটি কাস্টমাইজ করতে পারেন।
- মডেল সংগ্রহ সেট আপ করুন (IAM অনুমতি): নীচে তালিকাভুক্ত সংস্থান-গোষ্ঠীর অনুমতি সহ আপনার সেজমেকার এক্সিকিউশন রোল আপডেট করুন মডেল রেজিস্ট্রি সংগ্রহ বিকাশকারী গাইড মডেল সংগ্রহ ব্যবহার করে মডেল রেজিস্ট্রি গ্রুপিং বাস্তবায়ন করতে।
- Llama2 এর জন্য শর্তাবলী স্বীকার করুন: Llama2 ফাউন্ডেশন মডেল ব্যবহার করার জন্য আপনাকে শেষ-ব্যবহারকারীর লাইসেন্স চুক্তি এবং গ্রহণযোগ্য ব্যবহারের নীতি গ্রহণ করতে হবে।
উদাহরণ পাওয়া যায় GitHub সংগ্রহস্থল. নোটবুক ফাইলগুলি PyTorch 2.0.0 Python 3.10 GPU অপ্টিমাইজড কার্নেল এবং ml.g4dn.xlarge ইন্সট্যান্স টাইপে চলমান স্টুডিও নোটবুক ব্যবহার করে পরীক্ষা করা হয়।
পরীক্ষা এবং কলব্যাক ইন্টিগ্রেশন
অ্যামাজন সেজমেকার পরীক্ষা-নিরীক্ষা আপনাকে SageMaker Python SDK বা boto3 ব্যবহার করে স্থানীয় জুপিটার নোটবুক সহ যেকোনো ইন্টিগ্রেটেড ডেভেলপমেন্ট এনভায়রনমেন্ট (IDE) থেকে মেশিন লার্নিং (ML) পরীক্ষা এবং মডেল সংস্করণগুলি সংগঠিত, ট্র্যাক, তুলনা এবং মূল্যায়ন করতে দেয়। এটি আপনার মডেল মেট্রিক্স, প্যারামিটার, ফাইল, আর্টিফ্যাক্ট, বিভিন্ন মেট্রিক্স থেকে প্লট চার্ট লগ করার নমনীয়তা প্রদান করে, বিভিন্ন মেটাডেটা ক্যাপচার করে, সেগুলির মাধ্যমে অনুসন্ধান করে এবং মডেলের পুনরুত্পাদনযোগ্যতা সমর্থন করে। ডেটা বিজ্ঞানীরা দ্রুত চার্ট এবং টেবিলের মাধ্যমে মডেল মূল্যায়নের জন্য কর্মক্ষমতা এবং হাইপারপ্যারামিটার তুলনা করতে পারেন। তারা তৈরি করা চার্ট ডাউনলোড করতে এবং তাদের স্টেকহোল্ডারদের সাথে মডেল মূল্যায়ন ভাগ করতে সেজমেকার পরীক্ষাগুলি ব্যবহার করতে পারে।
এলএলএম প্রশিক্ষণ একটি ধীর, ব্যয়বহুল এবং পুনরাবৃত্তিমূলক প্রক্রিয়া হতে পারে। একটি অসামঞ্জস্যপূর্ণ মডেল টিউনিং অভিজ্ঞতা প্রতিরোধ করার জন্য স্কেলে এলএলএম পরীক্ষাগুলি ট্র্যাক করা একজন ব্যবহারকারীর পক্ষে অত্যন্ত গুরুত্বপূর্ণ। HuggingFace Transformer APIs ব্যবহারকারীদের প্রশিক্ষণের কাজ চলাকালীন মেট্রিক্স ট্র্যাক করার অনুমতি দেয় কলব্যাকস. কলব্যাকগুলি হল কোডের "শুধুমাত্র পড়ার" অংশ যা পাইটর্চ প্রশিক্ষকের প্রশিক্ষণ লুপের আচরণকে কাস্টমাইজ করতে পারে যা অগ্রগতি প্রতিবেদনের জন্য প্রশিক্ষণ লুপের অবস্থা পরিদর্শন করতে পারে, কাস্টম লজিকের মাধ্যমে টেনসরবোর্ড বা সেজমেকার এক্সপেরিমেন্ট প্লাসে লগ ইন করতে পারে (যা একটি অংশ হিসাবে অন্তর্ভুক্ত করা হয়েছে) এই কোডবেসের)।
আপনি নিম্নলিখিত কোড ব্লকে দেখানো হিসাবে এই পোস্টের কোড সংগ্রহস্থলে অন্তর্ভুক্ত SageMaker পরীক্ষা কলব্যাক কোড আমদানি করতে পারেন:
এই কলব্যাকটি স্বয়ংক্রিয়ভাবে প্রশিক্ষণ চালানোর অংশ হিসাবে সেজমেকার পরীক্ষা-নিরীক্ষায় নিম্নলিখিত তথ্য লগ করবে:
- প্রশিক্ষণের পরামিতি এবং হাইপার-প্যারামিটার
- ধাপ, যুগ এবং চূড়ান্ত পর্যায়ে মডেল প্রশিক্ষণ এবং বৈধতা ক্ষতি
- মডেল ইনপুট এবং আউটপুট শিল্পকর্ম (প্রশিক্ষণ ডেটাসেট, বৈধতা ডেটাসেট, মডেল আউটপুট অবস্থান, প্রশিক্ষণ ডিবাগার এবং আরও অনেক কিছু)
নিম্নলিখিত গ্রাফটি সেই তথ্য ব্যবহার করে আপনি যে তালিকাগুলি প্রদর্শন করতে পারেন তার উদাহরণগুলি দেখায়৷
এটি আপনাকে সেজমেকার পরীক্ষা-নিরীক্ষার বিশ্লেষণ বৈশিষ্ট্য ব্যবহার করে সহজেই একাধিক রান তুলনা করতে দেয়। আপনি যে পরীক্ষা চালানোর তুলনা করতে চান তা নির্বাচন করতে পারেন এবং তারা স্বয়ংক্রিয়ভাবে তুলনা গ্রাফ তৈরি করবে।
মডেল রেজিস্ট্রি সংগ্রহে সূক্ষ্ম সুর করা মডেলগুলি নিবন্ধন করুন৷
মডেল রেজিস্ট্রি সংগ্রহ এর একটি বৈশিষ্ট্য সেজমেকার মডেল রেজিস্ট্রি এটি আপনাকে একে অপরের সাথে সম্পর্কিত নিবন্ধিত মডেলগুলিকে গোষ্ঠীভুক্ত করতে এবং মডেল আবিষ্কারযোগ্যতাকে স্কেলে উন্নত করার জন্য শ্রেণিবিন্যাসগুলিতে সংগঠিত করতে দেয়। আমরা মডেল রেজিস্ট্রি সংগ্রহ ব্যবহার করব বেস মডেল এবং ফাইন-টিউনড ভেরিয়েন্টের ট্র্যাক রাখতে।
সম্পূর্ণ মডেল কপি পদ্ধতি
প্রথম পদ্ধতিটি বেস মডেল এবং LoRA অ্যাডাপ্টারকে একত্রিত করে এবং সম্পূর্ণ ফাইন-টিউনড মডেলটিকে সংরক্ষণ করে। নিম্নলিখিত কোডটি মডেল মার্জিং প্রক্রিয়াকে চিত্রিত করে এবং ব্যবহার করে সম্মিলিত মডেলটিকে সংরক্ষণ করে model.save_pretrained()
.
ফাইন-টিউনিং করার পর LoRA অ্যাডাপ্টার এবং বেস মডেলকে একক মডেল আর্টিফ্যাক্টে একত্রিত করার সুবিধা এবং অসুবিধা রয়েছে। সম্মিলিত মডেলটি স্বয়ংসম্পূর্ণ এবং মূল বেস মডেলের প্রয়োজন ছাড়াই স্বাধীনভাবে পরিচালিত এবং স্থাপন করা যেতে পারে। বেস মডেল এবং ফাইন-টিউনিং ডেটা প্রতিফলিত করে একটি সংস্করণ নাম দিয়ে মডেলটিকে নিজস্ব সত্তা হিসাবে ট্র্যাক করা যেতে পারে। আমরা ব্যবহার করে একটি নামকরণ গ্রহণ করতে পারি base_model_name
+ সূক্ষ্ম সুর dataset_name
মডেল গ্রুপ সংগঠিত করতে. ঐচ্ছিকভাবে, মডেল সংগ্রহগুলি মূল এবং সূক্ষ্ম-সুরিত মডেলগুলিকে সংযুক্ত করতে পারে, কিন্তু সম্মিলিত মডেলটি স্বাধীন হওয়ায় এটি প্রয়োজনীয় নাও হতে পারে। নিচের কোড স্নিপেট আপনাকে দেখায় কিভাবে ফাইন-টিউনড মডেল রেজিস্টার করতে হয়।
আপনি মডেল রেজিস্ট্রিতে মডেল নিবন্ধন করতে প্রশিক্ষণ অনুমানকারী ব্যবহার করতে পারেন।
মডেল রেজিস্ট্রি থেকে, আপনি মডেল প্যাকেজটি পুনরুদ্ধার করতে পারেন এবং সেই মডেলটি সরাসরি স্থাপন করতে পারেন।
যাইহোক, এই পদ্ধতির অপূর্ণতা আছে। মডেলগুলিকে একত্রিত করার ফলে স্টোরেজের অদক্ষতা এবং অপ্রয়োজনীয়তা দেখা দেয় যেহেতু বেস মডেল প্রতিটি সূক্ষ্ম-টিউনড সংস্করণে নকল করা হয়। মডেলের আকার এবং সূক্ষ্ম-সুরিত মডেলের সংখ্যা বৃদ্ধির সাথে সাথে এটি সঞ্চয়স্থানের প্রয়োজনীয়তাকে দ্রুতগতিতে বৃদ্ধি করে। llama2 7b মডেলটিকে উদাহরণ হিসাবে নিলে, বেস মডেলটি প্রায় 13 GB এবং সূক্ষ্ম-টিউনড মডেলটি 13.6 GB৷ প্রতিটি সূক্ষ্ম টিউনিংয়ের পরে 96% শতাংশ মডেলকে সদৃশ করতে হবে। উপরন্তু, খুব বড় মডেল ফাইলগুলি বিতরণ এবং ভাগ করাও আরও কঠিন হয়ে ওঠে এবং ক্রমবর্ধমান মডেলের আকার এবং সূক্ষ্ম-টিউন কাজগুলির সাথে ফাইল স্থানান্তর এবং পরিচালনার খরচ বৃদ্ধির ফলে অপারেশনাল চ্যালেঞ্জ উপস্থাপন করে।
পৃথক অ্যাডাপ্টার এবং ভিত্তি পদ্ধতি
দ্বিতীয় পদ্ধতিটি বেস ওয়েট এবং অ্যাডাপ্টারের ওজন আলাদা করার উপর ফোকাস করে আলাদা মডেল উপাদান হিসাবে সেভ করে এবং রানটাইমে ক্রমানুসারে লোড করে।
বেস এবং অ্যাডাপ্টারের ওজন সংরক্ষণের সুবিধা এবং অসুবিধা রয়েছে, ফুল মডেল কপি পদ্ধতির মতো। একটি সুবিধা হল এটি স্টোরেজ স্পেস বাঁচাতে পারে। ভিত্তি ওজন, যা একটি সূক্ষ্ম-টিউনড মডেলের বৃহত্তম উপাদান, শুধুমাত্র একবার সংরক্ষণ করা হয় এবং বিভিন্ন কাজের জন্য টিউন করা অন্যান্য অ্যাডাপ্টারের ওজনের সাথে পুনরায় ব্যবহার করা যেতে পারে। উদাহরণস্বরূপ, Llama2-7B-এর বেস ওয়েট প্রায় 13 GB, কিন্তু প্রতিটি ফাইন-টিউনিং টাস্কের জন্য শুধুমাত্র 0.6 GB অ্যাডাপ্টারের ওজন সঞ্চয় করতে হবে, যা 95% স্থান সঞ্চয়। আরেকটি সুবিধা হল বেস ওয়েট শুধুমাত্র মডেল রেজিস্ট্রি ব্যবহার করে অ্যাডাপ্টারের ওজন থেকে আলাদাভাবে পরিচালনা করা যেতে পারে। এটি সেজমেকার ডোমেনগুলির জন্য দরকারী হতে পারে যেগুলি ইন্টারনেট গেটওয়ে ছাড়াই শুধুমাত্র ভিপিসি মোডে চলছে, যেহেতু বেস ওয়েটগুলি ইন্টারনেটের মাধ্যমে না গিয়েই অ্যাক্সেস করা যেতে পারে।
বেস ওজনের জন্য মডেল প্যাকেজ গ্রুপ তৈরি করুন
QLoRA ওজনের জন্য মডেল প্যাকেজ গ্রুপ তৈরি করুন
নিম্নলিখিত কোডটি দেখায় কিভাবে ডেটাসেট/টাস্ক টাইপের সাথে QLoRA ওজন ট্যাগ করতে হয় এবং একটি পৃথক মডেল রেজিস্ট্রিতে ফাইন-টিউনড ডেল্টা ওয়েট নিবন্ধন করতে হয় এবং আলাদাভাবে ডেল্টা ওজন ট্র্যাক করতে হয়।
নিম্নলিখিত স্নিপেটটি মডেল রেজিস্ট্রি থেকে একটি দৃশ্য দেখায় যেখানে মডেলগুলিকে বেস এবং সূক্ষ্ম-সুরক্ষিত ওজনে বিভক্ত করা হয়েছে।
হাইপার-পার্সোনালাইজড এলএলএম-এর জন্য মডেল, ডেটাসেট এবং কাজগুলি পরিচালনা করা দ্রুত অপ্রতিরোধ্য হয়ে উঠতে পারে। সেজমেকার মডেল রেজিস্ট্রি সংগ্রহ আপনাকে একত্রে সম্পর্কিত মডেলগুলিকে গোষ্ঠীবদ্ধ করতে এবং মডেল আবিষ্কারযোগ্যতা উন্নত করার জন্য একটি শ্রেণিবিন্যাসে সংগঠিত করতে সহায়তা করতে পারে। এটি বেস ওজন, অ্যাডাপ্টারের ওজন এবং ফাইন-টিউনিং টাস্ক ডেটাসেটের মধ্যে সম্পর্কগুলিকে ট্র্যাক করা সহজ করে তোলে। আপনি মডেলগুলির মধ্যে জটিল সম্পর্ক এবং সংযোগও তৈরি করতে পারেন।
একটি নতুন সংগ্রহ তৈরি করুন এবং এই সংগ্রহে আপনার বেস মডেলের ওজন যোগ করুন
আপনার সমস্ত ফাইন-টিউনড LoRA অ্যাডাপ্টার ডেল্টা ওয়েট টাস্ক এবং/অথবা ডেটাসেটের মাধ্যমে এই সংগ্রহের সাথে লিঙ্ক করুন
এর ফলে একটি সংগ্রহের শ্রেণিবিন্যাস তৈরি হবে যা মডেল/টাস্ক টাইপ এবং বেস মডেলকে সূক্ষ্ম সুর করতে ব্যবহৃত ডেটাসেট দ্বারা লিঙ্ক করা হয়।
বেস এবং অ্যাডাপ্টার মডেলগুলি আলাদা করার এই পদ্ধতির কিছু ত্রুটি রয়েছে। একটি অপূর্ণতা হল মডেল স্থাপনে জটিলতা। যেহেতু দুটি পৃথক মডেলের আর্টিফ্যাক্ট রয়েছে, তাই মডেল রেজিস্ট্রি থেকে সরাসরি মোতায়েন করার পরিবর্তে মডেলটিকে পুনরায় প্যাকেজ করার জন্য আপনাকে অতিরিক্ত পদক্ষেপের প্রয়োজন। নিম্নলিখিত কোড উদাহরণে, প্রথমে বেস মডেলের সর্বশেষ সংস্করণটি ডাউনলোড করুন এবং পুনরায় প্যাক করুন।
তারপরে সর্বশেষ সূক্ষ্ম-টিউন করা LoRA অ্যাডাপ্টারের ওজনগুলি ডাউনলোড করুন এবং পুনরায় প্যাক করুন৷
যেহেতু আপনি মডেলটি হোস্ট করার জন্য ডিজেএল সার্ভিং ডিপস্পিড ব্যবহার করবেন, তাই আপনার অনুমান ডিরেক্টরিটি নীচের মত হওয়া উচিত।
অবশেষে, কাস্টম ইনফারেন্স কোড, বেস মডেল এবং LoRA অ্যাডাপ্টারকে একটি একক .tar.gz ফাইলে স্থাপনের জন্য প্যাকেজ করুন।
পরিষ্কার কর
নোটবুকের ক্লিনআপ বিভাগে নির্দেশাবলী অনুসরণ করে আপনার সংস্থানগুলি পরিষ্কার করুন৷ নির্দেশ করে অ্যামাজন সেজমেকার প্রাইসিং অনুমান দৃষ্টান্ত খরচ বিস্তারিত জানার জন্য.
উপসংহার
Amazon SageMaker-এ LoRA ফাইন-টিউনড মডেলগুলি পরিচালনা করার জন্য এই পোস্টটি আপনাকে সর্বোত্তম অনুশীলনের মাধ্যমে নিয়ে গেছে। আমরা দুটি প্রধান পদ্ধতি কভার করেছি: একটি স্বয়ংসম্পূর্ণ মডেলে বেস এবং অ্যাডাপ্টারের ওজন একত্রিত করা এবং বেস এবং অ্যাডাপ্টারের ওজন আলাদা করা। উভয় পদ্ধতিরই ট্রেডঅফ রয়েছে, তবে ওজন আলাদা করা স্টোরেজ অপ্টিমাইজ করতে সাহায্য করে এবং সেজমেকার মডেল রেজিস্ট্রি সংগ্রহের মতো উন্নত মডেল পরিচালনার কৌশলগুলিকে সক্ষম করে। এটি আপনাকে সংগঠন এবং আবিষ্কারযোগ্যতা উন্নত করতে মডেলগুলির মধ্যে শ্রেণিবিন্যাস এবং সম্পর্ক তৈরি করতে দেয়। আমরা আপনাকে নমুনা কোড চেষ্টা করার জন্য উত্সাহিত করি GitHub সংগ্রহস্থল নিজে এই পদ্ধতিগুলো নিয়ে পরীক্ষা করতে। জেনারেটিভ এআই দ্রুত অগ্রসর হওয়ার সাথে সাথে মডেল পরিচালনার সর্বোত্তম অনুশীলনগুলি আপনাকে পরীক্ষাগুলি ট্র্যাক করতে, আপনার কাজের জন্য সঠিক মডেল খুঁজে পেতে এবং স্কেলে দক্ষতার সাথে বিশেষায়িত এলএলএমগুলি পরিচালনা করতে সহায়তা করবে।
তথ্যসূত্র
লেখক সম্পর্কে
জেমস উ AWS-এর একজন সিনিয়র AI/ML স্পেশালিস্ট সলিউশন আর্কিটেক্ট। গ্রাহকদের এআই/এমএল সলিউশন ডিজাইন এবং তৈরি করতে সাহায্য করা। জেমসের কাজ এমএল ব্যবহারের ক্ষেত্রের একটি বিস্তৃত পরিসর কভার করে, যার মধ্যে প্রাথমিক আগ্রহ কম্পিউটার ভিশন, গভীর শিক্ষা, এবং এন্টারপ্রাইজ জুড়ে এমএল স্কেলিং। AWS-এ যোগদানের আগে, জেমস 10 বছরেরও বেশি সময় ধরে একজন স্থপতি, বিকাশকারী এবং প্রযুক্তি নেতা ছিলেন, যার মধ্যে 6 বছর ইঞ্জিনিয়ারিং এবং 4 বছর মার্কেটিং এবং বিজ্ঞাপন শিল্পে ছিল।
প্রণব মূর্তি AWS-এর একজন AI/ML স্পেশালিস্ট সলিউশন আর্কিটেক্ট। তিনি গ্রাহকদের সেজমেকারে মেশিন লার্নিং (এমএল) কাজের চাপ তৈরি, প্রশিক্ষণ, স্থাপন এবং স্থানান্তর করতে সহায়তা করার দিকে মনোনিবেশ করেন। তিনি পূর্বে সেমিকন্ডাক্টর প্রসেস উন্নত করতে বড় কম্পিউটার ভিশন (সিভি) এবং ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (এনএলপি) মডেল তৈরি করে সেমিকন্ডাক্টর শিল্পে কাজ করেছেন। তার অবসর সময়ে, তিনি দাবা খেলা এবং ভ্রমণ উপভোগ করেন।
Mecit Gungor AWS-এর একজন AI/ML স্পেশালিস্ট সলিউশন আর্কিটেক্ট যা গ্রাহকদের স্কেলে AI/ML সলিউশন ডিজাইন ও তৈরি করতে সাহায্য করে। তিনি টেলিকমিউনিকেশন গ্রাহকদের জন্য বিস্তৃত AI/ML ব্যবহারের ক্ষেত্রে কভার করেন এবং বর্তমানে জেনারেটিভ AI, LLM, এবং প্রশিক্ষণ এবং অনুমান অপ্টিমাইজেশানের উপর ফোকাস করেন। তাকে প্রায়শই তার অবসর সময়ে প্রান্তরে হাইকিং করতে বা তার বন্ধুদের সাথে বোর্ড গেম খেলতে দেখা যায়।
শেলবি আইজেনব্রোড Amazon Web Services (AWS)-এর একজন প্রিন্সিপাল এআই এবং মেশিন লার্নিং স্পেশালিস্ট সলিউশন আর্কিটেক্ট। তিনি 24 বছর ধরে একাধিক শিল্প, প্রযুক্তি এবং ভূমিকা নিয়ে প্রযুক্তিতে রয়েছেন। গ্রাহকদের স্কেলে এমএল ওয়ার্কলোড সরবরাহ এবং পরিচালনা করতে সহায়তা করার জন্য তিনি বর্তমানে তার DevOps এবং ML ব্যাকগ্রাউন্ডকে MLOps-এর ডোমেনে একত্রিত করার উপর মনোযোগ নিবদ্ধ করছেন। বিভিন্ন প্রযুক্তি ডোমেন জুড়ে 35টিরও বেশি পেটেন্ট মঞ্জুর করার সাথে, ব্যবসায়িক ফলাফল চালনা করার জন্য ক্রমাগত উদ্ভাবন এবং ডেটা ব্যবহার করার জন্য তার একটি আবেগ রয়েছে। Shelbee Coursera-এর ব্যবহারিক ডেটা সায়েন্স স্পেশালাইজেশনের একজন সহ-নির্মাতা এবং প্রশিক্ষক। তিনি ডেনভার চ্যাপ্টারের উইমেন ইন বিগ ডেটা (WiBD) এর সহ-পরিচালক। তার অবসর সময়ে, সে তার পরিবার, বন্ধুবান্ধব এবং অতি সক্রিয় কুকুরের সাথে সময় কাটাতে পছন্দ করে।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/model-management-for-lora-fine-tuned-models-using-llama2-and-amazon-sagemaker/
- : আছে
- : হয়
- :না
- :কোথায়
- $ ইউপি
- 10
- 100
- 11
- 12
- 13
- 15%
- 16
- 20
- 2023
- 23
- 24
- 25
- 28
- 31
- 35%
- 7
- 8
- 95%
- a
- ক্ষমতা
- সম্পর্কে
- সমর্থন দিন
- গ্রহণযোগ্য
- প্রবেশ
- অ্যাক্সেসড
- দিয়ে
- অভিযোজন
- রূপান্তর
- যোগ
- যোগ
- অতিরিক্ত
- উপরন্তু
- ঠিকানা
- পোষ্যপুত্র গ্রহণ করা
- অগ্রসর
- সুবিধা
- সুবিধাদি
- বিজ্ঞাপন
- পর
- চুক্তি
- AI
- এআই ঠিক
- এআই / এমএল
- সব
- অনুমতি
- অনুমতি
- ইতিমধ্যে
- এছাড়াও
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- অ্যামাজন সেজমেকার স্টুডিও
- অ্যামাজন সিম্পল স্টোরেজ সার্ভিস (S3)
- অ্যামাজন ওয়েব সার্ভিসেস
- আমাজন ওয়েব সার্ভিসেস (এডব্লিউএস)
- পরিমাণে
- an
- বিশ্লেষণ করা
- এবং
- অন্য
- কোন
- API
- অ্যাপ্লিকেশন
- অভিগমন
- পন্থা
- অনুমোদিত
- আন্দাজ
- রয়েছি
- এলাকার
- AS
- সহযোগী
- At
- স্বয়ংক্রিয়ভাবে
- স্বয়ংক্রিয়তা
- সহজলভ্য
- ডেস্কটপ AWS
- পিছনে
- পটভূমি
- বাধা
- ভিত্তি
- BE
- কারণ
- পরিণত
- হয়ে
- হয়েছে
- আচরণ
- সুবিধা
- সর্বোত্তম
- সেরা অভ্যাস
- মধ্যে
- বিশাল
- বড় ডেটা
- বিলিয়ন
- কোটি কোটি
- বাধা
- তক্তা
- বোর্ড গেম
- উভয়
- সীমানা
- নির্মাণ করা
- ব্যবসায়
- কিন্তু
- by
- কলব্যাক
- নামক
- CAN
- সামর্থ্য
- গ্রেপ্তার
- সাবধান
- কেস
- মামলা
- চ্যালেঞ্জ
- চ্যালেঞ্জ
- অধ্যায়
- চার্ট
- দাবা
- শ্রেণী
- পরিষ্কার
- কোড
- কোডবেস
- সংগ্রহ
- সংগ্রহ
- মেশা
- মিলিত
- সম্মিলন
- মিশ্রন
- কোম্পানি
- তুলনা করা
- তুলনা
- প্রতিযোগিতামূলক
- জটিল
- জটিলতা
- উপাদান
- উপাদান
- গণনা
- গণনা
- কম্পিউটার
- কম্পিউটার ভিশন
- পরিবেশ
- বিবেচনা করা
- বিষয়বস্তু
- বিষয়বস্তু-সৃষ্টি
- অবিরাম
- একটানা
- মূল
- মূল্য
- পারা
- আবৃত
- কভার
- সৃষ্টি
- নির্মিত
- সৃষ্টি
- সৃজনশীলতা
- এখন
- প্রথা
- ক্রেতা
- গ্রাহক সমর্থন
- গ্রাহকদের
- স্বনির্ধারণ
- কাস্টমাইজ
- কাটিং-এজ
- উপাত্ত
- তথ্য বিজ্ঞান
- ডেটাসেট
- গভীর
- গভীর জ্ঞানার্জন
- গভীর
- ডিফল্ট
- এর
- প্রদান করা
- ব-দ্বীপ
- প্রদর্শন
- ডেনভার
- স্থাপন
- মোতায়েন
- মোতায়েন
- বিস্তৃতি
- নকশা
- বিস্তারিত
- বিকাশকারী
- উন্নয়নশীল
- উন্নয়ন
- বিভিন্ন
- কঠিন
- সরাসরি
- প্রদর্শন
- বিতরণ করা
- বিভাজক
- ডুব
- ডোমেইন
- ডোমেইনের
- ডাউনলোড
- অপূর্ণতা
- ড্রাইভ
- সময়
- প্রতি
- সহজ
- সহজে
- প্রান্ত
- দক্ষ
- দক্ষতার
- আর
- শিরীষের গুঁড়ো
- সম্ভব
- উত্সাহিত করা
- সর্বশেষ সীমা
- শেষপ্রান্ত
- প্রকৌশল
- উদ্যোগ
- সত্তা
- পরিবেশ
- কাল
- যুগ
- ইত্যাদি
- মূল্যায়ন
- মূল্যায়ন
- উদাহরণ
- উদাহরণ
- অত্যন্ত
- ফাঁসি
- বিদ্যমান
- ব্যয়বহুল
- অভিজ্ঞতা
- পরীক্ষা
- পরীক্ষা-নিরীক্ষা
- ল্যাপারোস্কোপিক পদ্ধতি
- ব্যাখ্যা মূলকভাবে
- মুখ
- ব্যর্থতা
- পরিবার
- দ্রুত
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- ফাইল
- নথি পত্র
- আবিষ্কার
- জরিমানা
- প্রথম
- স্থায়ী
- নমনীয়তা
- গুরুত্ত্ব
- মনোযোগ
- অনুসরণ
- জন্য
- পাওয়া
- ভিত
- বিনামূল্যে
- বন্ধুদের
- থেকে
- সম্পূর্ণ
- ক্রিয়া
- অধিকতর
- ভবিষ্যৎ
- লাভ করা
- অর্জন
- গেম
- প্রবেশপথ
- উৎপাদিত
- সৃজক
- জেনারেটিভ এআই
- Go
- চালু
- ভাল
- জিপিইউ
- মঞ্জুর
- চিত্রলেখ
- গ্রাফ
- গ্রুপ
- গ্রুপের
- হাত
- হাতল
- আছে
- জমিদারি
- he
- সাহায্য
- সাহায্য
- সাহায্য
- তার
- যাজকতন্ত্র
- অত্যন্ত
- তার
- নিমন্ত্রণকর্তা
- হটেস্ট
- কিভাবে
- কিভাবে
- যাহোক
- এইচটিএমএল
- HTTPS দ্বারা
- জড়িয়ে আছে
- প্রকাশ
- ভাবমূর্তি
- বাস্তবায়ন
- বাস্তবায়ন
- আমদানি
- গুরুত্বপূর্ণ
- গুরুত্বপূর্ণভাবে
- আমদানি
- উন্নত করা
- in
- অন্তর্ভুক্ত
- অন্তর্ভুক্ত
- সুদ্ধ
- বৃদ্ধি
- বৃদ্ধি
- ক্রমবর্ধমান
- স্বাধীন
- স্বাধীনভাবে
- শিল্প
- শিল্প
- অদক্ষতা
- স্ফীত
- তথ্য
- ইনোভেশন
- ইনপুট
- উদাহরণ
- পরিবর্তে
- নির্দেশাবলী
- সম্পূর্ণ
- সংহত
- স্বার্থ
- Internet
- মধ্যে
- পরিচয় করিয়ে দেয়
- IT
- এর
- জেমস
- জাভা
- কাজ
- জবস
- যোগদান
- JPG
- রাখা
- পালন
- চাবি
- পদাঘাত
- জ্ঞান
- ভাষা
- বড়
- বৃহত্তম
- সর্বশেষ
- নেতা
- বিশালাকার
- শিক্ষা
- যাক
- উচ্চতা
- লাইব্রেরি
- লাইসেন্স
- মিথ্যা
- মত
- পছন্দ
- LINK
- সংযুক্ত
- তালিকাভুক্ত
- LLM
- বোঝা
- বোঝাই
- স্থানীয়
- অবস্থান
- লগ ইন করুন
- লগিং
- যুক্তিবিদ্যা
- দেখুন
- মত চেহারা
- খুঁজছি
- ক্ষতি
- মেশিন
- মেশিন লার্নিং
- প্রধান
- তৈরি করে
- মেকিং
- পরিচালনা করা
- পরিচালিত
- ব্যবস্থাপনা
- পরিচালক
- অনেক
- Marketing
- বিপণন ও বিজ্ঞাপন
- বৃহদায়তন
- মে..
- স্মৃতি
- মার্জ
- মার্জ
- মেটাডাটা
- পদ্ধতি
- পদ্ধতি
- ছন্দোবিজ্ঞান
- মাইগ্রেট
- ML
- এমএলওএস
- মোড
- মডেল
- মডেল
- মডিউল
- অধিক
- বহু
- নাম
- প্রাকৃতিক
- স্বাভাবিক ভাষা প্রক্রিয়াকরণ
- প্রয়োজনীয়
- প্রয়োজন
- প্রয়োজন
- চাহিদা
- নতুন
- NLP
- নোটবই
- এখন
- সংখ্যা
- of
- বন্ধ
- অফার
- প্রায়ই
- on
- একদা
- ONE
- কেবল
- কর্মক্ষম
- অপারেশনস
- অপ্টিমাইজেশান
- অপ্টিমিজ
- অপ্টিমাইজ
- সর্বোচ্চকরন
- or
- সংগঠন
- সংগঠন
- মূল
- অন্যান্য
- আমাদের
- ফলাফল
- আউটপুট
- শেষ
- পরাস্ত
- অভিভূতকারী
- নিজের
- প্যাকেজ
- স্থিতিমাপ
- পরামিতি
- অংশ
- আবেগ
- পেটেন্ট
- পথ
- শতাংশ
- কর্মক্ষমতা
- অনুমতি
- টুকরা
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- কেলি
- যোগ
- নীতি
- জনপ্রিয়
- জনপ্রিয়তা
- অংশ
- সম্ভব
- পোস্ট
- ক্ষমতা
- ক্ষমতাশালী
- ব্যবহারিক
- চর্চা
- পূর্বশর্ত
- উপস্থাপন
- সংরক্ষণ করা
- প্রতিরোধ
- পূর্বে
- প্রাথমিক
- অধ্যক্ষ
- পূর্বে
- প্রক্রিয়া
- প্রসেস
- প্রক্রিয়াজাতকরণ
- উন্নতি
- সঠিকভাবে
- বৈশিষ্ট্য
- উপলব্ধ
- ধাক্কা
- পাইথন
- পাইটার্চ
- প্রশ্ন
- দ্রুত
- পরিসর
- দ্রুত
- প্রকৃত সময়
- কারণ
- কারণে
- সম্প্রতি
- হ্রাস করা
- হ্রাসপ্রাপ্ত
- হ্রাস
- হ্রাস
- পড়ুন
- অনুধ্যায়ী
- খাতা
- নিবন্ধভুক্ত
- রেজিস্ট্রি
- সংশ্লিষ্ট
- সম্পর্ক
- প্রাসঙ্গিক
- অসাধারণ
- প্রতিবেদন
- সংগ্রহস্থলের
- প্রয়োজন
- প্রয়োজনীয়
- আবশ্যকতা
- Resources
- বিশ্রাম
- ফল
- পুনঃব্যবহারের
- অধিকার
- ভূমিকা
- ভূমিকা
- চালান
- দৌড়
- রান
- রানটাইম
- ঋষি নির্মাতা
- সংরক্ষণ করুন
- সংরক্ষিত
- রক্ষা
- জমা
- স্কেল
- আরোহী
- বিজ্ঞান
- বিজ্ঞানীরা
- SDK
- সার্চ
- দ্বিতীয়
- অধ্যায়
- বিভাগে
- সচেষ্ট
- অর্ধপরিবাহী
- জ্যেষ্ঠ
- আলাদা
- পৃথক
- সেবা
- সেবা
- ভজনা
- বিভিন্ন
- শেয়ার
- শেয়ারিং
- সে
- উচিত
- প্রদর্শিত
- শো
- অনুরূপ
- সহজ
- থেকে
- একক
- আয়তন
- ধীর
- ছোট
- ক্ষুদ্রতর
- টুকিটাকি
- সমাধান
- সলিউশন
- কিছু
- উৎস
- স্থান
- বিস্তৃত
- বিশেষজ্ঞ
- বিশেষজ্ঞ
- নির্দিষ্ট
- বিশেষভাবে
- ব্যয় করা
- বিভক্ত করা
- অংশীদারদের
- শুরু
- রাষ্ট্র
- রাষ্ট্র-এর-শিল্প
- অবস্থা
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- এখনো
- স্টোরেজ
- দোকান
- সঞ্চিত
- চিত্রশালা
- এমন
- সমর্থন
- TAG
- গ্রহণ
- কার্য
- কাজ
- প্রযুক্তি
- প্রযুক্তি
- প্রযুক্তি
- প্রযুক্তিঃ
- টেলিযোগাযোগ
- শর্তাবলী
- প্রমাণিত
- পাঠ
- যে
- সার্জারির
- তাদের
- তাহাদিগকে
- তারপর
- সেখানে।
- এইগুলো
- তারা
- এই
- দ্বারা
- সময়
- থেকে
- একসঙ্গে
- টুল
- মশাল
- পথ
- ঐতিহ্যগত
- রেলগাড়ি
- প্রশিক্ষণ
- হস্তান্তর
- ট্রান্সফরমার
- ট্রান্সফরমার
- ভ্রমণ
- সত্য
- চেষ্টা
- সুর
- টিউন
- সুরকরণ
- দুই
- আদর্শ
- ধরনের
- অধীনে
- বোধশক্তি
- আপডেট
- আপডেট
- আপলোড করা
- URL টি
- ব্যবহার
- ব্যবহার ক্ষেত্রে
- ব্যবহৃত
- ব্যবহারকারী
- ব্যবহারকারী
- ব্যবহার
- বৈধতা
- দামি
- মূল্য
- বৈচিত্র্য
- বিভিন্ন
- সুবিশাল
- সংস্করণ
- সংস্করণ
- খুব
- মাধ্যমে
- চেক
- দৃষ্টি
- চাক্ষুষ
- পদব্রজে ভ্রমণ
- পদচারণা
- প্রয়োজন
- ছিল
- উপায়..
- উপায়
- we
- ওয়েব
- ওয়েব সার্ভিস
- কখন
- যে
- যখন
- কেন
- ব্যাপক
- প্রশস্ত পরিসর
- ইচ্ছা
- সঙ্গে
- মধ্যে
- ছাড়া
- নারী
- হয়া যাই ?
- কাজ করছে
- কর্মপ্রবাহ
- কাজ
- বছর
- আপনি
- আপনার
- নিজেকে
- zephyrnet