পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG) আপনাকে বাহ্যিক জ্ঞান উত্স যেমন সংগ্রহস্থল, ডাটাবেস এবং API গুলিকে ফাইন-টিউন করার প্রয়োজন ছাড়াই ডেটাতে অ্যাক্সেস সহ একটি বৃহৎ ভাষা মডেল (LLM) প্রদান করতে দেয়। প্রশ্ন উত্তরের জন্য জেনারেটিভ এআই ব্যবহার করার সময়, RAG LLM-কে সবচেয়ে প্রাসঙ্গিক, আপ-টু-ডেট তথ্য সহ প্রশ্নের উত্তর দিতে সক্ষম করে এবং যাচাইকরণের জন্য ঐচ্ছিকভাবে তাদের ডেটা উত্সগুলি উদ্ধৃত করে।
নথিগুলি থেকে জ্ঞান পুনরুদ্ধারের জন্য একটি সাধারণ RAG সমাধান একটি এম্বেডিং মডেল ব্যবহার করে ডেটা উত্স থেকে ডেটা এম্বেডিং-এ রূপান্তর করে এবং এই এমবেডিংগুলিকে একটি ভেক্টর ডাটাবেসে সংরক্ষণ করে। যখন একজন ব্যবহারকারী একটি প্রশ্ন জিজ্ঞাসা করে, তখন এটি ভেক্টর ডাটাবেস অনুসন্ধান করে এবং নথিগুলি পুনরুদ্ধার করে যা ব্যবহারকারীর প্রশ্নের সাথে সবচেয়ে বেশি মিল। এর পরে, এটি পুনরুদ্ধার করা নথি এবং ব্যবহারকারীর প্রশ্নকে একটি বর্ধিত প্রম্পটে একত্রিত করে যা পাঠ্য তৈরির জন্য এলএলএম-এ পাঠানো হয়। এই বাস্তবায়নে দুটি মডেল রয়েছে: এমবেডিং মডেল এবং এলএলএম যা চূড়ান্ত প্রতিক্রিয়া তৈরি করে।
এই পোস্টে, আমরা কীভাবে ব্যবহার করব তা প্রদর্শন করি অ্যামাজন সেজমেকার স্টুডিও একটি RAG প্রশ্নের উত্তর সমাধান তৈরি করতে।
RAG-ভিত্তিক প্রশ্নের উত্তর দেওয়ার জন্য নোটবুক ব্যবহার করা
RAG প্রয়োগ করার জন্য সাধারণত বিভিন্ন এমবেডিং মডেল, ভেক্টর ডাটাবেস, টেক্সট জেনারেশন মডেল এবং প্রম্পট নিয়ে পরীক্ষা করা হয়, পাশাপাশি আপনি একটি কার্যকরী প্রোটোটাইপ অর্জন না করা পর্যন্ত আপনার কোড ডিবাগ করে থাকেন। আমাজন সেজমেকার GPU দৃষ্টান্ত দিয়ে সজ্জিত পরিচালিত জুপিটার নোটবুক অফার করে, যা আপনাকে এই প্রাথমিক পর্যায়ে অতিরিক্ত পরিকাঠামো না ঘুরিয়ে দ্রুত পরীক্ষা করতে সক্ষম করে। সেজমেকারে নোটবুক ব্যবহারের জন্য দুটি বিকল্প রয়েছে। প্রথম বিকল্প দ্রুত লঞ্চ হয় নোটবুক সেজমেকার স্টুডিওর মাধ্যমে উপলব্ধ। সেজমেকার স্টুডিওতে, ML-এর উদ্দেশ্যে তৈরি ইন্টিগ্রেটেড ডেভেলপমেন্ট এনভায়রনমেন্ট (IDE), আপনি নোটবুকগুলি চালু করতে পারেন যা বিভিন্ন উদাহরণের ধরন এবং বিভিন্ন কনফিগারেশনে চলে, সহকর্মীদের সাথে সহযোগিতা করতে এবং মেশিন লার্নিং (ML)-এর জন্য অতিরিক্ত উদ্দেশ্য-নির্মিত বৈশিষ্ট্যগুলি অ্যাক্সেস করতে পারে। দ্বিতীয় বিকল্পটি একটি ব্যবহার করছে সেজমেকার নোটবুক উদাহরণ, যা জুপিটার নোটবুক অ্যাপ চালানোর একটি সম্পূর্ণরূপে পরিচালিত এমএল কম্পিউট উদাহরণ।
এই পোস্টে, আমরা একটি RAG সমাধান উপস্থাপন করি যা একটি কাস্টম ডোমেনের জন্য নির্দিষ্ট আরও সঠিক প্রতিক্রিয়া প্রদান করতে বাহ্যিক জ্ঞান উত্স থেকে অতিরিক্ত ডেটা সহ মডেলের জ্ঞানকে বাড়িয়ে তোলে। আমরা একটি একক SageMaker স্টুডিও নোটবুক একটি চলমান ব্যবহার ml.g5.2xlarge
উদাহরণ (1 A10G GPU) এবং Llama 2 7b চ্যাট hf, Llama 2 7b এর সূক্ষ্ম টিউন করা সংস্করণ, যা হাগিং ফেস হাব থেকে ডায়ালগ ব্যবহারের ক্ষেত্রে অপ্টিমাইজ করা হয়েছে৷ আমরা নমুনা বহিরাগত ডেটা হিসাবে দুটি AWS মিডিয়া এবং বিনোদন ব্লগ পোস্ট ব্যবহার করি, যা আমরা এর সাথে এমবেডিংয়ে রূপান্তর করি BAAI/bge-small-en-v1.5 এমবেডিং আমরা এম্বেডিংগুলি সংরক্ষণ করি পাইন গাছের ফল, একটি ভেক্টর-ভিত্তিক ডাটাবেস যা উচ্চ-পারফরম্যান্স অনুসন্ধান এবং মিলের মিল সরবরাহ করে। আপনি যখন আপনার প্রোটোটাইপিং সম্পূর্ণ করেন তখন রিয়েল-টাইম ইনফারেন্সের জন্য নোটবুকে পরীক্ষা করা থেকে আপনার মডেলগুলিকে সেজমেকার এন্ডপয়েন্টে স্থাপন করার জন্য কীভাবে রূপান্তর করা যায় তাও আমরা আলোচনা করি। একই পদ্ধতি বিভিন্ন মডেল এবং ভেক্টর ডাটাবেসের সাথে ব্যবহার করা যেতে পারে।
সমাধান ওভারভিউ
নিম্নলিখিত চিত্রটি সমাধানের স্থাপত্যকে চিত্রিত করে।
সমাধানটি বাস্তবায়নে দুটি উচ্চ-স্তরের পদক্ষেপ রয়েছে: সেজমেকার স্টুডিও নোটবুক ব্যবহার করে সমাধানটি বিকাশ করা এবং অনুমানের জন্য মডেলগুলি স্থাপন করা।
সেজমেকার স্টুডিও নোটবুক ব্যবহার করে সমাধানটি তৈরি করুন
সমাধানটি বিকাশ শুরু করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- নোটবুকে Hugging Face Hub থেকে Llama-2 7b চ্যাট মডেল লোড করুন।
- দিয়ে একটি প্রম্পট টেমপ্লেট তৈরি করুন ল্যাংচেইন এবং আপনার ব্যবহারের ক্ষেত্রে প্রম্পট তৈরি করতে এটি ব্যবহার করুন।
- 1-2টি উদাহরণ প্রম্পটের জন্য, বহিরাগত নথি থেকে প্রাসঙ্গিক স্ট্যাটিক টেক্সট প্রম্পট প্রসঙ্গে যোগ করুন এবং প্রতিক্রিয়াগুলির গুণমান উন্নত হয় কিনা তা মূল্যায়ন করুন।
- মানের উন্নতি হয়েছে বলে ধরে নিয়ে, RAG প্রশ্নের উত্তর দেওয়ার কর্মপ্রবাহ বাস্তবায়ন করুন:
- বাহ্যিক নথিগুলি সংগ্রহ করুন যা মডেলটিকে আপনার ব্যবহারের ক্ষেত্রে প্রশ্নের উত্তর দিতে সাহায্য করতে পারে৷
- BGE এম্বেডিং মডেল লোড করুন এবং এই নথিগুলির এমবেডিং তৈরি করতে এটি ব্যবহার করুন।
- একটি পাইনকোন সূচকে এই এমবেডিংগুলি সংরক্ষণ করুন।
- যখন একজন ব্যবহারকারী একটি প্রশ্ন জিজ্ঞাসা করে, তখন Pinecone-এ একটি সাদৃশ্য অনুসন্ধান করুন এবং প্রম্পটের প্রসঙ্গে সবচেয়ে অনুরূপ নথি থেকে বিষয়বস্তু যোগ করুন।
স্কেলে অনুমানের জন্য মডেলগুলি সেজমেকারে স্থাপন করুন
আপনি যখন আপনার কর্মক্ষমতা লক্ষ্যে পৌঁছান, আপনি জেনারেটিভ এআই অ্যাপ্লিকেশনগুলির দ্বারা ব্যবহার করার জন্য মডেলগুলি সেজমেকারে স্থাপন করতে পারেন:
- Llama-2 7b চ্যাট মডেলটিকে SageMaker রিয়েল-টাইম এন্ডপয়েন্টে স্থাপন করুন।
- স্থাপন করুন BAAI/bge-small-en-v1.5 একটি সেজমেকার রিয়েল-টাইম এন্ডপয়েন্টে এমবেডিং মডেল।
- জেনারেটিভ এআই অ্যাপ্লিকেশনের উত্তর দেওয়ার জন্য আপনার প্রশ্নের মোতায়েন করা মডেলগুলি ব্যবহার করুন।
নিম্নলিখিত বিভাগগুলিতে, আমরা আপনাকে সেজমেকার স্টুডিও নোটবুকগুলিতে এই সমাধানটি বাস্তবায়নের পদক্ষেপগুলি নিয়ে চলেছি।
পূর্বশর্ত
এই পোস্টের ধাপগুলি অনুসরণ করতে, আপনার একটি AWS অ্যাকাউন্ট এবং একটি থাকতে হবে৷ এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট সমাধান সংস্থান তৈরি এবং অ্যাক্সেস করার অনুমতি সহ (IAM) ভূমিকা। আপনি যদি AWS-এ নতুন হন, তাহলে দেখুন একটি স্বতন্ত্র AWS অ্যাকাউন্ট তৈরি করুন.
আপনার AWS অ্যাকাউন্টে SageMaker স্টুডিও নোটবুক ব্যবহার করতে, আপনার একটি প্রয়োজন সেজমেকার ডোমেইন সেজমেকার স্টুডিও অ্যাপ চালু করার অনুমতি আছে এমন একটি ব্যবহারকারী প্রোফাইলের সাথে। আপনি SageMaker স্টুডিওতে নতুন হলে, দ্রুত স্টুডিও সেটআপ শুরু করার দ্রুততম উপায়। একটি মাত্র ক্লিকের মাধ্যমে, সেজমেকার ব্যবহারকারীর প্রোফাইল সেট আপ, আইএএম ভূমিকা, আইএএম প্রমাণীকরণ এবং সর্বজনীন ইন্টারনেট অ্যাক্সেস সহ ডিফল্ট প্রিসেট সহ সেজমেকার ডোমেনের ব্যবস্থা করে। এই পোস্টের জন্য নোটবুক একটি অনুমান ml.g5.2xlarge
উদাহরণ টাইপ। আপনার কোটা পর্যালোচনা বা বৃদ্ধি করতে, AWS পরিষেবা কোটা কনসোল খুলুন, নির্বাচন করুন এডব্লিউএস পরিষেবাদি নেভিগেশন ফলকে, নির্বাচন করুন আমাজন সেজমেকার, এবং স্টুডিও কার্নেলগেটওয়ে অ্যাপ্লিকেশানগুলির জন্য মান দেখুন ml.g5.2xlarge
উদাহরণস্বরূপ।
আপনার কোটা সীমা নিশ্চিত করার পরে, আপনাকে Llama 2 7b চ্যাট ব্যবহার করার জন্য নির্ভরতাগুলি সম্পূর্ণ করতে হবে।
Llama 2 7b চ্যাট এর অধীনে উপলব্ধ লামা 2 লাইসেন্স. আলিঙ্গন মুখে লামা 2 অ্যাক্সেস করতে, আপনাকে প্রথমে কয়েকটি ধাপ সম্পূর্ণ করতে হবে:
- একটি আলিঙ্গন মুখ অ্যাকাউন্ট তৈরি করুন যদি আপনার ইতিমধ্যে একটি না থাকে।
- মেটাতে "লামার পরবর্তী সংস্করণে অ্যাক্সেসের অনুরোধ করুন" ফর্মটি পূরণ করুন ওয়েবসাইট.
- অ্যাক্সেস অনুরোধ করুন Llama 2 7b চ্যাট আলিঙ্গন মুখে
আপনাকে অ্যাক্সেস দেওয়ার পরে, আপনি মডেলগুলি অ্যাক্সেস করার জন্য একটি নতুন অ্যাক্সেস টোকেন তৈরি করতে পারেন। একটি অ্যাক্সেস টোকেন তৈরি করতে, নেভিগেট করুন সেটিংস আলিঙ্গন মুখ ওয়েবসাইটে পৃষ্ঠা.
একটি ভেক্টর ডাটাবেস হিসাবে এটি ব্যবহার করার জন্য আপনার Pinecone এর সাথে একটি অ্যাকাউন্ট থাকতে হবে। পাইনকোন AWS এর মাধ্যমে উপলব্ধ AWS মার্কেটপ্লেস. Pinecone ওয়েবসাইটটি একটি তৈরি করার বিকল্পও দেয় বিনামূল্যে একাউন্ট এটি একটি একক সূচক তৈরি করার অনুমতির সাথে আসে, যা এই পোস্টের উদ্দেশ্যে যথেষ্ট। আপনার Pinecone কীগুলি পুনরুদ্ধার করতে, খুলুন পাইনকোন কনসোল এবং নির্বাচন করুন API কীগুলি.
নোটবুক এবং পরিবেশ সেট আপ করুন
এই পোস্টে কোড অনুসরণ করতে, SageMaker স্টুডিও খুলুন এবং নিম্নলিখিত ক্লোন করুন GitHub সংগ্রহস্থল. এরপরে, নোটবুকটি খুলুন studio-local-gen-ai/rag/RAG-with-Llama-2-on-Studio.ipynb এবং PyTorch 2.0.0 Python 3.10 GPU অপ্টিমাইজড ইমেজ, Python 3 কার্নেল এবং বেছে নিন ml.g5.2xlarge
উদাহরণ টাইপ হিসাবে। যদি এটি আপনার প্রথমবার সেজমেকার স্টুডিও নোটবুকগুলি ব্যবহার করে, তবে পড়ুন একটি Amazon SageMaker স্টুডিও নোটবুক তৈরি করুন বা খুলুন.
ডেভেলপমেন্ট এনভায়রনমেন্ট সেট আপ করতে, আপনাকে প্রয়োজনীয় পাইথন লাইব্রেরি ইনস্টল করতে হবে, যেমনটি নিম্নলিখিত কোডে দেখানো হয়েছে:
%%writefile requirements.txt
sagemaker>=2.175.0
transformers==4.33.0
accelerate==0.21.0
datasets==2.13.0
langchain==0.0.297
pypdf>=3.16.3
pinecone-client
sentence_transformers
safetensors>=0.3.3
!pip install -U -r requirements.txt
প্রাক-প্রশিক্ষিত মডেল এবং টোকেনাইজার লোড করুন
আপনি প্রয়োজনীয় লাইব্রেরি আমদানি করার পরে, আপনি লোড করতে পারেন Llama-2 7b চ্যাট হাগিং ফেস থেকে এর সংশ্লিষ্ট টোকেনাইজার সহ মডেল। এই লোড করা মডেল আর্টিফ্যাক্টগুলি সেজমেকার স্টুডিওতে স্থানীয় ডিরেক্টরিতে সংরক্ষণ করা হয়। যখনই আপনাকে অন্য সময়ে আপনার কাজ পুনরায় শুরু করতে হবে তখনই এটি আপনাকে দ্রুত মেমরিতে পুনরায় লোড করতে সক্ষম করে।
import torch from transformers import ( AutoTokenizer, LlamaTokenizer, LlamaForCausalLM, GenerationConfig, AutoModelForCausalLM
)
import transformers tg_model_id = "meta-llama/Llama-2-7b-chat-hf" #the model id in Hugging Face
tg_model_path = f"./tg_model/{tg_model_id}" #the local directory where the model will be saved tg_model = AutoModelForCausalLM.from_pretrained(tg_model_id, token=hf_access_token,do_sample=True, use_safetensors=True, device_map="auto", torch_dtype=torch.float16
tg_tokenizer = AutoTokenizer.from_pretrained(tg_model_id, token=hf_access_token) tg_model.save_pretrained(save_directory=tg_model_path, from_pt=True)
tg_tokenizer.save_pretrained(save_directory=tg_model_path, from_pt=True)
একটি প্রশ্ন জিজ্ঞাসা করুন যার জন্য আপ-টু-ডেট তথ্য প্রয়োজন
আপনি এখন মডেল ব্যবহার শুরু করতে এবং প্রশ্ন জিজ্ঞাসা করতে পারেন. Llama-2 চ্যাট মডেল আশা করে যে প্রম্পট নিম্নলিখিত বিন্যাস মেনে চলবে:
<s>[INST] <<SYS>>
system_prompt
<<SYS>>
{{ user_message }} [/INST]
আপনি ব্যবহার করতে পারেন প্রম্পট টেমপ্লেট প্রম্পট ফর্ম্যাটের উপর ভিত্তি করে একটি রেসিপি তৈরি করতে LangChain থেকে, যাতে আপনি সহজেই এগিয়ে যাওয়ার প্রম্পট তৈরি করতে পারেন:
from langchain import PromptTemplate template = """<s>[INST] <<SYS>>nYou are an assistant for question-answering tasks. You are helpful and friendly. Use the following pieces of retrieved context to answer the query. If you don't know the answer, you just say I don't know. Use three sentences maximum and keep the answer concise.
<<SYS>>n
{context}n
{question} [/INST] """
prompt_template = PromptTemplate( template=template, input_variables=['context','question'] )
আসুন মডেলটিকে এমন একটি প্রশ্ন জিজ্ঞাসা করি যার জন্য 2023 সালের সাম্প্রতিক তথ্যের প্রয়োজন। আপনি ল্যাংচেইন ব্যবহার করতে পারেন এবং বিশেষভাবে এলএলএমচেইন LLM-এর পরামিতি হিসাবে চেইন এবং পাসের ধরন, আপনার আগে তৈরি করা প্রম্পট টেমপ্লেট এবং প্রশ্ন:
question = "When can I visit the AWS M&E Customer Experience Center in New York City?" tg_tokenizer.add_special_tokens( {"pad_token": "[PAD]"} )
tg_tokenizer.padding_side = "left" tg_pipe = transformers.pipeline(task='text-generation', model=tg_model, tokenizer=tg_tokenizer, num_return_sequences=1, eos_token_id=tg_tokenizer.eos_token_id, pad_token_id=tg_tokenizer.eos_token_id, max_new_tokens=400, temperature=0.7) from langchain.chains import LLMChain
from langchain.llms import HuggingFacePipeline llm=HuggingFacePipeline(pipeline=tg_pipe, model_kwargs={'temperature':0.7})
llm_chain = LLMChain(llm=llm, prompt=prompt_template)
no_context_response = llm_chain.predict(context="", question=question)
print(no_context_response)
আমরা নিম্নলিখিত উত্পন্ন উত্তর পেতে:
পৌঁছানোর জন্য আপনাকে ধন্যবাদ! নিউ ইয়র্ক সিটির AWS M&E গ্রাহক অভিজ্ঞতা কেন্দ্র বর্তমানে COVID-19 মহামারীর কারণে পরিদর্শনের জন্য বন্ধ রয়েছে। যাইহোক, কেন্দ্রটি কবে খুলবে তার কোনো আপডেটের জন্য আপনি তাদের অফিসিয়াল ওয়েবসাইট বা সোশ্যাল মিডিয়া অ্যাকাউন্ট চেক করতে পারেন। ইতিমধ্যে, আপনি তাদের ভার্চুয়াল ট্যুর এবং অনলাইনে উপলব্ধ সংস্থানগুলি অন্বেষণ করতে পারেন৷
প্রম্পটে প্রসঙ্গ যোগ করে উত্তরটি উন্নত করুন
আমরা যে উত্তর তৈরি করেছি তা সম্পূর্ণ সত্য নয়। আসুন দেখি আমরা কিছু প্রসঙ্গ প্রদান করে এটিকে উন্নত করতে পারি কিনা। আপনি পোস্ট থেকে একটি নির্যাস যোগ করতে পারেন AWS নিউ ইয়র্কে নতুন M&E গ্রাহক অভিজ্ঞতা কেন্দ্র ঘোষণা করেছে, যা 2023 থেকে বিষয়ের আপডেট অন্তর্ভুক্ত করে:
context = """Media and entertainment (M&E) customers continue to face challenges in creating more content, more quickly, and distributing it to more endpoints than ever before in their quest to delight viewers globally. Amazon Web Services (AWS), along with AWS Partners, have showcased the rapid evolution of M&E solutions for years at industry events like the National Association of Broadcasters (NAB) Show and the International Broadcast Convention (IBC). Until now, AWS for M&E technology demonstrations were accessible in this way just a few weeks out of the year. Customers are more engaged than ever before; they want to have higher quality conversations regarding user experience and media tooling. These conversations are best supported by having an interconnected solution architecture for reference. Scheduling a visit of the M&E Customer Experience Center will be available starting November 13th, please send an email to AWS-MediaEnt-CXC@amazon.com."""
আবার LLMCchain ব্যবহার করুন এবং প্রসঙ্গ হিসাবে পূর্ববর্তী পাঠ্যটি পাস করুন:
context_response = llm_chain.predict(context=context, question=question)
print(context_response)
নতুন প্রতিক্রিয়া আপ-টু-ডেট তথ্য সহ প্রশ্নের উত্তর দেয়:
আপনি 13 নভেম্বর থেকে নিউ ইয়র্ক সিটিতে AWS M&E গ্রাহক অভিজ্ঞতা কেন্দ্রে যেতে পারেন। একটি পরিদর্শন নির্ধারণ করতে AWS-MediaEnt-CXC@amazon.com এ একটি ইমেল পাঠান।
আমরা নিশ্চিত করেছি যে সঠিক প্রসঙ্গ যোগ করে, মডেলের কর্মক্ষমতা উন্নত হয়েছে। এখন আপনি জিজ্ঞাসা করা প্রশ্নের জন্য সঠিক প্রসঙ্গ খোঁজার এবং যোগ করার জন্য আপনার প্রচেষ্টাকে ফোকাস করতে পারেন। অন্য কথায়, RAG বাস্তবায়ন করুন।
BGE এম্বেডিং এবং পাইনকোনের সাথে RAG প্রশ্নের উত্তর প্রয়োগ করুন
এই মুহুর্তে, মডেলের জ্ঞান বাড়ানোর জন্য আপনাকে অবশ্যই তথ্যের উত্সগুলির বিষয়ে সিদ্ধান্ত নিতে হবে। এই উত্সগুলি আপনার প্রতিষ্ঠানের অভ্যন্তরীণ ওয়েবপৃষ্ঠা বা নথি, বা সর্বজনীনভাবে উপলব্ধ ডেটা উত্স হতে পারে৷ এই পোস্টের উদ্দেশ্যে এবং সরলতার জন্য, আমরা 2023 সালে প্রকাশিত দুটি AWS ব্লগ পোস্ট বেছে নিয়েছি:
এই পোস্টগুলি ইতিমধ্যেই দ্রুত অ্যাক্সেসের জন্য SageMaker স্টুডিওতে ডেটা প্রকল্প ডিরেক্টরিতে PDF নথি হিসাবে উপলব্ধ। নথিগুলিকে পরিচালনাযোগ্য খণ্ডে ভাগ করতে, আপনি নিযুক্ত করতে পারেন রিকার্সিভ ক্যারেক্টার টেক্সট স্প্লিটার ল্যাংচেইন থেকে পদ্ধতি:
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.document_loaders import PyPDFDirectoryLoader loader = PyPDFDirectoryLoader("./data/") documents = loader.load() text_splitter=RecursiveCharacterTextSplitter( chunk_size=1000, chunk_overlap=5
)
docs = text_splitter.split_documents(documents)
এরপরে, BGE এম্বেডিং মডেল ব্যবহার করুন bge-small-en দ্বারা নির্মিত বেইজিং একাডেমি অফ আর্টিফিশিয়াল ইন্টেলিজেন্স (BAAI) যেটি এই খণ্ডগুলির এমবেডিং তৈরি করতে আলিঙ্গন মুখে উপলব্ধ। স্টুডিওতে স্থানীয় ডিরেক্টরিতে মডেলটি ডাউনলোড করুন এবং সংরক্ষণ করুন। আমরা fp32 ব্যবহার করি যাতে এটি উদাহরণের CPU-তে চলতে পারে।
em_model_name = "BAAI/bge-small-en"
em_model_path = f"./em-model" from transformers import AutoModel
# Load model from HuggingFace Hub
em_model = AutoModel.from_pretrained(em_model_name,torch_dtype=torch.float32)
em_tokenizer = AutoTokenizer.from_pretrained(em_model_name,device="cuda") # save model to disk
em_tokenizer.save_pretrained(save_directory=f"{em_model_path}/model",from_pt=True)
em_model.save_pretrained(save_directory=f"{em_model_path}/model",from_pt=True)
em_model.eval()
একটি embedding_generator ফাংশন তৈরি করতে নিম্নলিখিত কোডটি ব্যবহার করুন, যা নথির অংশগুলিকে ইনপুট হিসাবে নেয় এবং BGE মডেল ব্যবহার করে এমবেডিং তৈরি করে:
# Tokenize sentences
def tokenize_text(_input, device): return em_tokenizer( [_input], padding=True, truncation=True, return_tensors='pt' ).to(device) # Run embedding task as a function with model and text sentences as input
def embedding_generator(_input, normalize=True): # Compute token embeddings with torch.no_grad(): embedded_output = em_model( **tokenize_text( _input, em_model.device ) ) sentence_embeddings = embedded_output[0][:, 0] # normalize embeddings if normalize: sentence_embeddings = torch.nn.functional.normalize( sentence_embeddings, p=2, dim=1 ) return sentence_embeddings[0, :].tolist() sample_sentence_embedding = embedding_generator(docs[0].page_content)
print(f"Embedding size of the document --->", len(sample_sentence_embedding))
এই পোস্টে, আমরা পাইনকোন ব্যবহার করে একটি RAG ওয়ার্কফ্লো প্রদর্শন করি, একটি পরিচালিত, ক্লাউড-নেটিভ ভেক্টর ডাটাবেস যে একটি প্রস্তাব এপিআই মিল অনুসন্ধানের জন্য। আপনি আপনার পছন্দের ভেক্টর ডাটাবেস ব্যবহার করতে নিম্নলিখিত কোডটি পুনরায় লিখতে পারেন।
আমরা একটি আরম্ভ করা পাইনকোন পাইথন ক্লায়েন্ট এবং এমবেডিং মডেলের আউটপুট দৈর্ঘ্য ব্যবহার করে একটি নতুন ভেক্টর অনুসন্ধান সূচক তৈরি করুন। আমরা পূর্ববর্তী ধাপে তৈরি করা এমবেডিংগুলি গ্রহণ করতে LangChain এর অন্তর্নির্মিত Pinecone ক্লাস ব্যবহার করি। এটির তিনটি পরামিতি প্রয়োজন: প্রবেশ করার জন্য নথি, এমবেডিং জেনারেটর ফাংশন এবং পাইনকোন সূচকের নাম।
import pinecone
pinecone.init( api_key = os.environ["PINECONE_API_KEY"], environment = os.environ["PINECONE_ENV"]
)
#check if index already exists, if not we create it
index_name = "rag-index"
if index_name not in pinecone.list_indexes(): pinecone.create_index( name=index_name, dimension=len(sample_sentence_embedding), ## 384 for bge-small-en metric='cosine' ) #insert the embeddings
from langchain.vectorstores import Pinecone
vector_store = Pinecone.from_documents( docs, embedding_generator, index_name=index_name
)
Llama-2 7B চ্যাট মডেল মেমরিতে লোড করা হয়েছে এবং Pinecone সূচকে এম্বেডিংগুলি একত্রিত হয়েছে, আপনি এখন আমাদের প্রশ্ন-উত্তর ব্যবহারের ক্ষেত্রে Llama 2 এর প্রতিক্রিয়াগুলিকে উন্নত করতে এই উপাদানগুলিকে একত্রিত করতে পারেন। এটি অর্জন করতে, আপনি LangChain নিয়োগ করতে পারেন RetrievalQA, যা ভেক্টর স্টোর থেকে সবচেয়ে অনুরূপ নথিগুলির সাথে প্রাথমিক প্রম্পটকে বাড়িয়ে তোলে। সেট করে return_source_documents=True
, আপনি প্রতিক্রিয়ার অংশ হিসাবে উত্তর তৈরি করতে ব্যবহৃত সঠিক নথিগুলিতে দৃশ্যমানতা অর্জন করেন, আপনাকে উত্তরের যথার্থতা যাচাই করার অনুমতি দেয়।
from langchain.chains import RetrievalQA
import textwrap #helper method to improve the readability of the response
def print_response(llm_response): temp = [textwrap.fill(line, width=100) for line in llm_response['result'].split('n')] response = 'n'.join(temp) print(f"{llm_response['query']}n n{response}'n n Source Documents:") for source in llm_response["source_documents"]: print(source.metadata) llm_qa_chain = RetrievalQA.from_chain_type( llm=llm, #the Llama-2 7b chat model chain_type='stuff', retriever=vector_store.as_retriever(search_kwargs={"k": 2}), # perform similarity search in Pinecone return_source_documents=True, #show the documents that were used to answer the question chain_type_kwargs={"prompt": prompt_template}
)
print_response(llm_qa_chain(question))
আমরা নিম্নলিখিত উত্তর পেতে:
প্রশ্ন: আমি কখন নিউ ইয়র্ক সিটিতে AWS M&E গ্রাহক অভিজ্ঞতা কেন্দ্রে যেতে পারি?
উত্তর: আমি সাহায্য করতে পেরে খুশি! প্রসঙ্গ অনুসারে, নিউ ইয়র্ক সিটির AWS M&E গ্রাহক অভিজ্ঞতা কেন্দ্র 13 নভেম্বর থেকে পরিদর্শনের জন্য উপলব্ধ হবে। আপনি একটি ভিজিট নির্ধারণ করতে AWS-MediaEnt-CXC@amazon.com এ একটি ইমেল পাঠাতে পারেন।'
নথির উৎস:
{'পৃষ্ঠা': 4.0, 'উৎস': 'ডেটা/AWS নিউ ইয়র্ক সিটিতে নতুন M&E গ্রাহক অভিজ্ঞতা কেন্দ্র ঘোষণা করেছে _ M&E Blog.pdf-এর জন্য AWS'}
{'পৃষ্ঠা': 2.0, 'উৎস': 'ডেটা/AWS নিউ ইয়র্ক সিটিতে নতুন M&E গ্রাহক অভিজ্ঞতা কেন্দ্র ঘোষণা করেছে _ M&E Blog.pdf-এর জন্য AWS'}
আসুন একটি ভিন্ন প্রশ্ন চেষ্টা করুন:
question2=" How many awards have AWS Media Services won in 2023?"
print_response(llm_qa_chain(question2))
আমরা নিম্নলিখিত উত্তর পেতে:
প্রশ্ন: 2023 সালে AWS মিডিয়া সার্ভিস কতটি পুরস্কার জিতেছে?
উত্তর: ব্লগ পোস্ট অনুসারে, AWS মিডিয়া সার্ভিসেস 2023 সালে পাঁচটি শিল্প পুরস্কার জিতেছে।'
নথির উৎস:
{'পৃষ্ঠা': 0.0, 'উৎস': 'ডেটা/এডব্লিউএস মিডিয়া সার্ভিসেস ইন্ডাস্ট্রি পুরস্কৃত করেছে _ M&E Blog.pdf এর জন্য AWS'}
{'পৃষ্ঠা': 1.0, 'উৎস': 'ডেটা/এডব্লিউএস মিডিয়া সার্ভিসেস ইন্ডাস্ট্রি পুরস্কৃত করেছে _ M&E Blog.pdf এর জন্য AWS'}
আপনি পর্যাপ্ত আত্মবিশ্বাস প্রতিষ্ঠা করার পরে, আপনি মডেলগুলি স্থাপন করতে পারেন রিয়েল-টাইম ইনফারেন্সের জন্য সেজমেকার এন্ডপয়েন্ট. এই শেষ পয়েন্টগুলি সম্পূর্ণরূপে পরিচালিত হয় এবং স্বয়ংক্রিয় স্কেলিং এর জন্য সমর্থন প্রদান করে।
সেজমেকার লার্জ মডেল ইনফারেন্স কনটেইনার (LMIs) ব্যবহার করে বড় মডেলের অনুমান অফার করে, যা আমরা আমাদের মডেলগুলি স্থাপন করতে ব্যবহার করতে পারি। এই কন্টেইনারগুলি ডিপস্পিডের মতো পূর্ব থেকে ইনস্টল করা ওপেন সোর্স লাইব্রেরিগুলির সাথে সজ্জিত, অনুমানের সময় টেনসর সমান্তরালতার মতো কর্মক্ষমতা-বর্ধক কৌশলগুলি বাস্তবায়নে সহায়তা করে। উপরন্তু, তারা একটি পূর্ব-নির্মিত সমন্বিত মডেল সার্ভার হিসাবে DJLSserving ব্যবহার করে। ডিজেএলসেভিং এটি একটি উচ্চ-কর্মক্ষমতা, সর্বজনীন মডেল-সার্ভিং সলিউশন যা গতিশীল ব্যাচিং এবং কর্মী স্বয়ংক্রিয় স্কেলিং এর জন্য সমর্থন প্রদান করে, যার ফলে থ্রুপুট বৃদ্ধি পায়।
আমাদের পদ্ধতিতে, আমরা চলমান SageMaker এন্ডপয়েন্টগুলিতে Llama-2-চ্যাট 7b এবং BGE মডেলগুলি স্থাপন করতে DJLSserving এবং DeepSpeed Inference সহ SageMaker LMI ব্যবহার করি ml.g5.2xlarge
দৃষ্টান্ত, রিয়েল-টাইম অনুমান সক্ষম করে। আপনি যদি এই পদক্ষেপগুলি নিজে অনুসরণ করতে চান, তাহলে সহকারী পড়ুন নোটবই বিস্তারিত নির্দেশাবলীর জন্য
আপনি দুটি প্রয়োজন হবে ml.g5.2xlarge
স্থাপনার উদাহরণ। আপনার কোটা পর্যালোচনা বা বৃদ্ধি করতে, AWS পরিষেবা কোটা কনসোল খুলুন, নির্বাচন করুন এডব্লিউএস পরিষেবাদি নেভিগেশন ফলকে, নির্বাচন করুন আমাজন সেজমেকার, এবং এর জন্য মান পড়ুন ml.g5.2xlarge
এন্ডপয়েন্ট ব্যবহারের জন্য।
নিম্নলিখিত পদক্ষেপগুলি SageMaker এন্ডপয়েন্টে RAG ওয়ার্কফ্লো-এর জন্য কাস্টম মডেল স্থাপনের প্রক্রিয়ার রূপরেখা দেয়:
- স্থাপন করুন লামা-2 7 খ একটি SageMaker রিয়েল-টাইম এন্ডপয়েন্ট একটি চলমান চ্যাট মডেল
ml.g5.2xlarge
দ্রুত পাঠ্য প্রজন্মের জন্য উদাহরণ। - স্থাপন করুন BAAI/bge-small-en-v1.5 একটি SageMaker রিয়েল-টাইম এন্ডপয়েন্টে এম্বেডিং মডেল একটি চলছে
ml.g5.2xlarge
দৃষ্টান্ত. বিকল্পভাবে, আপনি আপনার নিজস্ব এমবেডিং মডেল স্থাপন করতে পারেন। - একটি প্রশ্ন জিজ্ঞাসা করুন এবং LangChain ব্যবহার করুন RetrievalQA এইবার সেজমেকার রিয়েল-টাইম এন্ডপয়েন্টে মোতায়েন করা মডেলটি ব্যবহার করে, Pinecone থেকে সবচেয়ে অনুরূপ নথিগুলির সাথে প্রম্পটটি বাড়ানোর জন্য:
# convert your local LLM into SageMaker endpoint LLM
llm_sm_ep = SagemakerEndpoint( endpoint_name=tg_sm_model.endpoint_name, # <--- Your text-gen model endpoint name region_name=region, model_kwargs={ "temperature": 0.05, "max_new_tokens": 512 }, content_handler=content_handler,
) llm_qa_smep_chain = RetrievalQA.from_chain_type( llm=llm_sm_ep, # <--- This uses SageMaker Endpoint model for inference chain_type='stuff', retriever=vector_store.as_retriever(search_kwargs={"k": 2}), return_source_documents=True, chain_type_kwargs={"prompt": prompt_template}
)
- এম্বেডিং মডেলের সাথে SageMaker এন্ডপয়েন্ট প্রত্যাশিতভাবে কাজ করে তা যাচাই করতে LangChain ব্যবহার করুন যাতে ভবিষ্যতে ডকুমেন্ট ইনজেশনের জন্য এটি ব্যবহার করা যেতে পারে:
response_model = smr_client.invoke_endpoint( EndpointName=em_sm_model.endpoint_name, <--- Your embedding model endpoint name Body=json.dumps({ "text": "This is a sample text" }), ContentType="application/json",
) outputs = json.loads(response_model["Body"].read().decode("utf8"))['outputs']
পরিষ্কার কর
আপনার সংস্থানগুলি পরিষ্কার করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- আপনি যখন আপনার সেজমেকার স্টুডিও নোটবুকে কাজ শেষ করেছেন, তখন নিশ্চিত হয়ে নিন যে আপনি বন্ধ করুন
ml.g5.2xlarge
স্টপ আইকন নির্বাচন করে কোনো চার্জ এড়াতে উদাহরণ। আপনি সেট আপ করতে পারেন জীবনচক্র কনফিগারেশন স্ক্রিপ্ট সম্পদগুলি যখন ব্যবহার করা হয় না তখন স্বয়ংক্রিয়ভাবে বন্ধ করতে।
- আপনি যদি SageMaker এন্ডপয়েন্টে মডেলগুলি স্থাপন করেন, তাহলে শেষ পয়েন্টগুলি মুছতে নোটবুকের শেষে নিম্নলিখিত কোডটি চালান:
#delete your text generation endpoint
sm_client.delete_endpoint( EndpointName=tg_sm_model.endpoint_name
)
# delete your text embedding endpoint
sm_client.delete_endpoint( EndpointName=em_sm_model.endpoint_name
)
- অবশেষে, পাইনকোন সূচক মুছে ফেলার জন্য নিম্নলিখিত লাইনটি চালান:
pinecone.delete_index(index_name)
উপসংহার
সেজমেকার নোটবুকগুলি পুনরুদ্ধার অগমেন্টেড জেনারেশনের সাথে আপনার যাত্রা শুরু করার একটি সহজ উপায় প্রদান করে। তারা আপনাকে অতিরিক্ত পরিকাঠামো না ঘুরিয়ে বিভিন্ন মডেল, কনফিগারেশন এবং প্রশ্নগুলির সাথে ইন্টারেক্টিভভাবে পরীক্ষা করার অনুমতি দেয়। এই পোস্টে, আমরা LangChain, BGE এম্বেডিং মডেল এবং Pinecone ব্যবহার করে একটি প্রশ্নের উত্তর দেওয়ার ক্ষেত্রে Llama 2 7b চ্যাটের কার্যকারিতা কীভাবে বাড়ানো যায় তা দেখিয়েছি। শুরু করতে, সেজমেকার স্টুডিও চালু করুন এবং চালান নোটবই নিম্নলিখিত পাওয়া যায় গিটহুব রেপো. মন্তব্য বিভাগে আপনার চিন্তা শেয়ার করুন!
লেখক সম্পর্কে
আনাস্তাসিয়া জেভেলেকা AWS-এর একজন মেশিন লার্নিং এবং এআই স্পেশালিস্ট সলিউশন আর্কিটেক্ট। তিনি EMEA-তে গ্রাহকদের সাথে কাজ করেন এবং AWS পরিষেবাগুলি ব্যবহার করে স্কেলে মেশিন লার্নিং সমাধানগুলিকে আর্কিটেক্ট করতে সাহায্য করেন৷ তিনি ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (NLP), MLOps এবং লো কোড নো কোড টুল সহ বিভিন্ন ডোমেনে প্রকল্পে কাজ করেছেন।
প্রণব মূর্তি AWS-এর একজন AI/ML স্পেশালিস্ট সলিউশন আর্কিটেক্ট। তিনি গ্রাহকদের সেজমেকারে মেশিন লার্নিং (এমএল) কাজের চাপ তৈরি, প্রশিক্ষণ, স্থাপন এবং স্থানান্তর করতে সহায়তা করার দিকে মনোনিবেশ করেন। তিনি পূর্বে সেমিকন্ডাক্টর প্রসেস উন্নত করতে বড় কম্পিউটার ভিশন (সিভি) এবং ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (এনএলপি) মডেল তৈরি করে সেমিকন্ডাক্টর শিল্পে কাজ করেছেন। তার অবসর সময়ে, তিনি দাবা খেলা এবং ভ্রমণ উপভোগ করেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/use-amazon-sagemaker-studio-to-build-a-rag-question-answering-solution-with-llama-2-langchain-and-pinecone-for-fast-experimentation/
- : আছে
- : হয়
- :না
- :কোথায়
- $ ইউপি
- 1
- 10
- 100
- 13
- 16
- 2023
- 33
- 500
- 7
- a
- AC
- শিক্ষায়তন
- প্রবেশ
- ডেটাতে অ্যাক্সেস
- প্রবেশযোগ্য
- অনুযায়ী
- হিসাব
- অ্যাকাউন্টস
- সঠিকতা
- সঠিক
- অর্জন করা
- যোগ
- যোগ
- অতিরিক্ত
- উপরন্তু
- মেনে চলে
- আবার
- AI
- এআই / এমএল
- অনুমতি
- অনুমতি
- অনুমতি
- বরাবর
- ইতিমধ্যে
- এছাড়াও
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- অ্যামাজন সেজমেকার স্টুডিও
- অ্যামাজন ওয়েব সার্ভিসেস
- আমাজন ওয়েব সার্ভিসেস (এডব্লিউএস)
- an
- এবং
- ঘোষণা
- উত্তর
- উত্তর
- কোন
- API গুলি
- অ্যাপ্লিকেশন
- অ্যাপ্লিকেশন
- অভিগমন
- অ্যাপস
- স্থাপত্য
- রয়েছি
- কৃত্রিম
- কৃত্রিম বুদ্ধিমত্তা
- AS
- জিজ্ঞাসা করা
- পরিমাপ করা
- সহায়ক
- এসোসিয়েশন
- অনুমান
- At
- বৃদ্ধি
- উদ্দীপিত
- বৃদ্ধি
- প্রমাণীকরণ
- গাড়ী
- স্বয়ংক্রিয়ভাবে
- সহজলভ্য
- এড়াতে
- দত্ত
- পুরষ্কার
- ডেস্কটপ AWS
- ভিত্তি
- BE
- হয়েছে
- আগে
- সর্বোত্তম
- উত্তম
- ব্লগ
- ব্লগ এর লেখাগুলো
- শরীর
- ব্রডকাস্ট
- নির্মাণ করা
- বিল্ট-ইন
- by
- CAN
- কেস
- মামলা
- কেন্দ্র
- চেন
- চেইন
- চ্যালেঞ্জ
- চার্জ
- চেক
- দাবা
- বেছে নিন
- নির্বাচন
- মনোনীত
- শহর
- শ্রেণী
- পরিষ্কার
- ক্লিক
- বন্ধ
- কোড
- সহযোগিতা করা
- সহকর্মীদের
- এর COM
- মেশা
- সম্মিলন
- আসা
- আসে
- মন্তব্য
- সম্পূর্ণ
- গনা
- কম্পিউটার
- কম্পিউটার ভিশন
- সংক্ষিপ্ত
- বিশ্বাস
- কনফিগারেশন
- নিশ্চিত
- গঠিত
- কনসোল
- কন্টেনারগুলি
- বিষয়বস্তু
- প্রসঙ্গ
- অবিরত
- সম্মেলন
- কথোপকথন
- রূপান্তর
- অনুরূপ
- পারা
- COVID -19
- COVID-19 মহামারী
- সৃষ্টি
- নির্মিত
- তৈরি করা হচ্ছে
- এখন
- প্রথা
- ক্রেতা
- গ্রাহক অভিজ্ঞতা
- গ্রাহকদের
- উপাত্ত
- ডেটাবেস
- ডাটাবেস
- সিদ্ধান্ত নেন
- ডিফল্ট
- আমোদ
- প্রদর্শন
- প্রদর্শিত
- নির্ভরতা
- স্থাপন
- মোতায়েন
- মোতায়েন
- বিস্তৃতি
- বিশদ
- উন্নয়নশীল
- উন্নয়ন
- যন্ত্র
- কথোপকথন
- বিভিন্ন
- আলোচনা করা
- বিভাজক
- বিভক্ত করা
- দলিল
- কাগজপত্র
- ডোমেইন
- ডোমেইনের
- ডন
- Dont
- নিচে
- ডাউনলোড
- কারণে
- সময়
- প্রগতিশীল
- e
- পূর্বে
- সহজে
- প্রচেষ্টা
- উপাদান
- ইমেইল
- এম্বেডিং
- EMEA
- সম্ভব
- সক্রিয়
- শেষ
- শেষপ্রান্ত
- জড়িত
- উন্নত করা
- বিনোদন
- সম্পূর্ণরূপে
- পরিবেশ
- সজ্জিত
- প্রতিষ্ঠিত
- ঘটনাবলী
- কখনো
- বিবর্তন
- উদাহরণ
- বিদ্যমান
- আশা করা
- প্রত্যাশিত
- অভিজ্ঞতা
- পরীক্ষা
- অন্বেষণ করুণ
- বহিরাগত
- নির্যাস
- মুখ
- সুবিধা
- দ্রুত
- দ্রুততম
- বৈশিষ্ট্য
- কয়েক
- চূড়ান্ত
- আবিষ্কার
- প্রথম
- প্রথমবার
- পাঁচ
- কেন্দ্রবিন্দু
- গুরুত্ত্ব
- অনুসরণ করা
- অনুসরণ
- জন্য
- ফর্ম
- বিন্যাস
- অগ্রবর্তী
- বিনামূল্যে
- বন্ধুত্বপূর্ণ
- থেকে
- সম্পূর্ণরূপে
- ক্রিয়া
- কার্মিক
- ভবিষ্যৎ
- লাভ করা
- উত্পাদন করা
- উত্পন্ন
- উত্পন্ন
- প্রজন্ম
- সৃজক
- জেনারেটিভ এআই
- উত্পাদক
- পাওয়া
- বিশ্বব্যাপী
- গোল
- চালু
- জিপিইউ
- মঞ্জুর
- খুশি
- আছে
- জমিদারি
- he
- সাহায্য
- সহায়ক
- সাহায্য
- সাহায্য
- উচ্চস্তর
- উচ্চ পারদর্শিতা
- ঊর্ধ্বতন
- তার
- আঘাত
- কিভাবে
- কিভাবে
- যাহোক
- এইচটিএমএল
- HTTPS দ্বারা
- নাভি
- জড়িয়ে আছে
- i
- IBC
- আইকন
- ID
- পরিচয়
- if
- প্রকাশ
- ভাবমূর্তি
- বাস্তবায়ন
- বাস্তবায়ন
- বাস্তবায়ন
- আমদানি
- উন্নত করা
- উন্নত
- উন্নত
- in
- অন্যান্য
- অন্তর্ভুক্ত
- সুদ্ধ
- বৃদ্ধি
- ক্রমবর্ধমান
- সূচক
- শিল্প
- শিল্প ইভেন্টস
- তথ্য
- পরিকাঠামো
- প্রারম্ভিক
- ইনপুট
- ইনস্টল
- উদাহরণ
- নির্দেশাবলী
- সংহত
- বুদ্ধিমত্তা
- আন্তঃসংযুক্ত
- অভ্যন্তরীণ
- আন্তর্জাতিক
- Internet
- ইন্টারনেট সুবিধা
- মধ্যে
- IT
- এর
- যাত্রা
- JPG
- JSON
- মাত্র
- রাখা
- কী
- জানা
- জ্ঞান
- ভাষা
- বড়
- শুরু করা
- শিক্ষা
- বাম
- লম্বা
- উচ্চতা
- লাইব্রেরি
- মত
- LIMIT টি
- লাইন
- শিখা
- LLM
- বোঝা
- লোডার
- স্থানীয়
- কম
- মেশিন
- মেশিন লার্নিং
- করা
- পরিচালনাযোগ্য
- পরিচালিত
- অনেক
- ম্যাচিং
- সর্বাধিক
- ইতিমধ্যে
- মিডিয়া
- স্মৃতি
- মেটা
- মেটাডাটা
- পদ্ধতি
- মাইগ্রেট
- ML
- এমএলওএস
- মডেল
- মডেল
- অধিক
- সেতু
- অবশ্যই
- NAB
- নাম
- জাতীয়
- প্রাকৃতিক
- স্বাভাবিক ভাষা প্রক্রিয়াকরণ
- নেভিগেট করুন
- ন্যাভিগেশন
- প্রয়োজনীয়
- প্রয়োজন
- চাহিদা
- নতুন
- নতুন অ্যাক্সেস
- নিউ ইয়র্ক
- নিউ ইয়র্ক সিটি
- পরবর্তী
- NLP
- না।
- নোটবই
- নভেম্বর
- এখন
- of
- অর্পণ
- অফার
- কর্মকর্তা
- সরকারী ওয়েবসাইট
- on
- ONE
- অনলাইন
- খোলা
- ওপেন সোর্স
- অপ্টিমাইজ
- পছন্দ
- অপশন সমূহ
- or
- সংগঠন
- OS
- অন্যান্য
- আমাদের
- বাইরে
- রূপরেখা
- আউটপুট
- আউটপুট
- নিজের
- প্যাড
- পৃষ্ঠা
- পৃথিবীব্যাপি
- শার্সি
- পরামিতি
- অংশ
- অংশীদারদের
- পাস
- পিডিএফ
- সম্পাদন করা
- কর্মক্ষমতা
- অনুমতি
- ফেজ
- টুকরা
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- কেলি
- দয়া করে
- পোস্ট
- পোস্ট
- পছন্দের
- বর্তমান
- আগে
- পূর্বে
- প্রক্রিয়া
- প্রসেস
- প্রক্রিয়াজাতকরণ
- প্রোফাইল
- প্রকল্প
- প্রকল্প
- প্রোটোটাইপ
- প্রোটোটাইপিং
- প্রদান
- প্রদানের
- প্রকাশ্য
- প্রকাশ্যে
- প্রকাশিত
- উদ্দেশ্য
- পাইথন
- পাইটার্চ
- গুণ
- খোঁজা
- প্রশ্ন
- প্রশ্ন
- দ্রুত
- দ্রুত
- দ্রুত
- দ্রুত
- পৌঁছনো
- প্রকৃত সময়
- সাম্প্রতিক
- প্রণালী
- পড়ুন
- উল্লেখ
- সংক্রান্ত
- প্রাসঙ্গিক
- পুনরায় খোলা
- প্রয়োজন
- প্রয়োজনীয়
- আবশ্যকতা
- প্রয়োজন
- Resources
- প্রতিক্রিয়া
- প্রতিক্রিয়া
- ফল
- জীবনবৃত্তান্ত
- প্রত্যাবর্তন
- এখানে ক্লিক করুন
- অধিকার
- ভূমিকা
- চালান
- দৌড়
- ঋষি নির্মাতা
- হেতু
- একই
- সংরক্ষণ করুন
- সংরক্ষিত
- বলা
- স্কেল
- আরোহী
- তফসিল
- পূর্বপরিকল্পনা
- সার্চ
- অনুসন্ধান
- দ্বিতীয়
- বিভাগে
- দেখ
- অর্ধপরিবাহী
- পাঠান
- প্রেরিত
- সার্ভার
- সেবা
- সেবা
- সেট
- বিন্যাস
- শেয়ার
- সে
- প্রদর্শনী
- শোকেস
- দেখিয়েছেন
- বন্ধ
- বন্ধ করুন
- অনুরূপ
- সরলতা
- একক
- আয়তন
- So
- সামাজিক
- সামাজিক মাধ্যম
- সমাধান
- সলিউশন
- কিছু
- উৎস
- সোর্স
- বিশেষজ্ঞ
- নির্দিষ্ট
- বিশেষভাবে
- স্বতন্ত্র
- শুরু
- শুরু
- শুরু হচ্ছে
- স্থির
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- থামুন
- দোকান
- সঞ্চিত
- দোকান
- অকপট
- চিত্রশালা
- এমন
- যথেষ্ট
- সমর্থন
- সমর্থিত
- নিশ্চিত
- দ্রুতগতিতে
- লাগে
- কার্য
- কাজ
- প্রযুক্তি
- প্রযুক্তিঃ
- টেমপ্লেট
- পাঠ
- চেয়ে
- যে
- সার্জারির
- তাদের
- তাহাদিগকে
- সেখানে।
- যার ফলে
- এইগুলো
- তারা
- এই
- তিন
- দ্বারা
- থ্রুপুট
- সময়
- থেকে
- টোকেন
- টোকেনাইজ
- সরঞ্জাম
- বিষয়
- মশাল
- টাওয়ার
- রেলগাড়ি
- ট্রান্সফরমার
- রূপান্তর
- ভ্রমণ
- সত্য
- চেষ্টা
- দুই
- আদর্শ
- ধরনের
- টিপিক্যাল
- সাধারণত
- অধীনে
- সার্বজনীন
- পর্যন্ত
- আলোচ্য সময় পর্যন্ত
- আপডেট
- ব্যবহার
- ব্যবহার
- ব্যবহার ক্ষেত্রে
- ব্যবহৃত
- ব্যবহারকারী
- ব্যবহারকারীর অভিজ্ঞতা
- ব্যবহারসমূহ
- ব্যবহার
- সদ্ব্যবহার করা
- মূল্য
- বিভিন্ন
- প্রতিপাদন
- যাচাই
- সংস্করণ
- মাধ্যমে
- দর্শকদের
- ভার্চুয়াল
- ভার্চুয়াল ট্যুর
- দৃষ্টিপাত
- দৃষ্টি
- দেখুন
- ভিজিট
- পদব্রজে ভ্রমণ
- প্রয়োজন
- উপায়..
- we
- ওয়েব
- ওয়েব সার্ভিস
- ওয়েবসাইট
- সপ্তাহ
- ছিল
- কখন
- যখনই
- যে
- যখন
- ইচ্ছা
- সঙ্গে
- মধ্যে
- ছাড়া
- ওঁন
- শব্দ
- হয়া যাই ?
- কাজ করছে
- কর্মী
- কর্মপ্রবাহ
- কাজ
- কাজ
- বছর
- বছর
- ইয়র্ক
- আপনি
- আপনার
- নিজেকে
- zephyrnet