অ্যামাজন বেডরকের জন্য জ্ঞানের ভিত্তি সহ ড্রাগ আবিষ্কারের জন্য RAG ব্যবহার করুন | আমাজন ওয়েব সার্ভিসেস

আমাজন বেডরক অ্যানথ্রপিক, AI21, মেটা, কোহের এবং স্থিতিশীলতা এআই সহ অ্যামাজন এবং তৃতীয় পক্ষের সরবরাহকারীদের কাছ থেকে মডেলের বিস্তৃত পরিসর সরবরাহ করে এবং পাঠ্য এবং চিত্র তৈরি, এমবেডিং, চ্যাট, উচ্চ-স্তরের এজেন্ট সহ বিস্তৃত ব্যবহারের ক্ষেত্রে কভার করে। যুক্তি এবং অর্কেস্ট্রেশন সহ, এবং আরও অনেক কিছু। আমাজন বেডরকের জন্য জ্ঞানের ভিত্তি AWS এবং থার্ড-পার্টি ভেক্টর স্টোরের উপরে AWS এবং থার্ড-পার্টি মডেল ব্যবহার করে পারফরম্যান্ট এবং কাস্টমাইজড রিট্রিভাল অগমেন্টেড জেনারেশন (RAG) অ্যাপ্লিকেশন তৈরি করতে দেয়। অ্যামাজন বেডরকের জন্য জ্ঞানের ভিত্তিগুলি আপনার ভেক্টর স্টোরের সাথে আপনার ডেটার সিঙ্ক্রোনাইজেশন স্বয়ংক্রিয় করে, এতে আপডেট হওয়ার সময় ডেটার পার্থক্য করা, নথি লোড করা এবং খণ্ডিত করা, সেইসাথে শব্দার্থিক এম্বেডিং সহ। এটি আপনাকে নির্বিঘ্নে আপনার RAG প্রম্পট এবং পুনরুদ্ধারের কৌশলগুলি কাস্টমাইজ করার অনুমতি দেয়—আমরা উত্স অ্যাট্রিবিউশন প্রদান করি এবং আমরা স্বয়ংক্রিয়ভাবে মেমরি পরিচালনা পরিচালনা করি। নলেজ বেস সম্পূর্ণরূপে সার্ভারহীন, তাই আপনাকে কোনো অবকাঠামো পরিচালনা করার প্রয়োজন নেই এবং নলেজ বেস ব্যবহার করার সময়, আপনি যে মডেল, ভেক্টর ডাটাবেস এবং স্টোরেজ ব্যবহার করেন তার জন্য আপনাকে চার্জ করা হবে।

RAG হল একটি জনপ্রিয় কৌশল যা বৃহৎ ভাষা মডেল (LLMs) এর সাথে ব্যক্তিগত ডেটা ব্যবহারকে একত্রিত করে। RAG ব্যবহারকারীর প্রশ্নের উপর ভিত্তি করে একটি ডেটা স্টোর (সবচেয়ে একটি ভেক্টর সূচক) থেকে প্রাসঙ্গিক নথি পুনরুদ্ধার করার জন্য একটি প্রাথমিক পদক্ষেপের সাথে শুরু হয়। এটি তখন পুনরুদ্ধার করা নথি এবং মূল প্রশ্ন উভয় বিবেচনা করে একটি প্রতিক্রিয়া তৈরি করার জন্য একটি ভাষা মডেল নিয়োগ করে।

এই পোস্টে, আমরা ড্রাগ আবিষ্কারের ক্ষেত্রে অ্যামাজন বেডরকের জন্য নলেজ বেস ব্যবহার করে কীভাবে একটি RAG ওয়ার্কফ্লো তৈরি করতে হয় তা প্রদর্শন করি।

অ্যামাজন বেডরকের জন্য জ্ঞানের ভিত্তিগুলির ওভারভিউ

আমাজন বেডরকের জন্য জ্ঞানের ভিত্তিগুলি .txt, .docx, .pdf, .csv এবং আরও অনেক কিছু সহ সাধারণ ফাইলের বিস্তৃত পরিসরকে সমর্থন করে৷ ব্যক্তিগত তথ্য থেকে কার্যকর পুনরুদ্ধার সক্ষম করার জন্য, একটি সাধারণ অভ্যাস হল প্রথমে এই নথিগুলিকে পরিচালনাযোগ্য অংশে বিভক্ত করা। নলেজ বেস একটি ডিফল্ট চঙ্কিং কৌশল প্রয়োগ করেছে যা আপনাকে দ্রুত শুরু করার অনুমতি দেওয়ার জন্য বেশিরভাগ ক্ষেত্রেই ভাল কাজ করে। আপনি যদি আরও নিয়ন্ত্রণ চান, জ্ঞানের ভিত্তি আপনাকে পূর্ব-কনফিগার করা বিকল্পগুলির একটি সেটের মাধ্যমে চঙ্কিং কৌশল নিয়ন্ত্রণ করতে দেয়। আপনি এম্বেডিং-এ সুসংগত প্রসঙ্গ প্রদান করতে খণ্ড জুড়ে তৈরি করা সর্বোচ্চ টোকেন আকার এবং ওভারল্যাপের পরিমাণ নিয়ন্ত্রণ করতে পারেন। অ্যামাজন বেডরকের জন্য জ্ঞানের ভিত্তিগুলি আপনার থেকে ডেটা সিঙ্ক্রোনাইজ করার প্রক্রিয়া পরিচালনা করে আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি, এটিকে ছোট খণ্ডে বিভক্ত করে, ভেক্টর এম্বেডিং তৈরি করে এবং এম্বেডিংগুলিকে একটি ভেক্টর সূচকে সংরক্ষণ করে। এই প্রক্রিয়াটি বুদ্ধিমান পার্থক্য, থ্রুপুট এবং ব্যর্থতা ব্যবস্থাপনার সাথে আসে।

রানটাইমে, একটি এম্বেডিং মডেল ব্যবহারকারীর ক্যোয়ারীকে ভেক্টরে রূপান্তর করতে ব্যবহৃত হয়। ভেক্টর সূচী তারপর ব্যবহারকারীর কোয়েরি ভেক্টরের সাথে ডকুমেন্ট ভেক্টরের তুলনা করে ব্যবহারকারীর প্রশ্নের অনুরূপ নথিগুলি খুঁজে বের করার জন্য জিজ্ঞাসা করা হয়। চূড়ান্ত ধাপে, ভেক্টর সূচক থেকে পুনরুদ্ধার করা শব্দার্থগতভাবে অনুরূপ নথিগুলি মূল ব্যবহারকারীর প্রশ্নের প্রসঙ্গ হিসাবে যোগ করা হয়। ব্যবহারকারীর জন্য একটি প্রতিক্রিয়া তৈরি করার সময়, শব্দার্থগতভাবে অনুরূপ নথিগুলিকে টেক্সট মডেলে প্রম্পট করা হয়, ট্রেসেবিলিটির জন্য সোর্স অ্যাট্রিবিউশন সহ।

অ্যামাজন বেডরকের জন্য জ্ঞানের ভিত্তিগুলি একাধিক ভেক্টর ডেটাবেস সমর্থন করে, সহ অ্যামাজন ওপেনসার্চ সার্ভারহীন, অ্যামাজন অরোরা, পাইনকোন, এবং রেডিস এন্টারপ্রাইজ ক্লাউড। Retrieve এবং RetrieveAndGenerate এপিআইগুলি আপনার অ্যাপ্লিকেশনগুলিকে প্রতিটি ভিন্ন ভেক্টর ডাটাবেসের জন্য আলাদা API শিখতে না করেই একটি ইউনিফাইড এবং স্ট্যান্ডার্ড সিনট্যাক্স ব্যবহার করে সরাসরি সূচী জিজ্ঞাসা করার অনুমতি দেয়, আপনার ভেক্টর স্টোরের বিরুদ্ধে কাস্টম সূচক প্রশ্নগুলি লেখার প্রয়োজনীয়তা হ্রাস করে৷ রিট্রিভ এপিআই ইনকামিং ক্যোয়ারী নেয়, এটিকে এম্বেডিং ভেক্টরে রূপান্তর করে এবং ভেক্টর ডাটাবেস লেভেলে কনফিগার করা অ্যালগরিদম ব্যবহার করে ব্যাকএন্ড স্টোরকে জিজ্ঞাসা করে; RetrieveAndGenerate API অ্যামাজন বেডরক দ্বারা প্রদত্ত একটি ব্যবহারকারী-কনফিগার করা এলএলএম ব্যবহার করে এবং প্রাকৃতিক ভাষায় চূড়ান্ত উত্তর তৈরি করে। নেটিভ ট্রেসেবিলিটি সমর্থন অনুরোধকারী অ্যাপ্লিকেশনকে একটি প্রশ্নের উত্তর দিতে ব্যবহৃত উত্স সম্পর্কে অবহিত করে। এন্টারপ্রাইজ বাস্তবায়নের জন্য, নলেজ বেস সমর্থন করে AWS কী ব্যবস্থাপনা পরিষেবা (AWS KMS) এনক্রিপশন, AWS CloudTrail ইন্টিগ্রেশন, এবং আরো.

নিম্নলিখিত বিভাগগুলিতে, আমরা প্রদর্শন করি যে কীভাবে ওষুধ আবিষ্কারের ক্ষেত্রে একটি অসংগঠিত ক্লিনিকাল ট্রায়াল ডেটাসেট বিশ্লেষণ করতে ওপেনসার্চ সার্ভারলেস ভেক্টর ইঞ্জিন দ্বারা সমর্থিত আমাজন বেডরকের জন্য নলেজ বেস ব্যবহার করে একটি RAG ওয়ার্কফ্লো তৈরি করা যায়। এই ডেটা তথ্য সমৃদ্ধ কিন্তু ব্যাপকভাবে ভিন্ন হতে পারে। অন্তর্দৃষ্টি সনাক্ত করতে এবং বিশ্লেষণাত্মক অখণ্ডতা নিশ্চিত করার জন্য বিভিন্ন বিন্যাসে বিশেষ পরিভাষা এবং ধারণাগুলির সঠিক পরিচালনা অপরিহার্য। অ্যামাজন বেডরকের জন্য জ্ঞানের ভিত্তিগুলির সাথে, আপনি সহজ, প্রাকৃতিক প্রশ্নের মাধ্যমে বিস্তারিত তথ্য অ্যাক্সেস করতে পারেন।

অ্যামাজন বেডরকের জন্য একটি জ্ঞানের ভিত্তি তৈরি করুন

এই বিভাগে, আমরা কনসোলের মাধ্যমে অ্যামাজন বেডরকের জন্য একটি জ্ঞানের ভিত্তি তৈরি করার প্রক্রিয়াটি ডেমো করি। নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. অ্যামাজন বেডরক কনসোলে, নীচে অর্কেস্ট্রারচনা নেভিগেশন ফলকে, নির্বাচন করুন জ্ঞানভিত্তিক.
2. বেছে নিন জ্ঞানের ভিত্তি তৈরি করুন.

3. মধ্যে জ্ঞানের ভিত্তি বিবরণ বিভাগে, একটি নাম এবং ঐচ্ছিক বিবরণ লিখুন।
4. মধ্যে IAM অনুমতি অধ্যায়, নির্বাচন করুন একটি নতুন পরিষেবা ভূমিকা তৈরি করুন এবং ব্যবহার করুন.
5. জন্য পরিষেবার নাম ভূমিকা, আপনার ভূমিকার জন্য একটি নাম লিখুন, যা দিয়ে শুরু করতে হবে AmazonBedrockExecutionRoleForKnowledgeBase_.
6. বেছে নিন পরবর্তী.

7. মধ্যে তথ্য সূত্র বিভাগে, আপনার ডেটা উত্স এবং S3 URI-এর জন্য একটি নাম লিখুন যেখানে ডেটাসেটটি বসে। নলেজ বেস নিম্নলিখিত ফাইল ফরম্যাট সমর্থন করে:
   • প্লেইন টেক্সট (.txt)
   • মার্কডাউন (.md)
   • হাইপারটেক্সট মার্কআপ ল্যাঙ্গুয়েজ (.html)
   • Microsoft Word নথি (.doc/.docx)
   • কমা দ্বারা পৃথক করা মান (.csv)
   • মাইক্রোসফট এক্সেল স্প্রেডশীট (.xls/.xlsx)
   • পোর্টেবল ডকুমেন্ট ফরম্যাট (.pdf)

8. অধীনে অতিরিক্ত বিন্যাস¸ আপনার পছন্দের চঙ্কিং কৌশল বেছে নিন (এই পোস্টের জন্য, আমরা বেছে নিই নির্দিষ্ট মাপ খণ্ড) এবং শতাংশে খণ্ডের আকার এবং ওভারলে নির্দিষ্ট করুন। বিকল্পভাবে, আপনি ডিফল্ট সেটিংস ব্যবহার করতে পারেন।
9. বেছে নিন পরবর্তী.

10. মধ্যে এমবেডিং মডেল বিভাগে, অ্যামাজন বেডরক থেকে টাইটান এমবেডিংস মডেল বেছে নিন।
11. মধ্যে ভেক্টর ডাটাবেস অধ্যায়, নির্বাচন করুন দ্রুত একটি নতুন ভেক্টর স্টোর তৈরি করুন, যা একটি ভেক্টর স্টোর সেট আপ করার প্রক্রিয়া পরিচালনা করে।
12. বেছে নিন পরবর্তী.

13. সেটিংস পর্যালোচনা করুন এবং চয়ন করুন জ্ঞানের ভিত্তি তৈরি করুন.

14. জ্ঞান ভিত্তি তৈরি সম্পূর্ণ হওয়ার জন্য অপেক্ষা করুন এবং এটির স্থিতি নিশ্চিত করুন প্রস্তুত.
15. মধ্যে তথ্য সূত্র বিভাগ, বা পৃষ্ঠার শীর্ষে ব্যানারে বা পরীক্ষার উইন্ডোতে পপআপে, নির্বাচন করুন৷ সিঙ্ক S3 বালতি থেকে ডেটা লোড করার প্রক্রিয়াটি ট্রিগার করতে, এটিকে আপনার নির্দিষ্ট করা আকারের খণ্ডে বিভক্ত করা, নির্বাচিত পাঠ্য এমবেডিং মডেল ব্যবহার করে ভেক্টর এম্বেডিং তৈরি করা এবং অ্যামাজন বেডরকের জন্য নলেজ বেস দ্বারা পরিচালিত ভেক্টর স্টোরে সংরক্ষণ করা।

সিঙ্ক ফাংশন Amazon S3 এ নথিতে পরিবর্তনের উপর ভিত্তি করে ভেক্টর সূচক থেকে নথিগুলি গ্রহণ, আপডেট এবং মুছে ফেলা সমর্থন করে৷ এছাড়াও আপনি ব্যবহার করতে পারেন StartIngestionJob AWS SDK এর মাধ্যমে সিঙ্ক ট্রিগার করতে API।

সিঙ্ক সম্পূর্ণ হলে, সিঙ্ক ইতিহাস স্থিতি দেখায় সমাপ্ত

জ্ঞানের ভিত্তি অনুসন্ধান করুন

এই বিভাগে, আমরা প্রদর্শন করি কিভাবে সহজবোধ্য এবং স্বাভাবিক প্রশ্নের মাধ্যমে জ্ঞানের ভিত্তির বিস্তারিত তথ্য অ্যাক্সেস করা যায়। আমরা পিডিএফ ফাইল সমন্বিত একটি অসংগঠিত সিন্থেটিক ডেটাসেট ব্যবহার করি, প্রতিটির পৃষ্ঠা নম্বর 10-100 পৃষ্ঠা থেকে, পরিসংখ্যানগত বিশ্লেষণ পদ্ধতি এবং অংশগ্রহণকারীদের সম্মতি ফর্ম সহ প্রস্তাবিত নতুন ওষুধের একটি ক্লিনিকাল ট্রায়াল পরিকল্পনা অনুকরণ করে। আমরা অ্যামাজন বেডরকের জন্য জ্ঞানের ভিত্তি ব্যবহার করি retrieve_and_generate এবং retrieve এর সাথে API আমাজন বেডরক ল্যাংচেইন ইন্টিগ্রেশন.

অ্যামাজন বেডরক এপিআই ব্যবহার করে এমন স্ক্রিপ্ট লেখার আগে, আপনাকে আপনার পরিবেশে AWS SDK-এর উপযুক্ত সংস্করণ ইনস্টল করতে হবে। পাইথন স্ক্রিপ্টের জন্য, এটি হবে Python (Boto3) এর জন্য AWS SDK:

pip install langchain
pip install boto3

অতিরিক্তভাবে, অ্যামাজন টাইটান এমবেডিংস মডেল এবং অ্যানথ্রপিক ক্লড v2 বা v1 অ্যাক্সেস সক্ষম করুন৷ আরো তথ্যের জন্য, পড়ুন মডেল অ্যাক্সেস.

অ্যামাজন বেডরক ব্যবহার করে প্রশ্ন তৈরি করুন

ক্লিনিকাল ট্রায়াল ডেটাসেটে জিজ্ঞাসা করার জন্য প্রশ্নগুলির একটি তালিকা প্রস্তাব করতে আমরা অ্যামাজন বেডরকের জন্য অ্যানথ্রপিক ক্লড 2.1 ব্যবহার করতে পারি:

import boto3
from langchain.llms.bedrock import Bedrock

bedrock_client = boto3.client("bedrock-runtime")

# Start with the query
prompt = "For medical research trial consent forms to sign, what are the top 5 questions can be asked?"

claude_llm = Bedrock(
    model_id="anthropic.claude-v2:1",
    model_kwargs={"temperature": 0, "top_k": 10, "max_tokens_to_sample": 3000},
    client=bedrock_client,
)

# Provide the prompt to the LLM to generate an answer to the query without any additional context provided
response = claude_llm(prompt)
questions = [
    item.split(".")[1].strip() for item in response.strip().split("nn")[1:-1]
]
questions
>>> answer:
'What is the purpose of the study? Make sure you understand the goals of the research and what the study procedures will entail',
'What are the risks and potential benefits? The form should explain all foreseeable risks, side effects, or discomforts you might experience from participating',
'What will participation involve? Get details on what tests, medications, lifestyle changes, or procedures you will go through, how much time it will take, and how long the study will last',
'Are there any costs or payments? Ask if you will be responsible for any costs related to the study or get paid for participating',
'How will my privacy be protected? The form should explain how your personal health information will be kept confidential before, during, and after the trial'

Amazon Bedrock RetrieveAndGenerate API ব্যবহার করুন

সম্পূর্ণরূপে পরিচালিত RAG অভিজ্ঞতার জন্য, আপনি অ্যামাজন বেডরকের জন্য নেটিভ নলেজ বেস ব্যবহার করতে পারেন RetrieveAndGenerate সরাসরি উত্তর পেতে API:

bedrock_agent_client = boto3.client("bedrock-agent-runtime")

kb_id = "<YOUR_KNOWLEDGE_BASE_ID>"

def retrieveAndGenerate(
    input: str,
    kbId: str,
    region: str = "us-east-1",
    sessionId: str = None,
    model_id: str = "anthropic.claude-v2:1",
):
    model_arn = f"arn:aws:bedrock:{region}::foundation-model/{model_id}"

    if sessionId:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
            sessionId=sessionId,
        )

    else:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
        )

response = retrieveAndGenerate(
    "What are the potential risks and benefits of participating?", kb_id
)

generated_text = response["output"]["text"]
>>> "The potential risks include side effects from the study medication lithium such as nausea, loose stools, thirst, urination changes, shakiness, headaches, sweating, fatigue, decreased concentration, and skin rash. There is also a risk of lithium interaction with other medications. For women, there is a risk of birth defects if lithium is taken during pregnancy. There are no guaranteed benefits, but possible benefits include new information that could help the participant from the interviews and tests conducted during the study."

উদ্ধৃত তথ্যের উত্স নিম্নলিখিত কোডের মাধ্যমে প্রাপ্ত করা যেতে পারে (কিছু আউটপুট সংক্ষিপ্ততার জন্য সংশোধন করা হয়েছে):

response["citations"]

>>> [
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " The potential risks include side effects from the study...",
                "span": {"start": 0, "end": 361},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "590 ICF#2 Page 7 of 19 The primary risks and discomforts of participation…"
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
            {
                "content": {
                    "text": "N/A CSP 590 ICF#2 Page 10 of 19 Risks associated with suddenly stopping study medications..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
        ],
    },
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " There are no guaranteed benefits, but possible benefits include...",
                "span": {"start": 363, "end": 531},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "research, not usual clinical care. After these are done we ask..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            }
        ],
    },
]

এর সেশন আইডি পাস করে RetrieveAndGenerate API, আপনি কথোপকথনের প্রসঙ্গ সংরক্ষণ করতে পারেন এবং ফলো-আপ প্রশ্ন জিজ্ঞাসা করতে পারেন। উদাহরণস্বরূপ, প্রসঙ্গ ছাড়া, আপনি যদি পূর্ববর্তী উত্তর থেকে আরও বিশদ জানতে চান তবে এটি সঠিকভাবে উত্তর দিতে সক্ষম নাও হতে পারে:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=None)["output"]["text"]
>>> "The search results do not provide additional details about the mild nausea side effect that would allow me to elaborate further on it."

কিন্তু সেশন আইডি পাস করে, RAG পাইপলাইন সংশ্লিষ্ট প্রসঙ্গ সনাক্ত করতে এবং প্রাসঙ্গিক উত্তর দিতে সক্ষম হয়:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=response["sessionId"])["output"]["text"]
>>> "The search results provide details that nausea from taking lithium is usually mild and goes away after days or weeks for most people. Specifically, up to 75% of people may experience mild nausea when first starting lithium, but this goes away in 90-99% of people who continue taking it."

নিম্নলিখিত সারণী সমস্ত সংশ্লিষ্ট প্রশ্নের পুনরুদ্ধার করা উত্তর দেখায়।

Amazon Bedrock Retrieve API ব্যবহার করে প্রশ্ন করুন

আপনার RAG ওয়ার্কফ্লো কাস্টমাইজ করতে, আপনি আপনার প্রশ্নের উপর ভিত্তি করে প্রাসঙ্গিক অংশগুলি আনতে এবং অ্যামাজন বেডরক দ্বারা প্রদত্ত যেকোনও এলএলএম-এ পাস করতে আপনি পুনরুদ্ধার API ব্যবহার করতে পারেন। পুনরুদ্ধার API ব্যবহার করতে, এটি নিম্নরূপ সংজ্ঞায়িত করুন:

def retrieve(query: str, kbId: str, numberOfResults: int = 5):
    return bedrock_agent_client.retrieve(
        retrievalQuery={"text": query},
        knowledgeBaseId=kbId,
        retrievalConfiguration={
            "vectorSearchConfiguration": {"numberOfResults": numberOfResults}
        },
    )

সংশ্লিষ্ট প্রসঙ্গ পুনরুদ্ধার করুন (কিছু আউটপুট সংক্ষিপ্ততার জন্য সংশোধন করা হয়েছে):

query = "What is the purpose of the medical research study?"
response = retrieve(query, kb_id, 3)
retrievalResults = response["retrievalResults"]
>>> [
    {
        "content": {"text": "You will not be charged for any procedures that..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXXX/XXXX.pdf"}},
        "score": 0.6552521,
    },
    {
        "content": {"text": "and possible benefits of the study. You have been..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
        "score": 0.6581577,
    },
    ...,
]

প্রম্পট টেমপ্লেটের জন্য প্রসঙ্গটি বের করুন:

def get_contexts(retrievalResults):
    contexts = []
    for retrievedResult in retrievalResults:
        contexts.append(retrievedResult["content"]["text"])
    return " ".join(contexts)

contexts = get_contexts(retrievalResults)

পাইথন মডিউলগুলি আমদানি করুন এবং অন্তর্-প্রসঙ্গ প্রশ্নের উত্তর প্রম্পট টেমপ্লেট সেট আপ করুন, তারপর চূড়ান্ত উত্তর তৈরি করুন:

from langchain.prompts import PromptTemplate

PROMPT_TEMPLATE = """
Human: You are an AI system working on medical trial research, and provides answers to questions 
by using fact based and statistical information when possible.
Use the following pieces of information to provide a concise answer to the question enclosed in <question> tags.
If you don't know the answer, just say that you don't know, don't try to make up an answer.

<context>
{context_str}
</context>

<question>
{query_str}
</question>

The response should be specific and use statistics or numbers when possible.

Assistant:"""

claude_prompt = PromptTemplate(
    template=PROMPT_TEMPLATE, input_variables=["context_str", "query_str"]
)

prompt = claude_prompt.format(context_str=contexts, query_str=query)
response = claude_llm(prompt)
>>> "Based on the context provided, the purpose of this medical research study is to evaluate the efficacy of lithium compared to a placebo in preventing suicide over a 1 year period. Specifically, participants will be randomly assigned to receive either lithium or a placebo pill for 1 year, with their doctors and the participants themselves not knowing which treatment they receive (double-blind). Blood lithium levels will be monitored and doses adjusted over the first 6-8 visits, then participants will be followed monthly for 1 year to assess outcomes."

অ্যামাজন বেডরক ল্যাংচেইন ইন্টিগ্রেশন ব্যবহার করে প্রশ্ন করুন

একটি এন্ড-টু-এন্ড কাস্টমাইজড প্রশ্নোত্তর অ্যাপ্লিকেশন তৈরি করতে, অ্যামাজন বেডরকের জন্য জ্ঞানের ভিত্তি ল্যাংচেইনের সাথে একীকরণ প্রদান করে। LangChain পুনরুদ্ধার সেট আপ করতে, নলেজ বেস আইডি প্রদান করুন এবং ক্যোয়ারী থেকে ফলাফলের সংখ্যা নির্দিষ্ট করুন:

from langchain.retrievers.bedrock import AmazonKnowledgeBasesRetriever

retriever = AmazonKnowledgeBasesRetriever(
    knowledge_base_id=kb_id,
    retrieval_config={"vectorSearchConfiguration": {"numberOfResults": 4}},
)

এখন LangChain RetrievalQA সেট আপ করুন এবং জ্ঞানের ভিত্তি থেকে উত্তর তৈরি করুন:

from langchain.chains import RetrievalQA

qa = RetrievalQA.from_chain_type(
    llm=claude_llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": claude_prompt},
)

[qa(q)["result"] for q in questions]

এটি পূর্ববর্তী সারণীতে তালিকাভুক্ত উত্তরগুলির অনুরূপ সংশ্লিষ্ট উত্তর তৈরি করবে।

পরিষ্কার কর

অতিরিক্ত চার্জ এড়াতে নিম্নলিখিত সংস্থানগুলি মুছতে ভুলবেন না:

উপসংহার

অ্যামাজন বেডরক সমস্ত স্কেলের RAG অ্যাপ্লিকেশনগুলিকে পাওয়ার জন্য গভীরভাবে সমন্বিত পরিষেবাগুলির একটি বিস্তৃত সেট সরবরাহ করে, যা আপনার কোম্পানির ডেটা বিশ্লেষণের সাথে শুরু করা সহজ করে তোলে। অ্যামাজন বেডরকের জন্য জ্ঞানের ভিত্তিগুলি অ্যামাজন বেডরক ফাউন্ডেশন মডেলগুলির সাথে একীভূত হয় যাতে স্কেলযোগ্য নথি এমবেডিং পাইপলাইন এবং নথি পুনরুদ্ধার পরিষেবাগুলি বিস্তৃত অভ্যন্তরীণ এবং গ্রাহক-মুখী অ্যাপ্লিকেশনগুলিকে শক্তি দিতে পারে৷ আমরা সামনের ভবিষ্যত সম্পর্কে উত্তেজিত, এবং আপনার প্রতিক্রিয়া এই পণ্যের অগ্রগতির দিকনির্দেশনায় একটি গুরুত্বপূর্ণ ভূমিকা পালন করবে। অ্যামাজন বেডরকের ক্ষমতা এবং জ্ঞানের ভিত্তি সম্পর্কে আরও জানতে, পড়ুন আমাজন বেডরকের জন্য জ্ঞানের ভিত্তি.

লেখক সম্পর্কে

মার্ক রায় AWS-এর জন্য একজন প্রধান মেশিন লার্নিং আর্কিটেক্ট, গ্রাহকদের AI/ML সমাধান ডিজাইন ও তৈরি করতে সাহায্য করে। মার্কের কাজ এমএল ব্যবহারের ক্ষেত্রের বিস্তৃত পরিসরকে কভার করে, কম্পিউটার দৃষ্টি, গভীর শিক্ষা, এবং এন্টারপ্রাইজ জুড়ে এমএল স্কেল করার প্রাথমিক আগ্রহ সহ। তিনি বীমা, আর্থিক পরিষেবা, মিডিয়া এবং বিনোদন, স্বাস্থ্যসেবা, ইউটিলিটি এবং উত্পাদন সহ অনেক শিল্পে সংস্থাগুলিকে সহায়তা করেছেন। মার্কের ছয়টি AWS সার্টিফিকেশন রয়েছে, যার মধ্যে ML স্পেশালিটি সার্টিফিকেশন রয়েছে। AWS-এ যোগদানের আগে, মার্ক 25 বছরেরও বেশি সময় ধরে একজন স্থপতি, বিকাশকারী এবং প্রযুক্তি নেতা ছিলেন, যার মধ্যে 19 বছরের আর্থিক পরিষেবা রয়েছে।

মণি খানুজা একজন টেক লিড – জেনারেটিভ এআই স্পেশালিস্ট, বইটির লেখক – অ্যাপ্লাইড মেশিন লার্নিং অ্যান্ড হাই পারফরম্যান্স কম্পিউটিং অন AWS, এবং ম্যানুফ্যাকচারিং এডুকেশন ফাউন্ডেশন বোর্ডে মহিলাদের জন্য পরিচালনা পর্ষদের সদস্য। তিনি কম্পিউটার ভিশন, ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং এবং জেনারেটিভ এআই-এর মতো বিভিন্ন ডোমেনে মেশিন লার্নিং (এমএল) প্রকল্পের নেতৃত্ব দেন। তিনি গ্রাহকদের স্কেলে বড় মেশিন লার্নিং মডেল তৈরি, প্রশিক্ষণ এবং স্থাপনে সহায়তা করেন। তিনি অভ্যন্তরীণ এবং বাহ্যিক সম্মেলনে বক্তৃতা করেন যেমন: উদ্ভাবন, উইমেন ইন ম্যানুফ্যাকচারিং ওয়েস্ট, ইউটিউব ওয়েবিনার এবং জিএইচসি 23। তার অবসর সময়ে, তিনি সমুদ্র সৈকতে দীর্ঘ দৌড়াতে পছন্দ করেন।

বাইচুয়ান সান ড, বর্তমানে AWS-এ একজন Sr. AI/ML সলিউশন আর্কিটেক্ট হিসেবে কাজ করছেন, জেনারেটিভ AI-তে ফোকাস করেন এবং ব্যবহারিক, ক্লাউড-ভিত্তিক ব্যবসায়িক সমাধান প্রদানের জন্য ডেটা সায়েন্স এবং মেশিন লার্নিং-এ তার জ্ঞান প্রয়োগ করেন। ম্যানেজমেন্ট কনসাল্টিং এবং এআই সলিউশন আর্কিটেকচারে অভিজ্ঞতার সাথে, তিনি রোবোটিক্স কম্পিউটার ভিশন, টাইম সিরিজ পূর্বাভাস এবং ভবিষ্যদ্বাণীমূলক রক্ষণাবেক্ষণ সহ বিভিন্ন জটিল চ্যালেঞ্জ মোকাবেলা করেন। তার কাজ প্রকল্প ব্যবস্থাপনা, সফ্টওয়্যার R&D, এবং একাডেমিক সাধনার একটি কঠিন পটভূমিতে ভিত্তি করে। কাজের বাইরে, ডাঃ সূর্য ভ্রমণ এবং পরিবার এবং বন্ধুদের সাথে সময় কাটানোর ভারসাম্য উপভোগ করেন।

ডেরিক চু AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট যিনি ক্লাউডে গ্রাহকের যাত্রাকে ত্বরান্বিত করতে এবং ক্লাউড-ভিত্তিক সমাধান গ্রহণের মাধ্যমে তাদের ব্যবসায় রূপান্তরের দিকে মনোনিবেশ করেন। তার দক্ষতা সম্পূর্ণ স্ট্যাক অ্যাপ্লিকেশন এবং মেশিন লার্নিং উন্নয়নে। তিনি গ্রাহকদের ফ্রন্ট-এন্ড ইউজার ইন্টারফেস, আইওটি অ্যাপ্লিকেশন, এপিআই এবং ডেটা ইন্টিগ্রেশন এবং মেশিন লার্নিং মডেলগুলি কভার করে এন্ড-টু-এন্ড সমাধানগুলি ডিজাইন এবং তৈরি করতে সহায়তা করেন। তার অবসর সময়ে, তিনি তার পরিবারের সাথে সময় কাটাতে এবং ফটোগ্রাফি এবং ভিডিওগ্রাফির সাথে পরীক্ষা করা উপভোগ করেন।

ফ্রাঙ্ক উইঙ্কলার সিঙ্গাপুর ভিত্তিক AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট এবং জেনারেটিভ এআই বিশেষজ্ঞ, যা মেশিন লার্নিং এবং জেনারেটিভ এআই-তে ফোকাস করে। তিনি AWS-এ স্কেলযোগ্য, নিরাপদ, এবং সাশ্রয়ী পণ্য এবং পরিষেবার স্থপতি করতে বিশ্বব্যাপী ডিজিটাল নেটিভ কোম্পানিগুলির সাথে কাজ করেন। তার অবসর সময়ে, তিনি তার ছেলে এবং মেয়ের সাথে সময় কাটান এবং আসিয়ান জুড়ে তরঙ্গ উপভোগ করতে ভ্রমণ করেন।

নীহির চাদ্দেওয়ালা গ্লোবাল হেলথ কেয়ার অ্যান্ড লাইফ সায়েন্সেস টিমের একজন সিনিয়র এআই/এমএল সলিউশন আর্কিটেক্ট। বিশেষ করে বায়োমেডিকাল, জীবন বিজ্ঞান এবং স্বাস্থ্যসেবা ডোমেনে গ্রাহকদের সমস্যার জন্য বিগ ডেটা এবং এআই-চালিত সমাধান তৈরিতে তার দক্ষতা। তিনি কোয়ান্টাম ইনফরমেশন সায়েন্স এবং এআই এর ছেদ সম্পর্কেও উচ্ছ্বসিত এবং এই স্থানটিতে শেখার এবং অবদান রাখা উপভোগ করেন। তার অবসর সময়ে, তিনি টেনিস খেলা, ভ্রমণ এবং সৃষ্টিতত্ত্ব সম্পর্কে শিখতে উপভোগ করেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/use-rag-for-drug-discovery-with-knowledge-bases-for-amazon-bedrock/