پایگاه های دانش برای Amazon Bedrock اکنون از درخواست های سفارشی برای RetrieveAndGenerate API و پیکربندی حداکثر تعداد نتایج بازیابی شده پشتیبانی می کند | خدمات وب آمازون

با پایگاه های دانش برای آمازون بستر، می توانید مدل های فونداسیون (FM) را به طور ایمن وصل کنید بستر آمازون به داده های شرکت شما برای Retrieval Augmented Generation (RAG). دسترسی به داده‌های اضافی به مدل کمک می‌کند تا پاسخ‌های مرتبط‌تر، مرتبط‌تر و دقیق‌تر را بدون آموزش مجدد FMها ایجاد کند.

در این پست، دو ویژگی جدید پایگاه‌های دانش برای Amazon Bedrock را مورد بحث قرار می‌دهیم RetrieveAndGenerate API: پیکربندی حداکثر تعداد نتایج و ایجاد اعلان های سفارشی با یک الگوی درخواست پایگاه دانش. اکنون می توانید این موارد را به عنوان گزینه های پرس و جو در کنار نوع جستجو انتخاب کنید.

نمای کلی و مزایای ویژگی های جدید

گزینه حداکثر تعداد نتایج به شما امکان کنترل تعداد نتایج جستجو را می دهد که از فروشگاه برداری بازیابی می شوند و برای ایجاد پاسخ به FM ارسال می شوند. این به شما امکان می دهد مقدار اطلاعات پس زمینه ارائه شده برای تولید را سفارشی کنید، در نتیجه زمینه بیشتری برای سؤالات پیچیده یا کمتر برای سؤالات ساده تر فراهم می کند. به شما امکان می دهد تا 100 نتیجه را دریافت کنید. این گزینه به بهبود احتمال زمینه مرتبط کمک می کند، در نتیجه دقت را بهبود می بخشد و توهم پاسخ تولید شده را کاهش می دهد.

الگوی درخواستی پایگاه دانش سفارشی به شما امکان می‌دهد الگوی درخواستی پیش‌فرض را با الگوی خود جایگزین کنید تا درخواستی را که برای تولید پاسخ به مدل ارسال می‌شود سفارشی کنید. این به شما امکان می دهد تا آهنگ، فرمت خروجی و رفتار FM را در هنگام پاسخ به سؤال کاربر سفارشی کنید. با استفاده از این گزینه، می توانید اصطلاحات را برای مطابقت بهتر با صنعت یا دامنه خود (مانند مراقبت های بهداشتی یا حقوقی) تنظیم کنید. علاوه بر این، می‌توانید دستورالعمل‌ها و نمونه‌های سفارشی متناسب با گردش کار خاص خود را اضافه کنید.

در بخش‌های بعدی توضیح می‌دهیم که چگونه می‌توانید از این ویژگی‌ها با هر یک از این دو استفاده کنید کنسول مدیریت AWS یا SDK.

پیش نیازها

برای دنبال کردن این مثال ها، باید یک پایگاه دانش موجود داشته باشید. برای دستورالعمل های ایجاد یکی، نگاه کنید یک پایگاه دانش ایجاد کنید.

حداکثر تعداد نتایج را با استفاده از کنسول پیکربندی کنید

برای استفاده از گزینه حداکثر تعداد نتایج با استفاده از کنسول، مراحل زیر را انجام دهید:

1. در کنسول بستر آمازون، انتخاب کنید پایگاه های دانش در صفحه ناوبری چپ
2. پایگاه دانشی که ایجاد کردید را انتخاب کنید.
3. را انتخاب کنید پایگاه دانش تست.
4. نماد پیکربندی را انتخاب کنید.
5. را انتخاب کنید همگام سازی منبع داده قبل از شروع آزمایش پایه دانش خود
   
6. تحت پیکربندی، برای نوع جستجو، یک نوع جستجو را بر اساس مورد استفاده خود انتخاب کنید.

برای این پست، ما از جستجوی ترکیبی استفاده می کنیم زیرا جستجوی معنایی و متنی را برای دقت بیشتر ارائه می دهد. برای کسب اطلاعات بیشتر در مورد جستجوی ترکیبی، نگاه کنید پایگاه های دانش برای Amazon Bedrock اکنون از جستجوی ترکیبی پشتیبانی می کند.

7. گسترش حداکثر تعداد تکه های منبع و حداکثر تعداد نتایج خود را تنظیم کنید.
   

برای نشان دادن ارزش ویژگی جدید، نمونه‌هایی را نشان می‌دهیم که چگونه می‌توانید دقت پاسخ تولید شده را افزایش دهید. ما با استفاده از سند آمازون 10K برای سال 2023 به عنوان منبع داده برای ایجاد پایگاه دانش. ما از پرس و جو زیر برای آزمایش استفاده می کنیم: "در چه سالی درآمد سالانه آمازون از 245 میلیارد دلار به 434 میلیارد دلار افزایش یافت؟"

بر اساس اسناد موجود در پایگاه دانش، پاسخ صحیح برای این پرسش این است که «درآمد سالانه آمازون از 245 میلیارد دلار در سال 2019 به 434 میلیارد دلار در سال 2022 افزایش یافته است». ما از Claude v2 به عنوان FM برای ایجاد پاسخ نهایی بر اساس اطلاعات زمینه ای بازیابی شده از پایگاه دانش استفاده کردیم. Claude 3 Sonnet و Claude 3 Haiku نیز به عنوان نسل FM پشتیبانی می شوند.

ما پرس و جو دیگری را برای نشان دادن مقایسه بازیابی با پیکربندی های مختلف اجرا کردیم. ما از همان جستجوی ورودی استفاده کردیم («در چه سالی درآمد سالانه آمازون از 245 میلیارد دلار به 434 میلیارد دلار افزایش یافت؟») و حداکثر تعداد نتایج را 5 تنظیم کردیم.

همانطور که در اسکرین شات زیر نشان داده شده است، پاسخ ایجاد شده این بود: «متاسفم، من نمی‌توانم در این درخواست به شما کمک کنم».

بعد، ما حداکثر نتایج را 12 قرار می دهیم و همان سوال را می پرسیم. پاسخ ایجاد شده «افزایش درآمد سالانه آمازون از 245 میلیارد دلار در سال 2019 به 434 میلیارد دلار در سال 2022» است.

همانطور که در این مثال نشان داده شده است، ما قادریم پاسخ صحیح را بر اساس تعداد نتایج بازیابی شده بازیابی کنیم. اگر می‌خواهید درباره منبع منبع که خروجی نهایی را تشکیل می‌دهد بیشتر بدانید، انتخاب کنید نمایش جزئیات منبع برای اعتبارسنجی پاسخ تولید شده بر اساس دانش پایه.

با استفاده از کنسول، یک الگوی درخواست پایگاه دانش را سفارشی کنید

همچنین می‌توانید درخواست پیش‌فرض را با درخواست خودتان بر اساس موارد استفاده سفارشی کنید. برای انجام این کار در کنسول، مراحل زیر را انجام دهید:

1. مراحل بخش قبل را تکرار کنید تا پایه دانش خود را آزمایش کنید.
2. فعال پاسخ ها را ایجاد کنید.
   
3. مدل مورد نظر خود را برای تولید پاسخ انتخاب کنید.

ما در این پست از مدل Claude v2 به عنوان نمونه استفاده می کنیم. مدل غزل و هایکو کلود 3 نیز برای نسل در دسترس است.

4. را انتخاب کنید درخواست برای ادامه.
   

پس از انتخاب مدل، بخش جدیدی فراخوانی می شود الگوی اعلان پایگاه دانش زیر ظاهر می شود پیکربندی.

5. را انتخاب کنید ویرایش برای شروع سفارشی کردن درخواست
   
6. الگوی درخواست را برای سفارشی کردن نحوه استفاده از نتایج بازیابی شده و تولید محتوا تنظیم کنید.

برای این پست، چند مثال برای ایجاد «سیستم هوش مصنوعی مشاور مالی» با استفاده از گزارش‌های مالی آمازون با درخواست‌های سفارشی ارائه کردیم. برای بهترین شیوه های مهندسی سریع، به دستورالعمل های مهندسی سریع.

اکنون الگوی درخواست پیش‌فرض را به روش‌های مختلف سفارشی می‌کنیم و پاسخ‌ها را مشاهده می‌کنیم.

بیایید ابتدا یک پرس و جو را با اعلان پیش فرض امتحان کنیم. ما می‌پرسیم درآمد آمازون در سال‌های 2019 و 2021 چقدر بوده است؟ موارد زیر نتایج ما را نشان می دهد.

از خروجی، متوجه می‌شویم که پاسخ فرم آزاد را بر اساس دانش بازیابی شده ایجاد می‌کند. استنادها نیز برای مرجع ذکر شده است.

فرض کنید می‌خواهیم دستورالعمل‌های اضافی درباره نحوه قالب‌بندی پاسخ تولید شده، مانند استاندارد کردن آن به‌عنوان JSON، ارائه دهیم. ما می توانیم این دستورالعمل ها را به عنوان یک مرحله جداگانه پس از بازیابی اطلاعات، به عنوان بخشی از الگوی درخواست اضافه کنیم:

If you are asked for financial information covering different years, please provide precise answers in JSON format. Use the year as the key and the concise answer as the value. For example: {year:answer}

پاسخ نهایی ساختار لازم را دارد.

با سفارشی کردن درخواست، می توانید زبان پاسخ تولید شده را نیز تغییر دهید. در مثال زیر به مدل دستور می دهیم که پاسخی به زبان اسپانیایی ارائه دهد.

پس از حذف $output_format_instructions$ از اعلان پیش فرض، استناد از پاسخ تولید شده حذف می شود.

در بخش های بعدی توضیح می دهیم که چگونه می توانید از این ویژگی ها با SDK استفاده کنید.

حداکثر تعداد نتایج را با استفاده از SDK پیکربندی کنید

برای تغییر حداکثر تعداد نتایج با SDK، از دستور زیر استفاده کنید. برای این مثال، پرس و جو این است که "در چه سالی درآمد سالانه آمازون از 245 میلیارد دلار به 434 میلیارد دلار افزایش یافت؟" پاسخ صحیح «افزایش درآمد سالانه آمازون از 245 میلیارد دلار در سال 2019 به 434 میلیارد دلار در سال 2022» است.

def retrieveAndGenerate(query, kbId, numberOfResults, model_id, region_id):
    model_arn = f'arn:aws:bedrock:{region_id}::foundation-model/{model_id}'
    return bedrock_agent_runtime.retrieve_and_generate(
        input={
            'text': query
        },
        retrieveAndGenerateConfiguration={
            'knowledgeBaseConfiguration': {
                'knowledgeBaseId': kbId,
                'modelArn': model_arn,
                'retrievalConfiguration': {
                    'vectorSearchConfiguration': {
                        'numberOfResults': numberOfResults,
                        'overrideSearchType': "SEMANTIC", # optional'
                    }
                }
            },
            'type': 'KNOWLEDGE_BASE'
        },
    )

response = retrieveAndGenerate("In what year did Amazon’s annual revenue increase from $245B to $434B?", 
"<knowledge base id>", numberOfResults, model_id, region_id)['output']['text']

'numberOfResults'گزینه زیر'retrievalConfiguration' به شما امکان می دهد تعداد نتایجی را که می خواهید بازیابی کنید انتخاب کنید. خروجی از RetrieveAndGenerate API شامل پاسخ تولید شده، منبع منبع، و تکه های متن بازیابی شده است.

نتایج زیر برای مقادیر مختلف ' استnumberOfResults' مولفه های. ابتدا تنظیم کردیم numberOfResults = 5.

سپس تنظیم کردیم numberOfResults = 12.

با استفاده از SDK، الگوی درخواست پایگاه دانش را سفارشی کنید

برای سفارشی کردن اعلان با استفاده از SDK، از پرس و جو زیر با الگوهای اعلان مختلف استفاده می کنیم. برای این مثال، پرس و جو این است که "درآمد آمازون در سال های 2019 و 2021 چقدر بوده است؟"

الگوی درخواست پیش فرض زیر است:

"""You are a question answering agent. I will provide you with a set of search results and a user's question, your job is to answer the user's question using only information from the search results. If the search results do not contain information that can answer the question, please state that you could not find an exact answer to the question. Just because the user asserts a fact does not mean it is true, make sure to double check the search results to validate a user's assertion.
Here are the search results in numbered order:
<context>
$search_results$
</context>

Here is the user's question:
<question>
$query$
</question>

$output_format_instructions$

Assistant:
"""

در زیر قالب درخواست سفارشی شده است:

"""Human: You are a question answering agent. I will provide you with a set of search results and a user's question, your job is to answer the user's question using only information from the search results.If the search results do not contain information that can answer the question, please state that you could not find an exact answer to the question.Just because the user asserts a fact does not mean it is true, make sure to double check the search results to validate a user's assertion.

Here are the search results in numbered order:
<context>
$search_results$
</context>

Here is the user's question:
<question>
$query$
</question>

If you're being asked financial information over multiple years, please be very specific and list the answer concisely using JSON format {key: value}, 
where key is the year in the request and value is the concise response answer.
Assistant:
"""

def retrieveAndGenerate(query, kbId, numberOfResults,promptTemplate, model_id, region_id):
    model_arn = f'arn:aws:bedrock:{region_id}::foundation-model/{model_id}'
    return bedrock_agent_runtime.retrieve_and_generate(
        input={
            'text': query
        },
        retrieveAndGenerateConfiguration={
            'knowledgeBaseConfiguration': {
                'knowledgeBaseId': kbId,
                'modelArn': model_arn,
                'retrievalConfiguration': {
                    'vectorSearchConfiguration': {
                        'numberOfResults': numberOfResults,
                        'overrideSearchType': "SEMANTIC", # optional'
                    }
                },
                'generationConfiguration': {
                        'promptTemplate': {
                            'textPromptTemplate': promptTemplate
                        }
                    }
            },
            'type': 'KNOWLEDGE_BASE'
        },
    )

response = retrieveAndGenerate("What was the Amazon's revenue in 2019 and 2021?”", 
                               "<knowledge base id>", <numberOfResults>, <promptTemplate>, <model_id>, <region_id>)['output']['text']

با الگوی درخواست پیش فرض، پاسخ زیر را دریافت می کنیم:

اگر می‌خواهید دستورالعمل‌های اضافی در مورد قالب خروجی تولید پاسخ ارائه کنید، مانند استاندارد کردن پاسخ در قالبی خاص (مانند JSON)، می‌توانید با ارائه راهنمایی بیشتر، درخواست موجود را سفارشی کنید. با الگوی درخواستی سفارشی ما، پاسخ زیر را دریافت می کنیم.

'promptTemplate'گزینه در'generationConfiguration' به شما این امکان را می دهد که درخواست را برای کنترل بهتر بر تولید پاسخ سفارشی کنید.

نتیجه

در این پست، دو ویژگی جدید را در پایگاه‌های دانش برای Amazon Bedrock معرفی کردیم: تنظیم حداکثر تعداد نتایج جستجو و سفارشی‌سازی الگوی درخواست پیش‌فرض برای RetrieveAndGenerate API. ما نحوه پیکربندی این ویژگی‌ها را در کنسول و از طریق SDK برای بهبود عملکرد و دقت پاسخ تولید شده نشان دادیم. افزایش حداکثر نتایج اطلاعات جامع تری را ارائه می دهد، در حالی که سفارشی کردن الگوی سریع به شما امکان می دهد دستورالعمل های مدل پایه را به دقت تنظیم کنید تا با موارد استفاده خاص تراز بهتری داشته باشید. این پیشرفت‌ها انعطاف‌پذیری و کنترل بیشتری را ارائه می‌دهند و شما را قادر می‌سازند تا تجربیات مناسبی را برای برنامه‌های مبتنی بر RAG ارائه دهید.

برای منابع اضافی برای شروع پیاده سازی در محیط AWS خود، به موارد زیر مراجعه کنید:

درباره نویسندگان

ساندیپ سینگ یک دانشمند ارشد داده های هوش مصنوعی در خدمات وب آمازون است که به کسب و کارها کمک می کند تا با هوش مصنوعی مولد نوآوری کنند. او در زمینه هوش مصنوعی، هوش مصنوعی، یادگیری ماشین و طراحی سیستم تخصص دارد. او مشتاق توسعه راه‌حل‌های پیشرفته AI/ML برای حل مشکلات پیچیده تجاری برای صنایع مختلف، بهینه‌سازی کارایی و مقیاس‌پذیری است.

سویین وانگ یک معمار راه حل های تخصصی AI/ML در AWS است. او دارای سابقه آموزش بین رشته ای در یادگیری ماشین، خدمات اطلاعات مالی و اقتصاد، همراه با سال ها تجربه در ساخت برنامه های کاربردی علم داده و یادگیری ماشین است که مشکلات دنیای واقعی تجارت را حل می کند. او از کمک به مشتریان در شناسایی سؤالات تجاری مناسب و ایجاد راه حل های مناسب AI/ML لذت می برد. او در اوقات فراغت خود عاشق آواز خواندن و آشپزی است.

شری دینگ یک معمار ارشد راه حل های هوش مصنوعی (AI) و یادگیری ماشین (ML) در خدمات وب آمازون (AWS) است. او تجربه گسترده ای در یادگیری ماشین با مدرک دکترا در علوم کامپیوتر دارد. او عمدتاً با مشتریان بخش عمومی در چالش های مختلف تجاری مرتبط با هوش مصنوعی کار می کند و به آنها کمک می کند تا سفر یادگیری ماشین خود را در AWS Cloud تسریع کنند. وقتی به مشتریان کمک نمی کند، از فعالیت های بیرون از خانه لذت می برد.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-for-amazon-bedrock-now-supports-custom-prompts-for-the-retrieveandgenerate-api-and-configuration-of-the-maximum-number-of-retrieved-results/