ฐานความรู้สำหรับ Amazon Bedrock รองรับพร้อมท์แบบกำหนดเองสำหรับ ReturneAndGenerate API และการกำหนดค่าจำนวนผลลัพธ์สูงสุดที่ดึงข้อมูลได้ อเมซอนเว็บเซอร์วิส

กับ ฐานความรู้สำหรับ Amazon Bedrockคุณสามารถเชื่อมต่อโมเดลพื้นฐาน (FM) ได้อย่างปลอดภัย อเมซอน เบดร็อค ไปยังข้อมูลบริษัทของคุณสำหรับการดึงข้อมูล Augmented Generation (RAG) การเข้าถึงข้อมูลเพิ่มเติมช่วยให้โมเดลสร้างการตอบสนองที่เกี่ยวข้อง เฉพาะบริบท และแม่นยำมากขึ้น โดยไม่ต้องฝึกอบรม FM ใหม่

ในโพสต์นี้ เราจะพูดถึงคุณสมบัติใหม่สองประการของฐานความรู้สำหรับ Amazon Bedrock เฉพาะสำหรับ RetrieveAndGenerate API: การกำหนดค่าจำนวนผลลัพธ์สูงสุดและสร้างพรอมต์แบบกำหนดเองด้วยเทมเพลตพรอมต์ฐานความรู้ ขณะนี้คุณสามารถเลือกสิ่งเหล่านี้เป็นตัวเลือกการสืบค้นควบคู่ไปกับประเภทการค้นหาได้

ภาพรวมและประโยชน์ของคุณสมบัติใหม่

ตัวเลือกจำนวนผลลัพธ์สูงสุดช่วยให้คุณควบคุมจำนวนผลการค้นหาที่จะดึงมาจากร้านค้าเวกเตอร์และส่งผ่านไปยัง FM เพื่อสร้างคำตอบ วิธีนี้ช่วยให้คุณปรับแต่งจำนวนข้อมูลพื้นหลังที่ให้ไว้สำหรับการสร้างได้ ดังนั้นจึงให้บริบทมากขึ้นสำหรับคำถามที่ซับซ้อนหรือน้อยลงสำหรับคำถามที่ง่ายกว่า ช่วยให้คุณสามารถดึงผลลัพธ์ได้มากถึง 100 รายการ ตัวเลือกนี้ช่วยปรับปรุงความเป็นไปได้ของบริบทที่เกี่ยวข้อง ซึ่งจะช่วยปรับปรุงความแม่นยำและลดภาพหลอนของการตอบสนองที่สร้างขึ้น

เทมเพลตพร้อมท์ฐานความรู้ที่กำหนดเองช่วยให้คุณสามารถแทนที่เทมเพลตพร้อมท์เริ่มต้นด้วยของคุณเอง เพื่อปรับแต่งพร้อมท์ที่ส่งไปยังแบบจำลองสำหรับการสร้างการตอบสนอง ซึ่งช่วยให้คุณปรับแต่งโทนเสียง รูปแบบเอาต์พุต และลักษณะการทำงานของ FM เมื่อตอบคำถามของผู้ใช้ ด้วยตัวเลือกนี้ คุณสามารถปรับแต่งคำศัพท์ให้ตรงกับอุตสาหกรรมหรือโดเมนของคุณได้ดียิ่งขึ้น (เช่น การดูแลสุขภาพหรือกฎหมาย) นอกจากนี้ คุณยังสามารถเพิ่มคำแนะนำที่กำหนดเองและตัวอย่างที่ปรับให้เหมาะกับขั้นตอนการทำงานเฉพาะของคุณได้

ในส่วนต่อไปนี้ เราจะอธิบายวิธีที่คุณสามารถใช้คุณลักษณะเหล่านี้ร่วมกับ คอนโซลการจัดการ AWS หรือ SDK

เบื้องต้น

เพื่อปฏิบัติตามตัวอย่างเหล่านี้ คุณจำเป็นต้องมีฐานความรู้ที่มีอยู่ สำหรับคำแนะนำในการสร้าง โปรดดูที่ สร้างฐานความรู้.

กำหนดค่าจำนวนผลลัพธ์สูงสุดโดยใช้คอนโซล

หากต้องการใช้อ็อพชันผลลัพธ์จำนวนสูงสุดโดยใช้คอนโซล ให้ทำตามขั้นตอนต่อไปนี้:

1. บนคอนโซล Amazon Bedrock ให้เลือก ฐานความรู้ ในบานหน้าต่างนำทางด้านซ้าย
2. เลือกฐานความรู้ที่คุณสร้างขึ้น
3. Choose ทดสอบฐานความรู้.
4. เลือกไอคอนการกำหนดค่า
5. Choose ซิงค์แหล่งข้อมูล ก่อนที่คุณจะเริ่มทดสอบฐานความรู้ของคุณ
   
6. ภายใต้ การกำหนดค่าสำหรับ ประเภทการสืบค้นให้เลือกประเภทการค้นหาตามกรณีการใช้งานของคุณ

สำหรับโพสต์นี้ เราใช้การค้นหาแบบไฮบริดเนื่องจากเป็นการผสมผสานการค้นหาความหมายและข้อความเข้าด้วยกันเพื่อให้ผู้ให้บริการมีความแม่นยำมากขึ้น หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการค้นหาแบบไฮบริด โปรดดู ฐานความรู้สำหรับ Amazon Bedrock รองรับการค้นหาแบบไฮบริดแล้ว.

7. แสดง จำนวนชิ้นต้นทางสูงสุด และกำหนดจำนวนผลลัพธ์สูงสุดของคุณ
   

เพื่อแสดงให้เห็นถึงคุณค่าของคุณลักษณะใหม่ เราจะแสดงตัวอย่างวิธีที่คุณสามารถเพิ่มความแม่นยำของการตอบสนองที่สร้างขึ้นได้ เราใช้ เอกสาร Amazon 10K สำหรับปี 2023 เพื่อเป็นแหล่งข้อมูลในการสร้างฐานความรู้ เราใช้คำถามต่อไปนี้ในการทดลอง: “รายได้ต่อปีของ Amazon เพิ่มขึ้นจาก 245 พันล้านดอลลาร์เป็น 434 พันล้านดอลลาร์ในปีใด”

คำตอบที่ถูกต้องสำหรับคำถามนี้คือ “รายได้ต่อปีของ Amazon เพิ่มขึ้นจาก 245 พันล้านดอลลาร์ในปี 2019 เป็น 434 พันล้านดอลลาร์ในปี 2022” โดยอิงตามเอกสารในฐานความรู้ เราใช้ Claude v2 เป็น FM เพื่อสร้างการตอบสนองขั้นสุดท้ายโดยอิงตามข้อมูลเชิงบริบทที่ดึงมาจากฐานความรู้ Claude 3 Sonnet และ Claude 3 Haiku ยังได้รับการสนับสนุนในฐานะ FM รุ่น

เราเรียกใช้แบบสอบถามอื่นเพื่อแสดงการเปรียบเทียบการดึงข้อมูลกับการกำหนดค่าที่แตกต่างกัน เราใช้ข้อความค้นหาเดียวกัน (“รายได้ต่อปีของ Amazon เพิ่มขึ้นจาก 245 พันล้านดอลลาร์เป็น 434 พันล้านดอลลาร์ในปีใด”) และกำหนดจำนวนผลลัพธ์สูงสุดเป็น 5

ดังที่แสดงในภาพหน้าจอต่อไปนี้ คำตอบที่สร้างขึ้นคือ "ขออภัย ฉันไม่สามารถช่วยเหลือคุณในคำขอนี้ได้"

ต่อไป เราตั้งค่าผลลัพธ์สูงสุดเป็น 12 และถามคำถามเดียวกัน คำตอบที่เกิดขึ้นคือ “รายได้ต่อปีของ Amazon เพิ่มขึ้นจาก 245 พันล้านดอลลาร์ในปี 2019 เป็น 434 พันล้านดอลลาร์ในปี 2022”

ดังที่แสดงในตัวอย่างนี้ เราสามารถดึงคำตอบที่ถูกต้องตามจำนวนผลลัพธ์ที่ดึงมาได้ หากคุณต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการระบุแหล่งที่มาที่ประกอบเป็นผลลัพธ์สุดท้าย ให้เลือก แสดงรายละเอียดแหล่งที่มา เพื่อตรวจสอบคำตอบที่สร้างขึ้นตามฐานความรู้

ปรับแต่งเทมเพลตพร้อมท์ฐานความรู้โดยใช้คอนโซล

คุณยังสามารถปรับแต่งพรอมต์เริ่มต้นด้วยพรอมต์ของคุณเองตามกรณีการใช้งาน เมื่อต้องการดำเนินการดังกล่าวบนคอนโซล ให้ทำตามขั้นตอนต่อไปนี้:

1. ทำซ้ำขั้นตอนในส่วนก่อนหน้าเพื่อเริ่มทดสอบฐานความรู้ของคุณ
2. ทำให้สามารถ สร้างการตอบกลับ.
   
3. เลือกรุ่นที่คุณเลือกสำหรับการสร้างการตอบสนอง

เราใช้โมเดล Claude v2 เป็นตัวอย่างในโพสต์นี้ โมเดล Claude 3 Sonnet และ Haiku ก็มีวางจำหน่ายแล้วเช่นกัน

4. Choose ใช้ เพื่อดำเนินการต่อ.
   

หลังจากที่คุณเลือกรุ่นแล้ว จะมีส่วนใหม่ที่เรียกว่า เทมเพลตพร้อมท์ฐานความรู้ ปรากฏอยู่ข้างใต้ การกำหนดค่า.

5. Choose Edit เพื่อเริ่มปรับแต่งพรอมต์
   
6. ปรับเทมเพลตพร้อมท์เพื่อปรับแต่งวิธีที่คุณต้องการใช้ผลลัพธ์ที่ดึงมาและสร้างเนื้อหา

สำหรับโพสต์นี้ เราได้ยกตัวอย่างบางส่วนสำหรับการสร้าง “ระบบ AI ที่ปรึกษาทางการเงิน” โดยใช้รายงานทางการเงินของ Amazon พร้อมพร้อมท์ที่กำหนดเอง สำหรับแนวทางปฏิบัติที่ดีที่สุดในด้านวิศวกรรมที่รวดเร็ว โปรดดูที่ แนวทางวิศวกรรมที่รวดเร็ว.

ตอนนี้เราปรับแต่งเทมเพลตพร้อมท์เริ่มต้นได้หลายวิธี และสังเกตการตอบสนอง

ขั้นแรกให้ลองใช้ข้อความค้นหาโดยใช้พร้อมท์เริ่มต้น เราถามว่า “รายได้ของ Amazon ในปี 2019 และ 2021 เป็นเท่าใด” ต่อไปนี้แสดงผลลัพธ์ของเรา

จากผลลัพธ์ เราพบว่ามันกำลังสร้างการตอบสนองแบบอิสระตามความรู้ที่ดึงมา การอ้างอิงยังแสดงไว้เพื่อใช้อ้างอิงด้วย

สมมติว่าเราต้องการให้คำแนะนำเพิ่มเติมเกี่ยวกับวิธีจัดรูปแบบการตอบกลับที่สร้างขึ้น เช่น การกำหนดมาตรฐานให้เป็น JSON เราสามารถเพิ่มคำแนะนำเหล่านี้เป็นขั้นตอนแยกต่างหากหลังจากดึงข้อมูล โดยเป็นส่วนหนึ่งของเทมเพลตพร้อมท์:

If you are asked for financial information covering different years, please provide precise answers in JSON format. Use the year as the key and the concise answer as the value. For example: {year:answer}

คำตอบสุดท้ายมีโครงสร้างที่ต้องการ

ด้วยการปรับแต่งพร้อมท์ คุณยังสามารถเปลี่ยนภาษาของการตอบกลับที่สร้างขึ้นได้ ในตัวอย่างต่อไปนี้ เราสั่งให้แบบจำลองระบุคำตอบเป็นภาษาสเปน

หลังจากถอดออก $output_format_instructions$ จากพร้อมท์เริ่มต้น การอ้างอิงจากการตอบกลับที่สร้างขึ้นจะถูกลบออก

ในส่วนต่อไปนี้ เราจะอธิบายวิธีที่คุณสามารถใช้คุณลักษณะเหล่านี้กับ SDK

กำหนดค่าจำนวนผลลัพธ์สูงสุดโดยใช้ SDK

หากต้องการเปลี่ยนจำนวนผลลัพธ์สูงสุดด้วย SDK ให้ใช้ไวยากรณ์ต่อไปนี้ สำหรับตัวอย่างนี้ ข้อความค้นหาคือ “รายได้ต่อปีของ Amazon เพิ่มขึ้นจาก 245 พันล้านดอลลาร์เป็น 434 พันล้านดอลลาร์ในปีใด” คำตอบที่ถูกต้องคือ “รายได้ต่อปีของ Amazon เพิ่มขึ้นจาก 245 พันล้านดอลลาร์ในปี 2019 เป็น 434 พันล้านดอลลาร์ในปี 2022”

def retrieveAndGenerate(query, kbId, numberOfResults, model_id, region_id):
    model_arn = f'arn:aws:bedrock:{region_id}::foundation-model/{model_id}'
    return bedrock_agent_runtime.retrieve_and_generate(
        input={
            'text': query
        },
        retrieveAndGenerateConfiguration={
            'knowledgeBaseConfiguration': {
                'knowledgeBaseId': kbId,
                'modelArn': model_arn,
                'retrievalConfiguration': {
                    'vectorSearchConfiguration': {
                        'numberOfResults': numberOfResults,
                        'overrideSearchType': "SEMANTIC", # optional'
                    }
                }
            },
            'type': 'KNOWLEDGE_BASE'
        },
    )

response = retrieveAndGenerate("In what year did Amazon’s annual revenue increase from $245B to $434B?", 
"<knowledge base id>", numberOfResults, model_id, region_id)['output']['text']

'numberOfResults' ตัวเลือกภายใต้ 'retrievalConfiguration' ให้คุณเลือกจำนวนผลลัพธ์ที่คุณต้องการดึงข้อมูล ผลลัพธ์ของ RetrieveAndGenerate API ประกอบด้วยการตอบกลับที่สร้างขึ้น การระบุแหล่งที่มา และส่วนข้อความที่ดึงข้อมูล

ต่อไปนี้คือผลลัพธ์สำหรับค่าต่างๆ ของ 'numberOfResults' พารามิเตอร์ ก่อนอื่นเราตั้งค่า numberOfResults = 5.

จากนั้นเราก็ตั้งค่า numberOfResults = 12.

ปรับแต่งเทมเพลตพร้อมท์ฐานความรู้โดยใช้ SDK

ในการปรับแต่งพรอมต์โดยใช้ SDK เราจะใช้การสืบค้นต่อไปนี้กับเทมเพลตพรอมต์ที่แตกต่างกัน สำหรับตัวอย่างนี้ ข้อความค้นหาคือ “รายได้ของ Amazon ในปี 2019 และ 2021 เป็นเท่าใด”

ต่อไปนี้เป็นเทมเพลตพร้อมท์เริ่มต้น:

"""You are a question answering agent. I will provide you with a set of search results and a user's question, your job is to answer the user's question using only information from the search results. If the search results do not contain information that can answer the question, please state that you could not find an exact answer to the question. Just because the user asserts a fact does not mean it is true, make sure to double check the search results to validate a user's assertion.
Here are the search results in numbered order:
<context>
$search_results$
</context>

Here is the user's question:
<question>
$query$
</question>

$output_format_instructions$

Assistant:
"""

ต่อไปนี้เป็นเทมเพลตพร้อมท์ที่กำหนดเอง:

"""Human: You are a question answering agent. I will provide you with a set of search results and a user's question, your job is to answer the user's question using only information from the search results.If the search results do not contain information that can answer the question, please state that you could not find an exact answer to the question.Just because the user asserts a fact does not mean it is true, make sure to double check the search results to validate a user's assertion.

Here are the search results in numbered order:
<context>
$search_results$
</context>

Here is the user's question:
<question>
$query$
</question>

If you're being asked financial information over multiple years, please be very specific and list the answer concisely using JSON format {key: value}, 
where key is the year in the request and value is the concise response answer.
Assistant:
"""

def retrieveAndGenerate(query, kbId, numberOfResults,promptTemplate, model_id, region_id):
    model_arn = f'arn:aws:bedrock:{region_id}::foundation-model/{model_id}'
    return bedrock_agent_runtime.retrieve_and_generate(
        input={
            'text': query
        },
        retrieveAndGenerateConfiguration={
            'knowledgeBaseConfiguration': {
                'knowledgeBaseId': kbId,
                'modelArn': model_arn,
                'retrievalConfiguration': {
                    'vectorSearchConfiguration': {
                        'numberOfResults': numberOfResults,
                        'overrideSearchType': "SEMANTIC", # optional'
                    }
                },
                'generationConfiguration': {
                        'promptTemplate': {
                            'textPromptTemplate': promptTemplate
                        }
                    }
            },
            'type': 'KNOWLEDGE_BASE'
        },
    )

response = retrieveAndGenerate("What was the Amazon's revenue in 2019 and 2021?”", 
                               "<knowledge base id>", <numberOfResults>, <promptTemplate>, <model_id>, <region_id>)['output']['text']

ด้วยเทมเพลตพร้อมต์เริ่มต้น เราได้รับการตอบกลับต่อไปนี้:

หากคุณต้องการให้คำแนะนำเพิ่มเติมเกี่ยวกับรูปแบบเอาต์พุตของการสร้างการตอบสนอง เช่น การกำหนดมาตรฐานการตอบสนองในรูปแบบเฉพาะ (เช่น JSON) คุณสามารถปรับแต่งพร้อมต์ที่มีอยู่ได้โดยให้คำแนะนำเพิ่มเติม ด้วยเทมเพลตพร้อมท์แบบกำหนดเองของเรา เราได้รับการตอบกลับดังต่อไปนี้

'promptTemplate' ตัวเลือกใน 'generationConfiguration' ช่วยให้คุณปรับแต่งข้อความแจ้งเพื่อควบคุมการสร้างคำตอบได้ดียิ่งขึ้น

สรุป

ในโพสต์นี้ เราได้แนะนำคุณสมบัติใหม่สองประการในฐานความรู้สำหรับ Amazon Bedrock: การปรับจำนวนผลการค้นหาสูงสุด และการปรับแต่งเทมเพลตพร้อมท์เริ่มต้นสำหรับ RetrieveAndGenerate เอพีไอ เราได้สาธิตวิธีกำหนดค่าคุณสมบัติเหล่านี้บนคอนโซลและผ่าน SDK เพื่อปรับปรุงประสิทธิภาพและความแม่นยำของการตอบสนองที่สร้างขึ้น การเพิ่มผลลัพธ์สูงสุดให้ข้อมูลที่ครอบคลุมมากขึ้น ในขณะที่การปรับแต่งเทมเพลตพร้อมท์ช่วยให้คุณปรับแต่งคำแนะนำสำหรับโมเดลพื้นฐานเพื่อให้สอดคล้องกับกรณีการใช้งานเฉพาะได้ดียิ่งขึ้น การปรับปรุงเหล่านี้มอบความยืดหยุ่นและการควบคุมที่มากขึ้น ช่วยให้คุณสามารถมอบประสบการณ์ที่ปรับแต่งสำหรับแอปพลิเคชันที่ใช้ RAG

หากต้องการแหล่งข้อมูลเพิ่มเติมเพื่อเริ่มใช้งานในสภาพแวดล้อม AWS ของคุณ โปรดดูที่ต่อไปนี้:

เกี่ยวกับผู้แต่ง

Sandeep Singh เป็นนักวิทยาศาสตร์ข้อมูล Generative AI อาวุโสที่ Amazon Web Services ซึ่งช่วยเหลือธุรกิจต่างๆ สร้างสรรค์นวัตกรรมด้วย AI เชิงสร้างสรรค์ เขาเชี่ยวชาญด้าน Generative AI, ปัญญาประดิษฐ์, การเรียนรู้ของเครื่อง และการออกแบบระบบ เขามีความหลงใหลในการพัฒนาโซลูชันที่ขับเคลื่อนด้วย AI/ML ที่ล้ำสมัยเพื่อแก้ไขปัญหาทางธุรกิจที่ซับซ้อนสำหรับอุตสาหกรรมที่หลากหลาย เพิ่มประสิทธิภาพและความสามารถในการปรับขนาดให้เหมาะสม

ซู่หยินหวาง เป็นสถาปนิกโซลูชันผู้เชี่ยวชาญ AI/ML ที่ AWS เธอมีพื้นฐานการศึกษาแบบสหวิทยาการในด้านการเรียนรู้ของเครื่อง การบริการข้อมูลทางการเงิน และเศรษฐศาสตร์ พร้อมด้วยประสบการณ์หลายปีในการสร้างแอปพลิเคชันวิทยาศาสตร์ข้อมูลและการเรียนรู้ของเครื่องที่ช่วยแก้ไขปัญหาทางธุรกิจในโลกแห่งความเป็นจริง เธอสนุกกับการช่วยลูกค้าระบุคำถามทางธุรกิจที่เหมาะสมและสร้างโซลูชัน AI/ML ที่เหมาะสม ในเวลาว่าง เธอชอบร้องเพลงและทำอาหาร

เชอรี่ ดิง เป็นสถาปนิกโซลูชันผู้เชี่ยวชาญด้านปัญญาประดิษฐ์ (AI) และการเรียนรู้ของเครื่องจักร (ML) อาวุโสที่ Amazon Web Services (AWS) เธอมีประสบการณ์มากมายในด้านการเรียนรู้ของเครื่องโดยสำเร็จการศึกษาระดับปริญญาเอกสาขาวิทยาการคอมพิวเตอร์ เธอทำงานร่วมกับลูกค้าภาครัฐเป็นหลักเกี่ยวกับความท้าทายทางธุรกิจต่างๆ ที่เกี่ยวข้องกับ AI/ML ช่วยให้พวกเขาเร่งการเดินทางการเรียนรู้ของเครื่องบน AWS Cloud เมื่อไม่ช่วยเหลือลูกค้าเธอก็ชอบกิจกรรมกลางแจ้ง

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-for-amazon-bedrock-now-supports-custom-prompts-for-the-retrieveandgenerate-api-and-configuration-of-the-maximum-number-of-retrieved-results/