เอเจนต์ Large Language Model (LLM) คือโปรแกรมที่ขยายขีดความสามารถของ LLM แบบสแตนด์อโลนด้วย 1) การเข้าถึงเครื่องมือภายนอก (API ฟังก์ชัน เว็บฮุค ปลั๊กอิน และอื่นๆ) และ 2) ความสามารถในการวางแผนและดำเนินงานด้วยตนเอง -กำกับแฟชั่น บ่อยครั้งที่ LLM จำเป็นต้องโต้ตอบกับซอฟต์แวร์ ฐานข้อมูล หรือ API อื่นๆ เพื่อทำงานที่ซับซ้อนให้สำเร็จ ตัวอย่างเช่น แชทบอทสำหรับผู้ดูแลระบบที่จัดกำหนดการประชุมจำเป็นต้องเข้าถึงปฏิทินและอีเมลของพนักงาน ด้วยการเข้าถึงเครื่องมือ เจ้าหน้าที่ LLM จะมีประสิทธิภาพมากขึ้น โดยต้องแลกกับความซับซ้อนเพิ่มเติม
ในโพสต์นี้ เราแนะนำตัวแทน LLM และสาธิตวิธีสร้างและปรับใช้ตัวแทน LLM อีคอมเมิร์ซโดยใช้ Amazon SageMaker JumpStart และ AWS แลมบ์ดา ตัวแทนจะใช้เครื่องมือเพื่อเพิ่มความสามารถใหม่ๆ เช่น การตอบคำถามเกี่ยวกับการคืนสินค้า (“การคืนสินค้าของฉัน rtn001
ประมวลผลแล้ว?”) และให้ข้อมูลอัปเดตเกี่ยวกับคำสั่งซื้อ (“คุณช่วยบอกฉันได้ไหมว่ามีคำสั่งซื้อหรือไม่” 123456
ได้จัดส่งแล้วหรือยัง?”) ความสามารถใหม่เหล่านี้จำเป็นต้องใช้ LLM เพื่อดึงข้อมูลจากแหล่งข้อมูลหลายแหล่ง (orders
, returns
) และดำเนินการดึงข้อมูลการสร้างเสริม (RAG)
เพื่อขับเคลื่อนตัวแทน LLM เราใช้ Flan-UL2
โมเดลที่ใช้งานเป็น ปลายทาง SageMaker และใช้เครื่องมือดึงข้อมูลที่สร้างด้วย AWS Lambda สามารถรวมเอเจนต์เข้ากับระบบได้ในภายหลัง อเมซอน เล็กซ์ และใช้เป็นแชทบอทภายในเว็บไซต์หรือ AWS เชื่อมต่อ. เราสรุปโพสต์พร้อมรายการที่ต้องพิจารณาก่อนที่จะปรับใช้ตัวแทน LLM ในการใช้งานจริง สำหรับประสบการณ์ที่ได้รับการจัดการอย่างเต็มรูปแบบสำหรับการสร้างตัวแทน LLM AWS ยังมีบริการ ตัวแทนสำหรับคุณสมบัติ Amazon Bedrock (ในหน้าตัวอย่าง).
ภาพรวมโดยย่อของสถาปัตยกรรมตัวแทน LLM
เอเจนต์ LLM คือโปรแกรมที่ใช้ LLM เพื่อตัดสินใจว่าจะใช้เครื่องมือเมื่อใดและอย่างไรตามความจำเป็นเพื่อทำงานที่ซับซ้อนให้เสร็จสิ้น ด้วยเครื่องมือและความสามารถในการวางแผนงาน เจ้าหน้าที่ LLM สามารถโต้ตอบกับระบบภายนอกและเอาชนะข้อจำกัดแบบดั้งเดิมของ LLM เช่น การตัดความรู้ ภาพหลอน และการคำนวณที่ไม่แม่นยำ เครื่องมืออาจมีได้หลากหลายรูปแบบ เช่น การเรียก API, ฟังก์ชัน Python หรือปลั๊กอินแบบ Webhook ตัวอย่างเช่น LLM สามารถใช้ "ปลั๊กอินการดึงข้อมูล" เพื่อดึงบริบทที่เกี่ยวข้องและดำเนินการ RAG
แล้ว LLM จะต้องเลือกเครื่องมือและวางแผนงานหมายความว่าอย่างไร มีหลายวิธี (เช่น เกิดปฏิกิริยา, มร.เค.แอล, ช่างทำเครื่องมือ, กอดGPTและ ตัวแทนหม้อแปลงไฟฟ้าs) การใช้ LLM ด้วยเครื่องมือ และความก้าวหน้ากำลังเกิดขึ้นอย่างรวดเร็ว แต่วิธีง่ายๆ วิธีหนึ่งคือการแจ้ง LLM พร้อมรายการเครื่องมือและขอให้พิจารณาว่า 1) จำเป็นต้องใช้เครื่องมือเพื่อตอบสนองคำถามของผู้ใช้หรือไม่ และหากเป็นเช่นนั้น 2) เลือกเครื่องมือที่เหมาะสม โดยทั่วไปข้อความแจ้งดังกล่าวจะมีลักษณะเหมือนตัวอย่างต่อไปนี้ และอาจรวมตัวอย่างสั้นๆ เพื่อปรับปรุงความน่าเชื่อถือของ LLM ในการเลือกเครื่องมือที่เหมาะสม
วิธีการที่ซับซ้อนมากขึ้นเกี่ยวข้องกับการใช้ LLM เฉพาะทางที่สามารถถอดรหัส “การเรียก API” หรือ “การใช้เครื่องมือ” ได้โดยตรง เช่น กอริลลาLLM. LLM ที่ได้รับการปรับแต่งอย่างละเอียดดังกล่าวได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลข้อมูลจำเพาะ API เพื่อจดจำและคาดการณ์การเรียก API ตามคำสั่ง บ่อยครั้งที่ LLM เหล่านี้ต้องการข้อมูลเมตาเกี่ยวกับเครื่องมือที่มีอยู่ (คำอธิบาย, yaml หรือสคีมา JSON สำหรับพารามิเตอร์อินพุต) เพื่อที่จะส่งออกการเรียกใช้เครื่องมือ แนวทางนี้ดำเนินการโดย ตัวแทนของ Amazon Bedrock และ การเรียกใช้ฟังก์ชัน OpenAI. โปรดทราบว่าโดยทั่วไป LLM จะต้องมีขนาดใหญ่และซับซ้อนเพียงพอเพื่อแสดงความสามารถในการเลือกเครื่องมือ
สมมติว่ามีการเลือกกลไกการวางแผนงานและการเลือกเครื่องมือ โปรแกรมตัวแทน LLM ทั่วไปจะทำงานตามลำดับต่อไปนี้:
- คำขอของผู้ใช้ – โปรแกรมรับข้อมูลจากผู้ใช้ เช่น “คำสั่งซื้อของฉันอยู่ที่ไหน”
123456
?” จากแอปพลิเคชันไคลเอนต์บางตัว - วางแผนการดำเนินการต่อไปและเลือกเครื่องมือที่จะใช้ – จากนั้น โปรแกรมจะใช้พร้อมต์เพื่อให้ LLM สร้างการดำเนินการถัดไป เช่น “ค้นหาตารางคำสั่งซื้อโดยใช้
OrdersAPI
” LLM ได้รับแจ้งให้แนะนำชื่อเครื่องมือ เช่นOrdersAPI
จากรายการเครื่องมือที่มีอยู่ที่กำหนดไว้ล่วงหน้าและคำอธิบาย หรืออาจสั่งให้ LLM สร้างการเรียก API โดยตรงด้วยพารามิเตอร์อินพุต เช่นOrdersAPI(12345)
.- โปรดทราบว่าการดำเนินการถัดไปอาจเกี่ยวข้องกับการใช้เครื่องมือหรือ API หรือไม่ก็ได้ ถ้าไม่เช่นนั้น LLM จะตอบสนองต่อการป้อนข้อมูลของผู้ใช้โดยไม่ต้องรวมบริบทเพิ่มเติมจากเครื่องมือหรือเพียงแค่ส่งคืนคำตอบสำเร็จรูป เช่น "ฉันไม่สามารถตอบคำถามนี้ได้"
- คำขอเครื่องมือแยกวิเคราะห์ – ต่อไป เราจำเป็นต้องแยกวิเคราะห์และตรวจสอบเครื่องมือ/การทำนายการดำเนินการที่แนะนำโดย LLM จำเป็นต้องมีการตรวจสอบความถูกต้องเพื่อให้แน่ใจว่าชื่อเครื่องมือ, API และพารามิเตอร์คำขอจะไม่เกิดภาพหลอน และเครื่องมือได้รับการเรียกใช้อย่างเหมาะสมตามข้อกำหนด การแยกวิเคราะห์นี้อาจต้องมีการเรียก LLM แยกต่างหาก
- เรียกใช้เครื่องมือ – เมื่อมั่นใจชื่อเครื่องมือและพารามิเตอร์ที่ถูกต้องแล้ว เราจะเรียกใช้เครื่องมือ นี่อาจเป็นคำขอ HTTP การเรียกใช้ฟังก์ชัน และอื่นๆ
- แยกวิเคราะห์เอาท์พุท – การตอบสนองจากเครื่องมืออาจต้องมีการประมวลผลเพิ่มเติม ตัวอย่างเช่น การเรียก API อาจส่งผลให้มีการตอบสนอง JSON ที่ยาว โดยที่ LLM ให้ความสนใจเพียงชุดย่อยของฟิลด์เท่านั้น การดึงข้อมูลในรูปแบบมาตรฐานที่สะอาดตาสามารถช่วยให้ LLM ตีความผลลัพธ์ได้อย่างน่าเชื่อถือมากขึ้น
- ตีความผลลัพธ์ – เมื่อพิจารณาผลลัพธ์จากเครื่องมือ LLM จะได้รับแจ้งอีกครั้งเพื่อทำความเข้าใจและตัดสินใจว่าจะสามารถสร้างคำตอบสุดท้ายกลับไปยังผู้ใช้ได้หรือไม่ หรือจำเป็นต้องดำเนินการเพิ่มเติมหรือไม่
- ยุติหรือดำเนินการต่อไปยังขั้นตอนที่ 2 – ส่งคืนคำตอบสุดท้ายหรือคำตอบเริ่มต้นในกรณีที่เกิดข้อผิดพลาดหรือหมดเวลา
กรอบงานตัวแทนที่แตกต่างกันดำเนินการโฟลว์โปรแกรมก่อนหน้าแตกต่างกัน ตัวอย่างเช่น, เกิดปฏิกิริยา รวมการเลือกเครื่องมือและการสร้างคำตอบสุดท้ายไว้ในพรอมต์เดียว แทนที่จะใช้พรอมต์แยกต่างหากสำหรับการเลือกเครื่องมือและการสร้างคำตอบ นอกจากนี้ ตรรกะนี้สามารถรันในการส่งผ่านครั้งเดียวหรือรันในคำสั่ง while (“agent loop”) ซึ่งจะสิ้นสุดเมื่อมีการสร้างคำตอบสุดท้าย มีข้อยกเว้นเกิดขึ้น หรือเกิดการหมดเวลา สิ่งที่ยังคงไม่เปลี่ยนแปลงคือเจ้าหน้าที่ใช้ LLM เป็นจุดศูนย์กลางในการวางแผนและเรียกใช้เครื่องมือจนกว่างานจะสิ้นสุดลง ต่อไป เราจะแสดงวิธีใช้งาน Agent Loop อย่างง่ายโดยใช้บริการของ AWS
ภาพรวมโซลูชัน
สำหรับโพสต์บนบล็อกนี้ เราใช้ตัวแทน LLM ที่รองรับอีคอมเมิร์ซซึ่งมีฟังก์ชันสองประการที่ขับเคลื่อนโดยเครื่องมือ:
- เครื่องมือดึงสถานะการคืนสินค้า – ตอบคำถามเกี่ยวกับสถานะการคืนสินค้า เช่น “จะเกิดอะไรขึ้นกับการคืนสินค้าของฉัน”
rtn001
? " - เครื่องมือดึงสถานะคำสั่งซื้อ – ติดตามสถานะคำสั่งซื้อ เช่น “คำสั่งซื้อของฉันมีสถานะเป็นอย่างไร
123456
? "
เอเจนต์ใช้ LLM เป็นเราเตอร์การสืบค้นอย่างมีประสิทธิภาพ จากการสอบถาม (“สถานะการสั่งซื้อคืออะไร 123456
?”) เลือกเครื่องมือดึงข้อมูลที่เหมาะสมเพื่อสืบค้นจากแหล่งข้อมูลหลายแหล่ง (นั่นคือ การส่งคืนและคำสั่งซื้อ) เรากำหนดเส้นทางการสืบค้นให้สำเร็จโดยให้ LLM เลือกเครื่องมือดึงข้อมูลหลายรายการ ซึ่งมีหน้าที่รับผิดชอบในการโต้ตอบกับแหล่งข้อมูลและดึงบริบท สิ่งนี้จะขยายรูปแบบ RAG แบบง่าย ซึ่งถือว่าแหล่งข้อมูลเดียว
เครื่องมือดึงข้อมูลทั้งสองเป็นฟังก์ชัน Lambda ที่ใช้รหัส (orderId
or returnId
) เป็นอินพุต ดึงออบเจ็กต์ JSON จากแหล่งข้อมูล และแปลง JSON ให้เป็นสตริงการแสดงที่เป็นมิตรกับมนุษย์ซึ่ง LLM เหมาะสมที่จะใช้ แหล่งข้อมูลในสถานการณ์จริงอาจเป็นฐานข้อมูล NoSQL ที่ปรับขนาดได้สูง เช่น DynamoDBแต่โซลูชันนี้ใช้ Python แบบธรรมดา Dict
พร้อมข้อมูลตัวอย่างเพื่อการสาธิต
คุณสามารถเพิ่มฟังก์ชันการทำงานเพิ่มเติมให้กับตัวแทนได้โดยการเพิ่มเครื่องมือการดึงข้อมูลและแก้ไขพร้อมท์ตามนั้น เอเจนต์นี้สามารถทดสอบบริการแบบสแตนด์อโลนที่ผสานรวมกับ UI ใดๆ บน HTTP ซึ่งสามารถทำได้ง่ายๆ อเมซอน เล็กซ์.
ต่อไปนี้เป็นรายละเอียดเพิ่มเติมเกี่ยวกับองค์ประกอบหลัก:
- จุดสิ้นสุดการอนุมาน LLM – หัวใจหลักของโปรแกรมตัวแทนคือ LLM เราจะใช้ฮับโมเดลพื้นฐาน SageMaker JumpStart เพื่อปรับใช้ได้อย่างง่ายดาย
Flan-UL2
แบบอย่าง. SageMaker JumpStart ช่วยให้ปรับใช้ตำแหน่งข้อมูลการอนุมาน LLM ในพื้นที่เฉพาะได้อย่างง่ายดาย SageMaker ตัวอย่าง. - ผู้ประสานงานตัวแทน – Agent orchestrator ประสานการโต้ตอบระหว่าง LLM, เครื่องมือ และแอปไคลเอ็นต์ สำหรับโซลูชันของเรา เราใช้ฟังก์ชัน AWS Lambda เพื่อขับเคลื่อนโฟลว์นี้และใช้ฟังก์ชันต่อไปนี้เป็นฟังก์ชันตัวช่วย
- ผู้วางแผนงาน (เครื่องมือ) – ผู้วางแผนงานใช้ LLM เพื่อแนะนำหนึ่งใน 1) การสอบถามการส่งคืน 2) การสอบถามเกี่ยวกับคำสั่งซื้อ หรือ 3) ไม่มีเครื่องมือ เราใช้วิศวกรรมที่รวดเร็วเท่านั้นและ
Flan-UL2
ดังที่เป็นอยู่โดยไม่ต้องปรับแต่งอย่างละเอียด - เครื่องมือแยกวิเคราะห์ – เครื่องมือแยกวิเคราะห์ช่วยให้แน่ใจว่าคำแนะนำเครื่องมือจากผู้วางแผนงานนั้นถูกต้อง โดยเฉพาะอย่างยิ่งเรารับรองว่าตัวเดียว
orderId
orreturnId
สามารถแยกวิเคราะห์ได้ มิฉะนั้น เราจะตอบกลับด้วยข้อความเริ่มต้น - ผู้มอบหมายงานเครื่องมือ – โปรแกรมเลือกจ่ายเครื่องมือเรียกใช้เครื่องมือ (ฟังก์ชันแลมบ์ดา) โดยใช้พารามิเตอร์ที่ถูกต้อง
- ตัวแยกวิเคราะห์เอาท์พุท – ตัวแยกวิเคราะห์เอาต์พุตจะล้างและแยกรายการที่เกี่ยวข้องจาก JSON ลงในสตริงที่มนุษย์สามารถอ่านได้ งานนี้เสร็จสิ้นทั้งโดยเครื่องมือดึงข้อมูลแต่ละอันและภายในผู้เรียบเรียง
- ล่ามเอาท์พุท – ความรับผิดชอบของล่ามเอาท์พุตคือ 1) ตีความเอาท์พุตจากการเรียกใช้เครื่องมือ และ 2) พิจารณาว่าคำขอของผู้ใช้สามารถตอบสนองได้หรือไม่ หรือจำเป็นต้องมีขั้นตอนเพิ่มเติม หากเป็นอย่างหลัง การตอบสนองขั้นสุดท้ายจะถูกสร้างขึ้นแยกจากกันและส่งคืนให้กับผู้ใช้
- ผู้วางแผนงาน (เครื่องมือ) – ผู้วางแผนงานใช้ LLM เพื่อแนะนำหนึ่งใน 1) การสอบถามการส่งคืน 2) การสอบถามเกี่ยวกับคำสั่งซื้อ หรือ 3) ไม่มีเครื่องมือ เราใช้วิศวกรรมที่รวดเร็วเท่านั้นและ
ตอนนี้ เรามาเจาะลึกลงไปอีกเล็กน้อยในองค์ประกอบหลัก: ผู้ประสานงานตัวแทน ผู้วางแผนงาน และผู้มอบหมายงานเครื่องมือ
ตัวแทนผู้เรียบเรียง
ด้านล่างนี้คือเวอร์ชันย่อของลูปเอเจนต์ภายในฟังก์ชัน Lambda ของเอเจนต์ orchestrator ลูปใช้ฟังก์ชันตัวช่วยเช่น task_planner
or tool_parser
เพื่อทำให้งานเป็นแบบโมดูลาร์ ลูปที่นี่ได้รับการออกแบบมาให้ทำงานได้สูงสุดสองครั้งเพื่อป้องกันไม่ให้ LLM ติดอยู่ในลูปนานโดยไม่จำเป็น
ผู้วางแผนงาน (การทำนายเครื่องมือ)
ผู้จัดเตรียมตัวแทนใช้ task planner
เพื่อทำนายเครื่องมือดึงข้อมูลตามการป้อนข้อมูลของผู้ใช้ สำหรับตัวแทน LLM ของเรา เราจะใช้วิศวกรรมที่รวดเร็วและคำแนะนำสั้นๆ เพื่อสอน LLM งานนี้ในบริบท เอเจนต์ที่มีความซับซ้อนมากขึ้นสามารถใช้ LLM ที่ปรับแต่งแล้วสำหรับการทำนายเครื่องมือ ซึ่งอยู่นอกเหนือขอบเขตของโพสต์นี้ พรอมต์มีดังนี้:
ผู้มอบหมายงานเครื่องมือ
กลไกการจัดส่งเครื่องมือทำงานผ่าน if/else
ตรรกะในการเรียกใช้ฟังก์ชัน Lambda ที่เหมาะสม โดยขึ้นอยู่กับชื่อของเครื่องมือ ต่อไปนี้คือ tool_dispatch
การใช้งานฟังก์ชันตัวช่วย มันถูกใช้ภายใน agent
วนซ้ำและส่งกลับการตอบสนองดิบจากฟังก์ชัน Lambda ของเครื่องมือ ซึ่งจากนั้นจะถูกล้างโดย output_parser
ฟังก์ชัน
ปรับใช้โซลูชัน
ข้อกำหนดเบื้องต้นที่สำคัญ – ในการเริ่มต้นการปรับใช้ คุณต้องปฏิบัติตามข้อกำหนดเบื้องต้นต่อไปนี้:
- การเข้าถึง คอนโซลการจัดการ AWS ผ่านผู้ใช้ที่สามารถเปิดใช้งานได้ สแต็ค AWS CloudFormation
- ความคุ้นเคยกับการนำทาง AWS แลมบ์ดา และ อเมซอน เล็กซ์ คอนโซล
Flan-UL2
ต้องใช้อันเดียวml.g5.12xlarge
สำหรับการใช้งานซึ่งอาจจำเป็นต้องเพิ่มขีดจำกัดทรัพยากรผ่านทาง สนับสนุนตั๋ว. ในตัวอย่างของเรา เราใช้us-east-1
ในฐานะภูมิภาค ดังนั้นโปรดตรวจสอบให้แน่ใจว่าได้เพิ่มโควต้าการบริการ (หากจำเป็น) ในus-east-1
.
ปรับใช้โดยใช้ CloudFormation – คุณสามารถปรับใช้โซลูชันได้ us-east-1
โดยคลิกที่ปุ่มด้านล่าง:
การปรับใช้โซลูชันจะใช้เวลาประมาณ 20 นาที และจะสร้าง LLMAgentStack
สแต็ก ซึ่ง:
- ปรับใช้ตำแหน่งข้อมูล SageMaker โดยใช้
Flan-UL2
โมเดลจาก SageMaker JumpStart; - ปรับใช้ฟังก์ชัน Lambda สามฟังก์ชัน:
LLMAgentOrchestrator
,LLMAgentReturnsTool
,LLMAgentOrdersTool
และ - ปรับใช้ไฟล์ AWS เล็ก บอทที่สามารถใช้เพื่อทดสอบตัวแทน:
Sagemaker-Jumpstart-Flan-LLM-Agent-Fallback-Bot
.
ทดสอบวิธีแก้ปัญหา
สแต็กปรับใช้บอต Amazon Lex ด้วยชื่อ Sagemaker-Jumpstart-Flan-LLM-Agent-Fallback-Bot
. สามารถใช้บอทเพื่อทดสอบเอเจนต์ตั้งแต่ต้นทางถึงปลายทางได้ ต่อไปนี้เป็นคำแนะนำที่ครอบคลุมเพิ่มเติมสำหรับการทดสอบบอต AWS Amazon Lex ด้วยการผสานรวม Lambda และวิธีการผสานการทำงานในระดับสูง โดยสรุปแล้ว บอต Amazon Lex เป็นทรัพยากรที่ให้ UI ที่รวดเร็วเพื่อแชทกับตัวแทน LLM ที่ทำงานภายในฟังก์ชัน Lambda ที่เราสร้างขึ้น (LLMAgentOrchestrator
).
กรณีทดสอบตัวอย่างที่ต้องพิจารณามีดังนี้:
- สอบถามการสั่งซื้อที่ถูกต้อง (เช่น “สินค้าชิ้นไหนที่สั่ง
123456
-- คำสั่งซื้อ “123456” เป็นคำสั่งซื้อที่ถูกต้อง ดังนั้นเราจึงควรคาดหวังคำตอบที่สมเหตุสมผล (เช่น “สบู่สมุนไพร”)
- สอบถามการคืนสินค้าที่ถูกต้อง สำหรับการส่งคืน (เช่น “ฉันจะกลับมาเมื่อใด
rtn003
ประมวลผลแล้ว?”)- เราควรคาดหวังคำตอบที่สมเหตุสมผลเกี่ยวกับสถานะของการคืนสินค้า
- ไม่เกี่ยวข้องกับการคืนสินค้าหรือคำสั่งซื้อ (เช่น “ตอนนี้สภาพอากาศในสกอตแลนด์เป็นอย่างไร”)
- คำถามที่ไม่เกี่ยวข้องกับการคืนสินค้าหรือคำสั่งซื้อ ดังนั้นควรส่งคืนคำตอบเริ่มต้น (“ขออภัย ฉันไม่สามารถตอบคำถามนั้นได้”)
- การสอบถามคำสั่งซื้อไม่ถูกต้อง (เช่น “สินค้าชิ้นไหนที่สั่ง
383833
-- ไม่มีรหัส 383832 ในชุดข้อมูลคำสั่งซื้อ ดังนั้นเราจึงควรล้มเหลวอย่างสมบูรณ์ (เช่น "ไม่พบคำสั่งซื้อ โปรดตรวจสอบรหัสคำสั่งซื้อของคุณ")
- การสอบถามการคืนสินค้าไม่ถูกต้อง (เช่น “ฉันจะกลับมาเมื่อไหร่”
rtn123
ประมวลผลแล้ว?”)- ในทำนองเดียวกันไอดี
rtn123
ไม่มีอยู่ในชุดข้อมูลที่ส่งคืน และด้วยเหตุนี้จึงควรล้มเหลวอย่างสวยงาม
- ในทำนองเดียวกันไอดี
- การสอบถามการคืนสินค้าที่ไม่เกี่ยวข้อง (เช่น “ผลตอบแทนมีผลกระทบอย่างไร”
rtn001
เรื่องสันติภาพโลก?”)- แม้ว่าคำถามนี้จะเกี่ยวข้องกับคำสั่งซื้อที่ถูกต้อง แต่ก็ไม่เกี่ยวข้อง LLM ใช้เพื่อกรองคำถามที่มีบริบทที่ไม่เกี่ยวข้อง
หากต้องการดำเนินการทดสอบเหล่านี้ด้วยตนเอง ต่อไปนี้เป็นคำแนะนำ
- บนคอนโซล Amazon Lex (คอนโซล AWS > Amazon Lex) นำทางไปยังบอทที่ชื่อ
Sagemaker-Jumpstart-Flan-LLM-Agent-Fallback-Bot
. บอทนี้ได้รับการกำหนดค่าให้เรียกLLMAgentOrchestrator
ฟังก์ชั่นแลมบ์ดาเมื่อใดก็ตามที่FallbackIntent
ถูกทริกเกอร์ - ในบานหน้าต่างนำทาง เลือก เจตนา.
- Choose สร้าง ที่มุมขวาบน
- 4. รอให้กระบวนการสร้างเสร็จสิ้น เมื่อเสร็จแล้ว คุณจะได้รับข้อความแสดงความสำเร็จ ดังที่แสดงในภาพหน้าจอต่อไปนี้
- ทดสอบบอทโดยเข้าสู่กรณีทดสอบ
ทำความสะอาด
เพื่อหลีกเลี่ยงค่าใช้จ่ายเพิ่มเติม ให้ลบทรัพยากรที่สร้างโดยโซลูชันของเราโดยทำตามขั้นตอนเหล่านี้:
- เกี่ยวกับ การก่อตัวของ AWS Cloud คอนโซล ให้เลือกสแต็กที่ชื่อ
LLMAgentStack
(หรือชื่อที่กำหนดเองที่คุณเลือก) - Choose ลบ
- ตรวจสอบว่าสแตกถูกลบออกจากคอนโซล CloudFormation แล้ว
สำคัญ: ตรวจสอบอีกครั้งว่าสแต็กถูกลบสำเร็จโดยตรวจสอบให้แน่ใจว่า Flan-UL2
จุดสิ้นสุดการอนุมานจะถูกลบออก
- หากต้องการตรวจสอบ ให้ไปที่ คอนโซล AWS > Sagemaker > ตำแหน่งข้อมูล > การอนุมาน หน้า.
- หน้านี้ควรแสดงรายการปลายทางที่ใช้งานอยู่ทั้งหมด
- ให้แน่ใจว่า
sm-jumpstart-flan-bot-endpoint
ไม่มีเหมือนภาพหน้าจอด้านล่าง
ข้อควรพิจารณาในการผลิต
การปรับใช้ตัวแทน LLM ในการผลิตจำเป็นต้องมีขั้นตอนเพิ่มเติมเพื่อให้มั่นใจในความน่าเชื่อถือ ประสิทธิภาพ และการบำรุงรักษา ข้อควรพิจารณาบางประการก่อนที่จะปรับใช้ตัวแทนในการผลิต:
- การเลือกโมเดล LLM เพื่อขับเคลื่อนลูปเอเจนต์: สำหรับวิธีแก้ปัญหาที่กล่าวถึงในโพสต์นี้ เราใช้
Flan-UL2
โดยไม่ต้องปรับแต่งอย่างละเอียดเพื่อดำเนินการวางแผนงานหรือเลือกเครื่องมือ ในทางปฏิบัติ การใช้ LLM ที่ได้รับการปรับแต่งอย่างละเอียดเพื่อส่งออกเครื่องมือหรือคำขอ API โดยตรงจะสามารถเพิ่มความน่าเชื่อถือและประสิทธิภาพได้ รวมถึงทำให้การพัฒนาง่ายขึ้น เราสามารถปรับแต่ง LLM ในงานการเลือกเครื่องมือ หรือใช้โมเดลที่ถอดรหัสโทเค็นเครื่องมือโดยตรง เช่น Toolformer- การใช้โมเดลที่ได้รับการปรับแต่งยังช่วยลดความยุ่งยากในการเพิ่ม ลบ และอัปเดตเครื่องมือที่ตัวแทนใช้งานได้ ด้วยแนวทางที่ใช้เฉพาะพรอมต์เท่านั้น การอัพเดตเครื่องมือจำเป็นต้องแก้ไขทุกพร้อมต์ภายในตัวจัดการเอเจนต์ เช่น สำหรับการวางแผนงาน การแยกวิเคราะห์เครื่องมือ และการจัดส่งเครื่องมือ นี่อาจเป็นเรื่องยุ่งยาก และประสิทธิภาพอาจลดลงหากมีเครื่องมือมากเกินไปในบริบทของ LLM
- ความน่าเชื่อถือและประสิทธิภาพ: เอเจนต์ LLM อาจไม่น่าเชื่อถือ โดยเฉพาะสำหรับงานที่ซับซ้อนซึ่งไม่สามารถทำได้ภายในไม่กี่ลูป การเพิ่มการตรวจสอบความถูกต้องของเอาต์พุต การลองใหม่ การสร้างโครงสร้างเอาต์พุตจาก LLM ลงใน JSON หรือ yaml และการบังคับใช้การหมดเวลาเพื่อให้ Escape Hates สำหรับ LLM ที่ติดอยู่ในลูปจะช่วยเพิ่มความน่าเชื่อถือได้
สรุป
ในโพสต์นี้ เราได้สำรวจวิธีสร้างตัวแทน LLM ที่สามารถใช้เครื่องมือหลายอย่างตั้งแต่ต้นจนจบ โดยใช้วิศวกรรมพร้อมต์ระดับต่ำ ฟังก์ชัน AWS Lambda และ SageMaker JumpStart เป็นส่วนประกอบ เราได้พูดคุยถึงสถาปัตยกรรมของตัวแทน LLM และลูปตัวแทนโดยละเอียด แนวคิดและสถาปัตยกรรมโซลูชันที่แนะนำในบล็อกโพสต์นี้อาจเหมาะสมสำหรับตัวแทนที่ใช้ชุดเครื่องมือที่กำหนดไว้ล่วงหน้าจำนวนเล็กน้อย นอกจากนี้เรายังได้กล่าวถึงกลยุทธ์หลายประการสำหรับการใช้ตัวแทนในการผลิต ตัวแทนสำหรับ Bedrock ซึ่งอยู่ในการแสดงตัวอย่าง ยังมอบประสบการณ์ที่มีการจัดการสำหรับการสร้างเอเจนต์ด้วยการสนับสนุนดั้งเดิมสำหรับการเรียกใช้เครื่องมือเอเจนต์
เกี่ยวกับผู้เขียน
จอห์น ฮวาง เป็นสถาปนิก Generative AI ที่ AWS โดยมุ่งเน้นเป็นพิเศษในแอปพลิเคชัน Large Language Model (LLM) ฐานข้อมูลเวกเตอร์ และกลยุทธ์ผลิตภัณฑ์ AI เชิงสร้างสรรค์ เขามีความกระตือรือร้นในการช่วยเหลือบริษัทในการพัฒนาผลิตภัณฑ์ AI/ML และอนาคตของตัวแทน LLM และนักบินร่วม ก่อนที่จะมาร่วมงานกับ AWS เขาเป็นผู้จัดการผลิตภัณฑ์ที่ Alexa โดยเขาได้ช่วยนำ AI แบบสนทนามาสู่อุปกรณ์มือถือ รวมถึงเป็นผู้ค้าอนุพันธ์ที่ Morgan Stanley เขาสำเร็จการศึกษาระดับปริญญาตรีสาขาวิทยาการคอมพิวเตอร์จากมหาวิทยาลัยสแตนฟอร์ด
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
- เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
- เพลโตESG. ยานยนต์ / EVs, คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
- เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
- ChartPrime. ยกระดับเกมการซื้อขายของคุณด้วย ChartPrime เข้าถึงได้ที่นี่.
- BlockOffsets การปรับปรุงการเป็นเจ้าของออฟเซ็ตด้านสิ่งแวดล้อมให้ทันสมัย เข้าถึงได้ที่นี่.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/learn-how-to-build-and-deploy-tool-using-llm-agents-using-aws-sagemaker-jumpstart-foundation-models/
- :มี
- :เป็น
- :ไม่
- :ที่ไหน
- $ ขึ้น
- 1
- 100
- 15%
- 19
- 20
- 200
- 24
- 27
- 500
- 7
- 9
- a
- ความสามารถ
- ความสามารถ
- เกี่ยวกับเรา
- เข้า
- บรรลุผล
- ตาม
- ตาม
- ข้าม
- การกระทำ
- การปฏิบัติ
- คล่องแคล่ว
- ที่เพิ่ม
- เพิ่ม
- เพิ่มเติม
- การบริหาร
- ความก้าวหน้า
- หลังจาก
- อีกครั้ง
- ตัวแทน
- ตัวแทน
- AI
- AI / ML
- Alexa
- ทั้งหมด
- แล้ว
- ด้วย
- อเมซอน
- อเมซอน เล็กซ์
- Amazon Web Services
- ในหมู่
- จำนวน
- an
- และ
- คำตอบ
- ใด
- API
- APIs
- app
- การใช้งาน
- การใช้งาน
- เข้าใกล้
- วิธีการ
- เหมาะสม
- สถาปัตยกรรม
- เป็น
- AS
- ถาม
- ถือว่า
- At
- เติม
- ใช้ได้
- หลีกเลี่ยง
- AWS
- AWS แลมบ์ดา
- กลับ
- ตาม
- BE
- กลายเป็น
- รับ
- ก่อน
- กำลัง
- ด้านล่าง
- เบิร์กลีย์
- เกิน
- บิต
- Blocks
- บล็อก
- ร่างกาย
- ธ ปท
- ทั้งสอง
- บอท
- นำมาซึ่ง
- สร้าง
- การก่อสร้าง
- สร้าง
- ธุรกิจ
- แต่
- ปุ่ม
- by
- การคำนวณ
- ปฏิทิน
- โทรศัพท์
- โทร
- CAN
- ไม่ได้
- ความสามารถในการ
- กรณี
- กรณี
- โหลด
- chatbot
- ตรวจสอบ
- Choose
- เลือก
- ไคลเอนต์
- รวม
- บริษัท
- สมบูรณ์
- เสร็จ
- ซับซ้อน
- ความซับซ้อน
- ส่วนประกอบ
- ครอบคลุม
- คอมพิวเตอร์
- วิทยาการคอมพิวเตอร์
- แนวความคิด
- สรุป
- การกำหนดค่า
- พิจารณา
- การพิจารณา
- ปลอบใจ
- คงที่
- สิ่งแวดล้อม
- ต่อ
- การสนทนา
- AI สนทนา
- แกน
- ราคา
- ได้
- สร้าง
- ที่สร้างขึ้น
- ยุ่งยาก
- ประเพณี
- ข้อมูล
- ฐานข้อมูล
- ฐานข้อมูล
- ชุดข้อมูล
- วัน
- ตัดสินใจ
- ทุ่มเท
- ลึก
- ค่าเริ่มต้น
- คำจำกัดความ
- สาธิต
- สาธิต
- ทั้งนี้ขึ้นอยู่กับ
- ปรับใช้
- นำไปใช้
- ปรับใช้
- การใช้งาน
- Deploys
- สัญญาซื้อขายล่วงหน้า
- ได้รับการออกแบบ
- รายละเอียด
- รายละเอียด
- กำหนด
- พัฒนาการ
- อุปกรณ์
- โดยตรง
- กล่าวถึง
- การดำน้ำ
- do
- ทำ
- ทำ
- ขับรถ
- e
- E-commerce
- แต่ละ
- อย่างง่ายดาย
- ง่าย
- มีประสิทธิภาพ
- ทั้ง
- อื่น
- อีเมล
- พนักงาน
- จบสิ้น
- ปลายทาง
- การบังคับใช้
- ชั้นเยี่ยม
- เสริม
- ทำให้มั่นใจ
- มั่นใจ
- เพื่อให้แน่ใจ
- การสร้างความมั่นใจ
- การป้อน
- ได้รับสิทธิ
- ความผิดพลาด
- ข้อผิดพลาด
- หลบหนี
- โดยเฉพาะอย่างยิ่ง
- ฯลฯ
- เหตุการณ์
- ทุกๆ
- ตัวอย่าง
- ตัวอย่าง
- ยกเว้น
- ข้อยกเว้น
- ดำเนินการ
- มีอยู่
- คาดหวัง
- ประสบการณ์
- สำรวจ
- ขยายออก
- ขยาย
- ภายนอก
- พิเศษ
- สารสกัดจาก
- ล้มเหลว
- เท็จ
- แฟชั่น
- ลักษณะ
- สองสาม
- สาขา
- กรอง
- สุดท้าย
- ไหล
- โฟกัส
- ดังต่อไปนี้
- ดังต่อไปนี้
- สำหรับ
- รูป
- รูปแบบ
- พบ
- รากฐาน
- กรอบ
- เป็นมิตร
- ราคาเริ่มต้นที่
- เติมเต็ม
- อย่างเต็มที่
- ฟังก์ชัน
- ฟังก์ชันการทำงาน
- ฟังก์ชั่น
- อนาคต
- โดยทั่วไป
- สร้าง
- สร้าง
- รุ่น
- กำเนิด
- กำเนิด AI
- ได้รับ
- กำหนด
- Go
- พื้น
- ให้คำแนะนำ
- สิ่งที่เกิดขึ้น
- ฟักไข่
- มี
- มี
- he
- ช่วย
- ช่วย
- การช่วยเหลือ
- ด้วยเหตุนี้
- โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม
- hi
- จุดสูง
- อย่างสูง
- ถือ
- ชั่วโมง
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- HTML
- ที่ http
- HTTPS
- Hub
- เป็นมนุษย์
- มนุษย์สามารถอ่านได้
- i
- ID
- if
- ส่งผลกระทบ
- การดำเนินการ
- การดำเนินงาน
- การนำเข้า
- ปรับปรุง
- in
- ประกอบด้วย
- ผสมผสาน
- เพิ่ม
- ที่เพิ่มขึ้น
- ข้อมูล
- อินพุต
- การสอบสวน
- ภายใน
- คำแนะนำการใช้
- แบบบูรณาการ
- รวม
- บูรณาการ
- ความตั้งใจ
- โต้ตอบ
- การมีปฏิสัมพันธ์
- ปฏิสัมพันธ์
- อยากเรียนรู้
- เข้าไป
- แนะนำ
- แนะนำ
- เรียก
- จะเรียก
- รวมถึง
- IT
- รายการ
- ซ้ำ
- การร่วม
- jpg
- JSON
- คีย์
- ความรู้
- ภาษา
- ใหญ่
- เปิดตัว
- เรียนรู้
- ชั้น
- กดไลก์
- ข้อ จำกัด
- ขีด จำกัด
- รายการ
- LLM
- ตรรกะ
- นาน
- LOOKS
- ทำ
- ทำให้
- การจัดการ
- การจัดการ
- ผู้จัดการ
- หลาย
- อาจ..
- me
- หมายความ
- กลไก
- กลไก
- การประชุม
- ข่าวสาร
- เมตาดาต้า
- นาที
- โทรศัพท์มือถือ
- อุปกรณ์มือถือ
- แบบ
- โมเดล
- ข้อมูลเพิ่มเติม
- มอร์แกน
- มอร์แกนสแตนลีย์
- มากที่สุด
- หลาย
- my
- ชื่อ
- ที่มีชื่อ
- ชื่อ
- พื้นเมือง
- นำทาง
- การนำทาง
- การเดินเรือ
- จำเป็น
- จำเป็นต้อง
- จำเป็น
- ใหม่
- ถัดไป
- ไม่
- ไม่มี
- ยวด
- ตอนนี้
- จำนวน
- มากมาย
- วัตถุ
- of
- มักจะ
- on
- ครั้งเดียว
- ONE
- เพียง
- ตรงข้าม
- or
- ใบสั่ง
- คำสั่งซื้อ
- อื่นๆ
- มิฉะนั้น
- ของเรา
- ออก
- เอาท์พุต
- ด้านนอก
- เกิน
- เอาชนะ
- ภาพรวม
- หน้า
- บานหน้าต่าง
- พารามิเตอร์
- ส่ง
- หลงใหล
- แบบแผน
- ความสงบ
- คาราคาซัง
- ดำเนินการ
- การปฏิบัติ
- เลือก
- เลือก
- แผนการ
- การวางแผน
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- กรุณา
- ปลั๊กอิน
- นโยบาย
- โพสต์
- อำนาจ
- ขับเคลื่อน
- การปฏิบัติ
- คาดการณ์
- คำทำนาย
- ข้อกำหนดเบื้องต้น
- ป้องกัน
- ดูตัวอย่าง
- ก่อน
- ก่อน
- กระบวนการ
- แปรรูปแล้ว
- การประมวลผล
- ผลิตภัณฑ์
- การพัฒนาผลิตภัณฑ์
- ผู้จัดการผลิตภัณฑ์
- การผลิต
- โครงการ
- โปรแกรม
- อย่างถูกต้อง
- ให้
- ให้
- ให้
- การให้
- วัตถุประสงค์
- หลาม
- คำถาม
- คำถาม
- รวดเร็ว
- ยก
- อย่างรวดเร็ว
- ดิบ
- โลกแห่งความจริง
- เหมาะสม
- รับรู้
- คืนเงินให้
- ภูมิภาค
- ตรงประเด็น
- ความเชื่อถือได้
- ซากศพ
- ลบออก
- ลบ
- การแสดง
- ขอ
- การร้องขอ
- ต้องการ
- จำเป็นต้องใช้
- ต้อง
- ทรัพยากร
- แหล่งข้อมูล
- ตอบสนอง
- คำตอบ
- ความรับผิดชอบ
- รับผิดชอบ
- ผล
- กลับ
- การคืน
- รับคืน
- ขวา
- เราเตอร์
- การกำหนดเส้นทาง
- วิ่ง
- วิ่ง
- s
- sagemaker
- ความพึงพอใจ
- ที่ปรับขนาดได้
- สถานการณ์
- วิทยาศาสตร์
- ขอบเขต
- ค้นหา
- ดูเหมือนว่า
- เลือก
- การเลือก
- กำกับตนเอง
- ความรู้สึก
- แยก
- ลำดับ
- บริการ
- บริการ
- ชุด
- หลาย
- จัดส่ง
- การส่งสินค้า
- สั้น
- การถ่ายภาพ
- น่า
- โชว์
- แสดง
- ง่าย
- ลดความซับซ้อน
- ง่ายดาย
- เดียว
- เล็ก
- So
- ซอฟต์แวร์
- ทางออก
- บาง
- ซับซ้อน
- แหล่ง
- แหล่งที่มา
- พิเศษ
- เฉพาะ
- โดยเฉพาะ
- สเปค
- กอง
- สแตนด์อโลน
- Stanford
- มหาวิทยาลัยสแตนฟอร์ด
- สแตนเลย์
- เริ่มต้น
- ข้อความที่เริ่ม
- คำแถลง
- Status
- ขั้นตอน
- ขั้นตอน
- หยุด
- จัดเก็บ
- กลยุทธ์
- กลยุทธ์
- เชือก
- การจัดโครงสร้าง
- ต่อจากนั้น
- ความสำเร็จ
- ประสบความสำเร็จ
- อย่างเช่น
- แนะนำ
- เหมาะสม
- สนับสนุน
- แน่ใจ
- ระบบ
- ตาราง
- เอา
- นำ
- ใช้เวลา
- การ
- งาน
- งาน
- บอก
- ทดสอบ
- การทดสอบ
- การทดสอบ
- การทดสอบ
- ที่
- พื้นที่
- ก้าวสู่อนาคต
- ของพวกเขา
- แล้วก็
- ที่นั่น
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- นี้
- เหล่านั้น
- สาม
- ดังนั้น
- ครั้ง
- ไปยัง
- ราชสกุล
- เกินไป
- เครื่องมือ
- เครื่องมือ
- ด้านบน
- รวม
- ลู่
- เทรดเดอร์
- แบบดั้งเดิม
- ผ่านการฝึกอบรม
- ทริกเกอร์
- ลอง
- สอง
- ตามแบบฉบับ
- เป็นปกติ
- ui
- มหาวิทยาลัย
- เกินความจำเป็น
- จนกระทั่ง
- การปรับปรุง
- การปรับปรุง
- ใช้
- มือสอง
- ผู้ใช้งาน
- ใช้
- การใช้
- นำไปใช้
- ตรวจสอบความถูกต้อง
- การตรวจสอบ
- ความหลากหลาย
- รุ่น
- ผ่านทาง
- รอ
- คือ
- ทาง..
- we
- สภาพอากาศ
- เว็บ
- บริการเว็บ
- เว็บไซต์
- ดี
- อะไร
- ความหมายของ
- เมื่อ
- เมื่อไรก็ตาม
- ว่า
- ที่
- ในขณะที่
- WHO
- จะ
- กับ
- ภายใน
- ไม่มี
- โรงงาน
- โลก
- จะ
- มันแกว
- คุณ
- ของคุณ
- ด้วยตัวคุณเอง
- ลมทะเล