โพสต์นี้เขียนร่วมกับ Stanislav Eshchenko จาก Q4 Inc.
องค์กรต่างๆ หันมาใช้ Retreatal Augmented Generation (RAG) เพื่อเป็นแนวทางหลักในการสร้างแชทบอทถามตอบ เรายังคงเห็นความท้าทายที่เกิดขึ้นใหม่อันเนื่องมาจากลักษณะของชุดข้อมูลที่หลากหลาย ชุดข้อมูลเหล่านี้มักเป็นการผสมผสานระหว่างข้อมูลตัวเลขและข้อมูลข้อความ ซึ่งบางครั้งก็มีโครงสร้าง ไม่มีโครงสร้าง หรือกึ่งมีโครงสร้าง
Q4 อิงค์ จำเป็นต้องจัดการกับความท้าทายเหล่านี้ในกรณีการใช้งาน AI จำนวนมากที่สร้างขึ้นบน AWS ในโพสต์นี้ เราจะพูดถึงกรณีการใช้งานบอทถามตอบที่ Q4 ได้นำไปใช้ ความท้าทายที่ชุดข้อมูลเชิงตัวเลขและแบบมีโครงสร้างนำเสนอ และวิธีที่ Q4 สรุปว่าการใช้ SQL อาจเป็นวิธีแก้ปัญหาที่ใช้งานได้ สุดท้ายนี้ เราจะมาดูอย่างใกล้ชิดว่าทีม Q4 ใช้อย่างไร อเมซอน เบดร็อค และ SQLDatabaseChain เพื่อนำโซลูชันที่ใช้ RAG ไปใช้พร้อมกับการสร้าง SQL
ภาพรวมกรณีใช้งาน
Q4 Inc. ซึ่งมีสำนักงานใหญ่ในโตรอนโต และมีสำนักงานในนิวยอร์กและลอนดอน เป็นแพลตฟอร์มการเข้าถึงตลาดทุนชั้นนำที่เปลี่ยนแปลงวิธีที่ผู้ออก นักลงทุน และผู้ขายเชื่อมต่อ สื่อสาร และมีส่วนร่วมซึ่งกันและกันอย่างมีประสิทธิภาพ แพลตฟอร์ม Q4 อำนวยความสะดวกในการโต้ตอบในตลาดทุนผ่านผลิตภัณฑ์เว็บไซต์ IR, โซลูชั่นเหตุการณ์เสมือนจริง, การวิเคราะห์การมีส่วนร่วม, นักลงทุนสัมพันธ์ การจัดการลูกค้าสัมพันธ์ (CRM), การวิเคราะห์ผู้ถือหุ้นและตลาด, การเฝ้าระวัง และเครื่องมือ ESG
ในโลกการเงินที่ขับเคลื่อนด้วยข้อมูลอย่างรวดเร็วในปัจจุบัน เจ้าหน้าที่นักลงทุนสัมพันธ์ (IRO) มีบทบาทสำคัญในการส่งเสริมการสื่อสารระหว่างบริษัทกับผู้ถือหุ้น นักวิเคราะห์ และนักลงทุน ในฐานะส่วนหนึ่งของหน้าที่ประจำวัน IRO จะวิเคราะห์ชุดข้อมูลที่หลากหลาย รวมถึง CRM บันทึกการเป็นเจ้าของ และข้อมูลตลาดหุ้น ข้อมูลรวมนี้ใช้ในการสร้างรายงานทางการเงิน กำหนดเป้าหมายนักลงทุนสัมพันธ์ และจัดการการสื่อสารกับนักลงทุนที่มีอยู่และที่มีศักยภาพ
เพื่อตอบสนองความต้องการที่เพิ่มขึ้นสำหรับการดึงข้อมูลที่มีประสิทธิภาพและไดนามิก ไตรมาสที่ 4 มีเป้าหมายเพื่อสร้างเครื่องมือถามตอบแชทบอทที่จะมอบวิธีการที่ใช้งานง่ายและตรงไปตรงมาสำหรับ IRO ในการเข้าถึงข้อมูลที่จำเป็นที่พวกเขาต้องการในรูปแบบที่เป็นมิตรต่อผู้ใช้
เป้าหมายสุดท้ายคือการสร้างแชทบอตที่จะผสานรวมข้อมูลที่เปิดเผยต่อสาธารณะได้อย่างราบรื่น ควบคู่ไปกับข้อมูลในไตรมาสที่ 4 เฉพาะลูกค้าที่เป็นกรรมสิทธิ์ ขณะเดียวกันก็รักษาระดับความปลอดภัยและความเป็นส่วนตัวของข้อมูลในระดับสูงสุด ในด้านประสิทธิภาพ เป้าหมายคือการรักษาเวลาตอบสนองการค้นหาเป็นวินาทีเพื่อให้แน่ใจว่าผู้ใช้ปลายทางจะได้รับประสบการณ์ที่ดี
ตลาดการเงินเป็นอุตสาหกรรมที่ได้รับการควบคุมและมีความเสี่ยงสูง การให้ข้อมูลที่ไม่ถูกต้องหรือล้าสมัยอาจส่งผลกระทบต่อความเชื่อมั่นของนักลงทุนและผู้ถือหุ้น นอกเหนือจากความเสี่ยงด้านความเป็นส่วนตัวของข้อมูลอื่นๆ ที่เป็นไปได้ ด้วยการทำความเข้าใจอุตสาหกรรมและข้อกำหนดต่างๆ ไตรมาสที่ 4 จึงกำหนดความเป็นส่วนตัวของข้อมูลและความแม่นยำในการตอบสนองเป็นหลักการชี้แนะในการประเมินโซลูชันใดๆ ก่อนที่จะนำออกสู่ตลาด
เพื่อเป็นการพิสูจน์แนวคิด ไตรมาสที่ 4 ตัดสินใจใช้ชุดข้อมูลความเป็นเจ้าของทางการเงิน ชุดข้อมูลประกอบด้วยจุดข้อมูลอนุกรมเวลาซึ่งแสดงถึงจำนวนสินทรัพย์ที่เป็นเจ้าของ ประวัติการทำธุรกรรมระหว่างสถาบันการลงทุน บุคคล และบริษัทมหาชน และองค์ประกอบอื่น ๆ อีกมากมาย
เนื่องจากไตรมาสที่ 4 ต้องการให้แน่ใจว่าจะสามารถตอบสนองความต้องการด้านการทำงานและที่ไม่ใช่ด้านการทำงานทั้งหมดที่เราได้พูดคุยกัน โปรเจ็กต์นี้จึงจำเป็นต้องคงความเป็นไปได้ในเชิงพาณิชย์ด้วย สิ่งนี้ได้รับความเคารพตลอดกระบวนการตัดสินใจเกี่ยวกับแนวทาง สถาปัตยกรรม การเลือกเทคโนโลยี และองค์ประกอบเฉพาะของโซลูชัน
การทดลองและความท้าทาย
เป็นที่แน่ชัดตั้งแต่ต้นแล้วว่าเพื่อทำความเข้าใจคำถามภาษามนุษย์และสร้างคำตอบที่ถูกต้อง ไตรมาสที่ 4 จำเป็นต้องใช้โมเดลภาษาขนาดใหญ่ (LLM)
ต่อไปนี้เป็นการทดลองบางส่วนที่ดำเนินการโดยทีมงาน พร้อมด้วยความท้าทายที่ระบุและบทเรียนที่ได้รับ:
- ก่อนการฝึกอบรม – ไตรมาสที่ 4 เข้าใจความซับซ้อนและความท้าทายที่มาพร้อมกับการฝึกอบรม LLM ล่วงหน้าโดยใช้ชุดข้อมูลของตัวเอง เห็นได้ชัดว่าแนวทางนี้ใช้ทรัพยากรจำนวนมากโดยมีขั้นตอนที่ไม่ยุ่งยากมากมาย เช่น การประมวลผลข้อมูลล่วงหน้า การฝึกอบรม และการประเมินผล นอกจากความพยายามที่เกี่ยวข้องแล้ว ยังต้องเสียค่าใช้จ่ายอีกด้วย เมื่อพิจารณาถึงธรรมชาติของชุดข้อมูลอนุกรมเวลา ไตรมาสที่ 4 ยังตระหนักว่าจะต้องดำเนินการฝึกอบรมล่วงหน้าเพิ่มเติมอย่างต่อเนื่องเมื่อมีข้อมูลใหม่เข้ามา ซึ่งจำเป็นต้องมีทีมงานจากหลากหลายสาขาที่มีความเชี่ยวชาญในด้านวิทยาศาสตร์ข้อมูล การเรียนรู้ของเครื่อง และโดเมน ความรู้.
- ปรับจูน – การปรับแต่งแบบจำลองพื้นฐานที่ได้รับการฝึกอบรมล่วงหน้า (FM) อย่างละเอียดโดยใช้ตัวอย่างที่มีป้ายกำกับหลายตัวอย่าง แนวทางนี้แสดงให้เห็นความสำเร็จในช่วงแรก แต่ในหลายกรณี การสร้างภาพหลอนแบบจำลองถือเป็นเรื่องท้าทาย โมเดลพยายามทำความเข้าใจตัวชี้นำบริบทที่เหมาะสมยิ่งและส่งคืนผลลัพธ์ที่ไม่ถูกต้อง
- RAG พร้อมการค้นหาความหมาย – RAG แบบธรรมดาพร้อมการค้นหาเชิงความหมายเป็นขั้นตอนสุดท้ายก่อนที่จะย้ายไปสร้าง SQL ทีมงานทดลองโดยใช้การค้นหา การค้นหาความหมาย และการฝังเพื่อแยกบริบท ในระหว่างการทดสอบการฝัง ชุดข้อมูลจะถูกแปลงเป็นการฝัง และจัดเก็บไว้ในฐานข้อมูลเวกเตอร์ จากนั้นจับคู่กับการฝังของคำถามเพื่อแยกบริบท จากนั้นบริบทที่ได้รับในการทดลองทั้งสามรายการจะถูกนำมาใช้เพื่อเพิ่มข้อความแจ้งดั้งเดิมเป็นข้อมูลป้อนเข้าของ LLM แนวทางนี้ใช้ได้ผลดีกับเนื้อหาที่เป็นข้อความ โดยที่ข้อมูลประกอบด้วยภาษาธรรมชาติพร้อมด้วยคำ ประโยค และย่อหน้า เมื่อพิจารณาถึงลักษณะของชุดข้อมูลของไตรมาสที่ 4 ซึ่งส่วนใหญ่เป็นข้อมูลทางการเงินที่ประกอบด้วยตัวเลข ธุรกรรมทางการเงิน ราคาหุ้น และวันที่ ผลลัพธ์ในทั้งสามกรณียังไม่ค่อยดีนัก แม้ว่าจะใช้การฝัง การฝังที่สร้างจากตัวเลขยังประสบปัญหากับการจัดอันดับความคล้ายคลึงกัน และในหลายกรณีนำไปสู่การดึงข้อมูลที่ไม่ถูกต้อง
บทสรุปของไตรมาสที่ 4: การสร้าง SQL เป็นเส้นทางไปข้างหน้า
เมื่อพิจารณาถึงความท้าทายที่ต้องเผชิญโดยใช้วิธี RAG แบบเดิมๆ ทีมงานจึงเริ่มพิจารณาการสร้าง SQL แนวคิดคือการใช้ LLM เพื่อสร้างคำสั่ง SQL จากคำถามของผู้ใช้ก่อน ซึ่งนำเสนอต่อ LLM ในภาษาธรรมชาติ จากนั้นแบบสอบถามที่สร้างขึ้นจะถูกรันกับฐานข้อมูลเพื่อดึงข้อมูลบริบทที่เกี่ยวข้อง ในที่สุดบริบทก็ถูกใช้เพื่อเพิ่มพรอมต์อินพุตสำหรับขั้นตอนการสรุป
สมมติฐานของไตรมาสที่ 4 คือเพื่อให้เรียกคืนขั้นตอนการดึงข้อมูลได้มากขึ้น โดยเฉพาะชุดข้อมูลตัวเลข พวกเขาจำเป็นต้องสร้าง SQL จากคำถามของผู้ใช้ก่อน เชื่อกันว่าไม่เพียงเพิ่มความแม่นยำเท่านั้น แต่ยังรักษาบริบทภายในขอบเขตธุรกิจสำหรับคำถามที่กำหนดอีกด้วย สำหรับการสร้างแบบสอบถามและเพื่อสร้าง SQL ที่แม่นยำ ไตรมาสที่ 4 จำเป็นต้องทำให้ LLM ทราบบริบทโดยสมบูรณ์เกี่ยวกับโครงสร้างชุดข้อมูลของตน ซึ่งหมายความว่าจำเป็นต้องมีพร้อมต์เพื่อรวมสคีมาฐานข้อมูล แถวข้อมูลตัวอย่างบางส่วน และคำอธิบายฟิลด์ที่มนุษย์สามารถอ่านได้สำหรับฟิลด์ที่เข้าใจได้ยาก
จากการทดสอบเบื้องต้น วิธีนี้ให้ผลลัพธ์ที่ยอดเยี่ยม LLM ที่มีข้อมูลที่จำเป็นทั้งหมดสามารถสร้าง SQL ที่ถูกต้อง ซึ่งจากนั้นจะถูกรันกับฐานข้อมูลเพื่อดึงข้อมูลบริบทที่ถูกต้อง หลังจากทดลองใช้แนวคิดนี้แล้ว ไตรมาสที่ 4 ตัดสินใจว่าการสร้าง SQL เป็นหนทางข้างหน้าในการจัดการกับความท้าทายในการแยกบริบทสำหรับชุดข้อมูลเฉพาะของตนเอง
มาเริ่มด้วยการอธิบายแนวทางการแก้ปัญหาโดยรวม แบ่งย่อยออกเป็นส่วนประกอบ จากนั้นจึงประกอบชิ้นส่วนต่างๆ เข้าด้วยกัน
ภาพรวมโซลูชัน
LLM เป็นโมเดลขนาดใหญ่ที่มีพารามิเตอร์นับพันล้านรายการที่ได้รับการฝึกอบรมล่วงหน้าโดยใช้ข้อมูลจำนวนมากจากแหล่งที่มาต่างๆ เนื่องจากชุดข้อมูลการฝึกอบรมมีความกว้าง LLM จึงถูกคาดหวังให้มีความรู้ทั่วไปในโดเมนที่หลากหลาย LLM ยังขึ้นชื่อในเรื่องความสามารถในการให้เหตุผล ซึ่งแตกต่างกันไปในแต่ละรุ่น พฤติกรรมทั่วไปนี้สามารถปรับให้เหมาะสมกับโดเมนหรืออุตสาหกรรมที่เฉพาะเจาะจงได้โดยการเพิ่มประสิทธิภาพโมเดลพื้นฐานเพิ่มเติมโดยใช้ข้อมูลการฝึกอบรมล่วงหน้าเฉพาะโดเมนเพิ่มเติม หรือโดยการปรับแต่งอย่างละเอียดโดยใช้ข้อมูลที่ติดป้ายกำกับ ด้วยบริบท ข้อมูลเมตา และคำแนะนำที่ถูกต้อง LLM สำหรับวัตถุประสงค์ทั่วไปที่ได้รับการคัดเลือกมาอย่างดีสามารถสร้าง SQL คุณภาพดีได้ตราบใดที่สามารถเข้าถึงบริบทเฉพาะโดเมนที่ถูกต้อง
ในกรณีการใช้งานของไตรมาสที่ 4 เราเริ่มต้นด้วยการแปลคำถามของลูกค้าเป็น SQL เราทำเช่นนี้โดยการรวมคำถามของผู้ใช้ สคีมาฐานข้อมูล แถวฐานข้อมูลตัวอย่างบางแถว และคำแนะนำโดยละเอียดเข้าด้วยกัน เพื่อแจ้งให้ LLM สร้าง SQL หลังจากที่เรามี SQL แล้ว เราก็สามารถรันขั้นตอนการตรวจสอบความถูกต้องได้หากเห็นว่าจำเป็น เมื่อเราพอใจกับคุณภาพของ SQL เราจะเรียกใช้แบบสอบถามกับฐานข้อมูลเพื่อดึงข้อมูลบริบทที่เกี่ยวข้องที่เราต้องการสำหรับขั้นตอนต่อไปนี้ ตอนนี้เรามีบริบทที่เกี่ยวข้องแล้ว เราสามารถส่งคำถามเดิมของผู้ใช้ บริบทที่ดึงข้อมูล และชุดคำสั่งกลับไปที่ LLM เพื่อสร้างคำตอบโดยสรุปขั้นสุดท้าย เป้าหมายของขั้นตอนสุดท้ายคือการให้ LLM สรุปผลลัพธ์และให้คำตอบตามบริบทและถูกต้อง ซึ่งสามารถส่งต่อไปยังผู้ใช้ได้
การเลือกใช้ LLM ในทุกขั้นตอนของกระบวนการมีผลกระทบอย่างมากต่อความถูกต้อง ต้นทุน และประสิทธิภาพ การเลือกแพลตฟอร์มหรือเทคโนโลยีที่ช่วยให้คุณมีความยืดหยุ่นในการสลับระหว่าง LLM ภายในกรณีการใช้งานเดียวกัน (การเดินทาง LLM หลายครั้งสำหรับงานที่แตกต่างกัน) หรือในกรณีการใช้งานที่แตกต่างกัน จะเป็นประโยชน์ในการปรับคุณภาพของเอาต์พุต เวลาแฝง และต้นทุนให้เหมาะสม . เราจะกล่าวถึงตัวเลือกของ LLM ในภายหลังในโพสต์นี้
โครงสร้างส่วนประกอบของโซลูชัน
ตอนนี้เราได้เน้นแนวทางนี้ในระดับสูงแล้ว มาดูรายละเอียดกันดีกว่า โดยเริ่มจากบล็อคส่วนประกอบของโซลูชัน
อเมซอน เบดร็อค
Amazon Bedrock เป็นบริการที่มีการจัดการเต็มรูปแบบซึ่งนำเสนอตัวเลือก FM ที่มีประสิทธิภาพสูงจากบริษัทชั้นนำ รวมถึง AI21 Labs, Anthropic, Cohere, Meta, Stability AI และ Amazon Amazon Bedrock ยังมีชุดเครื่องมือมากมายที่จำเป็นในการสร้างแอปพลิเคชัน AI ทั่วไป ลดความซับซ้อนของกระบวนการพัฒนา และรักษาความเป็นส่วนตัวและความปลอดภัย นอกจากนี้ ด้วย Amazon Bedrock คุณสามารถเลือกจากตัวเลือก FM ต่างๆ และคุณสามารถปรับแต่งโมเดลเพิ่มเติมแบบส่วนตัวโดยใช้ข้อมูลของคุณเอง เพื่อจัดแนวการตอบสนองของโมเดลให้สอดคล้องกับข้อกำหนดการใช้งานของคุณ Amazon Bedrock เป็นแบบไร้เซิร์ฟเวอร์โดยสมบูรณ์ โดยไม่มีโครงสร้างพื้นฐานพื้นฐานสำหรับจัดการการขยายการเข้าถึงโมเดลที่พร้อมใช้งานผ่าน API เดียว สุดท้ายนี้ Amazon Bedrock รองรับข้อกำหนดด้านความปลอดภัยและความเป็นส่วนตัวหลายประการ รวมถึงคุณสมบัติ HIPAA และการปฏิบัติตาม GDPR
ในโซลูชันของไตรมาสที่ 4 เราใช้ Amazon Bedrock เป็นบล็อคการสร้างโมเดลแบบหลายรากฐานบนเซิร์ฟเวอร์ API เนื่องจากเราตั้งใจที่จะเดินทางไปยัง LLM หลายครั้งภายในกรณีการใช้งานเดียวกัน โดยขึ้นอยู่กับประเภทงาน เราจึงสามารถเลือกแบบจำลองที่เหมาะสมที่สุดสำหรับงานเฉพาะ ไม่ว่าจะเป็นการสร้าง SQL การตรวจสอบความถูกต้อง หรือการสรุป
หลังเชน
หลังเชน เป็นเฟรมเวิร์กการรวมและประสานโอเพ่นซอร์สพร้อมชุดโมดูลที่สร้างไว้ล่วงหน้า (I/O การดึงข้อมูล เชน และเอเจนต์) ที่คุณสามารถใช้เพื่อรวมและประสานงานระหว่าง FM แหล่งข้อมูล และเครื่องมือ เฟรมเวิร์กนี้อำนวยความสะดวกในการสร้างแอปพลิเคชัน AI ทั่วไปที่ต้องมีการเตรียมการหลายขั้นตอนเพื่อสร้างเอาต์พุตที่ต้องการ โดยไม่ต้องเขียนโค้ดตั้งแต่ต้น LangChain รองรับ Amazon Bedrock เป็น API โมเดลแบบหลายรากฐาน
โดยเฉพาะกรณีการใช้งานของ Q4 เราใช้ LangChain เพื่อประสานงานและจัดเตรียมงานในเวิร์กโฟลว์ของเรา รวมถึงการเชื่อมต่อกับแหล่งข้อมูลและ LLM วิธีการนี้ทำให้โค้ดของเราง่ายขึ้นเพราะเราสามารถใช้โมดูล LangChain ที่มีอยู่ได้
SQLDatabaseChain
SQLDatabaseChain คือ LangChain chain ที่สามารถนำเข้าได้จาก langchain_experimental SLDatabaseChain ทำให้การสร้าง ปรับใช้ และรันการสืบค้น SQL เป็นเรื่องง่าย โดยใช้การแปลงข้อความเป็น SQL และการใช้งานที่มีประสิทธิภาพ
ในกรณีการใช้งานของเรา เราใช้ SQLDatabaseChain ในการสร้าง SQL เพื่อลดความซับซ้อนและประสานการโต้ตอบระหว่างฐานข้อมูลและ LLM
ชุดข้อมูล
ชุดข้อมูลที่มีโครงสร้างของเราสามารถอยู่ในฐานข้อมูล SQL, Data Lake หรือคลังข้อมูลได้ตราบใดที่เรารองรับ SQL ในโซลูชันของเรา เราสามารถใช้ชุดข้อมูลประเภทใดก็ได้ที่มีการรองรับ SQL สิ่งนี้ควรถูกแยกออกจากวิธีแก้ปัญหาและไม่ควรเปลี่ยนวิธีแก้ปัญหา แต่อย่างใด
รายละเอียดการใช้งาน
ตอนนี้เราได้สำรวจแนวทางการแก้ปัญหา ส่วนประกอบของโซลูชัน ตัวเลือกเทคโนโลยี และเครื่องมือแล้ว เราก็สามารถรวบรวมชิ้นส่วนต่างๆ เข้าด้วยกันได้ แผนภาพต่อไปนี้เน้นโซลูชันแบบครบวงจร
มาดูรายละเอียดการใช้งานและผังกระบวนการกันดีกว่า
สร้างแบบสอบถาม SQL
เพื่อให้การเขียนโค้ดง่ายขึ้น เราใช้เฟรมเวิร์กที่มีอยู่ เราใช้ LangChain เป็นเฟรมเวิร์กการเรียบเรียง เราเริ่มต้นด้วยขั้นตอนการป้อนข้อมูล ซึ่งเราได้รับคำถามจากผู้ใช้ในภาษาธรรมชาติ
ในขั้นแรกนี้ เราใช้อินพุตนี้และสร้าง SQL ที่เทียบเท่าซึ่งเราสามารถรันกับฐานข้อมูลเพื่อแยกบริบทได้ ในการสร้าง SQL เราใช้ SQLDatabaseChain ซึ่งอาศัย Amazon Bedrock เพื่อเข้าถึง LLM ที่เราต้องการ ด้วย Amazon Bedrock โดยใช้ API เดียว เราจึงสามารถเข้าถึง LLM พื้นฐานจำนวนหนึ่ง และสามารถเลือกอันที่เหมาะสมสำหรับการเดินทาง LLM แต่ละครั้งที่เราทำ ขั้นแรกเราสร้างการเชื่อมต่อกับฐานข้อมูลและดึงข้อมูลสคีมาของตารางที่จำเป็นพร้อมกับแถวตัวอย่างบางส่วนจากตารางที่เราตั้งใจจะใช้
ในการทดสอบของเรา เราพบว่าข้อมูลตาราง 2-5 แถวเพียงพอที่จะให้ข้อมูลที่เพียงพอแก่โมเดลโดยไม่ต้องเพิ่มค่าใช้จ่ายที่ไม่จำเป็นมากเกินไป สามแถวก็เพียงพอที่จะให้บริบท โดยไม่ต้องป้อนข้อมูลมากเกินไปให้กับโมเดล ในกรณีการใช้งานของเรา เราเริ่มต้นด้วย Anthropic คลอดด์ V2. โมเดลนี้ขึ้นชื่อในด้านการให้เหตุผลขั้นสูงและการตอบสนองตามบริบทที่ชัดเจนเมื่อมีบริบทและคำแนะนำที่ถูกต้อง ในส่วนหนึ่งของคำแนะนำ เราสามารถใส่รายละเอียดที่ชี้แจงเพิ่มเติมให้กับ LLM ได้ ตัวอย่างเช่น เราสามารถอธิบายคอลัมน์นั้นได้ Comp_NAME
ย่อมาจากชื่อบริษัท ตอนนี้เราสามารถสร้างพรอมต์โดยการรวมคำถามของผู้ใช้ตามที่เป็นอยู่ สคีมาฐานข้อมูล แถวตัวอย่างสามแถวจากตารางที่เราตั้งใจจะใช้ และชุดคำสั่งเพื่อสร้าง SQL ที่จำเป็นในรูปแบบ SQL ใหม่โดยไม่มีความคิดเห็นหรือเพิ่มเติม
องค์ประกอบอินพุตทั้งหมดที่รวมกันจะถือเป็นพรอมต์อินพุตโมเดล พรอมต์อินพุตที่ออกแบบมาอย่างดีซึ่งปรับให้เหมาะกับไวยากรณ์ที่ต้องการของโมเดลจะมีผลกระทบอย่างมากต่อทั้งคุณภาพและประสิทธิภาพของเอาต์พุต การเลือกรุ่นที่จะใช้สำหรับงานเฉพาะก็มีความสำคัญเช่นกัน ไม่เพียงแต่จะส่งผลต่อคุณภาพผลผลิตเท่านั้น แต่ยังมีผลกระทบต่อต้นทุนและประสิทธิภาพด้วย
เราจะหารือเกี่ยวกับการเลือกแบบจำลองและวิศวกรรมทันทีและการเพิ่มประสิทธิภาพในโพสต์นี้ แต่เป็นที่น่าสังเกตว่าสำหรับขั้นตอนการสร้างแบบสอบถาม เราสังเกตเห็นว่า Claude Instant สามารถสร้างผลลัพธ์ที่เทียบเคียงได้ โดยเฉพาะอย่างยิ่งเมื่อคำถามของผู้ใช้ใช้ถ้อยคำที่ดีและไม่ซับซ้อน อย่างไรก็ตาม Claude V2 ให้ผลลัพธ์ที่ดีกว่า แม้ว่าจะมีอินพุตจากผู้ใช้ที่ซับซ้อนและโดยอ้อมก็ตาม เราได้เรียนรู้ว่าแม้ในบางกรณี คลอดด์ทันที อาจให้ความแม่นยำเพียงพอในเวลาแฝงและจุดราคาที่ดีกว่า กรณีของเราสำหรับการสร้างแบบสอบถามเหมาะสมกับ Claude V2 มากกว่า
ตรวจสอบแบบสอบถาม SQL
ขั้นตอนต่อไปของเราคือการตรวจสอบว่า LLM ได้สร้างไวยากรณ์คิวรีที่ถูกต้องสำเร็จแล้ว และคิวรีนั้นสมเหตุสมผลตามบริบทโดยพิจารณาจากสกีมาฐานข้อมูลและแถวตัวอย่างที่ให้ไว้ สำหรับขั้นตอนการตรวจสอบนี้ เราสามารถเปลี่ยนกลับเป็นการตรวจสอบความถูกต้องของแบบสอบถามดั้งเดิมภายใน SQLDatabaseChain หรือเราสามารถเรียกใช้การเดินทางครั้งที่สองไปยัง LLM รวมถึงแบบสอบถามที่สร้างขึ้นพร้อมกับคำแนะนำในการตรวจสอบความถูกต้อง
หากเราใช้ LLM สำหรับขั้นตอนการตรวจสอบ เราสามารถใช้ LLM เดิมได้ (Claude V2) หรือใช้ LLM ที่เล็กกว่าและมีประสิทธิภาพมากกว่าสำหรับงานที่ง่ายกว่า เช่น Claude Instant เนื่องจากเราใช้ Amazon Bedrock การปรับเปลี่ยนนี้จึงเป็นเรื่องง่ายมาก เมื่อใช้ API เดียวกัน เราสามารถเปลี่ยนชื่อโมเดลในการเรียก API ของเรา ซึ่งจะดูแลการเปลี่ยนแปลง สิ่งสำคัญที่ควรทราบคือในกรณีส่วนใหญ่ LLM ที่เล็กกว่าสามารถให้ประสิทธิภาพที่ดีขึ้นทั้งในด้านต้นทุนและเวลาแฝง และควรได้รับการพิจารณา ตราบใดที่คุณได้รับความแม่นยำตามที่ต้องการ ในกรณีของเรา การทดสอบได้พิสูจน์ว่าข้อความค้นหาที่สร้างขึ้นมีความถูกต้องสม่ำเสมอและมีไวยากรณ์ที่ถูกต้อง เมื่อรู้เช่นนั้น เราก็สามารถข้ามขั้นตอนการตรวจสอบนี้และประหยัดเวลาและค่าใช้จ่ายได้
เรียกใช้แบบสอบถาม SQL
ขณะนี้เรามีการสืบค้น SQL ที่ได้รับการยืนยันแล้ว เราก็สามารถเรียกใช้การสืบค้น SQL กับฐานข้อมูลและดึงข้อมูลบริบทที่เกี่ยวข้องได้ นี่ควรเป็นขั้นตอนที่ตรงไปตรงมา
เราใช้บริบทที่สร้างขึ้น มอบให้ LLM ที่เราเลือกพร้อมคำถามผู้ใช้เบื้องต้นและคำแนะนำบางส่วน และขอให้แบบจำลองสร้างบทสรุปตามบริบทและชัดเจน จากนั้นเราจะนำเสนอข้อมูลสรุปที่สร้างขึ้นแก่ผู้ใช้เพื่อเป็นคำตอบสำหรับคำถามเริ่มต้น ซึ่งทั้งหมดสอดคล้องกับบริบทที่ดึงมาจากชุดข้อมูลของเรา
สำหรับ LLM ที่เกี่ยวข้องกับขั้นตอนการสรุป เราสามารถใช้ Titan Text Express หรือ Claude Instant ได้ พวกเขาทั้งสองจะนำเสนอทางเลือกที่ดีสำหรับงานสรุป
การรวมแอปพลิเคชัน
ความสามารถแชทบอทถามตอบเป็นหนึ่งในบริการ AI ของ Q4 เพื่อให้มั่นใจถึงความเป็นโมดูลและความสามารถในการปรับขนาด Q4 ได้สร้างบริการ AI เป็นไมโครเซอร์วิสที่แอปพลิเคชันของ Q4 สามารถเข้าถึงได้ผ่าน API วิธีการที่ใช้ API นี้ช่วยให้สามารถบูรณาการเข้ากับระบบนิเวศของแพลตฟอร์ม Q4 ได้อย่างราบรื่น และอำนวยความสะดวกในการเปิดเผยความสามารถของบริการ AI ไปยังชุดแอปพลิเคชันแพลตฟอร์มเต็มรูปแบบ
วัตถุประสงค์หลักของบริการ AI คือการให้ความสามารถที่ตรงไปตรงมาในการดึงข้อมูลจากแหล่งข้อมูลสาธารณะหรือแหล่งข้อมูลที่เป็นกรรมสิทธิ์โดยใช้ภาษาธรรมชาติเป็นอินพุต นอกจากนี้ บริการ AI ยังมอบชั้นนามธรรมเพิ่มเติมเพื่อให้แน่ใจว่าเป็นไปตามข้อกำหนดด้านการทำงานและที่ไม่เกี่ยวกับการทำงาน เช่น ความเป็นส่วนตัวของข้อมูลและความปลอดภัยของข้อมูล แผนภาพต่อไปนี้สาธิตแนวคิดการรวมระบบ
ความท้าทายในการดำเนินการ
นอกเหนือจากความท้าทายที่นำเสนอโดยธรรมชาติของชุดข้อมูลเชิงตัวเลขที่มีโครงสร้างซึ่งเราได้พูดคุยกันไปแล้ว ไตรมาสที่ 4 ยังต้องเผชิญกับความท้าทายในการดำเนินงานอื่นๆ อีกจำนวนหนึ่งที่จำเป็นต้องได้รับการแก้ไข
การเลือกและประสิทธิภาพของ LLM
การเลือก LLM ที่เหมาะสมสำหรับงานเป็นสิ่งสำคัญ เนื่องจากจะส่งผลโดยตรงต่อคุณภาพของเอาต์พุตตลอดจนประสิทธิภาพ (เวลาแฝงแบบไปกลับ) นี่คือปัจจัยบางประการที่เกี่ยวข้องกับกระบวนการคัดเลือก LLM:
- ประเภทของ LLM – วิธีการออกแบบ FM และข้อมูลเบื้องต้นที่แบบจำลองได้รับการฝึกอบรมล่วงหน้าจะกำหนดประเภทของงานที่ LLM จะทำได้ดีและจะดีเพียงใด ตัวอย่างเช่น LLM ข้อความน่าจะดีในการสร้างและการสรุปข้อความ ในขณะที่โมเดลข้อความเป็นรูปภาพหรือรูปภาพเป็นข้อความจะมุ่งเน้นไปที่การวิเคราะห์รูปภาพและงานสร้างมากกว่า
- ขนาดแอลแอลเอ็ม – ขนาด FM วัดจากจำนวนพารามิเตอร์แบบจำลองที่รุ่นใดรุ่นหนึ่งมี โดยทั่วไปเป็นพันล้านสำหรับ LLM สมัยใหม่ โดยปกติแล้ว ยิ่งโมเดลมีขนาดใหญ่เท่าใด การฝึกฝนขั้นต้นหรือการปรับแต่งในภายหลังก็จะมีราคาแพงมากขึ้นเท่านั้น ในทางกลับกัน โดยทั่วไปแล้ว สำหรับสถาปัตยกรรมโมเดลเดียวกัน ยิ่งโมเดลมีขนาดใหญ่เท่าไร เราก็ยิ่งฉลาดมากขึ้นเท่านั้นที่เราคาดหวังให้โมเดลทำงานตามประเภทที่มุ่งไป
- ประสิทธิภาพของแอลแอลเอ็ม – โดยทั่วไป ยิ่งโมเดลมีขนาดใหญ่เท่าใด เวลาที่ใช้ในการสร้างเอาต์พุตก็จะยิ่งมากขึ้นเท่านั้น โดยสมมติว่าคุณใช้พารามิเตอร์การประมวลผลและ I/O เดียวกัน (ขนาดพรอมต์และเอาต์พุต) นอกจากนี้ สำหรับรุ่นที่มีขนาดเดียวกัน ประสิทธิภาพจะได้รับผลกระทบอย่างมากจากการปรับพรอมต์ของคุณให้เหมาะสม ขนาดของโทเค็น I/O และความชัดเจนและไวยากรณ์ของพรอมต์ พร้อมท์ที่ออกแบบอย่างดีพร้อมกับขนาดโทเค็น I/O ที่ปรับให้เหมาะสม สามารถปรับปรุงเวลาตอบสนองของโมเดลได้
ดังนั้น เมื่อปรับงานของคุณให้เหมาะสม ให้พิจารณาแนวทางปฏิบัติที่ดีที่สุดต่อไปนี้:
- เลือกรุ่นที่เหมาะสมกับงานที่ทำอยู่
- เลือกขนาดรุ่นที่เล็กที่สุดที่สามารถสร้างความแม่นยำตามที่คุณต้องการได้
- ปรับโครงสร้างพร้อมท์ของคุณให้เหมาะสมและระบุคำแนะนำให้เฉพาะเจาะจงที่สุดเท่าที่จะเป็นไปได้ในลักษณะที่โมเดลเข้าใจได้ง่าย
- ใช้พรอมต์อินพุตที่เล็กที่สุดที่สามารถให้คำแนะนำและบริบทที่เพียงพอเพื่อสร้างระดับความแม่นยำที่คุณกำลังมองหา
- จำกัดขนาดเอาต์พุตให้เป็นขนาดที่เล็กที่สุดที่อาจมีความหมายสำหรับคุณและตอบสนองความต้องการเอาต์พุตของคุณ
เมื่อคำนึงถึงการเลือกโมเดลและปัจจัยในการเพิ่มประสิทธิภาพการทำงานแล้ว เราจึงดำเนินการเพื่อเพิ่มประสิทธิภาพกรณีการใช้งานการสร้าง SQL ของเรา หลังจากการทดสอบ เราสังเกตเห็นว่าหากเรามีบริบทและคำแนะนำที่ถูกต้อง Claude Instant ซึ่งมีข้อมูลที่พร้อมท์เหมือนกัน จะสร้างคุณภาพ SQL ที่เทียบเคียงได้กับ Claude V2 ที่ประสิทธิภาพและราคาที่ดีกว่ามาก สิ่งนี้จะเกิดขึ้นจริงเมื่อการป้อนข้อมูลของผู้ใช้มีลักษณะตรงและเรียบง่ายกว่า สำหรับการป้อนข้อมูลที่ซับซ้อนมากขึ้น Claude V2 จำเป็นต่อการสร้างความแม่นยำตามที่ต้องการ
การใช้ตรรกะเดียวกันในงานสรุปทำให้เราสรุปได้ว่าการใช้ Claude Instant หรือ Titan Text Express จะให้ความแม่นยำที่ต้องการที่จุดประสิทธิภาพที่ดีกว่าถ้าเราใช้โมเดลที่ใหญ่กว่า เช่น Claude V2 Titan Text Expressed ยังเสนอประสิทธิภาพด้านราคาที่ดีกว่า ดังที่เราได้กล่าวไว้ก่อนหน้านี้
ความท้าทายในการเรียบเรียง
เราตระหนักดีว่ามีหลายสิ่งที่ต้องเตรียมการก่อนที่เราจะได้คำตอบที่มีความหมายสำหรับคำถามของผู้ใช้ ดังที่แสดงในภาพรวมโซลูชัน กระบวนการเกี่ยวข้องกับการเดินทางฐานข้อมูลหลายครั้งและการเดินทาง LLM หลายครั้งที่เชื่อมโยงกัน หากเราจะสร้างตั้งแต่เริ่มต้น เราจะต้องลงทุนจำนวนมากในการยกของหนักที่ไม่แตกต่างเพียงเพื่อเตรียมโค้ดพื้นฐานให้พร้อม เราเปลี่ยนอย่างรวดเร็วไปใช้ LangChain เป็นเฟรมเวิร์กการจัดระเบียบ โดยใช้ประโยชน์จากพลังของชุมชนโอเพ่นซอร์ส และนำโมดูลที่มีอยู่กลับมาใช้ใหม่โดยไม่ต้องสร้างวงล้อขึ้นมาใหม่
ความท้าทายของ SQL
นอกจากนี้เรายังตระหนักว่าการสร้าง SQL นั้นไม่ง่ายเหมือนกับกลไกการแยกบริบท เช่น การค้นหาความหมายหรือการใช้การฝัง ก่อนอื่น เราจำเป็นต้องได้รับสคีมาฐานข้อมูลและแถวตัวอย่างสองสามแถวเพื่อรวมไว้ในการแจ้งเตือน LLM ของเรา นอกจากนี้ยังมีขั้นตอนการตรวจสอบ SQL ซึ่งเราจำเป็นต้องโต้ตอบกับทั้งฐานข้อมูลและ LLM SQLDatabaseChain เป็นตัวเลือกที่ชัดเจนของเครื่องมือ เนื่องจากเป็นส่วนหนึ่งของ LangChain จึงปรับตัวได้ง่าย และตอนนี้เราสามารถจัดการการสร้าง SQL และการตรวจสอบยืนยันที่ได้รับความช่วยเหลือจาก chain ได้โดยลดปริมาณงานที่เราต้องทำ
ความท้าทายด้านประสิทธิภาพ
ด้วยการใช้ Claude V2 และหลังจากวิศวกรรมที่เหมาะสม (ซึ่งเราจะพูดถึงในหัวข้อถัดไป) เราก็สามารถสร้าง SQL คุณภาพสูงได้ เมื่อพิจารณาถึงคุณภาพของ SQL ที่สร้างขึ้น เราจึงเริ่มดูว่าขั้นตอนการตรวจสอบความถูกต้องมีมูลค่าเพิ่มเท่าใด หลังจากวิเคราะห์ผลลัพธ์เพิ่มเติม ก็เห็นได้ชัดว่าคุณภาพของ SQL ที่สร้างขึ้นมีความถูกต้องสม่ำเสมอในลักษณะที่ทำให้ต้นทุน/ผลประโยชน์ในการเพิ่มขั้นตอนการตรวจสอบความถูกต้องของ SQL ไม่เป็นที่น่าพอใจ ในที่สุดเราก็กำจัดขั้นตอนการตรวจสอบความถูกต้องของ SQL ออกไปโดยไม่ส่งผลเสียต่อคุณภาพของผลลัพธ์ของเรา และประหยัดเวลาไปกลับของการตรวจสอบความถูกต้องของ SQL
นอกเหนือจากการเพิ่มประสิทธิภาพ LLM ที่คุ้มต้นทุนและประสิทธิภาพมากขึ้นสำหรับขั้นตอนการสรุปแล้ว เรายังสามารถใช้ Titan Text Express เพื่อให้ได้ประสิทธิภาพที่ดีขึ้นและประหยัดต้นทุนอีกด้วย
การเพิ่มประสิทธิภาพประสิทธิภาพเพิ่มเติมเกี่ยวข้องกับการปรับแต่งกระบวนการสร้างแบบสอบถามอย่างละเอียดโดยใช้เทคนิคทางวิศวกรรมพร้อมท์ที่มีประสิทธิภาพ แทนที่จะจัดหาโทเค็นจำนวนมาก จุดเน้นอยู่ที่การจัดหาโทเค็นอินพุตจำนวนน้อยที่สุด ในรูปแบบที่ถูกต้องที่โมเดลได้รับการฝึกฝนให้เข้าใจ และด้วยชุดคำสั่งที่น้อยที่สุดแต่เหมาะสมที่สุด เราจะพูดถึงเรื่องนี้เพิ่มเติมในหัวข้อถัดไป ซึ่งเป็นหัวข้อสำคัญที่ไม่เพียงแต่สามารถใช้ได้ที่นี่เท่านั้น แต่ยังรวมถึงกรณีการใช้งานอื่นๆ ด้วย
วิศวกรรมและการเพิ่มประสิทธิภาพที่รวดเร็ว
คุณสามารถปรับ Claude บน Amazon Bedrock สำหรับกรณีใช้งานทางธุรกิจต่างๆ ได้ หากใช้เทคนิคทางวิศวกรรมที่รวดเร็วที่เหมาะสม Claude ทำหน้าที่เป็นผู้ช่วยสนทนาเป็นหลักซึ่งใช้รูปแบบมนุษย์/ผู้ช่วย คลอดด์ได้รับการฝึกอบรมให้กรอกข้อความสำหรับบทบาทผู้ช่วย เมื่อได้รับคำแนะนำและการดำเนินการให้เสร็จสิ้นตามที่ต้องการแล้ว เราจึงสามารถเพิ่มประสิทธิภาพคำแนะนำสำหรับ Claude ได้โดยใช้เทคนิคต่างๆ
เราเริ่มต้นด้วยเทมเพลตพรอมต์ที่มีการจัดรูปแบบที่เหมาะสมซึ่งให้ข้อมูลที่สมบูรณ์ถูกต้อง จากนั้นเราจะเพิ่มประสิทธิภาพการตอบสนองที่ทดลองเพิ่มเติมด้วยการพร้อมต์ด้วยชุดอินพุตต่างๆ ที่เป็นตัวแทนของข้อมูลในโลกแห่งความเป็นจริง ขอแนะนำให้รับอินพุตจำนวนมากขณะพัฒนาเทมเพลตพร้อมท์ คุณยังสามารถใช้ชุดข้อมูลการพัฒนาพร้อมท์และข้อมูลการทดสอบแยกกันได้
อีกวิธีหนึ่งในการเพิ่มประสิทธิภาพการตอบสนองของ Claude คือการทดลองและทำซ้ำโดยการเพิ่มกฎ คำแนะนำ และ การเพิ่มประสิทธิภาพที่เป็นประโยชน์. จากการเพิ่มประสิทธิภาพเหล่านี้ คุณสามารถดูความสำเร็จประเภทต่างๆ ได้ เช่น การบอกให้ Claude พูดถึง "ฉันไม่รู้" เพื่อป้องกันภาพหลอน การคิดทีละขั้นตอน การใช้การผูกมัดทันที ให้พื้นที่ในการ "คิด" ในขณะที่สร้างการตอบสนอง และตรวจสอบความเข้าใจและความถูกต้องอีกครั้ง
มาใช้งานการสร้างคิวรีของเราและหารือเกี่ยวกับเทคนิคบางอย่างที่เราใช้เพื่อเพิ่มประสิทธิภาพพร้อมท์ของเรา มีองค์ประกอบหลักบางประการที่เป็นประโยชน์ต่อความพยายามในการสร้างแบบสอบถามของเรา:
- การใช้ไวยากรณ์ของมนุษย์/ผู้ช่วยที่เหมาะสม
- การใช้แท็ก XML (Claude เคารพและเข้าใจแท็ก XML)
- การเพิ่มคำแนะนำที่ชัดเจนสำหรับโมเดลเพื่อป้องกันภาพหลอน
ตัวอย่างทั่วไปต่อไปนี้แสดงวิธีที่เราใช้ไวยากรณ์ของมนุษย์/ผู้ช่วย ใช้แท็ก XML และเพิ่มคำแนะนำเพื่อจำกัดเอาต์พุตเป็น SQL และสั่งให้โมเดลพูดว่า "ขออภัย ฉันไม่สามารถช่วยได้" หากไม่สามารถสร้าง SQL ที่เกี่ยวข้องได้ . แท็ก XML ถูกใช้เพื่อวางกรอบคำแนะนำ คำแนะนำเพิ่มเติม สคีมาฐานข้อมูล คำอธิบายตารางเพิ่มเติม และแถวตัวอย่าง
วิธีแก้ปัญหาการทำงานขั้นสุดท้าย
หลังจากที่เราได้จัดการกับความท้าทายทั้งหมดที่ระบุไว้ในระหว่างการพิสูจน์แนวคิด เราก็ได้ปฏิบัติตามข้อกำหนดด้านโซลูชันทั้งหมดแล้ว ไตรมาสที่ 4 พอใจกับคุณภาพของ SQL ที่สร้างโดย LLM สิ่งนี้ใช้ได้กับงานง่ายๆ ที่ต้องใช้เพียงส่วนคำสั่ง WHERE เพื่อกรองข้อมูล และรวมถึงงานที่ซับซ้อนมากขึ้นซึ่งจำเป็นต้องมีการรวมตามบริบทด้วย GROUP BY และฟังก์ชันทางคณิตศาสตร์ เวลาแฝงตั้งแต่ต้นทางถึงปลายทางของโซลูชันโดยรวมอยู่ภายในสิ่งที่กำหนดว่ายอมรับได้สำหรับกรณีการใช้งาน นั่นคือวินาทีหลักเดียว ทั้งหมดนี้ต้องขอบคุณการเลือก LLM ที่เหมาะสมที่สุดในทุกขั้นตอน วิศวกรรมพร้อมท์ที่เหมาะสม การขจัดขั้นตอนการตรวจสอบความถูกต้องของ SQL และการใช้ LLM ที่มีประสิทธิภาพสำหรับขั้นตอนการสรุป (Titan Text Express หรือ Claude Instant)
เป็นที่น่าสังเกตว่าการใช้ Amazon Bedrock เป็นบริการที่มีการจัดการเต็มรูปแบบและความสามารถในการเข้าถึงชุดของ LLM ผ่าน API เดียวกันที่อนุญาตให้ทำการทดลองและการสลับระหว่าง LLM ได้อย่างราบรื่นโดยการเปลี่ยนชื่อโมเดลในการเรียก API ด้วยความยืดหยุ่นในระดับนี้ ไตรมาสที่ 4 จึงสามารถเลือก LLM ที่มีประสิทธิภาพสูงสุดสำหรับการเรียก LLM แต่ละครั้งโดยอิงตามลักษณะของงาน ไม่ว่าจะเป็นการสร้างคิวรี การตรวจสอบ หรือการสรุป
สรุป
ไม่มีโซลูชันใดที่เหมาะกับทุกกรณีการใช้งาน ในแนวทาง RAG คุณภาพของผลลัพธ์จะขึ้นอยู่กับการให้บริบทที่ถูกต้องเป็นอย่างมาก การแยกบริบทที่ถูกต้องเป็นสิ่งสำคัญ และชุดข้อมูลทุกชุดจะมีลักษณะเฉพาะที่แตกต่างกันออกไป
ในโพสต์นี้ เราได้แสดงให้เห็นว่าสำหรับชุดข้อมูลเชิงตัวเลขและแบบมีโครงสร้าง การใช้ SQL เพื่อแยกบริบทที่ใช้สำหรับการเพิ่มสามารถนำไปสู่ผลลัพธ์ที่น่าพอใจมากขึ้น นอกจากนี้เรายังแสดงให้เห็นว่าเฟรมเวิร์กเช่น LangChain สามารถลดความพยายามในการเขียนโค้ดได้ นอกจากนี้ เราได้พูดคุยถึงความจำเป็นในการสลับระหว่าง LLM ภายในกรณีการใช้งานเดียวกัน เพื่อให้ได้ความแม่นยำ ประสิทธิภาพ และต้นทุนที่เหมาะสมที่สุด สุดท้าย เราได้เน้นย้ำว่า Amazon Bedrock เป็นแบบไร้เซิร์ฟเวอร์และมี LLM ที่หลากหลายภายใต้ประทุน มอบความยืดหยุ่นที่จำเป็นในการสร้างแอปพลิเคชันที่ปลอดภัย มีประสิทธิภาพ และปรับต้นทุนให้เหมาะสมโดยมีการยกของหนักน้อยที่สุด
เริ่มต้นการเดินทางของคุณสู่การสร้างแอปพลิเคชันที่เปิดใช้งาน AI โดยการระบุกรณีการใช้งานที่มีคุณค่าต่อธุรกิจของคุณ ตามที่ทีมงานได้เรียนรู้ในการสร้าง SQL ในไตรมาสที่ 4 อาจเป็นตัวเปลี่ยนเกมในการสร้างแอปพลิเคชันอัจฉริยะที่ผสานรวมกับที่เก็บข้อมูลของคุณ เพื่อปลดล็อกศักยภาพในการสร้างรายได้
เกี่ยวกับผู้แต่ง
เทเมอร์ โซลิมาน เป็นสถาปนิกโซลูชันอาวุโสที่ AWS เขาช่วยลูกค้าผู้จำหน่ายซอฟต์แวร์อิสระ (ISV) สร้างสรรค์ สร้าง และปรับขนาดบน AWS เขามีประสบการณ์ในอุตสาหกรรมด้านการให้คำปรึกษา การฝึกอบรม และบริการระดับมืออาชีพมากว่าสองทศวรรษ เขาเป็นผู้ประดิษฐ์สิทธิบัตรหลายฉบับโดยได้รับสิทธิบัตรสามฉบับ และประสบการณ์ของเขาครอบคลุมขอบเขตเทคโนโลยีที่หลากหลาย รวมถึงโทรคมนาคม เครือข่าย การรวมแอปพลิเคชัน AI/ML และการปรับใช้ระบบคลาวด์ เขาเชี่ยวชาญด้านเครือข่าย AWS และมีความหลงใหลอย่างลึกซึ้งในเรื่อง Machine Leaning, AI และ Generative AI
มณี ขันุจา เป็นหัวหน้าฝ่ายเทคโนโลยี – ผู้เชี่ยวชาญด้าน AI ทั่วไป ผู้เขียนหนังสือ – Applied Machine Learning และ High Performance Computing บน AWS และเป็นสมาชิกของคณะกรรมการบริหารสำหรับสตรีในคณะกรรมการมูลนิธิการศึกษาด้านการผลิต เธอเป็นผู้นำโครงการการเรียนรู้ของเครื่อง (ML) ในโดเมนต่างๆ เช่น คอมพิวเตอร์วิทัศน์ การประมวลผลภาษาธรรมชาติ และ AI เชิงสร้างสรรค์ เธอช่วยลูกค้าในการสร้าง ฝึกอบรม และปรับใช้โมเดลแมชชีนเลิร์นนิงขนาดใหญ่ในวงกว้าง เธอพูดในการประชุมภายในและภายนอก เช่น re:Invent, Women in Manufacturing West, การสัมมนาผ่านเว็บของ YouTube และ GHC 23 ในเวลาว่าง เธอชอบวิ่งระยะยาวไปตามชายหาด
สตานิสลาฟ เยชเชนโก้ เป็นสถาปนิกซอฟต์แวร์ที่ Q4 Inc. เขามีประสบการณ์ในอุตสาหกรรมด้านการพัฒนาซอฟต์แวร์และสถาปัตยกรรมระบบมากว่าทศวรรษ ภูมิหลังที่หลากหลายของเขาซึ่งครอบคลุมบทบาทต่างๆ เช่น หัวหน้าฝ่ายเทคนิคและนักพัฒนา Full Stack อาวุโส ช่วยขับเคลื่อนการมีส่วนร่วมของเขาในการพัฒนานวัตกรรมที่ล้ำหน้าของแพลตฟอร์ม Q4 Stanislav ทุ่มเทในการขับเคลื่อนนวัตกรรมทางเทคนิคและกำหนดแนวทางการแก้ปัญหาเชิงกลยุทธ์ในภาคสนาม
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
- เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
- เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
- เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/how-q4-inc-used-amazon-bedrock-rag-and-sqldatabasechain-to-address-numerical-and-structured-dataset-challenges-building-their-qa-chatbot/
- :มี
- :เป็น
- :ไม่
- :ที่ไหน
- $ ขึ้น
- 100
- 118
- 125
- 15%
- 23
- 7
- a
- ความสามารถ
- ความสามารถ
- สามารถ
- สิ่งที่เป็นนามธรรม
- ความอุดมสมบูรณ์
- ยอมรับได้
- เข้า
- สามารถเข้าถึงได้
- ลงชื่อเข้าใช้
- ความถูกต้อง
- ถูกต้อง
- บรรลุ
- ข้าม
- การกระทำ
- จริง
- ปรับ
- ที่เพิ่ม
- เพิ่ม
- นอกจากนี้
- เพิ่มเติม
- นอกจากนี้
- เพิ่มเติม
- ที่อยู่
- จ่าหน้า
- การปรับ
- สูง
- advancing
- ความได้เปรียบ
- หลังจาก
- กับ
- ตัวแทน
- สรุป
- AI
- บริการ AI
- กรณีการใช้งาน ai
- AI / ML
- มีวัตถุประสงค์เพื่อ
- จัดแนว
- ชิด
- ทั้งหมด
- อนุญาต
- อนุญาตให้
- ตาม
- ด้วย
- แม้ว่า
- am
- อเมซอน
- Amazon Web Services
- จำนวน
- จำนวน
- an
- การวิเคราะห์
- นักวิเคราะห์
- การวิเคราะห์
- วิเคราะห์
- วิเคราะห์
- และ
- อื่น
- คำตอบ
- คำตอบ
- มานุษยวิทยา
- ใด
- สิ่งใด
- API
- APIs
- เหมาะสม
- การใช้งาน
- การใช้งาน
- ประยุกต์
- เข้าใกล้
- สถาปัตยกรรม
- เป็น
- AS
- ถาม
- สินทรัพย์
- ผู้ช่วย
- ช่วย
- การแบ่งประเภท
- At
- เสริม
- เติม
- ผู้เขียน
- ใช้ได้
- ทราบ
- AWS
- กลับ
- พื้นหลัง
- ตาม
- ขั้นพื้นฐาน
- BE
- ชายหาด
- กลายเป็น
- เพราะ
- รับ
- ก่อน
- การเริ่มต้น
- พฤติกรรม
- กำลัง
- เชื่อว่า
- เป็นประโยชน์
- ที่ดีที่สุด
- ปฏิบัติที่ดีที่สุด
- ดีกว่า
- ระหว่าง
- พันล้าน
- ปิดกั้น
- Blocks
- คณะกรรมการ
- คณะกรรมการผู้บริหาร
- หนังสือ
- ธ ปท
- ทั้งสอง
- ความกว้าง
- ทำลาย
- กว้าง
- สร้าง
- การก่อสร้าง
- สร้าง
- สร้าง
- ธุรกิจ
- แต่
- by
- โทรศัพท์
- มา
- CAN
- สามารถรับ
- ความสามารถในการ
- ความสามารถ
- เมืองหลวง
- ตลาดทุน
- ซึ่ง
- กรณี
- กรณี
- โซ่
- ห่วงโซ่
- ท้าทาย
- ความท้าทาย
- การสร้างความท้าทาย
- เปลี่ยนแปลง
- เปลี่ยน
- เปลี่ยนแปลง
- ลักษณะ
- chatbot
- chatbots
- ทางเลือก
- Choose
- เลือก
- ความชัดเจน
- ปลาเดยส์
- ชัดเจน
- ใกล้ชิด
- เมฆ
- รหัส
- การเข้ารหัส
- คอลัมน์
- รวม
- การรวมกัน
- อย่างไร
- ความคิดเห็น
- ในเชิงพาณิชย์
- สื่อสาร
- การสื่อสาร
- ชุมชน
- บริษัท
- บริษัท
- เทียบเคียง
- เสร็จสิ้น
- ซับซ้อน
- ความซับซ้อน
- การปฏิบัติตาม
- ส่วนประกอบ
- เข้าใจ
- คำนวณ
- คอมพิวเตอร์
- วิสัยทัศน์คอมพิวเตอร์
- การคำนวณ
- แนวคิด
- สรุป
- สรุป
- ข้อสรุป
- ดำเนินการ
- การประชุม
- เชื่อมต่อ
- การเชื่อมต่อ
- การเชื่อมต่อ
- พิจารณา
- ถือว่า
- พิจารณา
- เสมอต้นเสมอปลาย
- ประกอบด้วย
- ประกอบ
- สร้าง
- การให้คำปรึกษา
- เนื้อหา
- สิ่งแวดล้อม
- ตามบริบท
- ต่อ
- อย่างต่อเนื่อง
- ผลงาน
- ตามธรรมเนียม
- การสนทนา
- แปลง
- แปลง
- ประสานงาน
- แกน
- แก้ไข
- ราคา
- ได้
- สร้าง
- วิกฤติ
- CRM
- สำคัญมาก
- ลูกค้า
- ลูกค้า
- ประจำวัน
- ข้อมูล
- ดาต้าเลค
- จุดข้อมูล
- ความเป็นส่วนตัวของข้อมูล
- ความเป็นส่วนตัวและความปลอดภัยของข้อมูล
- วิทยาศาสตร์ข้อมูล
- ที่ขับเคลื่อนด้วยข้อมูล
- ฐานข้อมูล
- ชุดข้อมูล
- วันที่
- ทศวรรษ
- ทศวรรษที่ผ่านมา
- ตัดสินใจ
- กำลังตัดสินใจ
- ทุ่มเท
- ถือว่า
- กำหนด
- ความต้องการ
- แสดงให้เห็นถึง
- แสดงให้เห็นถึง
- ขึ้นอยู่กับ
- ปรับใช้
- การใช้งาน
- บรรยาย
- อธิบาย
- ที่ต้องการ
- รายละเอียด
- รายละเอียด
- แน่นอน
- ผู้พัฒนา
- ที่กำลังพัฒนา
- พัฒนาการ
- ต่าง
- โดยตรง
- โดยตรง
- กรรมการ
- สนทนา
- กล่าวถึง
- การดำน้ำ
- หลาย
- do
- โดเมน
- โดเมน
- Dont
- การตรวจสอบซ้ำ
- ลง
- การขับขี่
- สอง
- ในระหว่าง
- พลวัต
- แต่ละ
- ก่อน
- ง่าย
- ระบบนิเวศ
- การศึกษา
- มีประสิทธิภาพ
- อย่างมีประสิทธิภาพ
- ที่มีประสิทธิภาพ
- อย่างมีประสิทธิภาพ
- ความพยายาม
- ความพยายาม
- ทั้ง
- องค์ประกอบ
- เช็คคุณสมบัติที่นี่
- การกำจัด
- กากกะรุน
- การจ้างงาน
- ช่วยให้
- ปลาย
- จบสิ้น
- สิ้นสุดวันที่
- ว่าจ้าง
- มีส่วนร่วม
- ชั้นเยี่ยม
- พอ
- ทำให้มั่นใจ
- พร้อม
- เท่ากัน
- ESG
- โดยเฉพาะอย่างยิ่ง
- สร้าง
- การประเมินการ
- การประเมินผล
- แม้
- เหตุการณ์
- ทุกๆ
- ตัวอย่าง
- ตัวอย่าง
- ที่มีอยู่
- คาดหวัง
- ที่คาดหวัง
- แพง
- ประสบการณ์
- การทดลอง
- การทดลอง
- ชำนาญ
- ความชำนาญ
- สำรวจ
- ด่วน
- แสดง
- การขยาย
- ภายนอก
- สารสกัด
- การสกัด
- ต้องเผชิญกับ
- อำนวยความสะดวก
- ปัจจัย
- รวดเร็ว
- อย่างดี
- เป็นไปได้
- สองสาม
- สนาม
- สาขา
- ใส่
- กรอง
- สุดท้าย
- ในที่สุด
- ทางการเงิน
- ข้อมูลทางการเงิน
- ชื่อจริง
- ความยืดหยุ่น
- ไหล
- โฟกัส
- ปฏิบัติตาม
- ดังต่อไปนี้
- สำหรับ
- รูป
- ข้างหน้า
- อุปถัมภ์
- พบ
- รากฐาน
- FRAME
- กรอบ
- กรอบ
- ฟรี
- ราคาเริ่มต้นที่
- เต็ม
- กองเต็ม
- อย่างเต็มที่
- การทำงาน
- ฟังก์ชั่น
- ต่อไป
- เกม
- เกมเปลี่ยน
- GDPR
- การปฏิบัติตาม GDPR
- เกียร์
- General
- สร้าง
- สร้าง
- สร้าง
- การสร้าง
- รุ่น
- กำเนิด
- กำเนิด AI
- ได้รับ
- ได้รับ
- ให้
- กำหนด
- จะช่วยให้
- ให้
- Go
- เป้าหมาย
- เป้าหมาย
- ดี
- รับ
- ยิ่งใหญ่
- บัญชีกลุ่ม
- การเจริญเติบโต
- มี
- มือ
- มีความสุข
- มี
- มี
- he
- สำนักงานใหญ่
- หนัก
- ยกของหนัก
- ช่วย
- จะช่วยให้
- เธอ
- โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม
- จุดสูง
- ที่มีประสิทธิภาพสูง
- ที่มีคุณภาพสูง
- สูงกว่า
- ที่สูงที่สุด
- ไฮไลต์
- ไฮไลท์
- อย่างสูง
- คำแนะนำ
- ของเขา
- ประวัติ
- กระโปรงหน้ารถ
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- อย่างไรก็ตาม
- HTTPS
- เป็นมนุษย์
- มนุษย์สามารถอ่านได้
- i
- ความคิด
- ระบุ
- ระบุ
- if
- ภาพ
- ส่งผลกระทบ
- ที่กระทบ
- ส่งผลกระทบต่อ
- ผลกระทบ
- การดำเนินการ
- การดำเนินงาน
- การใช้งาน
- การดำเนินการ
- ผลกระทบ
- สำคัญ
- ปรับปรุง
- in
- ในอื่น ๆ
- อิงค์
- ประกอบด้วย
- รวมทั้ง
- เพิ่ม
- ที่เพิ่มขึ้น
- อิสระ
- บุคคล
- อุตสาหกรรม
- ข้อมูล
- โครงสร้างพื้นฐาน
- แรกเริ่ม
- ในขั้นต้น
- เราสร้างสรรค์สิ่งใหม่ ๆ
- นักวิเคราะห์ส่วนบุคคลที่หาโอกาสให้เป็นไปได้มากที่สุด
- อินพุต
- ปัจจัยการผลิต
- ด่วน
- สถาบัน
- คำแนะนำการใช้
- รวบรวม
- บูรณาการ
- ตั้งใจ
- โต้ตอบ
- ปฏิสัมพันธ์
- ภายใน
- พัน
- เข้าไป
- ใช้งานง่าย
- การลงทุน
- นักลงทุน
- นักลงทุน
- ร่วมมือ
- ผู้ออกตราสารหนี้
- ไอเอสวี
- IT
- ITS
- การเดินทาง
- jpg
- เพียงแค่
- เก็บ
- คีย์
- รู้ดี
- ความรู้
- ที่รู้จักกัน
- ห้องปฏิบัติการ
- ทะเลสาบ
- ภูมิประเทศ
- ภาษา
- ใหญ่
- ที่มีขนาดใหญ่
- ชื่อสกุล
- ในที่สุด
- ความแอบแฝง
- ต่อมา
- ชั้น
- นำ
- ชั้นนำ
- นำไปสู่
- ได้เรียนรู้
- การเรียนรู้
- น้อยที่สุด
- นำ
- บทเรียน
- บทเรียนที่ได้รับ
- ชั้น
- facelift
- กดไลก์
- ยอดไลก์
- LLM
- ตรรกะ
- ลอนดอน
- นาน
- ดู
- ที่ต้องการหา
- Lot
- เครื่อง
- เรียนรู้เครื่อง
- ทำ
- หลัก
- ส่วนใหญ่
- หลัก
- เก็บรักษา
- การบำรุงรักษา
- ทำ
- ทำให้
- จัดการ
- การจัดการ
- การจัดการ
- การผลิต
- หลาย
- ตลาด
- การวิเคราะห์ตลาด
- ข้อมูลการตลาด
- ตลาด
- จับคู่
- คณิตศาสตร์
- อาจ..
- มีความหมาย
- หมายความว่า
- กลไก
- พบ
- สมาชิก
- ครึ่ง
- Meta
- เมตาดาต้า
- วิธี
- ระเบียบวิธี
- microservices
- ต่ำสุด
- การลด
- ผสม
- ML
- แบบ
- โมเดล
- ทันสมัย
- โมดูล
- ข้อมูลเพิ่มเติม
- มากที่สุด
- ส่วนใหญ่
- การย้าย
- มาก
- หลาย
- หลาย
- ชื่อ
- พื้นเมือง
- โดยธรรมชาติ
- ประมวลผลภาษาธรรมชาติ
- ธรรมชาติ
- จำเป็น
- จำเป็นต้อง
- จำเป็น
- ในเชิงลบ
- เครือข่าย
- ใหม่
- นิวยอร์ก
- ถัดไป
- ไม่
- หมายเหตุ
- สังเกต
- ตอนนี้
- จำนวน
- ตัวเลข
- วัตถุประสงค์
- ชัดเจน
- of
- ปิด
- เสนอ
- เสนอ
- เจ้าหน้าที่
- สำนักงาน
- มักจะ
- on
- ONE
- เพียง
- เปิด
- โอเพนซอร์ส
- ดีที่สุด
- การเพิ่มประสิทธิภาพ
- เพิ่มประสิทธิภาพ
- การปรับให้เหมาะสม
- การเพิ่มประสิทธิภาพ
- Options
- or
- กำลังเตรียมการ
- ประสาน
- ใบสั่ง
- เป็นต้นฉบับ
- อื่นๆ
- ของเรา
- เอาท์พุต
- เกิน
- ทั้งหมด
- ภาพรวม
- ที่ครอบงำ
- ของตนเอง
- เป็นเจ้าของ
- การเป็นเจ้าของ
- พารามิเตอร์
- ส่วนหนึ่ง
- ในสิ่งที่สนใจ
- ผ่าน
- กิเลส
- สิทธิบัตร
- สิทธิบัตร
- เส้นทาง
- ดำเนินการ
- การปฏิบัติ
- ที่มีประสิทธิภาพ
- เลือก
- ชิ้น
- เวที
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- เล่น
- จุด
- จุด
- บวก
- เป็นไปได้
- โพสต์
- ที่มีศักยภาพ
- อำนาจ
- อำนาจ
- การปฏิบัติ
- ที่ต้องการ
- นำเสนอ
- นำเสนอ
- ป้องกัน
- ราคา
- หลักการ
- ความเป็นส่วนตัว
- ความเป็นส่วนตัวและความปลอดภัย
- กระบวนการ
- การประมวลผล
- ก่อ
- ผลิต
- ผลิตภัณฑ์
- มืออาชีพ
- ลึกซึ้ง
- โครงการ
- โครงการ
- แจ้ง
- พิสูจน์
- พิสูจน์แนวคิด
- เหมาะสม
- เป็นเจ้าของ
- พิสูจน์แล้วว่า
- ให้
- ให้
- ให้
- การให้
- สาธารณะ
- บริษัท มหาชน
- สาธารณชน
- วัตถุประสงค์
- ใส่
- Q & A
- คุณภาพ
- คำสั่ง
- คำถาม
- อย่างรวดเร็ว
- คำพูด
- อันดับ
- ค่อนข้าง
- RE
- พร้อม
- โลกแห่งความจริง
- ตระหนัก
- รับ
- แนะนำ
- บันทึก
- อ้างอิง
- ควบคุม
- ความสัมพันธ์
- ความสัมพันธ์
- ตรงประเด็น
- รายงาน
- ตัวแทน
- เป็นตัวแทนของ
- แสดงให้เห็นถึง
- ต้องการ
- จำเป็นต้องใช้
- ความต้องการ
- ทรัพยากร
- ที่เคารพนับถือ
- ความนับถือ
- คำตอบ
- การตอบสนอง
- จำกัด
- ผลสอบ
- รายได้
- คืนกลับ
- การตรวจสอบ
- ขวา
- ความเสี่ยง
- บทบาท
- บทบาท
- ห้อง
- ปัดเศษ
- กฎระเบียบ
- วิ่ง
- ทำงาน
- เดียวกัน
- ความพึงพอใจ
- พอใจกับ
- ลด
- กล่าว
- scalability
- ขนาด
- วิทยาศาสตร์
- รอยขีดข่วน
- ไร้รอยต่อ
- ได้อย่างลงตัว
- ค้นหา
- ที่สอง
- วินาที
- Section
- ปลอดภัย
- ความปลอดภัย
- เห็น
- การเลือก
- ผู้ขาย
- ส่ง
- ระดับอาวุโส
- ความรู้สึก
- แยก
- ชุด
- serverless
- บริการ
- บริการ
- ชุด
- ชุดอุปกรณ์
- หลาย
- การสร้าง
- ผู้ถือหุ้น
- ผู้ถือหุ้น
- เธอ
- น่า
- แสดงให้เห็นว่า
- แสดง
- แสดงให้เห็นว่า
- สำคัญ
- ง่าย
- ที่เรียบง่าย
- ที่เรียบง่าย
- ลดความซับซ้อน
- ลดความซับซ้อน
- เดียว
- ขนาด
- ขนาด
- มีขนาดเล็กกว่า
- สมาร์ท
- อย่างชาญฉลาด
- ซอฟต์แวร์
- การพัฒนาซอฟต์แวร์
- ทางออก
- โซลูชัน
- บาง
- ซับซ้อน
- แหล่ง
- แหล่งที่มา
- ความตึงเครียด
- ครอบคลุม
- พูด
- ผู้เชี่ยวชาญ
- ความเชี่ยวชาญ
- โดยเฉพาะ
- เฉพาะ
- Stability
- กอง
- ระยะ
- เงินเดิมพัน
- ยืน
- ยืน
- เริ่มต้น
- ข้อความที่เริ่ม
- ที่เริ่มต้น
- คำแถลง
- เข้าพัก
- ขั้นตอน
- ขั้นตอน
- สต็อก
- ตลาดหลักทรัพย์
- เก็บไว้
- ร้านค้า
- ซื่อตรง
- ยุทธศาสตร์
- โครงสร้าง
- โครงสร้าง
- ต่อจากนั้น
- ความสำเร็จ
- ประสบความสำเร็จ
- อย่างเช่น
- เพียงพอ
- เหมาะสม
- ชุด
- สรุป
- สรุป
- สนับสนุน
- รองรับ
- การเฝ้าระวัง
- สวิตซ์
- วากยสัมพันธ์
- ระบบ
- ตาราง
- ปรับปรุง
- เอา
- นำ
- ใช้เวลา
- การ
- งาน
- งาน
- ทีม
- เทคโนโลยี
- วิชาการ
- เทคนิค
- เทคโนโลยี
- โทรคมนาคม
- บอก
- เทมเพลต
- ทดสอบ
- การทดสอบ
- การทดสอบ
- ข้อความ
- กว่า
- ขอบคุณ
- ที่
- พื้นที่
- เมืองหลวง
- ของพวกเขา
- แล้วก็
- ที่นั่น
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- พวกเขา
- คิด
- นี้
- สาม
- ตลอด
- ตลอด
- เวลา
- อนุกรมเวลา
- ครั้ง
- ยักษ์
- ไปยัง
- วันนี้
- ร่วมกัน
- โทเค็น
- ราชสกุล
- เกินไป
- เครื่องมือ
- เครื่องมือ
- หัวข้อ
- โตรอน
- ไปทาง
- รถไฟ
- ผ่านการฝึกอบรม
- การฝึกอบรม
- การทำธุกรรม
- การทำธุรกรรม
- การเปลี่ยนแปลง
- การเดินทาง
- จริง
- วางใจ
- กลับ
- สอง
- ชนิด
- ชนิด
- เป็นปกติ
- ไม่สามารถ
- ภายใต้
- พื้นฐาน
- เข้าใจ
- ความเข้าใจ
- เข้าใจ
- เข้าใจ
- เป็นเอกลักษณ์
- ปลดล็อค
- ไม่จำเป็น
- us
- ใช้
- ใช้กรณี
- มือสอง
- ผู้ใช้งาน
- ที่ใช้งานง่าย
- การใช้
- ใช้ประโยชน์
- ถูกต้อง
- การตรวจสอบ
- ความคุ้มค่า
- ความหลากหลาย
- ต่างๆ
- ผู้ขาย
- การตรวจสอบ
- การตรวจสอบแล้ว
- ตรวจสอบ
- มาก
- ทำงานได้
- รายละเอียด
- เสมือน
- วิสัยทัศน์
- เดิน
- อยาก
- คือ
- ทาง..
- we
- เว็บ
- บริการเว็บ
- webinars
- Website
- ดี
- ไป
- คือ
- ตะวันตก
- อะไร
- ล้อ
- เมื่อ
- แต่ทว่า
- ที่
- ในขณะที่
- จะ
- กับ
- ภายใน
- ไม่มี
- ผู้หญิง
- คำ
- งาน
- ทำงาน
- เวิร์กโฟลว์
- การทำงาน
- คุ้มค่า
- จะ
- เขียน
- เขียนโค้ด
- XML
- ยัง
- นิวยอร์ก
- คุณ
- ของคุณ
- YouTube
- ลมทะเล