เครื่องมือค้นหาไม่ได้ช่วยให้แชทบอทมีความแม่นยำเสมอไป

การเข้าถึงเครื่องมือค้นหาไม่ได้มีแนวโน้มที่จะปรับปรุงความสามารถของแชทบอท AI ในการสร้างคำตอบที่แม่นยำและทันสมัยสำหรับคำถาม ซึ่งหมายความว่านักพัฒนาจะต้องค้นหาเทคนิคใหม่ ๆ เพื่อทำให้การโต้ตอบมีประโยชน์มากขึ้น ตามการวิจัย

โมเดลภาษาขนาดใหญ่ (LLM) เช่น GPT-3.5 ซึ่งเป็นพื้นฐานสำหรับ ChatGPT ได้รับการฝึกอบรมเกี่ยวกับข้อความที่คัดลอกมาจากอินเทอร์เน็ตจนถึงเดือนกันยายน 2021 บริษัทอย่าง Google และ Microsoft พยายามเสริม LLM ด้วยเครื่องมือค้นหา เพื่อให้พวกเขาเข้าถึงความรู้ในเว็บปัจจุบัน หน้า

ตามที่ตนแสดงไว้ นักประพันธ์เพลง และ Bing chatbots, Google และ Microsoft ยังคงดิ้นรนเพื่อให้ได้คำตอบที่ถูกต้องสำหรับคำค้นหา แม้ว่าคำตอบที่ถูกต้องอาจอยู่บนอินเทอร์เน็ตที่ไหนสักแห่งก็ตาม

“ใครๆ ก็คิดว่าการเชื่อมต่อเครื่องมือค้นหากับ ChatGPT เป็นโซลูชั่นที่สมบูรณ์แบบ แต่ความเป็นจริงกลับเป็นเรื่องที่ท้าทายมากขึ้น เนื่องจากความแม่นยำของผลการค้นหามีจำกัด” หงยิน หลัว นักวิจัยหลังปริญญาเอกจาก Computer Science & Artificial Intelligence Laboratory ของ MIT กล่าว ลงทะเบียน.

Luo อธิบายว่าเครื่องมือค้นหาเป็นระบบค้นหาข้อมูลตามคำหลักและไม่ได้ให้คำตอบโดยตรงสำหรับคำถามส่วนใหญ่เสมอไป นอกจากนี้ หน้าเว็บที่แตกต่างกันอาจมีข้อมูลที่ไม่เกี่ยวข้อง ขัดแย้ง หรือเป็นเท็จ Bing อ้างสิทธิ์อย่างไม่ถูกต้อง อดอล์ฟ ฮิตเลอร์ เคยเป็นสมาชิกของวงเรดิโอเฮด ในผลการค้นหารายการเดียว เป็นต้น

ชาวเน็ต สันนิษฐาน ข้อผิดพลาดอาจเกิดจากก หน้า บน Wikidata ที่กล่าวถึง Radiohead และ Adolf Hitler

หาก Bard และ Bing มีประโยชน์ นักพัฒนาจะต้องหาวิธีทำให้ LLM แยกข้อมูลที่เป็นประโยชน์มากที่สุดจากข้อความที่มีเสียงดัง สับสน และไม่สอดคล้องกัน Luo และเพื่อนร่วมงานของเขาจาก MIT และ Chinese University of Hong Kong เชื่อว่าโมเดลจำเป็นต้องได้รับการปรับแต่งเพิ่มเติม เพื่อให้สามารถทำตามคำแนะนำในการสร้างคำตอบสำหรับการค้นหาเว็บได้ดียิ่งขึ้น

ทีมงานได้ทำการปรับแต่ง Meta's โทรซึ่งเป็น LLM พารามิเตอร์เจ็ดพันล้าน ซึ่งปรับแต่งอย่างละเอียดบนฐานข้อมูลที่มีคำสั่งแบบข้อความ 52,000 คู่ และการตอบกลับที่เกี่ยวข้องที่สร้างโดย GPT-4 นักวิจัยยังได้สร้างชุดข้อมูลแยกต่างหากซึ่งประกอบด้วยหน้าเว็บ XNUMX อันดับแรกที่เกี่ยวข้องกับคำสั่งแต่ละคำสั่ง และฝึกอบรมแบบจำลองเพื่อสร้างการตอบสนองที่ถูกต้องโดยการจัดอันดับแหล่งที่มาว่ามีความเกี่ยวข้องและสอดคล้องอย่างใกล้ชิดกับการตอบสนองที่ถูกต้องเพียงใด

Luo กล่าวว่าโมเดลที่ได้รับการปรับแต่งอย่างดี – มีชื่อเล่นว่า เซล-7Bซึ่งย่อมาจาก Search-Augmented Instruction Learning ดีกว่าในการเพิกเฉยต่อผลการค้นหาที่เสียสมาธิหรือไม่น่าเชื่อถือ และสร้างคำตอบที่มีคุณภาพสูงขึ้น รายละเอียดก็มี การตีพิมพ์ [PDF] ในบทความที่เผยแพร่บน arXiv และโมเดล รหัส อยู่บน GitHub คุณยังสามารถเล่นกับ สาธิต ของระบบที่โฮสต์บน Hugging Face

“แบบจำลองของเราเรียนรู้ที่จะค้นหาข้อมูลที่เป็นประโยชน์จากผลการค้นหาที่มีเสียงดัง และสร้างคำตอบที่แม่นยำที่สุดเท่าที่จะเป็นไปได้ ด้วยเหตุนี้ แบบจำลองของเราจึงสามารถสรุปข้อมูลอันมีค่าได้ดีขึ้น และสร้างคำตอบที่ดีกว่าสำหรับคำค้นหาต่างๆ แม้ว่าเครื่องมือค้นหาจะไม่สามารถจัดการกับคำค้นหาเหล่านั้นได้ดีนักก็ตาม” Luo กล่าว

“การฝึกอบรมของเรามีขั้นตอนที่ชี้แจงอย่างชัดเจนว่าผลการค้นหาแต่ละรายการมีประโยชน์หรือไม่ และโมเดลภาษาจะเป็นไปตามข้อมูลที่เป็นประโยชน์ที่เลือกไว้ กระบวนการนี้จะกรองผลการค้นหาที่ไม่น่าเชื่อถือและไม่เกี่ยวข้องส่วนใหญ่ออกไป และปรับปรุงประสิทธิภาพการปฏิบัติตามคำแนะนำโดยเฉลี่ย”

การทดลองเบื้องต้นแสดงให้เห็นว่า SAIL-7B มีประสิทธิภาพเหนือกว่า GPT-3.5 และรุ่นอื่นๆ ที่มีพารามิเตอร์มากกว่าในช่วงของงาน การทดลองนี้ประเมินความสามารถในการตอบคำถามสามัญสำนึกและคำถามปลายเปิด รวมถึงการตรวจสอบข้อเท็จจริง และการตรวจจับคำพูดแสดงความเกลียดชัง โมเดลดังกล่าวได้รับการป้อนหน้าเว็บจากวิกิพีเดียและผลการค้นหาจาก DuckDuckGo เพื่อช่วยเลือกคำตอบที่ถูกต้องจากรายการคำตอบของผู้สมัคร อย่างไรก็ตาม GPT-4 ยังคงดีกว่า SAIL-7B

“ความท้าทายก็คือโมเดลที่ใหญ่กว่านั้นมีความรู้ การจดจำ และความสามารถในการใช้เหตุผลที่แข็งแกร่งกว่ามาก ดังนั้นโมเดลของเราจึงยังไม่ดีเท่า GPT-4 อย่างไรก็ตาม SAIL-7B เป็นการพิสูจน์แนวคิดด้วยแบบจำลอง 'ขนาดเล็ก' และขั้นตอนต่อไปของเราคือการฝึกแบบจำลองที่ใหญ่กว่าด้วยกลยุทธ์ที่เราเสนอ” Luo กล่าว

อย่างไรก็ตาม โมเดลที่ได้รับการปรับแต่งอย่างละเอียดด้วยเทคนิคการเรียนรู้คำสั่งเสริมการค้นหาในปัจจุบันนั้นยังไม่สมบูรณ์แบบ ผู้วิจัยตั้งข้อสังเกตว่าพวกเขาไม่สามารถอธิบายได้ ทำไม ผลการค้นหาน่าเชื่อถือหรือไม่ พวกเขาหวังว่าจะมีกลยุทธ์อื่นเพื่อเพิ่มความแม่นยำและความน่าเชื่อถือในอนาคต ®

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• การเงิน EVM ส่วนต่อประสานแบบครบวงจรสำหรับการเงินแบบกระจายอำนาจ เข้าถึงได้ที่นี่.
• กลุ่มสื่อควอนตัม IR/PR ขยาย เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. ข้อมูลอัจฉริยะ Web3 ขยายความรู้ เข้าถึงได้ที่นี่.
• ที่มา: https://go.theregister.com/feed/www.theregister.com/2023/06/07/search_engines_make_chatbots_inaccurate/