การสอนแบบจำลองเพื่อแสดงความไม่แน่นอนด้วยคำพูด

เราแสดงให้เห็นว่าโมเดล GPT-3 สามารถเรียนรู้ที่จะแสดงความไม่แน่นอนเกี่ยวกับคำตอบของตัวเองในภาษาธรรมชาติได้โดยไม่ต้องใช้บันทึกโมเดล เมื่อถามคำถาม แบบจำลองจะสร้างทั้งคำตอบและระดับความมั่นใจ (เช่น "ความมั่นใจ 90%" หรือ "ความมั่นใจสูง") ระดับเหล่านี้จะจับคู่กับความน่าจะเป็นที่ได้รับการปรับเทียบมาอย่างดี แบบจำลองนี้ยังคงได้รับการปรับเทียบในระดับปานกลางภายใต้การเปลี่ยนแปลงการกระจาย และมีความไวต่อความไม่แน่นอนในคำตอบของตัวเอง แทนที่จะเลียนแบบตัวอย่างของมนุษย์ ตามความรู้ของเรา นี่เป็นครั้งแรกที่มีการแสดงแบบจำลองเพื่อแสดงความไม่แน่ใจเกี่ยวกับคำตอบของตัวเองในภาษาธรรมชาติ สำหรับการทดสอบการสอบเทียบ เราขอแนะนำชุดงาน CalibratedMath เราเปรียบเทียบการสอบเทียบความไม่แน่นอนที่แสดงออกมาเป็นคำ (“ความน่าจะเป็นทางวาจา”) กับความไม่แน่นอนที่ดึงมาจากบันทึกแบบจำลอง ความไม่แน่นอนทั้งสองประเภทสามารถสรุปการสอบเทียบภายใต้การเปลี่ยนแปลงการกระจายได้ นอกจากนี้เรายังแสดงหลักฐานว่าความสามารถของ GPT-3 ในการสอบเทียบโดยทั่วไปนั้นขึ้นอยู่กับการเป็นตัวแทนแฝงที่ได้รับการฝึกอบรมล่วงหน้าซึ่งมีความสัมพันธ์กับความไม่แน่นอนทางญาณในคำตอบ