मॉडलों को अपनी अनिश्चितता को शब्दों में व्यक्त करना सिखाना

हम दिखाते हैं कि एक GPT-3 मॉडल प्राकृतिक भाषा में अपने स्वयं के उत्तरों के बारे में अनिश्चितता व्यक्त करना सीख सकता है - मॉडल लॉगिट्स के उपयोग के बिना। जब कोई प्रश्न दिया जाता है, तो मॉडल उत्तर और आत्मविश्वास का स्तर दोनों उत्पन्न करता है (उदाहरण के लिए "90% आत्मविश्वास" या "उच्च आत्मविश्वास")। ये स्तर उन संभावनाओं को दर्शाते हैं जो अच्छी तरह से कैलिब्रेटेड हैं। मॉडल वितरण बदलाव के तहत भी मध्यम रूप से अंशांकित रहता है, और मानवीय उदाहरणों की नकल करने के बजाय अपने स्वयं के उत्तरों में अनिश्चितता के प्रति संवेदनशील है। हमारी जानकारी के अनुसार, यह पहली बार है कि किसी मॉडल को प्राकृतिक भाषा में अपने स्वयं के उत्तरों के बारे में अंशांकित अनिश्चितता व्यक्त करते हुए दिखाया गया है। अंशांकन के परीक्षण के लिए, हम कार्यों का कैलिब्रेटेडमैथ सुइट प्रस्तुत करते हैं। हम शब्दों में व्यक्त अनिश्चितता के अंशांकन ("मौखिक संभाव्यता") की तुलना मॉडल लॉग से निकाली गई अनिश्चितता से करते हैं। दोनों प्रकार की अनिश्चितता वितरण बदलाव के तहत अंशांकन को सामान्य बनाने में सक्षम हैं। हम यह भी सबूत देते हैं कि GPT-3 की अंशांकन को सामान्य बनाने की क्षमता पूर्व-प्रशिक्षित अव्यक्त अभ्यावेदन पर निर्भर करती है जो इसके उत्तरों पर ज्ञानमीमांसीय अनिश्चितता से संबंधित है।