মডেলদের তাদের অনিশ্চয়তা কথায় প্রকাশ করতে শেখানো

আমরা দেখাই যে একটি GPT-3 মডেল প্রাকৃতিক ভাষায় তার নিজস্ব উত্তর সম্পর্কে অনিশ্চয়তা প্রকাশ করতে শিখতে পারে-মডেল লগিট ব্যবহার না করেই। যখন একটি প্রশ্ন দেওয়া হয়, মডেলটি একটি উত্তর এবং আত্মবিশ্বাসের স্তর উভয়ই তৈরি করে (যেমন "90% আত্মবিশ্বাস" বা "উচ্চ আত্মবিশ্বাস")। এই স্তরগুলি সম্ভাব্যতার মানচিত্র করে যা ভালভাবে ক্রমাঙ্কিত। মডেলটি বিতরণ শিফটের অধীনে মাঝারিভাবে ক্রমাঙ্কিত থাকে এবং মানুষের উদাহরণ অনুকরণ না করে তার নিজস্ব উত্তরে অনিশ্চয়তার প্রতি সংবেদনশীল। আমাদের জানামতে, এই প্রথম কোনো মডেল প্রাকৃতিক ভাষায় তার নিজস্ব উত্তর সম্পর্কে ক্যালিব্রেটেড অনিশ্চয়তা প্রকাশ করতে দেখানো হয়েছে। ক্রমাঙ্কন পরীক্ষা করার জন্য, আমরা কাজগুলির ক্যালিব্রেটেড ম্যাথ স্যুট প্রবর্তন করি। আমরা শব্দে প্রকাশিত অনিশ্চয়তার ক্রমাঙ্কনকে ("মৌখিক সম্ভাব্যতা") মডেল লগিট থেকে প্রাপ্ত অনিশ্চয়তার সাথে তুলনা করি। উভয় ধরণের অনিশ্চয়তা বিতরণ শিফটের অধীনে ক্রমাঙ্কনকে সাধারণীকরণ করতে সক্ষম। আমরা প্রমাণও প্রদান করি যে GPT-3-এর ক্রমাঙ্কনকে সাধারণীকরণ করার ক্ষমতা প্রাক-প্রশিক্ষিত সুপ্ত উপস্থাপনাগুলির উপর নির্ভর করে যা এর উত্তরগুলির উপর জ্ঞানীয় অনিশ্চয়তার সাথে সম্পর্কযুক্ত।