Обучение моделей выражать свою неуверенность словами

Мы показываем, что модель GPT-3 может научиться выражать неуверенность в собственных ответах на естественном языке — без использования логитов модели. При задании вопроса модель генерирует как ответ, так и уровень достоверности (например, «достоверность 90%» или «высокая достоверность»). Эти уровни соответствуют хорошо откалиброванным вероятностям. Модель также остается умеренно калиброванной при сдвиге распределения и чувствительна к неопределенности в собственных ответах, а не к имитации человеческих примеров. Насколько нам известно, это первый случай, когда модель выражает калиброванную неуверенность в своих собственных ответах на естественном языке. Для тестирования калибровки мы представляем набор задач CalibratedMath. Мы сравниваем калибровку неопределенности, выраженную словами («вербализованная вероятность»), с неопределенностью, извлеченной из логитов модели. Оба вида неопределенности способны обобщить калибровку при сдвиге распределения. Мы также предоставляем доказательства того, что способность GPT-3 обобщать калибровку зависит от предварительно обученных скрытых представлений, которые коррелируют с эпистемической неопределенностью в отношении ответов.