Modelos de ensino para expressar sua incerteza em palavras

Mostramos que um modelo GPT-3 pode aprender a expressar incerteza sobre suas próprias respostas em linguagem natural – sem o uso de logits de modelo. Quando dada uma pergunta, o modelo gera uma resposta e um nível de confiança (por exemplo, “90% de confiança” ou “alta confiança”). Esses níveis são mapeados para probabilidades bem calibradas. O modelo também permanece moderadamente calibrado sob mudanças de distribuição e é sensível à incerteza nas suas próprias respostas, em vez de imitar exemplos humanos. Até onde sabemos, esta é a primeira vez que se demonstra que um modelo expressa incerteza calibrada sobre suas próprias respostas em linguagem natural. Para testar a calibração, apresentamos o conjunto de tarefas CalibratedMath. Comparamos a calibração da incerteza expressa em palavras (“probabilidade verbalizada”) com a incerteza extraída dos logits do modelo. Ambos os tipos de incerteza são capazes de generalizar a calibração sob mudança de distribuição. Também fornecemos evidências de que a capacidade do GPT-3 de generalizar a calibração depende de representações latentes pré-treinadas que se correlacionam com a incerteza epistêmica sobre suas respostas.