Lære modeller å uttrykke sin usikkerhet i ord

Vi viser at en GPT-3-modell kan lære å uttrykke usikkerhet om sine egne svar på naturlig språk – uten bruk av modelllogitter. Når det gis et spørsmål, genererer modellen både et svar og et tillitsnivå (f.eks. "90 % konfidens" eller "høy konfidens"). Disse nivåene kartlegges til sannsynligheter som er godt kalibrert. Modellen forblir også moderat kalibrert under distribusjonsskifte, og er følsom for usikkerhet i sine egne svar, i stedet for å imitere menneskelige eksempler. Så vidt vi vet er dette første gang en modell har vist seg å uttrykke kalibrert usikkerhet om egne svar på naturlig språk. For å teste kalibrering introduserer vi CalibratedMath-pakken med oppgaver. Vi sammenligner kalibreringen av usikkerhet uttrykt i ord ("verbalisert sannsynlighet") med usikkerhet hentet fra modelllogitter. Begge typer usikkerhet er i stand til å generalisere kalibrering under distribusjonsskifte. Vi gir også bevis på at GPT-3s evne til å generalisere kalibrering avhenger av ferdigtrente latente representasjoner som korrelerer med epistemisk usikkerhet om svarene.