LLM Uncertainty

Summary

model 응답의 log-probability로 계산됨.
NTP 시 해당 토큰의 확률이 높으면 그 값만큼의 confidence로 해석.
문장에 대한 uncertainty는 token-level NTP 시의 log-prob를 단순 합하거나 평균내서 계산.

$\text{Log Prob}(X)={\sum }_{i=1}^n\log P(w_i|w_{<i})$

주로, inference 시 특정 답변의 신뢰도를 보는 목적으로 사용.