Introduction
- LLM이 언제 답하지 말아야 하는지 결정하는 unified framework
- Heterogeneous uncertainty evidence를 calibrated probability로 통합
- Conformal prediction
- Selective prediction
Methods
- Sequence likelihood, self-consistency, retrieval compatibility, tool feedback 통합
- Lightweight calibration head + conformal risk control
- Short-form QA, code generation, long-form QA에서 실험
Results
- 기존 entropy/logit threshold 방법 대비 calibration 및 coverage 개선
- Risk-coverage curve에서 우수한 성능
Discussion
- Self-knowledge의 다양한 signal을 통합하는 실용적 접근
- “Know when not to answer”의 체계적 구현