Introduction
- Adaptive retrieval: LLM이 자신이 모를 때만 외부 검색을 수행
- 기존 접근은 LLM의 self-knowledge에 의존
- Self-knowledge 대신 uncertainty estimation으로 대체 가능한지 탐구
- RAG (Retrieval-Augmented Generation)
- LLM calibration and uncertainty
Methods
- LLM의 self-knowledge 평가와 uncertainty estimation 비교
- 다양한 uncertainty 추정 방법 실험
- Adaptive retrieval에서의 효과 비교
Results
- Self-knowledge 기반 접근보다 uncertainty 기반 접근이 동등하거나 우수
- LLM의 explicit self-knowledge가 불필요할 수 있음을 시사
- 13 citations, ACL venue
Discussion
- Self-knowledge의 실용적 대안으로서의 uncertainty estimation
- LLM이 자신을 ‘아는 것’과 uncertainty signal의 관계