Introduction
- LLM이 간헐적으로 nonfactual 응답을 생성하는 문제
- 외부 자원 없이 LLM 자체만으로 자신이 모르는 질문을 탐지하는 self-detection 방법 제안
- Vicuna, ChatGPT, GPT-4에서 실험
Related Papers
- Hallucination detection
- Self-consistency methods
Methods
- 질문의 textual expression을 다양화
- 각 표현에 대한 답변 수집
- 생성된 답변들 간의 divergence 분석으로 모르는 질문 식별
- 모든 과정이 LLM self-prompting으로 완료
Results
- 제안한 방법이 여러 LLM에서 효과적으로 nonfactual 응답을 예측
- 외부 자원 없이 자체적으로 수행 가능
- 모델별 self-detection 능력 차이 비교
Discussion
- Self-consistency 기반의 간단하면서 실용적인 접근
- Self-knowledge의 proxy로서 answer consistency의 유용성 입증