Introduction
- LLM의 internal consistency를 활용한 hallucination mitigation
- 내부 상태가 출력과 일관적일 때 더 신뢰할 수 있다는 가설
Related Papers
- Hallucination detection
- Internal representation analysis
Methods
- Internal state와 output 간의 consistency 측정
- Consistency 기반 hallucination 필터링
Results
- Internal consistency가 높은 출력이 더 정확함
- Consistency-based filtering으로 hallucination rate 감소
Discussion
- Self-knowledge를 internal consistency로 측정하는 접근
- Introspection의 실용적 활용