Introduction
- LLM의 factual knowledge와 self-consistency 간의 관계 분석
- Entity type ambiguity 상황에서 factual knowledge 적용 능력 평가
- Knowing과 applying knowledge를 분리하는 evaluation protocol 제안
- Self-consistency 연구
- Entity disambiguation
Methods
- 49개 ambiguous entity에 대해 state-of-the-art LLM 평가
- Knowing vs applying knowledge를 분리하는 프로토콜
- Underspecified prompt와 specified prompt 비교
Results
- 평균 accuracy 85%, underspecified prompt에서는 75%까지 하락
- Preferred reading에 대한 체계적 bias 존재
- Knowledge를 보유하지만 일관되게 적용하지 못하는 self-inconsistency 문제 발견
Discussion
- LLM이 knowledge를 가지고 있어도 일관되게 사용하지 못하는 근본적 문제 제시
- Entity ambiguity 해결이 trustworthy LLM을 위해 필요