Introduction
- LLM의 epistemological blind spots 체계적 조사
- KaBLE (Knowledge and Belief in Language models Evaluation) 벤치마크 소개
Related Papers
- Knowledge probing
- LLM calibration
Methods
- KaBLE: 지식, 믿음, 불확실성에 대한 multi-faceted 벤치마크
- 다양한 LLM에서 epistemological awareness 평가
Results
- LLM이 체계적인 epistemological blind spot을 보임
- 특정 유형의 지식 경계를 인식하지 못하는 패턴 발견
Discussion
- LLM의 자기 지식 한계 인식의 구조적 문제
- Self-awareness 벤치마크로서의 활용 가능성