Introduction
- Personality questionnaire가 LLM의 human-like personality traits를 포착할 수 있는지 검증
- LLM이 claim하는 traits와 real-world scenario에서의 실제 경향 간 congruence 평가
- Self-knowledge와 action의 disjunction 분석
- LLM personality 연구
- Psychometric evaluation of LLMs
Methods
- Conventional personality questionnaire를 LLM에 적용
- LLM 출력을 human response pattern과 비교
- Self-reported traits vs demonstrated tendencies 분석
Results
- Self-knowledge와 action 사이에 유의미한 불일치 존재
- LLM의 self-report가 실제 행동을 정확히 예측하지 못함
Discussion
- LLM의 self-report 신뢰성에 대한 근본적 의문 제기
- Introspection의 한계: 자신에 대한 보고와 실제 행동의 괴리