Introduction
- Theory of Mind(ToM)은 개인이 타인에게 정신 상태를 귀속시키는 능력
- LLM이 ToM에서 일부 가능성을 보이지만, 복잡한 ToM 추론에서는 여전히 한계
- 외부 symbolic executor(SMCDEL model checker)와 fine-tuning을 결합하여 LLM의 ToM 추론 능력 향상을 제안
- LLM의 ToM 능력에 대한 기존 평가 연구
- Neurosymbolic AI 및 외부 도구 활용 추론 연구
Methods
- Fine-tuning: 자연어 ↔ symbolic formulation 쌍으로 LLM을 학습
- Symbolic Formulation 생성: LLM이 one-shot in-context example으로 ToM 문제의 symbolic 표현을 생성
- SMCDEL Model Checker: 생성된 symbolic formulation을 실행하여 투명하고 검증 가능한 ToM 추론 수행
- 핵심: belief에 대한 추론을 외부화(externalize)하는 새로운 관점
Results
- 구성된 모든 baseline 대비 유의미한 성능 향상
- Symbolic executor를 통한 투명하고 검증 가능한 추론 달성
Discussion
- ToM 추론의 특정 구성 요소(특히 belief 추론)를 외부화하는 새로운 관점 제시
- 다른 ToM 측면으로의 일반화 가능성 제안
- Neurosymbolic 접근이 LLM의 사회 인지 능력 향상에 유효한 경로