Introduction
- Theory of Mind(ToM)은 타인의 정신 상태를 이해하고 반성하는 능력
- 가장 능력 있는 closed-source LLM이 일부 ToM 과제에서 인간에 근접하나, 구조적 추론이 필요한 복잡한 변형에서는 여전히 성능 부족
- 인지심리학의 “pretend-play” 또는 Simulation Theory 개념을 활용하여 Decompose-ToM 제안
- LLM의 ToM 능력 평가 연구
- Cognitive psychology: Simulation Theory
- Chain-of-thought, tree-of-thought 등 LLM 추론 방법
Methods
- Decompose-ToM: LLM 기반 inference algorithm
- 사용자 관점을 재귀적으로 시뮬레이션
- ToM 과제를 단순한 하위 함수 집합으로 분해:
- Subject Identification: 주체 식별
- Question-Reframing: 질문 재구성
- World Model Updation: 세계 모델 업데이트
- Knowledge Availability: 지식 가용성 확인
- 과제/모델 간 최소한의 프롬프트 튜닝만 필요, 추가 모델 학습 불필요
Results
- Higher-order ToM 과제 및 대화 설정 ToM 과제에서 유의미한 성능 향상
- 다양한 모델에서 baseline 대비 일관된 개선
- 과제/모델에 걸쳐 최소한의 프롬프트 조정만으로 일반화
Discussion
- Simulation Theory를 LLM에 적용하는 새로운 관점
- 재귀적 관점 시뮬레이션이 higher-order ToM에 효과적
- Training-free 접근의 실용적 장점