Introduction
- Theory of Mind(ToM)은 beliefs, desires, intentions 등 타인의 정신 상태를 추론하는 사회 인지의 기초
- 기존 computational ToM 방법은 ToM-specific prior를 활용한 structured workflow나 deep model fine-tuning에 의존 → 멀티모달 환경에서 확장성 부족, 복잡도 증가 시 일반화 실패
- Scalable Bayesian ToM planner를 제안하여, ToM 추론을 stepwise Bayesian update로 분해
- 기존 ToM 모델: 구조화된 워크플로우에 의존, 멀티모달 확장성 부족
- 대규모 LM fine-tuning 기반 접근의 한계
Methods
- Stepwise Bayesian Update: ToM 추론을 단계별 베이지안 업데이트로 분해
- Weak-to-Strong Control: 작은 LM이 ToM-specific likelihood estimation을 전문적으로 수행하고, 그 추론 행동을 더 큰 LM(7B~405B)으로 transfer
- 큰 모델은 사회적/세계 지식과 통합하여 Bayesian 원칙에 맞는 정신 상태 추론 수행
- 시너지 기반 접근: 작은 모델의 ToM 전문성 + 큰 모델의 범용 지식
Results
- 멀티모달 ToM 벤치마크에서 SOTA 대비 4.6% 정확도 향상
- 학습하지 않은 unseen scenario에서도 강건한 성능
- 인간 정신 상태 모델링에서 새로운 기준 설정
Discussion
- Weak-to-strong transfer paradigm이 ToM 추론의 확장성 문제를 해결하는 유망한 접근
- 멀티모달 환경에서의 ToM 추론에 Bayesian framework 적용의 가능성 제시
- 향후 더 복잡한 사회적 시나리오로의 확장 필요