Introduction
- LLM이 상당한 Theory of Mind(ToM) 능력을 가짐이 점점 입증됨
- 본 연구는 generative agent가 개방형 대화에서 ToM을 시뮬레이션하도록 하는 새로운 패러다임 ToM-agent 제안
- 정신 상태에서 확신도(confidence)를 분리하여, 에이전트가 상대방의 beliefs, desires, intentions(BDI)를 동적으로 추적
- LLM 기반 generative agent 연구 (Park et al. 등)
- ToM 시뮬레이션 및 BDI 모델링 연구
Methods
- ToM-agent: LLM 기반 generative agent가 개방형 대화에서 ToM을 시뮬레이션
- Confidence 분리: 정신 상태(BDI)와 해당 추론의 확신도(confidence)를 분리하여 모델링
- 동적 BDI 조정: 과거 대화 이력과 verbal reflection을 활용하여 상대방의 BDI와 관련 확신도를 동적으로 업데이트
- 반사실적 개입(Counterfactual Intervention): 상대방의 예측 응답과 실제 발화 간의 차이를 반성(reflection)하여 reflection 효율성 향상
Results
- 공감 대화(empathetic dialogue) 및 설득 대화(persuasion dialogue) 데이터셋에서 ToM-agent의 이점 검증
- 1차(first-order) 및 2차(second-order) ToM 모두에서 성능 향상
- 상대방 행동의 심층적 이유(의미-감정적 지원이나 상식 기반 판단을 넘어서)를 파악 가능
Discussion
- 대규모 LLM 기반 인간 사회 행동 시뮬레이션에 대한 새로운 통찰
- 반사실적 개입이 reflection의 효율성을 높이는 핵심 메커니즘
- 2차 ToM까지 다루는 점이 기존 연구와의 차별점