Introduction
- Theory of Mind(ToM)은 자신과 타인의 정신 상태를 추론하고 귀속하는 인지 능력
- LLM이 사회적/인지적 능력에 대해 점점 평가되고 있지만, 다양한 언어와 문화적 맥락에서의 ToM은 불명확
- 본 연구는 다국어 ToM 능력에 대한 포괄적 연구를 수행
- 기존 ToM 평가: 주로 영어 중심
- 다국어 NLP 및 문화적 편향 연구
Methods
- 다국어 ToM 데이터셋 구축: 기존 ToM 데이터셋을 다국어로 번역
- 문화적 적응: 번역에 문화 특유의 요소를 추가하여 다양한 집단의 사회적/인지적 시나리오 반영
- 6개 SOTA LLM을 번역 데이터셋 + 문화 적응 데이터셋 모두에서 평가
Results
- 언어적/문화적 다양성이 모델의 ToM 능력에 유의미한 영향
- 모델의 사회적 추론 능력에 의문 제기
- 8개 언어 패밀리에 걸친 평가 결과 제공
Discussion
- LLM의 cross-cultural social cognition 향상을 위한 향후 연구 기반 마련
- 문화적으로 인식 가능하고 사회적으로 지능적인 AI 시스템 개발에 기여
- ToM 평가에서 언어/문화 다양성 고려의 중요성 강조