마음 게임 - 멀티-에이전트 LLM의 사회적·전략적 추론 평가를 위한 실시간 아레나

Digest: LLM이 협상·속임수·협력이 필요한 다중 에이전트 환경에 점점 투입되지만, 기존 ToM(theory of mind, 타 에이전트의 믿음·의도를 추론하는 능력) 평가는 정적 vignette(미리 짜인 거짓믿음 문제 지문)를 풀게 할 뿐 실시간 상호작용 능력을 재지 못한다는 게 Context다.

저자들의 Insight는 게임마다 사회·전략 추론의 상보적 차원이 드러난다는 것 — 자원배분(Colonel Blotto, 동시 자원분배 제로섬), 혼합동기 협력(IPD, 반복 죄수의 딜레마), 단서 기반 협력추론(Codenames), 정보비대칭 사회추론(Secret Mafia)을 한데 묶으면 단일 게임으로는 못 보던 능력 지형을 측정할 수 있다.

Solution은 이 네 게임을 TextArena(텍스트 전용 다중게임 환경) 위에 통합하고 TrueSkill(베이지안 레이팅) 리더보드와 2트랙·2디비전 NeurIPS 2025 대회로 운영한 라이브 아레나 MindGames이며, 29,571게임·94,132궤적·243M 토큰 데이터셋과 재현용 MG-Ref(동결 참조풀 오프라인 토너먼트) 프로토콜을 공개했다. Evidence는 76팀 944제출 규모에서 In2AI의 RL 학습 Qwen3-8B가 Unlimited Generalization 38.0으로 프롬프트 기반 GPT-5를 제압했고, 비-LLM GAN(6.8M 파라미터)이 Blotto에서 78.4% 승률을 낸다는 점 — 즉 학습이 추론시 스캐폴딩(BDI 같은 프롬프트 구조)보다, 데이터 큐레이션이 규모보다 우세하다는 설계 패턴을 보였다.

그러나 이 논문의 진짜 클라이맥스는 Limitations에 있다 — 측정 타당성 감사(measurement validity audit)가 두 가지 함정을 드러낸다.
하나는 error-survival confound(상대가 무효행동·몰수로 조기 탈락하면 능력이 아니라 단지 견고함 때문에 이기는 혼란요인)이고, 다른 하나는 validity gradient(환경별 신뢰도 격차): Stage II 오류율이 IPD 0% / Blotto 8.5% / Codenames 38.6% / Mafia 50.3%로, 깨끗한 게임과 절반이 오류로 왜곡된 게임이 같은 리더보드에 섞여 있다. 더해 RLHF truthfulness bias(인간 피드백 학습이 유도한 정직 편향)로 모델이 마피아 역할에서 거짓말을 꺼려(마피아 88-96% vs 빌리저 16-60% 정직 행동) 사회추론 측정 자체가 왜곡된다.

Open Questions: 다중 에이전트 벤치마크에서 승률을 능력의 투명한 반영으로 받아들여도 되는가 — 저자들의 답은 “안 된다, 명시적 혼란요인 감사가 선행돼야 한다”이며, 그렇다면 정직 편향을 보정한 속임수 평가는 어떻게 설계할지, validity gradient를 메운 통합 점수는 가능한지가 열려 있다.

섹션별 요약

Abstract

기존 정적 vignette 기반 이론적 마음(theory of mind, ToM — 타 에이전트의 믿음·의도·목표를 귀속하는 능력) 평가는 실시간 다중 에이전트 상호작용에 필요한 동적 추론을 포착하지 못한다. MindGames는 이 한계를 해소하고자 Colonel Blotto, 반복 죄수의 딜레마(IPD), Codenames, Secret Mafia 네 게임 환경을 통합한 라이브 아레나 평가 플랫폼을 제안한다. NeurIPS 2025 대회에서 76개 팀이 제출한 944건의 에이전트 제출물을 분석하였으며, 턴 단위 관찰·행동·보상·메타데이터를 포함하는 29,571게임(243M 토큰), 94,132개 플레이어 궤적으로 구성된 데이터셋을 공개하였다. 측정 타당성 감사(measurement validity audit)를 통해 무효 행동(invalid action)·몰수 메커니즘·지표 선택이 리더보드 의미를 환경마다 상이하게 왜곡함을 체계적으로 규명하였다. 결론적으로 다중 에이전트 벤치마크는 승률을 능력의 투명한 반영으로 가정하지 말고 명시적 혼란요인 감사를 수반해야 함을 제시한다.

저자 contribution

Colonel Blotto·IPD·Codenames·Secret Mafia를 통합한 라이브 아레나 평가 인프라를 구축하고, 온라인 매치메이킹·TrueSkill 레이팅·완전 궤적 로깅을 단일 프로토콜로 제공한다.
29,571게임(243M 토큰)·94,132개 플레이어 궤적으로 구성된 대규모 다중 에이전트 궤적 데이터셋과, 오프라인 재현 평가를 위한 동결 참조 프로토콜 MG-Ref를 공개한다.
무효 행동·몰수·지표 선택이 리더보드 신뢰도를 환경마다 상이하게 왜곡함을 감사로 규명하고, 성공 제출물의 설계 패턴과 체계적 약점(제약 만족·상태 추적·크레딧 할당)을 종합 정리한다.

왜 이 연구를 하는가?

AI 모델, 특히 LLM이 혼자 일하는 시대를 넘어 다른 AI·사람과 협상하고 협력하고 때로는 속고 속이는 복잡한 환경에 투입되고 있다. 이런 “사회적·전략적 지능”을 제대로 평가하는 도구가 있어야 더 나은 AI를 만들 수 있다.

그런데 지금까지의 평가 방식에는 근본적인 문제가 있었다. 마치 운전 실력을 자동차 시뮬레이터 대신 객관식 필기시험으로만 재는 것처럼 — 현재의 ToM(마음 이론) 평가는 미리 짜인 짧은 시나리오 문제(“앤은 A가 B에 있다고 생각할까?“)를 LLM에게 풀게 한다. 이 방식으로는 실시간으로 상대방의 의도를 읽고, 전략을 바꾸고, 거짓 정보를 섞는 진짜 다중 에이전트 상호작용 능력을 잴 수 없다. 게다가 기존 게임 기반 연구들은 하나의 게임만 다루거나, 데이터를 공개하지 않거나, 서로 다른 기준으로 측정해 결과를 비교할 수 없는 파편화된 상태였다.

이 연구는 그 공백을 메운다. Colonel Blotto(숨겨진 자원 배분 제로섬), 반복 죄수의 딜레마(IPD, 신뢰와 배신), Codenames(단어 단서를 통한 협력 추론), Secret Mafia(정보 비대칭 사회적 추론)라는 네 가지 성격이 다른 게임을 하나의 플랫폼에 묶어, AI가 각기 다른 “사회적 지능 근육”을 얼마나 잘 사용하는지 동시에 측정한다. NeurIPS 2025 대회를 통해 76팀·944건 제출·29,571게임의 실전 데이터를 확보하고 모두 공개한다. 더 나아가 이 연구는 “1등이 누구냐”에 그치지 않고, “그 점수를 실제로 믿을 수 있는가”라는 측정 타당성 문제를 정면으로 다룬다 — 이것이 이 논문의 가장 중요한 학술적 기여다.

Introduction

동기. LLM(대형 언어 모델)은 협상·협력·속임수가 요구되는 다중 에이전트 환경에 점점 더 빈번하게 투입되고 있다. 그러나 현행 평가 체계는 이 요구를 충족하지 못한다 — LLM이 표준 조건에서는 스크립트화된 거짓믿음(false-belief) 과제를 통과하면서도, 미세한 변형에서는 실패하며 지속적 상호작용에서 믿음 추적·속임수 탐지·약속 일관성의 약점을 드러낸다. ToM 측면에서의 진보를 측정하려면, 에이전트가 실시간으로 상대를 추론하고 반응하는 지속적 상호작용 설정이 필수적이다.

기존 연구의 한계 (저자 명시 4가지).

한계	설명
1. 정적 평가 (Static evaluation)	전통적 ToM 벤치마크는 스크립트화된 vignette(짧은 시나리오 과제)를 사용해, 지속적 상호작용에 필요한 역동성—실시간 믿음 갱신, 비정상 파트너에 대한 적응, 불확실성 하의 전략적 추론—을 추상적으로 처리한다.
2. 단일 게임 편향 (Narrow focus)	Avalon의 사회적 추론이나 Hanabi의 협력 같은 단일 게임 벤치마크는 승률을 통해 사회적 추론을 간접적으로만 측정할 뿐, 믿음 귀속·상대 모델링·속임수를 명시적 평가 원리로 삼지 않는다.
3. 데이터 비공개 (Data access)	기존 다중 게임 벤치마크는 대부분 궤적(trajectory) 데이터를 공개하지 않아, 후속 분석과 재현 가능한 평가를 불가능하게 만든다.
4. 파편화 (Fragmentation)	기존 게임 기반 벤치마크들은 환경·평가 기준·게임 유형에 걸쳐 파편화되어 있어 통합적 비교가 어렵다.

핵심 통찰 및 연구 질문. 저자들의 핵심 통찰은 서로 다른 게임 환경이 사회·전략 추론의 상보적 차원을 드러낸다는 것이다. 효과적인 다중 에이전트 추론은 분리 가능한 역량들로 구성된다: (1) 은닉 정보 하의 믿음 귀속, (2) 반복 상호작용을 통한 상대 모델링, (3) 지식 비대칭 속의 협력적 추론, (4) 지속적 속임수. 이로부터 도출되는 연구 질문: “단일 통합 플랫폼이 이 상이한 추론 양식들을 동시에 평가하면서, 재현 가능하고 분석 가능한 궤적 데이터를 생산할 수 있는가?”

MindGames 개요. 저자들이 제시하는 답은 MindGames — TextArena(text-only gymnasium 스타일 다중 게임 환경) 위에 구축된 텍스트 전용 인터랙티브 평가 플랫폼이다. 환경 설계·에이전트 인터페이스·매치메이킹·궤적 로깅을 단일 프로토콜로 통합한다. 참가자는 기본 텍스트 기반 에이전트 API를 구현해 온라인 서버에 제출하면, TrueSkill 점수와 완전한 게임 로그를 받는다. 두 트랙(Generalization: Colonel Blotto·IPD·Codenames; Social Deduction: Secret Mafia)과 두 디비전(Efficient ≤9B 오픈웨이트, Unlimited 제한 없음)으로 운영된다.

Methods

프레임워크 개요. MindGames는 TextArena 위에 구축된 통합 멀티에이전트 평가 플랫폼으로, 서로 다른 ToM 차원을 겨냥한 네 게임을 단일 인터페이스·매치메이킹·TrueSkill 레이팅·궤적 로깅 파이프라인으로 묶어, 통합 벤치마크가 없었던 기존 분산 평가의 한계를 해소한다.

핵심 구성요소.

TextArena 기반 환경: text-only gymnasium 스타일 환경. 내부 상태는 외부에서 직접 관측 불가능하며, 환경이 에이전트에 텍스트 관측(observation)을 렌더링하고 에이전트는 텍스트 행동(action)을 반환한다. 결정론적 시뮬레이션과 완전한 궤적 로깅을 제공한다.
게임 형식화 튜플 G: 각 게임은 G = (N, S, s1, A, O, Omega, I, T, R) 로 형식화된다 (N=플레이어 수, S=상태 공간, s1=초기 상태, A=행동 공간, O=관측 공간, Omega=관측 함수, I=정보 구조, T=전이 함수, R=보상 함수).
TrueSkill 레이팅: 에이전트별 사후 분포 N(mu, sigma^2)를 관리하는 베이지안 스킬 레이팅. 초기값 mu=25, sigma=25/3. 2~6인 가변 규모 매치, 팀 기반 환경, 불균등 게임 수에도 적합하며, 불확실성 sigma가 단순 승률 이상의 비교를 가능케 한다.
2단계 대회 구조 (NeurIPS 2025): Stage I(Online Ladder, 2025-07~~10)는 반복 개선 허용 온라인 래더~~. Stage II(Final Evaluation, 2025-10-2411-10)는 제출 동결·레이팅 리셋 후 최종 평가. 최소 플레이: Secret Mafia 50게임, Generalization 환경별 30게임.
트랙과 디비전: Generalization(Colonel Blotto·IPD·Codenames)·Social Deduction(Secret Mafia) 트랙. Efficient(오픈웨이트 ≤9B)·Unlimited(제한 없음) 디비전.

TrueSkill이란? (비전문가용 설명)

TrueSkill = Microsoft가 Xbox 온라인 매칭용으로 만든 베이지안 실력 레이팅 시스템. 체스의 Elo를 다인원·팀 게임용으로 확장한 버전이다.

핵심: 실력을 숫자 하나가 아니라 “종 모양 분포” N(μ, σ²)로 표현한다.

μ (뮤) = 추정 실력의 중심값. 모두 μ=25에서 시작. (리더보드 정렬에 쓰는 값)

σ (시그마) = 그 추정이 얼마나 불확실한지(오차 폭). σ=25/3≈8.3에서 시작.

작동 직관

게임을 많이 할수록 시스템이 그 에이전트를 잘 알게 됨 → σ(불확실성)가 점점 줄어든다.

예상 밖 결과(약체가 강체를 이김)면 μ를 크게 조정, 예상대로면 조금만 조정한다.

새 에이전트(σ 큼)는 점수가 출렁이고, 게임 많이 한 에이전트(σ 작음)는 안정적이다.

왜 Elo 대신 TrueSkill? MindGames는 2~6인 혼합 매치 · 팀 기반(Codenames) · 팀마다 게임 수 불균등이라 Elo로는 부족하다. TrueSkill은 (1) 다인원/팀, (2) 순위 신뢰도(σ), (3) 불균등 게임 수를 모두 자연스럽게 처리한다.

비유: Elo는 “키 = 175cm”라고만 말하고, TrueSkill은 “키 = 175cm ± 5cm, 측정을 많이 할수록 ± 가 줄어듦”이라고 말한다. 이 ±(σ)가 다인원·불확실성 관리의 핵심.

⚠️ 한계: Secret Mafia에서는 TrueSkill 점수와 누적 보상이 서로 어긋나(레이팅 불안정) error-survival confound가 드러난다 — 측정 도구가 좋아도 게임 자체가 오류로 더러우면 무력해진다.

입력 → 출력 흐름. 각 스텝에서 환경은 (1) 텍스트 관측을 에이전트에 전달하고, (2) 텍스트 행동을 파싱해 상태를 전이하고, (3) 보상을 산출하며, (4) 관측·행동·보상·메타데이터를 턴 수준 궤적으로 로깅한다. 행동 포맷은 게임마다 상이하다: Colonel Blotto [Axx Byy Czz] (x+y+z ≤ U), IPD 자유 텍스트 소통 후 [<상대ID> cooperate/defect], Codenames Spymaster [단서 숫자] / Operative [단어]·[pass], Secret Mafia 토론 후 [j](투표 대상 ID).

네 게임의 설계와 겨냥 ToM 차원.
네 게임은 “정보가 누구에게 얼마나 열려 있는가(정보구조)“와 “이해관계가 서로 맞는가 어긋나는가(인센티브)“를 일부러 다르게 설계해, 각각 다른 사회·전략 추론 근육을 자극한다. 아래는 게임마다 ① 어떻게 진행되나 → ② 머릿속에서 무엇을 추론해야 하나 → ③ 그래서 어떤 ToM 차원인가 순서로 푼 설명이다.

Colonel Blotto (2인, 제로섬 자원배분) — “상대가 안 보이는 동시 베팅”
- ① 흐름: 두 플레이어가 여러 전장(A·B·C…)에 한정된 병력을 동시에·비공개로 나눠 배치한다(행동 포맷 [A4 B3 C3], 합 ≤ 예산 U). 각 전장은 병력이 많은 쪽이 차지하고, 과반 전장을 이긴 쪽이 그 판 승리(+1 / 패 −1 / 동점 0).
- ② 추론: 상대 배분이 전혀 안 보이므로, “상대라면 어디에 몰까”를 머릿속에서 확률적으로 그려야 한다. 한 곳에 몰빵하면 거기선 이겨도 나머지에서 지므로, 상대의 합리적 배분을 가정한 균형 잡힌 분산이 핵심.
- ③ 차원: 은닉 정보 하의 상대 모델링. 어떤 신호도 주고받지 않고 오직 “상대 입장에서 최적은 무엇일까”만으로 의사결정 → 가장 순수한 형태의 상대 추론.
- 📊 Stage II 오류율 8.5%(무효 입력 114, 불법 유닛 11). 규칙이 수치 제약이라 자동 검증이 쉬워 신호가 비교적 깨끗하다.
반복 죄수의 딜레마 IPD (3인, 혼합 동기) — “말은 하지만 행동은 비밀, 그리고 반복된다”
- ① 흐름: 매 라운드 제한적 자유 텍스트로 서로 대화한 뒤, 각자 비공개로 상대별 협력(cooperate)/배신(defect)을 선택한다(행동 포맷 [<상대ID> cooperate/defect]). 여러 라운드 누적 후 최종 최고점자 +1, 나머지 −1. 협력은 서로 이득이지만 배신은 단기 유혹이 큰 혼합 동기 구조.
- ② 추론: 말(약속)과 행동(실제 선택)이 따로 노므로, 상대의 말을 믿을지를 과거 행동 이력으로 갱신해야 한다. 신뢰를 쌓되 배신 징후를 탐지하고, 배신당하면 보복할지(tit-for-tat) 용서할지 판단. 3인이라 동맹·표적이 생겨 한층 복잡.
- ③ 차원: 반복 상호작용을 통한 신뢰 형성·배신 탐지·소통 기반 추론. “이 상대는 다음에 어떻게 나올까”를 평판으로 모델링하는 능력.
- 📊 오류율 0%. 행동 공간이 cooperate/defect 두 가지뿐이라 규칙 위반이 사실상 불가능 → 가장 신뢰도 높은 측정 환경.
Codenames (4인, 완전 협력; Red/Blue 두 팀 각 Spymaster+Operative) — “한 단어 단서로 같은 그림을 떠올리게 하라”
- ① 흐름: 25개 단어가 깔린 보드에 각 단어는 우리 팀 타겟·중립·**암살자(건드리면 즉패)**로 숨겨져 있다. Spymaster는 전체 정답 배치를 보지만 Operative는 공개 보드만 본다(정보 비대칭). Spymaster가 단어 하나+숫자 단서([clue 2])를 주면 Operative가 해당하는 카드들을 고른다([단어]/[pass]). 우리 타겟을 먼저 다 맞히거나 상대가 암살자를 건드리면 승(+1).
- ② 추론: Spymaster는 “내 단서를 들으면 동료가 어떤 단어들을 떠올릴까”를, Operative는 “출제자가 왜 이 단서를 골랐을까”를 추론해야 한다. 즉 양쪽이 상대의 머릿속 의미 연상을 서로 모델링하는 협력. 암살자를 피하려면 위험 회피까지.
- ③ 차원: 지식 비대칭 하의 협력적 추론(공유 의미 기반 맞춤). 적대가 아니라 협력 상황에서의 ToM — “우리가 같은 의미를 공유하고 있는가”를 단 한 단어로 검증.
- 📊 오류율 38.6%(879게임 중 339, 불법 단서 — 예: 보드 위 단어를 그대로 노출). 의미적 제약이라 검증이 어려워 신호가 일부 오염.
Secret Mafia (6인, 사회 추론) — “소수의 거짓말쟁이를 다수가 토론으로 색출”
- ① 흐름: 정보를 가진 소수 마피아 vs 정보 없는 다수 빌리저 + 특수역할(Doctor=밤에 1명 보호, Detective=밤에 1명 정체 확인). 밤엔 마피아가 몰래 조율해 1명을 제거하고 특수역할이 행동하며, 낮엔 전원이 공개 토론 후 1명을 지목해 투표 처형([j]). 마피아 수가 빌리저 수 이상이 되면 마피아 승, 마피아가 전원 제거되면 빌리저 승.
- ② 추론: 빌리저는 거짓 진술 속에서 누가 마피아인지 발언 패턴·투표 정황으로 역추론해야 하고, 마피아는 들키지 않게 지속적으로 거짓 정체를 연기해야 한다. 매 턴 죽은 사람·드러난 정보가 바뀌므로 최신 상태 추적이 필수.
- ③ 차원: 지속적 속임수 + 부분 관측 하 사회 추론 + 상태 추적. 한 번이 아니라 게임 내내 일관된 거짓말/간파를 유지해야 하는, 네 게임 중 가장 어렵고 이질적인 능력.
- 📊 오류율 50.3%(882게임 중 444; 무효 행동 399, 이미 제거된 플레이어 보호 시도 45). 자유 토론·역할 추적이 많아 규칙 위반이 가장 잦고 측정 타당성이 가장 낮다(error-survival confound의 진원지).

두 트랙의 분류 근거와 측정 목표. 네 게임은 두 트랙으로 갈린다 — Generalization(Blotto·IPD·Codenames)과 Social Deduction(Secret Mafia). 논문은 이 분할을 길게 정당화하진 않지만, 트랙 이름과 명시 문구에 의도가 담겨 있다.

트랙	묶인 게임	측정하려는 것	분리한 이유 (본문 근거)
Generalization	Blotto(제로섬) · IPD(혼합동기) · Codenames(완전협력)	한 에이전트가 성격이 전혀 다른 세 게임 구조를 가로질러 두루 잘하는가 = cross-game adaptability(교차 게임 적응력). 즉 특정 게임에 과적합한 전략이 아니라 전이 가능한 사회·전략 추론.	정보구조·인센티브가 상보적으로 다른 게임(제로섬↔협력↔혼합동기)을 한데 묶어야 “폭(breadth)“을 잴 수 있음. 세 게임 모두 행동 검증이 비교적 엄격(오류율 0 - 38.6%)해 깨끗한 신호.
Social Deduction	Secret Mafia(사회추론)	숨은 역할·정보 비대칭 속에서 지속적으로 속이고 속임을 간파하는가 = sustained deception + deduction(지속적 기만·추론).	기만은 다른 세 게임에 없는 범주적으로 다른 능력이라 “separate assessment(별도 평가)“가 필요. 게다가 측정 특성도 이질적 — 오류율 50.3%, error-survival confound, RLHF 정직 편향 간섭, 역할 비대칭(Mafia 88~~96% vs Villager 16~~60%)이 한 게임에 집약돼 다른 게임과 같은 척도에 섞으면 오염.

이 분할은 곧 논문이 Introduction에서 든 네 가지 ToM 차원의 재배치다: (1) 은닉 정보 하 믿음 귀속, (2) 반복 상호작용을 통한 상대 모델링, (3) 지식 비대칭 속 협력 추론 → 이 세 개가 Generalization 트랙에 흩어져 들어가고(각각 Blotto·IPD·Codenames가 주로 겨냥), (4) 지속적 속임수 → Social Deduction 트랙으로 독립한다. 요컨대 Generalization = “넓게 잘하는가(폭·전이)”, Social Deduction = “가장 어렵고 이질적인 한 능력(기만)을 깊게 하는가(깊이)” 라는 폭↔깊이 대비다.

기존 방법과의 차별점. 단일 게임 벤치마크(AvalonBench·Hanabi·Werewolf)가 사회 추론의 특정 차원만 간접 측정하고 궤적을 공개하지 않은 것과 달리, MindGames는 상보적 ToM 차원을 겨냥한 네 게임을 단일 플랫폼에 통합하고, 가변 플레이어 수(2~6인)·팀 기반에 적합한 TrueSkill로 승률 이상의 능력 비교를 가능케 하며, 29,571게임·94,132궤적·243M 토큰 전체와 오프라인 재현용 MG-Ref를 공개한다.

발견 (Findings)

발견 1 — “작은 모델이 GPT-5를 이긴다, 단 제대로 학습시켰을 때”: RL로 미세조정된 Qwen3-8B(≤9B, 오픈 가중치)를 쓴 In2AI가 Unlimited Generalization에서 TrueSkill 38.0을 기록해 프롬프트 방식 GPT-5를 앞질렀다. 모델 크기보다 학습 방식(강화학습 + 상태 추적)이 결정적이었다.
발견 2 — “데이터는 많을수록 좋다”는 통념이 깨진다: 상위 한 팀은 전체 데이터의 20%(“점수 5점” 궤적)만 쓰고도 더 큰 데이터셋 팀보다 높은 성능을 냈다. 다중 에이전트 게임에서는 상대에 따라 데이터 품질이 달라져, 걸러내지 않은 대량보다 엄선된 소량이 더 효과적이다.
발견 3 — 기억 기능 추가가 오히려 해가 된다: XML 메모리 블록을 단순히 붙인 8B 모델은 승률이 25%→16.7%로 떨어졌다. 외부 스캐폴딩은 그에 맞춰 학습된 모델이라야 효과를 낸다.
발견 4 — LLM은 규칙이 복잡할수록 무너진다: Stage II Codenames 38.6%, Secret Mafia 50.3%로 절반 가까운 게임에서 규칙 위반 발생(Mafia: 무효 399 + 보호 오류 45). 제약 많은/의미론적 행동 공간에서 체계적으로 실패.
발견 5 — LLM은 ‘나쁜 역할’을 잘 못한다: Mafia(정보 우위)는 88~~96% 승률, Villager(정보 열위)는 16~~60%. 모델은 마피아로서 거짓말을 꺼리는데, RLHF가 유도한 ‘정직 편향’ 때문이다. 비-LLM GAN이 Blotto 78.4% 승률을 낸 점도 특정 게임에서 순수 LLM이 구조적으로 불리할 수 있음을 시사.

Results

데이터 규모 (Table 2). 총 29,571게임, 94,132궤적, 243M 토큰. Colonel Blotto 9,319(I 7,828 / II 1,491), 3인 IPD 7,556(I 6,544 / II 1,012), Codenames 6,482(I 5,603 / II 879), Secret Mafia 6,214(I 5,332 / II 882). Stage I 25,307게임(209.3M 토큰), Stage II 4,264게임(33.8M 토큰). 대회 전체 76팀·944제출.

리더보드 (Stage II TrueSkill).

Generalization / Efficient: In2AI 34.2 (파인튜닝+코드+상태추적) > STARS 26.8 (코드, 가중치 업데이트 없음) > RLGaming 25.8 (구조화 출력)
Generalization / Unlimited: In2AI 38.0 > RLGaming 37.1 > Odyssean 34.2
Social Deduction / Efficient: RLGaming 27.2 (파인튜닝+코드+상태추적+구조화) > Tungsten 23.8 > Odyssean 18.4 (단계적 SFT)
Social Deduction / Unlimited: Phoebus 13.9 (다중에이전트 분해+구조화) > CerebrAI 7.8 > RLGaming 3.2 (BDI+역할 휴리스틱)

RL 학습 In2AI Qwen3-8B가 Unlimited Generalization 1위(38.0)로 프롬프트 GPT-5 제압(Most Novel Approach 수상). Efficient 상위 5팀 중 4팀 Qwen3-8B 백본. 비-LLM 베이스라인: Team GB 6.8M 그래프 어텐션 네트워크가 Blotto 78.4% 승률(LLM 교사 + 증류); Team DeceptionNet은 동결 LLM 지각 + 학습 RL 정책 하이브리드.

설계 패턴.

학습 vs 추론시 스캐폴딩: Efficient는 상위 6팀 중 4팀 파인튜닝(In2AI RL, RLGaming·Odyssean SFT); STARS는 코드 보강만으로 2위. Unlimited는 5팀이 과제특화 학습 없이 강한 기반 모델 + 프롬프팅. 단 In2AI(38.0)는 Unlimited에서도 GPT-5 제압 → 학습이 규모 이점을 극복.
큐레이션 > 규모: “점수 5점” 궤적만 유지(80% 폐기)해도 우세; eligibility gating(결과 관측 가능한 단계에만 보상); 강한 교사와 10,000+ 인스턴스 생성. 다중 에이전트에서는 규모보다 큐레이션.
모듈 파이프라인: DeceptionNet(청취·믿음추적·상태구축·정책 헤드 분리), Revac(메모리→검토→톤적응 3단계), Phoebus(상황평가+행동선택 분리, 4.7배 개선). 정보 부족 역할(Villager)에서 개선 효과 큼(한 팀 16%→60%, Mafia 88~96% 유지).

체계적 약점.

오류율 (Table 4, Stage II): IPD 0%, Blotto 8.5%(무효 입력 114, 불법 유닛 11), Codenames 38.6%(불법 단서 339/879), Secret Mafia 50.3%(무효 399, 보호 오류 45/882). Stage I→II 개선: Codenames 85.4→38.6%, Mafia 77.9→50.3%, Blotto 16.5→8.5%, IPD 0% 유지.
제약 만족: 조합론적·의미론적 제약에서 실패(Codenames 숨은 단어 직접 노출, Blotto 수치 제약 위반). 처방: 코드 보강 의사결정(Program-Aided Language), 행동 유효성 검사기 기반 구조화 출력.
상태 추적: Secret Mafia 오류는 주로 오래된 상태 표현(제거된 플레이어 등). 처방: 역할별 메모리+턴별 요약, 자기개선 BDI 믿음 상태, 그래프 인코딩 상태.
크레딧 할당: eligibility gating; In2AI는 지연 크레딧 보상 귀속·환경별 정규화·커리큘럼 상대 선택.

Discussion

MindGames의 Discussion은 결과 해설이 아니라 플랫폼 자체의 측정 타당성에 대한 자기 감사다 — “누가 1등인가”가 아니라 “그 1등 점수를 믿을 수 있는가”.

측정 타당성 감사 — Error-Survival Confound. Secret Mafia에서 두드러진다. 게임이 상대의 치명적 실수로 조기 종료되는 구조라, 상위 점수가 전략적 역량인지 고오류 상대에 대한 생존 견고성인지 분리하기 어렵다. 근거: (1) 고오류 상대일수록 게임 조기 종료로 전략 공간 자체가 바뀌는 종료-깊이 패턴, (2) Secret Mafia에서 TrueSkill과 누적 보상이 다른 신호를 포착(레이팅 불안정), (3) 역할 비대칭(Mafia 88-96% vs Villager 16-60%).

측정 타당성 감사 — Validity Gradient. 환경별 신뢰도 격차. IPD·Colonel Blotto는 깨끗한 신호, Codenames는 전략 역량과 제약 준수가 혼재, Secret Mafia는 소수 고오류 모델에 의해 결과 왜곡. 저자는 랭킹을 각 트랙·디비전 내에서만 해석할 것을 권고.

핵심 시사점. (1) 인터랙티브 다중 에이전트 환경은 정적 vignette이 놓치는 동적 추론을 드러내나 측정 혼란요인을 내포; (2) 믿음 귀속 역량은 정보 구조에 의존(완전 정보 IPD·Blotto에서 높고, 부분 관측+적대적 Mafia에서 낮음); (3) 커뮤니케이션 어조 자체가 전략·ToM 변수; (4) Mafia 우위·Villager 추론 난이도는 bounded deduction을 드러내며 RLHF 정직 편향으로 모델이 마피아 거짓말을 꺼림.

결론. 기존 벤치마크는 인터랙티브 플레이·다양한 게임·중심적 ToM 요구·궤적 공개 중 일부만 충족했다. MindGames는 이를 통합하고 전체 29,571게임 데이터셋·코드·MG-Ref를 공개한다. 핵심 감사 결론: 다중 에이전트 벤치마크는 승률이 역량을 투명하게 반영한다고 가정하지 말고, 명시적 혼란요인 감사를 설계에 포함해야 한다.

이론적 의의

측정 타당성의 선행 조건화: “게임 승률 = 역량” 등치를 명시적으로 문제화한 드문 사례. error-survival confound·validity gradient 개념은 다중 에이전트 평가에서 혼란요인 감사를 필수 구성요소로 정립한다.
ToM 역량의 환경-의존적 분리: 정보 구조·게임 유형에 따라 믿음 귀속 역량이 분리 가능함을 경험적으로 제시 — ToM을 단일 구인으로 보던 관점에 도전.
RLHF 정직 편향의 전략적 함의: 모델이 Mafia에서 명시적 거짓말을 꺼린다는 관찰은 RLHF 정렬이 전략적 디세프션 역량을 억제한다는 메커니즘을 행동 수준에서 드러낸다.
스캐폴딩-훈련 공동 필요성: 인지 아키텍처 추가가 훈련 없이는 성능을 저하시킨다는 발견(25%→16.7%)은 추론-시간 증강이 대응 훈련과 쌍을 이뤄야 함을 뒷받침.

Discussion Points

논쟁점: error-survival confound가 Secret Mafia 리더보드를 “전략 역량 순위”로 해석하기 어렵게 만드는 정도에 이견이 있을 수 있다. 저자는 MG-Ref·오류 귀속 열로 완화하나, 오류율 50.3% 환경에서 랭킹이 상대 운의 함수일 가능성을 완전히 배제하기 어렵다. Qwen3-8B의 압도적 채택(상위 Efficient 5팀 중 4팀)이 아키텍처 일반화 가능성을 제한할 수 있다는 점도 소지.
검증이 필요한 가정: (1) TrueSkill이 소수 고오류 에이전트가 있는 비정규 분포에서도 안정적 추정치를 준다는 가정 — Secret Mafia의 TrueSkill-reward 불일치가 반증 압력. (2) 제약 준수와 전략 추론이 분리 가능하다는 가정 — Codenames에서 혼재. (3) MG-Ref 동결 풀이 지속적으로 충분히 어려운 기준점을 준다는 가정 — 훨씬 강한 에이전트 등장 시 포화 가능.
미명시 집계 공식 (본문 공백): Generalization 트랙은 3게임(Blotto·IPD·Codenames)을 단일 TrueSkill 점수(예: In2AI 38.0)로 합치는데, 그 압축 방식(에이전트당 단일 레이팅 풀링 vs 환경별 레이팅 후 평균/정규화)을 본문·부록 어디에서도 명시하지 않는다. “환경별 30게임 최소” 규칙은 게임별 분리 추적을 시사하나, 게임별 TrueSkill 분해 점수는 미공개(공개된 게임별 수치는 오류율·데이터 규모뿐). → validity gradient(게임마다 신뢰도 격차)가 실재하는데 집계 가중치가 비공개라, 종합 점수가 깨끗한 게임과 오염된 게임을 어떤 비율로 평균했는지 외부에서 재검증 불가. 측정 타당성을 핵심 기여로 내세운 논문이 정작 자기 리더보드 산식을 닫아둔 셈.
게임의 ToM 구인 타당성 (독자 비판): Blotto·IPD가 정말 ToM을 재는가 — 정보 비대칭이 승패에 decision-relevant하지 않으면 ToM이 아니라 전략적 best-response일 수 있다. Blotto는 소통 채널이 없어(논문 표현 “without a communication channel”) 숨길 의도·읽을 거짓말이 없고, 비-LLM GAN 78.4% 승률이 이를 방증. → 상세는 구인 타당성 인사이트 참조.
후속 연구: (1) 고오류 상대 게임을 제거·가중 조정 후 랭킹 변화 정량화. (2) RLHF 정직 편향과 전략적 기만 역량의 인과 구조 규명(기만 명시 훈련 모델 vs 표준 RLHF의 Mafia 성능 비교). (3) 믿음 귀속·상대 모델링·기만·협력 추론을 독립 조작 가능한 미세 설계 환경에서 재검증. (4) 각 게임의 정보 비대칭을 제거해도 최적 전략이 불변인지 검사해 ToM 구인 타당성을 환경별로 정량화.

실험 결과 상세

(a) 게임별 데이터셋 규모 (Table 2)

게임	Stage I 게임	Stage I 궤적	Stage II 게임	Stage II 궤적	전체 게임	전체 궤적
Secret Mafia	5,332	29,643	882	4,716	6,214	34,359
3-player IPD	6,544	19,632	1,012	3,033	7,556	22,665
Codenames	5,603	15,678	879	3,237	6,482	18,915
Colonel Blotto	7,828	15,243	1,491	2,950	9,319	18,193
합계	25,307	80,196	4,264	13,936	29,571	94,132
토큰 합계	209.3M		33.8M		243M

(b) Stage II TrueSkill 리더보드 (2 트랙 × 2 디비전)

트랙	디비전	순위	팀	TrueSkill	주요 접근법
Generalization	Efficient (≤9B)	1	In2AI	34.2	RL 파인튜닝 + 코드 실행 + 상태 추적
Generalization	Efficient (≤9B)	2	STARS	26.8	코드 실행, 가중치 업데이트 없음
Generalization	Efficient (≤9B)	3	RLGaming	25.8	구조화 출력
Generalization	Unlimited	1	In2AI	38.0	RL 훈련 Qwen3-8B (GPT-5 제압)
Generalization	Unlimited	2	RLGaming	37.1	—
Generalization	Unlimited	3	Odyssean	34.2	—
Social Deduction	Efficient (≤9B)	1	RLGaming	27.2	파인튜닝 + 코드 + 상태 추적 + 구조화
Social Deduction	Efficient (≤9B)	2	Tungsten	23.8	프롬프트 엔지니어링, 모델 비교
Social Deduction	Efficient (≤9B)	3	Odyssean	18.4	단계적 SFT 파이프라인
Social Deduction	Unlimited	1	Phoebus	13.9	다중 에이전트 분해 + 구조화 출력
Social Deduction	Unlimited	2	CerebrAI	7.8	진화적 개발, 사고 모드
Social Deduction	Unlimited	3	RLGaming	3.2	BDI 추론 스캐폴드 + 역할 휴리스틱

비고: Efficient 상위 5팀 중 4팀이 Qwen3-8B 백본 사용. In2AI는 Most Novel Approach 수상.

(c) 게임별 오류율 변화 (Table 4)

게임	Stage I 오류율	Stage II 오류율	개선폭	오류 유형 (Stage II)
IPD (3-player)	0%	0%	없음	해당 없음
Colonel Blotto	16.5%	8.5%	-8.0%p	무효 입력 114, 불법 유닛 11
Codenames	85.4%	38.6%	-46.8%p	불법 단서 339 / 879게임
Secret Mafia	77.9%	50.3%	-27.6%p	무효 이동 399 + 제거된 플레이어 보호 45 / 882게임

비고: Codenames·Secret Mafia는 Stage II에서도 오류율이 높아 측정 타당성이 제한됨 (error-survival confound).

프레임워크 다이어그램

graph TB
    subgraph Platform["MindGames 플랫폼"]
        TA["TextArena 환경\n텍스트 전용 Gymnasium"]
        TS["TrueSkill 레이팅\nN(mu=25, sigma=25/3)"]
        MM["온라인 매치메이킹\n+ 궤적 로깅"]
    end
    subgraph Games["4개 게임"]
        G1["Colonel Blotto\n2인 제로섬\n오류율 8.5%"]
        G2["IPD\n3인 혼합동기\n오류율 0%"]
        G3["Codenames\n4인 협력\n오류율 38.6%"]
        G4["Secret Mafia\n6인 사회추론\n오류율 50.3%"]
    end
    subgraph Tracks["2 트랙 x 2 디비전"]
        TR1["Generalization 트랙\nBlotto + IPD + Codenames"]
        TR2["Social Deduction 트랙\nSecret Mafia"]
        D1["Efficient 디비전\n9B 이하 오픈웨이트"]
        D2["Unlimited 디비전\n제한 없음"]
    end
    subgraph MGRef["MG-Ref 오프라인 루프"]
        RF["동결 참조 풀\nStage II 상위 제출물"]
        DT["결정론적\n역할균형 토너먼트"]
        SC["MindGames 호환\nTrueSkill 점수"]
    end
    Agent["제출 에이전트\n944 제출 / 76 팀"] --> MM
    MM --> TA
    TA --> TS
    TS --> MM
    TA --> G1
    TA --> G2
    TA --> G3
    TA --> G4
    G1 --> TR1
    G2 --> TR1
    G3 --> TR1
    G4 --> TR2
    TR1 --> D1
    TR1 --> D2
    TR2 --> D1
    TR2 --> D2
    RF --> DT
    DT --> SC
    SC --> TS
    TA --> RF

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	✅	GitHub 스타터킷 공개 (mindgames-starter-kit); TextArena 기반 환경 코드 포함
데이터 공개	✅	HuggingFace에 29,571게임 / 94,132궤적 / 243M 토큰 CC-BY-4.0 공개
하이퍼파라미터	⚠️	TrueSkill 초기값(mu=25, sigma=25/3) 명시; 각 팀의 훈련 하이퍼파라미터는 요약 수준만 기재
실험 환경	⚠️	최소 게임 수(Secret Mafia 50, Generalization 30) 명시; 단일 대회 사이클(2025-07~11) 스냅샷
통계적 신뢰도	⚠️	TrueSkill이 불확실성(sigma)은 반영하나 신뢰구간 미보고; 팀별 게임 수 불균등; MG-Ref가 오프라인 비교 신뢰도 부분 보완
종합 등급	B	데이터·코드·프로토콜 공개는 충실하나, 점수가 제출 모집단 상대적(단일 사이클)이고 Codenames·Secret Mafia의 높은 오류율이 측정 타당성을 저해

주장별 신뢰도

#	주장	근거	신뢰도
1	역대 최대 규모 다중 에이전트 LLM 평가 (29,571게임, 94,132궤적, 243M 토큰, 76팀)	Table 2 직접 확인; 데이터셋 CC-BY-4.0 공개로 독립 검증 가능	🟢 높음
2	RL 훈련 Qwen3-8B(In2AI, 38.0)가 GPT-5 프롬프팅 기반 팀 제압	Generalization/Unlimited 리더보드; 단 TrueSkill은 모집단 상대값	🟡 중간
3	Secret Mafia 리더보드는 전략 역량보다 상대 오류 생존성 반영 가능 (error-survival confound)	Stage II 50.3% + 측정 타당성 감사; TrueSkill-보상 불일치; 정량 인과 분리 없음	🟡 중간
4	Codenames 오류율 85.4→38.6%로 개선했으나 여전히 측정 신뢰도 낮음	Table 4 직접 확인; 오류 유형 세분화(불법 단서 339/879)	🟢 높음
5	모듈형 인지 아키텍처(Phoebus 4.7배, Villager 16→60%)가 단일 프롬프트 대비 향상	팀별 보고 수치; 독립 통제 실험 아님(백본·데이터 혼재)	🟡 중간

읽기 난이도: ⭐⭐ — 게임 규칙·수치는 직관적이나, TrueSkill 레이팅의 상대성, error-survival confound의 인과 논리, 측정 타당성 감사가 다중 에이전트 평가 방법론 배경 없이는 파악하기 어렵다. 필요 배경: TrueSkill/Elo 레이팅, 다중 에이전트 RL, 벤치마크 측정 타당성(confound, construct validity), LLM 파인튜닝 vs 프롬프팅.

축	MindGames (본 논문)	TextArena (base)	ToMBench (alt)	AvalonBench (alt)	Werewolf Arena (alt)	Hanabi (alt)	CICERO/Diplomacy (sota)
상호작용성	완전 인터랙티브, 실시간 온라인 매치메이킹 + 라이브 아레나	인터랙티브(gymnasium), 라이브 스코어링	정적 vignette, 상호작용 없음	인터랙티브 단일게임	인터랙티브 단일게임	인터랙티브 단일게임(협력)	완전 인터랙티브, 다중 턴 협상
게임 수/범위	4게임 + 2트랙 2디비전 체계화	100+ 게임, 조직 체계 미명시	단일 도메인(false-belief 과제군)	1게임(Avalon)	1게임(Werewolf)	1게임(Hanabi)	1게임(Diplomacy)
ToM 명시적 조직원리	Yes — 믿음귀속·상대모델링·기만·협력추론을 1급 측정 목표로 분리	No — ToM은 부산물	Yes — 인지과학 false-belief 직접 적용	Partial — Avalon 역할 한정	Partial — 단일 사회추론 한정	No — 협력추론 핵심이나 ToM 명시 평가 아님	Partial — 단일 게임 맥락
정보 구조	혼합 전체(제로섬·혼합동기·완전협력·사회추론)	혼합(게임별 상이)	정보 대칭(관찰자 시점)	혼합(정보 비대칭 경쟁)	혼합(정보 비대칭)	완전 협력(불완전 정보)	혼합(협상+배신)
레이팅/평가 방식	TrueSkill + 측정 타당성 감사 + MG-Ref 오프라인	ELO/승률 라이브	정확도/F1 정적, 리더보드 없음	승률(역할별)	승률/생존율	게임 점수/성공률	인간 수준 비교(Elo+인간 토너먼트)
궤적/데이터 공개	Yes — 29,571게임/94,132궤적/243M 토큰 + MG-Ref	부분(환경 코드, 대규모 궤적 미명시)	부분(과제 데이터, 멀티에이전트 궤적 없음)	제한(코드, 대규모 궤적 없음)	부분(코드·결과)	Yes(HLE 환경)	부분(가중치·코드 일부)
코드 공개	✅	✅	✅	✅	✅	✅	✅(부분)

원자적 인사이트 (Zettelkasten)

💡 승률은 능력이 아니라 “상대의 견고함”을 잴 수 있다 — error-survival confound

출처: MINDGAMES - A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs (Kevin Wang et al., 2026)
유형: 실패-한계

다중 에이전트 게임에서 상대가 무효행동(invalid action)이나 몰수(forfeit)로 조기 탈락하면, 승자는 전략적 우수성이 아니라 단지 “규칙을 안 어겼다”는 견고함 덕에 이긴다. 따라서 리더보드 승률은 능력과 견고성을 분리하지 못한 채 혼재시킨 신호다.
핵심 조건/맥락: 행동 공간이 자유 생성 텍스트라 규칙 위반이 흔한 LLM 아레나에서 특히 강함. 행동 검증이 엄격한 환경(IPD 오류율 0%)에서는 거의 사라진다.
연결: Goodhart의 법칙 · benchmark validity audit
활용 가능성: 에이전트 벤치마크 설계 시 “상대 탈락으로 끝난 게임”을 별도 집계·필터링하는 eligibility gating을 기본 장치로 넣을 근거.

💡 동일 리더보드 안에서도 환경마다 신뢰도가 다르다 — validity gradient

출처: MINDGAMES - A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs (Kevin Wang et al., 2026)
유형: 이론적

같은 플랫폼·같은 지표(TrueSkill)로 측정해도 환경별 측정 타당성은 연속적으로 달라진다: IPD·Blotto는 깨끗하고, Codenames는 혼재, Secret Mafia는 Stage II 오류율 50.3%로 점수가 사실상 왜곡된다. “통합 벤치마크의 종합 점수”는 이질적 신뢰도를 평균 내 숨긴다.
핵심 조건/맥락: 게임의 행동 공간 제약 강도와 검증 가능성이 오류율을 좌우. 자유도 높은 사회추론일수록 타당성이 낮아짐.
연결: measurement validity · 벤치마크 집계의 함정
활용 가능성: 멀티태스크 벤치마크 보고 시 종합 점수와 함께 태스크별 오류율/신뢰도를 의무 공개하는 리포팅 규범.

💡 RLHF 정직 편향이 속임수 측정을 오염시킨다

출처: MINDGAMES - A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs (Kevin Wang et al., 2026)
유형: 실험적

RLHF로 정직하게 정렬된 모델은 게임이 거짓말을 요구하는 마피아 역할에서도 거짓을 꺼린다(마피아 88-96% 정직 행동 vs 빌리저 16-60%). 정렬이 만든 안전 속성이 역설적으로 사회추론 능력 평가를 불가능하게 만드는 측정 간섭으로 작용한다.
핵심 조건/맥락: 속임수가 정답인 역할(마피아)에서만 드러남. 협력이 정답인 역할에서는 편향이 측정을 돕는 방향.
연결: 정렬세와 능력의 트레이드오프 · deception benchmark
활용 가능성: 속임수·협상 평가 벤치마크는 정직 편향 보정항 없이는 RLHF 모델을 과소평가한다는 점을 설계에 반영.

💡 추론시 스캐폴딩보다 학습이, 규모보다 큐레이션이 이긴다

출처: MINDGAMES - A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs (Kevin Wang et al., 2026)
유형: 방법론적

대회 우승 패턴은 일관됐다: RL 학습한 Qwen3-8B가 프롬프트 기반 GPT-5를 제압(Unlimited Generalization 38.0)했고, 6.8M 비-LLM GAN이 Blotto 78.4% 승률을 냈으며, 스캐폴딩(메모리 추가)은 대응 학습 없이는 오히려 성능을 떨어뜨렸다(25%→16.7%).
핵심 조건/맥락: 좁고 잘 정의된 전략 게임에서 강하게 성립. 스캐폴딩은 “추가하면 이득”이 아니라 그에 맞춘 학습이 동반돼야 함.
연결: The Bitter Lesson · scaffolding requires co-adaptation
활용 가능성: 에이전트 시스템 예산 배분 시 프롬프트 엔지니어링보다 도메인 RL·데이터 큐레이션에 투자할 경험적 근거.

💡 “정보 비대칭이 승패를 가르지 못하면 ToM이 아니라 best-response다” — Blotto·IPD의 구인 타당성 의심 (독자 비판)

출처: MINDGAMES - A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs (Kevin Wang et al., 2026) — 단, 아래는 논문의 주장이 아니라 독자(JH)의 비판적 검토
유형: 비판(독자 분석) · 구인 타당성(construct validity)

논문은 네 게임을 모두 ToM 차원으로 귀속하지만, ToM 과제의 성립 조건을 “① 타 에이전트에 숨은 정신상태가 존재 + ② 그것을 신호로부터 추론 가능 + ③ 그 추론이 승패를 결정적으로 바꿈”으로 잡으면, 게임마다 ToM 강도가 크게 갈린다. 핵심 판별자는 정보 비대칭의 유무가 아니라 그 비대칭이 의사결정에 거는 정보량이다.

Colonel Blotto (★ 약함): 월드모델 비대칭 없음(규칙·예산 공통지식). 숨은 건 동시 행동 1개뿐이고 라운드 후 공개되며, 그것을 미리 읽을 신호도 없다 → 추론은 “상대 행동 분포 맞추기”라는 1차 예측에 그침. 게임이론적 균형 상대에겐 어떤 전략도 기댓값이 같아 ToM 기여 = 0. 비-LLM GAN의 78.4% 승률 + 논문이 혼합전략 균형을 분석하지 않은 점이 “마음 읽기보다 행동 분포 학습”이라는 방증.
IPD (★★ 중간): 구조는 Blotto와 같으나 소통 채널(cheap talk) 이 있어 말(공개)과 의도(은닉)의 간극 = 얄팍한 기만 탐지가 생기고, 반복 조건부 전략(tit-for-tat)이 “내 행동→상대의 미래 반응”이라는 2차 추론의 맹아를 만든다. 단 3인 승자독식(+1/−1) 구조가 “협력=상호이득”을 깨 ToM의 승패 기여를 희석.
Codenames·Mafia (★★★): 역할/정답 배치라는 비대칭이 승패를 직접 결정(정체를 알면 이기고, 의미를 공유하면 이김) → 추론이 결정 관련(decision-relevant)이라 ToM이 강하게 성립.

핵심 조건/맥락: 판별 기준이 “정보 비대칭이 decision-relevant한가”. Blotto↔IPD를 가르는 결정적 변수는 소통 채널의 존재 — 채널이 없으면 숨길 의도도 읽을 거짓말도 없어 ToM이 붕괴한다.
연결: construct validity · ToM 게임은 mentalizing이 아니라 균형 추론을 재는가 · validity gradient (그쪽은 측정 타당성, 이쪽은 구인 타당성 — 정반대 축: Mafia는 “측정이 더러운 ToM”, Blotto는 “측정은 깨끗한데 ToM이 얕은”)
활용 가능성: ToM 게임 벤치마크 설계·평가 시, 각 환경에 대해 “이 게임의 정보 비대칭을 제거해도 최적 전략이 그대로인가?”를 검사. 그대로라면 그 게임은 ToM이 아니라 전략적 best-response를 재는 것 → ToM 점수로 합산하면 구인 타당성 오염.

핵심 용어 정리

용어	정의
Theory of Mind (ToM)	다른 에이전트의 믿음·의도·목표를 추론하고 그에 맞춰 행동을 조정하는 능력. 전통적으로 정적 거짓믿음 지문(vignette)으로 평가됐다.
MindGames	네 게임을 TextArena 위에 묶은 통합 라이브 아레나이자 NeurIPS 2025 대회 플랫폼. 사회·전략 추론을 실시간 다중 에이전트 상호작용으로 측정한다.
TextArena	LLM 에이전트를 위한 텍스트 전용 다중게임 환경(gymnasium). MindGames의 기반 토대.
TrueSkill	마이크로소프트의 베이지안 레이팅 시스템. 실력을 정규분포 N(μ, σ²)로 모델링하며 초기값 μ=25, σ=25/3. 리더보드 순위 산정에 사용.
Colonel Blotto	한정 자원을 여러 전장에 동시 배분해 다수 전장을 이기면 승리하는 제로섬 게임. 동시·전략적 자원배분 추론을 측정.
IPD (반복 죄수의 딜레마)	협력과 배신 사이 혼합동기를 반복적으로 다루는 게임. 보복·신뢰 형성 같은 장기 협력 전략을 측정.
Codenames	한 단어 단서로 팀원이 올바른 카드들을 고르게 유도하는 협력 추론 게임. 공유된 의미 추론과 단서 해석을 측정.
Secret Mafia (social deduction)	정보 비대칭 하에서 숨은 적을 추론·설득·기만으로 가려내는 사회추론 게임. 속임수와 의도 추론을 측정.
error-survival confound	상대가 무효행동·몰수로 조기 탈락해 승부가 끝나면, 승리가 전략적 능력이 아니라 단순한 견고함을 반영하게 되는 혼란요인.
validity gradient	같은 리더보드 안에서도 환경마다 측정 타당성(신뢰도)이 연속적으로 달라지는 현상. IPD(깨끗)↔Mafia(오류율 50.3%로 왜곡)의 격차.
measurement validity audit	승률 같은 지표가 실제로 의도한 능력을 재고 있는지 혼란요인을 명시적으로 점검하는 절차. 이 논문의 핵심 기여.
RLHF truthfulness bias	인간 피드백 강화학습(RLHF)이 모델에 심은 정직 편향. 거짓말이 정답인 역할(마피아)에서도 속임수를 꺼리게 만들어 사회추론 측정을 왜곡.
MG-Ref	동결된 참조 에이전트 풀과 결정론적 역할 균형으로 구성된 오프라인 재현용 토너먼트 프로토콜. 라이브 리더보드 없이도 비교 가능.
BDI (믿음-욕구-의도)	에이전트가 자신의 믿음·욕구·의도를 명시적으로 추론하도록 유도하는 프롬프트 스캐폴드.
eligibility gating	보상·집계 전에 비전략적(규칙 위반·조기 탈락) 단계를 걸러내는 필터링 장치.
Program-Aided Language (code-augmented)	실행 가능한 코드로 게임 상태를 파싱하고 제약을 검증해 LLM의 행동 정확도를 높이는 기법.
Efficient vs Unlimited division	모델 규모로 나눈 대회 디비전. Efficient는 ≤9B open-weight, Unlimited는 제한 없음.

BibTeX

@misc{wang2026mindgames,
  title={MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs},
  author={Wang, Kevin and Th{\"o}ni, Anna and Kempinski, Benjamin and Cheng, Bobby and Yao, Jianzhu and Finch, Benjamin and Guertler, Leon and Nadkarni, Viraj and Jiang, Yihan and Korshuk, Aliaksei and Lauri{\`e}re, Mathieu and Choshen, Leshem and Bachrach, Yoram and Viswanath, Pramod and Polukarov, Maria and Tan, Cheston and Kachman, Tal and Wang, Atlas},
  year={2026},
  eprint={2605.29512},
  archivePrefix={arXiv},
  primaryClass={cs.AI},
  url={https://arxiv.org/abs/2605.29512}
}

마음 게임 - 멀티-에이전트 LLM의 사회적·전략적 추론 평가를 위한 실시간 아레나

마음 게임 - 멀티-에이전트 LLM의 사회적·전략적 추론 평가를 위한 실시간 아레나

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

(a) 게임별 데이터셋 규모 (Table 2)

(b) Stage II TrueSkill 리더보드 (2 트랙 × 2 디비전)

(c) 게임별 오류율 변화 (Table 4)

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 승률은 능력이 아니라 “상대의 견고함”을 잴 수 있다 — error-survival confound

💡 동일 리더보드 안에서도 환경마다 신뢰도가 다르다 — validity gradient

💡 RLHF 정직 편향이 속임수 측정을 오염시킨다

💡 추론시 스캐폴딩보다 학습이, 규모보다 큐레이션이 이긴다

💡 “정보 비대칭이 승패를 가르지 못하면 ToM이 아니라 best-response다” — Blotto·IPD의 구인 타당성 의심 (독자 비판)

핵심 용어 정리

관련 연구

태그

BibTeX