SODE: LLM 에이전트의 사회적 역학 분석

개요

LLM 에이전트를 반복 죄수의 딜레마(IPD: 두 명이 매 라운드 협력(C)이나 배신(D)을 동시에 고르는 게임)에 넣어 본 기존 연구들은 대부분 평균 점수나 승률로 성적을 매겼다. 이 논문이 짚은 문제는 같은 점수가 전혀 다른 전략에서 나올 수 있다는 점이다. 상대가 착취해도 계속 협력해서 받은 점수와, 조건부로 협력해서 받은 점수가 숫자로는 같아 보일 수 있다. 저자들의 통찰은 사람의 협력을 지탱하는 진화적 메커니즘(Nowak 2006)을 그대로 체크리스트로 쓰자는 것이다. 사람은 착취하는 상대와 너그러운 상대를 구별해 대응하고(직접 호혜, direct reciprocity), 처음 보는 상대도 평판을 보고 판단하며(간접 호혜, indirect reciprocity), 끝까지 협력하는 사람이 섞여 있으면 집단의 협력 붕괴가 늦춰진다(집단 역학·협력 회복력). 그래서 SODE는 세 층위마다 “차이”로 정의한 지표를 둔다. 너그러운 ZD 상대와 착취하는 ZD 상대에 대한 협력률 차이 Δ_reg, 배신당한 직후 협력이 얼마나 줄었는지 ρ_drop, 평판 높은 상대와 낮은 상대에 대한 협력률 차이 G_rep, 내 행동이 공개될 때와 익명일 때의 차이 E_Ω, 그리고 5명 사회에서 처음 배신하는 라운드 τ다. 5개 오픈 모델에 적용한 결과는 두 종류의 실패로 갈렸다. Llama-3.1-8B-Instruct는 배신당한 뒤 오히려 협력을 유지하거나 늘리는 **passive compliance(수동적 순응)**를 보였고(ρ_drop = −0.28), reasoning 모델은 상대를 구별하긴 하지만(그룹 평균 Δ_reg = +0.29) 한 판짜리 기댓값을 계산해 배신을 고르는 단기 최적화로 착취 상대와 함께 상호 배신(P,P) 근처에 몰렸다. 여기서 “한 판의 이득을 최대화하는 전략이 게임 전체 총점을 최대화하지는 않는다”는 long-horizon framing(장기 관점 상기 문장) 한 줄을 붙이자 Qwen3-8B의 Δ_reg가 +0.53에서 +0.80으로 올랐지만 Llama는 −0.12에서 −0.10으로 거의 그대로였다.

Implication: 협력 평가에서 평균 점수는 “착취당해서 협력한 것”과 “판단해서 협력한 것”을 구별하지 못한다. 조건별 협력률의 차이를 재야 실패의 종류가 보이고, reasoning 모델의 비협력 일부는 능력 부족이 아니라 최적화 지평(horizon) 설정 문제일 수 있다.

📎 https://arxiv.org/abs/2605.23949

배경과 문제

왜 이 문제가 중요한가. LLM이 협상가·팀원·중재자처럼 반복 상호작용하는 에이전트로 쓰이기 시작하면서, 과제 능력뿐 아니라 사람 사회에서 협력을 지속시키는 사회적 역학을 따르는지가 중요해졌다고 저자들은 말한다(author-stated, Section 1).

기존 방법의 한계. 저자들이 짚는 한계는 두 가지다(author-stated, Section 1·2.1).

IPD류 환경에서 LLM을 평가한 기존 연구(Zeng et al. 2025; Fontana et al. 2025; Tennant et al. 2025)는 평균 점수·승률 같은 결과 지표를 쓰고, 그 밑의 행동 메커니즘을 보지 않았다. 같은 점수가 착취당하기 쉬운 수동적 순응에서도, 장기적으로 실패하는 착취 전략에서도 나올 수 있다(Akata et al. 2025; Erdogan et al. 2025 인용).
지시 따르기를 보상하는 일반적 학습 방식이 에이전트를 근시안적 효용 쪽으로 치우치게 할 수 있다(Tennant et al. 2025; Erdogan et al. 2025; Liang et al. 2025 인용).

학술적 계보. 세 차원은 모두 사람 실험 연구에서 가져왔다(author-stated, Section 2.2·3).

직접 호혜: Press & Dyson(2012)의 zero-determinant(ZD) 전략과, 사람이 착취(extortion)에는 보복하고 너그러움(generosity)에는 협력으로 답한다는 Hilbe et al.(2014)의 사람 실험. SODE의 ZD 파라미터도 Hilbe et al.(2014)의 설정을 따른다(Section 4.3, Appendix A.3).
간접 호혜: 평판(image scoring)으로 낯선 사람과 협력한다는 Nowak & Sigmund(1998), Wedekind & Milinski(2000), Milinski et al.(2002).
집단 역학: 유한 반복 게임에서 끝이 다가오면 협력이 무너지는 unraveling(역진 귀납으로 협력이 끝에서부터 풀리는 현상, Selten & Stoecker 1986; Embrey et al. 2018)과, 끝까지 협력하는 resilient cooperator가 붕괴를 늦춘다는 Mao et al.(2017).
전체 틀은 Nowak(2006)의 협력 진화 메커니즘이다.

이 논문이 다르다고 주장하는 점. 결과 지표만이 아니라 “전략 수준의 행동 서명(behavioral signature)“을 세 층위의 사회적 복잡도에서 재고, 그것을 사람에게서 확인된 메커니즘과 맞춰 본다는 점이다(author-stated, Section 1 contributions).

지표

모든 지표의 바탕은 식 (1)의 경험적 협력률이다. 관찰된 행동 집합 $X$ 를 어떻게 자르느냐에 따라 에피소드별, 라운드별 등으로 쓰인다(Section 3.1).

$\overset{p}{^}_{C} (X) = \frac{1}{∣ X ∣} \sum_{x \in X} I [a_{x} = C]$

SODE의 핵심 지표는 거의 전부 두 조건의 협력률 차이다. 그래서 단위는 협력률 차(−1~+1)이고, 절대 협력 수준이 아니라 “조건에 따라 행동을 바꾸는가”를 잰다(analyst-inference).

지표	정의(원문 식)	무엇을 보상하는가	범위·방향	측정 조건	위치
경험적 협력률 $\overset{p}{^}_{C} (X)$	식 (1). $X$ 안의 행동 중 C의 비율	협력 자체	0–1, 방향은 맥락에 따라 다름	에피소드 $g$ , 라운드 $t$ , 조건별로 $X$ 를 정의	Section 3.1
Regime discrimination $Δ_{re g}$	$Δ_{re g} = \overset{p}{^}_{C} (X_{G e n}) - \overset{p}{^}_{C} (X_{E x t})$ . $X_{G e n}$ , $X_{E x t}$ 는 generous·extortion regime의 에피소드	너그러운 상대에게는 협력하고 착취하는 상대에게는 덜 협력하는 구별 능력	−1~+1, 높은 양수일수록 좋음. 0 근처는 무차별 협력(passive compliance) 또는 무차별 배신	ZD 상대 4종(ES, EM, GS, GM), 에피소드당 H=30 라운드, 설정당 50 에피소드	식 (2), Section 3.2·4.3
Conditional cooperation drop $ρ_{d ro p}$	$ρ_{d ro p} = \overset{p}{^}_{C} (CC) - \overset{p}{^}_{C} (C D)$ . 직전 라운드 상태가 CC(둘 다 협력)일 때와 CD(나는 협력, 상대는 배신 = 착취당함)일 때의 다음 라운드 협력률 차. 상태 표기는 에이전트 행동이 앞, 상대가 뒤	착취당한 직후 협력을 줄이는 보복·적응	−1~+1, 낮거나 음수면 착취 상대에게도 계속 협력	Direct reciprocity 실험과 같음	식 (3), Section 3.2
Reputation gradient $G_{re p}$	$G_{re p} = \overset{p}{^}_{C} (X_{hi g h}) - \overset{p}{^}_{C} (X_{l o w})$ . 평판 high( $s_{B} \in [+ 3, + 5]$ )와 low( $s_{B} \in [- 5, - 3]$ ) 상대에 대한 협력률 차	평판 신호에 따른 선택적 협력	−1~+1, 양수면 평판에 민감	단판(H=1) 시행. 상대의 공개 점수 $s_{B} \in [- 5, + 5]$ (최근 이력 C=+1, D=−1의 부호 합)와 짧은 이력 제시. mid는 $[- 2, + 2]$	식 (4), Section 3.3, Appendix A.6 식 (7)–(9)
Observability effect $E_{Ω}$	$E_{Ω} = \overset{p}{^}_{C} (X_{Ω_{p u b}}) - \overset{p}{^}_{C} (X_{Ω_{p r i v}})$ . 내 선택이 기록되어 미래 상대에게 공개된다고 알린 조건과 익명이라고 알린 조건의 협력률 차	image concern(남에게 보이는 내 평판 관리)	−1~+1, 양수면 공개될 때 더 협력	단판, public/private 50/50	식 (5), Section 3.3, Appendix C.2
무단서 기준 협력률 $\overset{p}{^}_{C} (X_{Ω})$	상대 평판 단서가 없는 control 에피소드의 협력률	기준선(지표라기보다 참조값)	0–1	control 시행은 private가 기본. 시행 세트 1,010개 중 control 10개	Section 3.3, Table 2, Appendix C.1
First-defection round $τ$	$τ_{i \to j}^{(g)} = min {t \in {1, \dots, H} ∣ a_{i \to j}^{(g)} (t) = D}$ . 에피소드 $g$ 에서 에이전트 $i$ 가 $j$ 에게 처음 배신한 라운드. 배신이 없으면 $H + 1$	늦은 첫 배신 = 협력 유지	1~H+1(H=10이면 1–11), 높을수록 늦게 배신	N=5 사회, 에피소드마다 10개 쌍이 각각 H=10 라운드. 에피소드에 걸쳐 τ가 앞당겨지고 수렴하면 unraveling의 신호로 본다	식 (6), Section 3.4
그룹·사회 비교 $Δ p_{C}$ , $Δ τ$	서로 다른 사회 $S_{α %}$ 사이의 차 A−B(예: $R P_{40%} - R P_{0%}$ )의 Bayesian bootstrap 사후 중앙값과 $P_{+} = P (Δ > 0)$	RC가 섞였을 때 RP에게 협력이 번지는 spillover	양수면 협력 증가·첫 배신 지연	RC 비율 0%·40%·100%	Section 5.3, Appendix A.7 Table 6
어휘 서명 Coop/Defect (r)	결정 뒤 justification(추론 흔적)에서 협력 관련 단어와 배신 관련 단어를 100단어당으로 센 값과 비율 r = Coop/Defect	언어 수준의 협력 지향	비율, 높을수록 협력 어휘가 많음	수작업 키워드 집합(Appendix A.7)	Section 5.3, Table 3

지표별로 알려진 약점(원문에서 확인된 것).

$Δ_{re g}$ 는 0이 두 가지 뜻이다. 저자 스스로 낮거나 0인 값이 “무차별 협력(passive compliance) 또는 무차별 배신” 어느 쪽에서도 나온다고 쓴다(author-stated, Section 3.2). 즉 이 지표만으로는 실패의 방향을 알 수 없고 절대 협력률을 함께 봐야 한다(analyst-inference).
$Δ_{re g}$ · $ρ_{d ro p}$ 이 높아도 결과는 나쁠 수 있다. 구별을 잘하는 reasoning 모델이 착취 상대 앞에서는 상호 배신(P,P) 근처로 몰려 양쪽 모두 낮은 점수를 받았다. 저자들은 이를 “aggregate 결과 수준의 coordination failure”라고 부른다(author-stated, Section 5.1, Figure 2). 높은 구별 점수가 곧 좋은 협력은 아니다.
τ는 LLM 사회에서 잘 안 맞는다. 사람의 IPD에서는 “처음엔 협력하다가 나중에 배신”하는 순서가 뚜렷해서 τ가 감소하는 것으로 unraveling을 볼 수 있지만, LLM 사회는 간헐적 전환이나 초반의 확률적 배신처럼 더 이질적으로 무너져서 τ만으로는 unraveling이 깔끔하게 보이지 않는다고 저자들이 직접 인정한다(author-stated, Section 5.3 “First-defection dynamics”).
$\overset{p}{^}_{C} (X_{Ω})$ 기준선의 표본이 작다. 시행 세트 1,010개 중 control은 10개뿐이다(Appendix C.1). 그룹별 0.600 대 0.200 차이는 이 작은 표본에서 나온 값이다(analyst-inference: 모델·그룹별 control 시행 수는 원문에 명시되지 않았다).
$E_{Ω}$ 와 control의 관계가 모호하다. 식 (5) 뒤에 “단서 없는 에피소드도 추가로 포함한다”고 쓰여 있지만, 그것이 $E_{Ω}$ 계산에 들어가는지 별도 기준선으로만 쓰이는지는 명시되지 않았다(analyst-inference, Section 3.3). Table 2는 별도 열로 보고한다.
$Δ_{re g}$ 의 regime 묶음. $X_{G e n}$ · $X_{E x t}$ 가 각각 GS+GM, ES+EM을 합친 것인지는 식에서 직접 정의되지 않았다(analyst-inference, Section 3.2·4.3).

방법과 벤치마크 구성

게임 설정. 표준 IPD 보수표 R=3(상호 협력), P=1(상호 배신), T=5(배신의 유혹), S=0(착취당함)을 쓴다. interaction(한 쌍의 결정 1회) → round $t$ → episode $g$ (H 라운드로 된 supergame)의 세 층위로 데이터를 묶는다(Section 3.1). 에이전트는 시스템 프롬프트로 규칙과 역할을 받고, 매 단계 사용자 프롬프트로 이력과 맥락 신호를 받아 C/D 행동 하나를 낸다. 출력은 결정적으로 파싱한다(Section 4.2). Instruction-tuned 모델은 {"reasoning": ..., "choice": ...} JSON(추론 100단어 미만), reasoning 모델은 <think> 블록(최대 60줄) 뒤 같은 JSON을 낸다(Appendix B.2).

대상 모델 5개(오픈 웨이트). Instruction-tuned: Llama-3.1-8B-Instruct, gemma-3-12B-it. Reasoning: Qwen3-8B, DeepSeek-R1-Distill-Qwen-7B, Olmo-3-7B-Think(Section 4.1, Appendix A.1). 추론 설정은 모든 조건에서 temperature 0.6, top-p 0.95, top-k 20, 최대 생성 4,096 토큰, 컨텍스트 32,768 토큰. Direct reciprocity와 group dynamics에는 vLLM을 썼다(Appendix A.1).

1) Direct Reciprocity — ZD 상대. 고정된 zero-determinant 전략(직전 라운드 결과에 따라 협력 확률을 정하는 확률적 전략으로, 상대 점수와 자기 점수 사이에 선형 관계를 강제할 수 있다) 4종과 붙인다: Strong Extortion(ES), Mild Extortion(EM), Strong Generosity(GS), Mild Generosity(GM). 파라미터는 Hilbe et al.(2014)의 사람 실험 설정을 따른다(Section 4.3). 각 조건은 H=30 라운드 에피소드이고 설정당 50 에피소드, 에피소드마다 이력 없이 시작한다(Section 4.3). 부록 Table 4의 확률값(상태 표기는 (ZD 직전 행동, 에이전트 직전 행동))을 보면, extortion 두 종은 첫 라운드에 배신하고( $p_{0} = 0$ ) CD·DD 뒤에는 절대 협력하지 않으며, generosity 두 종은 첫 라운드에 협력하고( $p_{0} = 1$ ) CC·DC 뒤에는 항상 협력한다(Appendix A.3, Table 4: ES $p_{CC}$ =0.692/ $p_{D C}$ =0.538, EM 0.857/0.786, GM $p_{C D}$ =0.077/ $p_{DD}$ =0.154, GS 0.182/0.364). 보고 지표는 $Δ_{re g}$ , $ρ_{d ro p}$ .

2) Indirect Reciprocity — 단판 평판 시행. 직접 호혜를 떼어 내려고 H=1 단판만 쓴다(Section 3.3). 미리 만든 고정 시행 세트 1,010개(control 10 + test 1,000)를 쓴다. test는 상대 공개 점수 $s \in {- 5, \dots, + 5}$ 에 거의 균등하게 배분하고, 점수마다 public/private을 50/50으로 나눈 뒤 순서를 섞는다(Appendix C.1). 보이는 이력은 image-scoring 규칙(C=+1, D=−1)에 맞게 점수와 일관되게 만든다(Section 4.3). public 조건에서는 “선택이 기록되어 미래 상대에게 보이고 평판이 C면 +1, D면 −1 갱신된다”고, private 조건에서는 “익명이고 기록되지 않는다”고 알린다(Appendix C.2). 시행은 고정 random seed로 저장되어 공개될 예정이라고 쓴다(Appendix C.1). 보고 지표는 $G_{re p}$ , $E_{Ω}$ .

3) Group Dynamics — 5명 익명 사회. N=5 에이전트, 에피소드마다 모든 $(2 5) = 10$ 쌍이 한 번씩 H=10 라운드를 둔다. 에이전트는 (1) 현재 쌍의 이력과 (2) 이전 에피소드의 익명 집계(누구와 했는지 연결할 수 없는 C/D 기록)만 본다(Section 3.4, Appendix B.3). 같은 모델에 두 페르소나를 준다: **Resilient Cooperator(RC)**는 쉽게 배신하지 말고 가벼운 일시적 보복 뒤 협력을 회복하며 막판 배신을 하지 말라는 프롬프트(Appendix B.4), **Rational Player(RP)**는 별도 프롬프트 없는 기본 행동. RC 비율을 0%·40%·100%로 바꾼 사회 $S_{0%}, S_{40%}, S_{100%}$ 에서 RP와 RC를 따로 보고한다(Section 3.4). 주 비교는 $R P_{40%}$ 대 $R P_{0%}$ (Section 5.3). 에피소드 수 M은 본문에 숫자로 명시되지 않았고, Figure 5의 x축은 에피소드 1–25까지 그려져 있다(analyst-inference: 그래프 판독).

4) Long-horizon framing 개입. Qwen3의 추론 흔적에서 모델이 한 판 보수표의 기댓값을 계산해 배신을 고르는 패턴을 관찰했다(예: ” $E [C] = 3 p$ , $E [D] = 4 p + 1$ 이므로 D”, Appendix A.2). 이것이 능력 부족인지 단기 최적화인지 가르려고, 보수와 규칙은 그대로 두고 “한 라운드의 즉시 보수를 최대화하는 전략이 게임 전체에서 가장 높은 총점으로 이어지지는 않을 수 있다”는 문장을 앞에 붙인다(Section 4.4). 대표 모델 Qwen과 Llama에만 적용했다(Section 4.4, Appendix A.5 Table 5).

Baseline. 별도 비교 방법은 없고, 두 모델 계열(instruction-tuned 대 reasoning)과 개입 유무, 사회 구성을 서로 비교한다(analyst-inference). 사람 데이터와의 직접 수치 비교는 보고되지 않았다. 사람 연구는 메커니즘의 기준으로 인용될 뿐이다.

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
Reasoning 모델은 평균적으로 상대 regime을 구별한다	Section 5.1, Table 1, Table 5	그룹 평균 $Δ_{re g}$ = +0.29, $ρ_{d ro p}$ = +0.49. Qwen3-8B +0.53/+0.93, DeepSeek +0.33/+0.47	Olmo-3-7B-Think는 +0.02/+0.09로 거의 구별하지 않는다. “reasoning 모델 전부”의 성질이 아니다	author-stated
구별을 잘하는 reasoning 모델도 착취 상대 앞에서는 상호 배신으로 몰린다	Section 5.1, Figure 2	extortion에서 reasoning 모델(원) 점들이 (P,P) 근처에 몰림	저자는 “coordination failure”로 해석	author-stated
Instruction-tuned 모델은 regime을 구별하지 못한다	Section 5.1, Table 1, Table 5	그룹 평균 $Δ_{re g}$ = −0.03, $ρ_{d ro p}$ = −0.07. Llama −0.12/−0.28(착취 상대에게 더 협력, 배신 뒤 협력 유지·증가), gemma +0.07/+0.14	gemma는 배신 뒤 약간 협력을 줄인다. 두 모델의 실패 양상이 다르다	author-stated
Long-horizon framing은 Qwen3-8B의 구별을 크게 올린다	Section 5.1, Table 5, Figure 3	Qwen3-8B $Δ_{re g}$ +0.53 → +0.80, $ρ_{d ro p}$ +0.93 → +0.91. generosity에서 협력이 라운드 내내 높게 유지	개입은 Qwen 한 모델에만 적용. extortion에서는 두 조건 모두 협력이 빠르게 붕괴	author-stated
Framing은 Llama에는 효과가 없다	Section 5.1, Table 5	Llama $Δ_{re g}$ −0.12 → −0.10, $ρ_{d ro p}$ −0.28 → −0.18	본문은 “기준값 −0.03, −0.07과 비교해” 개선 없음이라고 쓰는데, 이 기준값은 instruction-tuned 그룹 평균이다. 같은 모델 기준(Table 5)으로는 두 값 모두 약간 올랐다	author-stated (비교 기준 불일치는 analyst-inference)
Table 1의 ”+ Framing” 행은 그룹 평균이 아니다	Table 1 vs Table 5	Table 1 Reasoning + Framing = +0.80/+0.91 = Qwen3-8B 단독 값, Instruction-tuned + Framing = −0.10/−0.18 = Llama 단독 값	Baseline 행은 3개·2개 모델 평균인데 + Framing 행은 단일 모델이라, 같은 표에서 그룹 효과처럼 읽으면 과대평가된다	analyst-inference
두 계열 모두 평판에 반응하지만 reasoning 쪽이 더 가파르다	Section 5.2, Table 2, Figure 4	$G_{re p}$ reasoning 0.532, instruction-tuned 0.372(차 0.160)	각 계열 1,000 시행(Table 2 캡션)	author-stated
Reasoning 모델은 행동이 공개될 때 더 협력한다(image concern)	Section 5.2, Table 2, Figure 4	$E_{Ω}$ reasoning 0.116, instruction-tuned 0.039	instruction-tuned는 일부 점수에서 private 협력이 public보다 높은 역전이 있다	author-stated
단서 없는 기준 협력률은 reasoning이 더 높다	Section 5.2, Table 2	$\overset{p}{^}_{C} (X_{Ω})$ 0.600 대 0.200	control 시행은 전체 10개(Appendix C.1). direct reciprocity에서 instruction-tuned를 “과잉 협력(passive compliance)“으로 본 것과 방향이 반대라서, 계열 특성이 과제마다 다르게 나타난다	author-stated (해석은 analyst-inference)
Private에서 reasoning 모델은 +5 상대에게 +4 상대보다 더 배신하기도 한다	Section 5.2, Figure 4	저자 해석: 평판 결과가 없을 때 아주 믿을 만한 상대를 선택적으로 착취하는 경향	그래프 한 점의 차이에 근거한 해석이다	author-stated
RC가 섞이면 reasoning 그룹의 RP 협력이 늘어난다(spillover)	Section 5.3, Figure 5, Table 6	$R P_{40%} - R P_{0%}$ reasoning: $Δ p_{C}$ +0.090( $P_{+}$ =1.000), $Δ τ$ +0.608( $P_{+}$ =1.000)	모델별로 Qwen +0.142/+1.344, DeepSeek +0.118/+0.455, Olmo +0.009/+0.032(Table 6, 부록)	author-stated
Instruction-tuned 그룹에서는 RC가 섞이면 RP 협력이 오히려 줄어든다	Section 5.3, Figure 5, Table 6	$R P_{40%} - R P_{0%}$ instruction-tuned: $Δ p_{C}$ −0.101( $P_{+}$ =0.042), $Δ τ$ −1.435( $P_{+}$ =0.024)	원인 분석은 제시되지 않았다	author-stated
절대 협력 수준은 group dynamics에서 instruction-tuned가 훨씬 높다	Figure 5	instruction-tuned RP의 에피소드 협력률은 약 0.6–0.7, reasoning RP는 약 0.1–0.4. reasoning의 τ는 약 2 근처	그래프 판독. spillover의 방향(차이)과 수준(절대값)은 다른 이야기다	analyst-inference
RC 자신도 40% 사회에서는 100% 사회보다 협력이 낮다	Table 6(부록)	$R C_{40%} - R C_{100%}$ 모든 모델 음수, 예: Gemma $Δ p_{C}$ −0.235, $Δ τ$ −6.452	부록 표. 본문에서는 다루지 않음	author-stated
Framing은 group dynamics에서도 reasoning 모델의 협력을 높이고 첫 배신을 늦춘다	Section 5.3, Appendix A.8	에피소드 협력률이 높고 안정적이며 τ가 늦어짐(수치 미보고)	Qwen 대 Llama만 비교(Figure 7, 부록). Llama 쪽 분리는 약하고 일관되지 않음	author-stated
추론 흔적의 어휘가 계열별로 다르다	Section 5.3, Table 3	$S_{0%}$ Coop/Defect: reasoning 0.70/0.54(r 1.30), instruction-tuned 1.63/0.55(r 2.96). $S_{40%}$ : reasoning 1.26/0.89(1.42), instruction-tuned 2.95/1.18(2.50)	수작업 키워드 집합(Appendix A.7). instruction-tuned의 r은 RC가 섞이면 오히려 낮아진다	author-stated

결과가 이어지는 방식. 세 실험은 같은 이야기를 서로 다른 각도에서 보여 주려 한다. 직접 호혜에서 instruction-tuned 모델은 상대를 구별하지 못하고(Δ_reg ≈ 0), reasoning 모델은 구별은 하지만 착취 상대와 함께 상호 배신으로 내려간다. 간접 호혜에서는 reasoning 모델이 평판과 공개 여부에 더 민감하다. 집단 역학에서는 reasoning 모델이 기본적으로 협력을 거의 하지 않다가 RC가 섞이면 조금 더 협력하는 반면, instruction-tuned 모델은 높은 기본 협력을 보이지만 RC가 섞일 때 오히려 줄어든다(author-stated: Section 5, analyst-inference: 절대 수준 비교는 Figure 5 판독).

주의할 점. 결론의 “장기 관점 framing이 reasoning 모델의 호혜 능력을 되살린다”는 주장은 Qwen3-8B 한 모델의 결과에 기대고 있다. 원문 결론은 framing을 “현재 행동이 미래 평판에 영향을 준다는 짧은 상기”라고 요약하는데, 실제로 쓴 문장(Section 4.4)은 평판이 아니라 게임 총점을 언급한다(analyst-inference, Section 6 vs Section 4.4).

Take-home

핵심 메시지. 같은 IPD 점수라도 “착취에 순응해서 협력한 것”과 “판단해서 협력한 것”은 다르고, SODE는 그 차이를 조건별 협력률의 차(Δ_reg, ρ_drop, G_rep, E_Ω)와 첫 배신 시점 τ로 드러낸다. Instruction-tuned 모델은 수동적 순응, reasoning 모델은 단기 기댓값 최적화라는 서로 다른 실패를 보인다.

결론이 성립하는 범위.

7–12B 오픈 웨이트 모델 5개(instruction-tuned 2, reasoning 3)에서만 확인했다. 계열 비교는 모델 2개 대 3개의 평균이라 모델 크기·학습 데이터 차이와 섞여 있다(analyst-inference).
Reasoning 계열 안에서도 Olmo-3-7B-Think는 거의 구별하지 않았다(Table 5). 계열 일반화는 조심해야 한다.
Long-horizon framing은 Qwen3-8B와 Llama-3.1-8B-Instruct 두 모델에만 적용했다(Section 4.4).
보수표는 R=3, P=1, T=5, S=0 하나, 상대는 Hilbe et al.(2014)의 ZD 4종으로 고정했다.

저자가 인정한 한계(author-stated). 독립된 Limitations 절은 없다. 본문에서 인정한 한계는 τ가 LLM 사회의 이질적인 붕괴 양상 때문에 unraveling을 깔끔하게 드러내지 못한다는 점(Section 5.3)과, 계열 차이가 결과 공간에서는 regime 분리로 뚜렷이 이어지지 않았다는 점(Section 5.1, instruction-tuned)이다.

작성자가 보는 우려(analyst-inference).

Table 1의 ”+ Framing” 행은 단일 모델 값인데 그룹 baseline과 같은 표에 놓여 있다. 같은 모델 기준으로 보면 Qwen은 +0.53 → +0.80, Llama는 −0.12 → −0.10이다.
Figure 2 캡션은 “x: ZD, y: agent, 선 위는 agent 우위”라고 쓰지만 Appendix A.4는 “x축에 에이전트 보수, y축에 상대 보수”이고 “선 위는 에이전트가 착취에 더 취약”이라고 써서 서로 맞지 않는다. 또 캡션은 generosity에서 reasoning 모델이 (R,R) 근처에 더 몰린다고 하고, A.4는 instruction-tuned 결과가 (R,R) 근처에 몰린다고 한다. 그림 자체의 축 라벨(x: ZD Payoff, y: Agent Payoff)은 캡션과 일치한다.
Reasoning 그룹 $ρ_{d ro p}$ 평균은 Table 5 개별값(+0.93, +0.47, +0.09)으로 계산하면 약 +0.497인데 표에는 +0.49로 적혀 있다(반올림 차이 수준).
간접 호혜 기준선은 control 10개 시행에서 나온 값이다.
Instruction-tuned 모델은 reasoning 필드 100단어 미만 JSON, reasoning 모델은 <think> 블록을 쓰므로 출력 형식이 계열마다 다르다. 저자는 차이가 형식 제약에만 있다고 하지만(Appendix B), 형식이 행동에 미치는 영향은 따로 통제되지 않았다.
사람 데이터와의 정량 비교는 없다. “사람 메커니즘과의 정렬”은 방향성 비교다.

반복 횟수와 공개 여부. Direct reciprocity는 설정당 50 에피소드(Section 4.3), indirect reciprocity는 계열당 1,000 시행(Table 2), group dynamics는 Bayesian bootstrap으로 불확실성을 보고한다(Table 6). 디코딩 seed나 독립 반복 run 수는 보고되지 않았다. 코드 공개 주소는 보고되지 않았고, 간접 호혜 시행 세트는 고정 seed와 함께 “제공될 예정”이라고만 쓴다(Appendix C.1).

읽지 못한 범위. 없음. 본문과 부록을 끝까지 읽었다. 부록 Figure 6·7은 이미지가 아니라 캡션과 본문 설명만 확인했다.

본문 도표

Figure 1 — LLM 에이전트의 지속 불가능한 협력

무엇을 보여주는가: 세 행(Reasoning Models, Instruction Tuned Models, Ideal Objective)으로 문제의식을 그린 개념도. 각 행에 대화 말풍선과 “Cooperation 대 Episode” 미니 그래프(Human, Agent 두 선)가 있다.
읽는 법: 왼쪽은 에이전트의 생각 말풍선과 C/D 교환, 오른쪽은 에피소드에 따른 협력의 개념적 추이. 축에 눈금이나 수치가 없다.
핵심 관찰: Reasoning 행은 “상대가 협력하지 않으니 D밖에 못 고른다”며 서로 배신하고 협력 곡선이 떨어진다. Instruction-tuned 행은 자기는 협력하는데 상대가 “쉽게 착취할 수 있다”며 배신한다. Ideal 행은 “장기적으로 협력이 옳다”며 둘 다 협력하고 곡선이 높게 유지된다.
의미와 주의: 저자의 핵심 가설(instruction-tuned = 착취당하기 쉬운 과잉 협력, reasoning = 단기 이득 추구로 협력 포기)을 그림으로 요약한 것이다(author-stated, 캡션). 곡선은 개념 도식이며 실험 데이터가 아니다(analyst-inference: 축에 수치 없음).
확인 상태: viewed

Figure 2 — interaction regime별 보수 평면

무엇을 보여주는가: Direct reciprocity 실험에서 에피소드 평균 보수를 2차원 평면에 찍은 산점도. 왼쪽 패널 Extortion, 오른쪽 패널 Generous.
읽는 법: x축 ZD Payoff(0–5), y축 Agent Payoff(0–5). 회색 영역은 가능한 보수 조합(feasibility set)이고 꼭짓점은 (S,T), (R,R), (P,P), (T,S). 점선은 $y = x$ (보수 동률). 빨간 삼각형은 instruction-tuned, 원은 reasoning. 회색은 Mild, 검정은 Strong 조건.
핵심 관찰: Extortion 패널에서 reasoning 원들은 (P,P)=(1,1) 근처에 빽빽이 모이고, instruction-tuned 삼각형은 (R,R)과 (T,S) 사이, $y = x$ 아래쪽으로 넓게 흩어진다(analyst-inference: 그래프 판독). Generous 패널에서는 두 계열 모두 (R,R) 근처에 모인다.
의미와 주의: 저자는 extortion에서 reasoning 모델이 상호 배신으로 몰려 양쪽 모두 낮은 보수를 받는 coordination failure를 보이고, instruction-tuned 모델은 결과 공간에서 regime 분리가 뚜렷하지 않다고 해석한다(author-stated, Section 5.1). 캡션과 Appendix A.4의 축·해석 설명이 서로 다르다(Take-home 참조). 그림의 축 라벨은 캡션과 같다(analyst-inference).
확인 상태: viewed

Table 1 — 그룹 수준 호혜 분석

무엇을 보여주는가: 모델 계열별 $Δ_{re g}$ 와 $ρ_{d ro p}$ , 그리고 long-horizon framing을 붙였을 때의 값.
읽는 법: 행은 Reasoning·Instruction-tuned 각각 Baseline과 + Framing, 열은 $Δ_{re g}$ , $ρ_{d ro p}$ . 양수가 클수록 상대를 구별하고 배신 뒤 협력을 줄인다.
핵심 관찰: Reasoning Baseline +0.29/+0.49, + Framing +0.80/+0.91. Instruction-tuned Baseline −0.03/−0.07, + Framing −0.10/−0.18.
의미와 주의: 저자 해석은 reasoning 모델은 중간 정도로 적응하고 instruction-tuned 모델은 무감각하거나 수동적으로 순응한다는 것(author-stated, 캡션). + Framing 행은 Table 5와 대조하면 각각 Qwen3-8B 단독, Llama 단독 값이다. Baseline(그룹 평균)과 바로 비교하면 개입 효과가 부풀려 보인다(analyst-inference).
확인 상태: viewed

Figure 3 — long-horizon framing에서의 협력 궤적

무엇을 보여주는가: 라운드별 협력률 $\overset{p}{^}_{C}$ 를 framing 유무로 비교한 선 그래프. 2×2 패널(행: Instruction-tuned, Reasoning / 열: Extortion, Generous).
읽는 법: x축 Round(0–30), y축 $\overset{p}{^}_{C} (X)$ (0–1). 회색은 Baseline(framing 없음), 주황은 Long-horizon framing. 실선은 Mild, 점선은 Strong. 음영은 변동 범위.
핵심 관찰: Reasoning·Extortion은 두 조건 모두 처음 몇 라운드 안에 협력이 0 근처로 떨어진다. Reasoning·Generous에서 baseline은 라운드가 지나며 약 0.25까지 떨어지지만 framing 조건은 끝까지 약 0.9 이상을 유지한다(analyst-inference: 그래프 판독). Instruction-tuned는 두 regime 모두 약 0.25–0.6 사이에서 출렁이고 framing 유무 차이가 작다.
의미와 주의: 저자는 framing이 주로 reasoning 모델의 regime 구별 방식을 바꾸고 instruction-tuned 모델은 체계적 변화가 없다고 해석한다(author-stated, Section 5.1). 행 라벨은 계열 이름이지만 framing은 Qwen과 Llama에만 적용했으므로 각 행은 그 단일 모델일 가능성이 높다(analyst-inference, Section 4.4).
확인 상태: viewed

Table 2 — 그룹 수준 간접 호혜 지표

무엇을 보여주는가: 계열별 $G_{re p}$ , $E_{Ω}$ , 단서 없는 기준 협력률 $\overset{p}{^}_{C} (X_{Ω})$ .
읽는 법: 행은 Reasoning, Instruction-tuned, 그리고 둘의 차(Reasoning − IT). 계열마다 1,000 시행을 모델 전체에 걸쳐 본다(캡션).
핵심 관찰: Reasoning 0.532/0.116/0.600, Instruction-tuned 0.372/0.039/0.200, 차 0.160/0.077/0.400.
의미와 주의: 두 계열 모두 평판 기울기가 양수지만 reasoning이 더 선택적으로 협력하고 공개 조건에서 더 많이 협력한다(author-stated, Section 5.2). 기준 협력률 열은 전체 1,010 시행 중 control 10 시행에서 나온 값이라 표본이 작다(analyst-inference, Appendix C.1). 차이에 대한 신뢰구간이나 검정은 표에 없다.
확인 상태: viewed

Figure 4 — 간접 호혜 프로파일

무엇을 보여주는가: 상대 공개 점수별 협력률을 public/private 조건으로 나눠 찍은 점 그래프. 왼쪽 Instruction-tuned, 오른쪽 Reasoning.
읽는 법: x축 Opponent public score(−5~+5), y축 $\overset{p}{^}_{C} (X)$ (0–1). 채운 점은 Public( $X_{Ω_{p u b}}$ ), 빈 점은 Private( $X_{Ω_{p r i v}}$ ). 오차 막대는 95% bootstrap 신뢰구간. 세로 점선은 low/mid/high 구간 경계(−3과 −2 사이, +2와 +3 사이)로 보인다(analyst-inference).
핵심 관찰: 두 계열 모두 점수가 오를수록 협력이 늘어난다. Reasoning은 −5에서 약 0.05, +5 public에서 약 0.85로 더 가파르고, 대부분의 점수에서 public이 private보다 높다. Instruction-tuned는 +5에서 약 0.85(public)로 오르지만 중간 구간에서는 public·private 순서가 뒤바뀌는 점이 있다(예: −1, +2 부근에서 private이 더 높음)(analyst-inference: 그래프 판독). Reasoning private은 +4보다 +5에서 협력이 낮다.
의미와 주의: 저자는 reasoning 모델의 더 큰 $G_{re p}$ 와 일관되며, instruction-tuned 모델은 관찰 가능성 신호에 덜 안정적으로 반응한다고 해석한다. +5 private에서의 하락은 “평판 결과가 없을 때 매우 믿을 만한 상대를 선택적으로 착취하는 경향”으로 해석한다(author-stated, Section 5.2). 이 해석은 한 점의 차이에 기대고 있고, 오차 막대가 일부 겹친다(analyst-inference).
확인 상태: viewed

Figure 5 — 사회 구성별 모델 계열 비교

무엇을 보여주는가: Group dynamics에서 $R P_{0%}$ (빨강)와 $R P_{40%}$ (초록)를 계열별로 비교한 3×2 패널. 왼쪽 열 Instruction-tuned, 오른쪽 열 Reasoning.
읽는 법: 위 행은 에피소드별 협력률 $\overset{p}{^}_{C} (g)$ (x: Episode g 1–25, y: 0–1). 가운데 행은 라운드별 협력률 $\overset{p}{^}_{C} (t)$ (x: Round t 1–10). 아래 행은 에피소드별 평균 첫 배신 라운드 τ(x: Episode g, y: τ, 높을수록 늦은 배신). 음영은 변동 범위.
핵심 관찰: Instruction-tuned는 $R P_{0%}$ 가 약 0.7, $R P_{40%}$ 가 약 0.6으로 RC가 섞인 쪽이 더 낮고, τ도 $R P_{40%}$ 에서 약 6에서 약 3–5로 떨어진다. Reasoning은 두 조건 모두 약 0.1–0.4로 낮지만 $R P_{40%}$ 가 대체로 더 높고, τ는 둘 다 약 2 근처다. 라운드별로는 두 계열 모두 라운드가 갈수록 협력이 줄어든다(analyst-inference: 그래프 판독).
의미와 주의: 저자는 reasoning 모델에서는 RC의 존재가 RP 협력을 높이고 instruction-tuned 모델에서는 분리가 약하거나 일관되지 않다고 해석하며, 부록 Table 6의 Bayesian bootstrap(reasoning $Δ p_{C}$ +0.090, IT −0.101)으로 뒷받침한다(author-stated, Section 5.3). 캡션 제목은 $S_{0%}$ , $S_{40%}$ 비교이며 $S_{100%}$ 와 RC 곡선은 이 그림에 없다. 절대 협력 수준은 instruction-tuned가 훨씬 높다는 점은 본문에서 강조되지 않는다(analyst-inference).
확인 상태: viewed

Table 3 — 그룹 수준 어휘 서명

무엇을 보여주는가: 결정 뒤 justification(추론 흔적)에서 협력 관련·배신 관련 단어의 빈도(100단어당)와 비율.
읽는 법: 열은 $S_{0%}$ , $S_{40%}$ . 각 칸은 Coop / Defect (r = Coop/Defect).
핵심 관찰: Reasoning $S_{0%}$ 0.70/0.54(1.30) → $S_{40%}$ 1.26/0.89(1.42). Instruction-tuned $S_{0%}$ 1.63/0.55(2.96) → $S_{40%}$ 2.95/1.18(2.50).
의미와 주의: 저자는 RC가 없으면 reasoning 모델이 배신 관련 어휘를 상대적으로 더 쓰고 instruction-tuned 모델은 협력 어휘를 더 쓰며, RC가 있으면 reasoning 모델이 상호 이익 쪽으로 약간 이동한다고 해석한다(author-stated, Section 5.3). 키워드 집합은 수작업으로 고른 것이고(Appendix A.7), 단어 빈도가 실제 결정과 얼마나 맞는지는 검증되지 않았다. instruction-tuned의 r은 $S_{40%}$ 에서 오히려 낮아진다(analyst-inference).
확인 상태: viewed

Wiki 연결

CoopEval - Benchmarking Cooperation-Sustaining Mechanisms and LLM Agents in Social Dilemmas — 같은 LLM 사회적 딜레마에서 메커니즘별 협력 회복을 비교한 벤치마크
Welfare Diplomacy - Benchmarking Language Model Cooperation — 무조건 협력하는 에이전트가 착취당하는 문제를 exploitability로 잰 벤치마크