CoopEval: 사회적 딜레마에서 협력을 유지시키는 메커니즘과 LLM 에이전트 벤치마크
개요
최근 연구들은 추론 능력이 강한 LLM일수록 죄수의 딜레마나 공공재 게임 같은 **social dilemma(사회적 딜레마: 모두가 협력하면 다 같이 이득이지만, 개인으로서는 배신이 늘 더 유리한 게임)**에서 덜 협력한다고 보고했다. 이 논문도 같은 현상을 먼저 확인한다. 한 판짜리 딜레마에서 최신 모델들은 추론을 켜든 끄든, 크든 작든 거의 100% 배신했다. 지금까지의 처방은 “친사회적 페르소나를 입혀라” 같은 프롬프트나 도덕 fine-tuning이었는데, 저자들은 이것이 선의의 사용자·제공자에게 기대는 방식이라 실제 이익 압력 앞에서는 버티지 못할 수 있다고 본다. 이 논문의 통찰은 방향을 바꾸는 것이다. 에이전트의 마음을 고치지 말고 게임의 규칙을 바꾸면, 철저히 이기적인 합리적 에이전트끼리도 협력이 균형(equilibrium)이 될 수 있다. 사람 사회가 같은 상대와 계속 거래하기(반복), 평판 남기기, 중개인에게 맡기기, 계약서 쓰기로 신뢰 문제를 풀어 온 것과 같다. 그래서 저자들은 네 가지 cooperation mechanism(협력 메커니즘: 원래 게임에서 할 수 있던 행동을 막지 않고 새 효용도 만들지 않으면서 게임을 살짝 바꾸는 장치) — Repetition(같은 상대와 반복), Reputation(매 판 상대가 바뀌지만 과거 기록을 봄), Mediation(제3자 중재자에게 결정을 위임), Contract(행동에 따라 서로 돈을 주고받는 계약) — 을 네 가지 딜레마에 씌우고, 6개 LLM을 모든 조합으로 맞붙였다. 이론적으로는 네 메커니즘 모두 협력 결과를 subgame perfect equilibrium(하위게임 완전균형)으로 지탱할 수 있다(Theorem 1). 그런데 실제 LLM 사회에서는 효과가 크게 갈렸다. 모두 배신=0, 모두 협력=1로 맞춘 평균 보상(Mean)에서 메커니즘이 없을 때 0.072였던 값이 Reputation+에서는 0.227에 그쳤지만 Contracting에서는 0.801, Mediation에서는 0.695까지 올랐다. 더 흥미로운 점은, 사용자들이 성적 좋은 모델로 갈아타는 상황을 흉내 낸 **replicator dynamics(복제자 동역학: 잘하는 전략의 인구 비중이 늘어나는 진화 모형)**를 돌리면 협력이 오히려 강해졌다는 것이다. Repetition 0.992, Mediation 1.000, Contracting 0.999로 거의 완전한 협력에 도달했다. 메커니즘이 없으면 같은 진화 압력이 협력적인 GPT-4o를 밀어내 버린 것과 정반대다.
Implication: LLM을 착하게 만드는 것보다 LLM끼리 만나는 판의 규칙(계약·중재·반복)을 설계하는 쪽이 이익 압력에 더 강한 협력을 만들 수 있다. 다만 이론상 동등한 메커니즘도 실제 LLM에서는 효과가 몇 배씩 다르므로, 어떤 메커니즘을 쓸지는 실험으로 골라야 한다.
📎 https://arxiv.org/abs/2604.15267
배경과 문제
문제: 강한 LLM일수록 덜 협력한다. LLM 에이전트가 사업 결정, 에이전트 간 거래, 금융, 외교, 게임처럼 다른 에이전트와 얽히는 자리에 늘고 있지만, 인기 리더보드는 다중 에이전트 의사결정에 대해 거의 알려 주지 않는다고 저자들은 말한다(Section 1, 각주 2: 2026년 4월 기준 수백 개 벤치마크 중 다중 에이전트용은 Vending-Bench와 금융 지식 벤치마크 둘뿐). 동시에 추론 모델 훈련 패러다임이 free-riding(무임승차)과 전략적 이기주의를 키운다는 선행 결과(Li & Shirado 2025; Guzman Piedrahita et al. 2025)가 있다(author-stated, Section 1).
왜 어려운가. 사회적 딜레마에서는 협력이 자기에게 비용이고 남에게 더 큰 이득을 준다(예: Prisoners에서 협력은 내게 1을 쓰고 상대에게 2를 준다, 각주 3). 그래서 Prisoners·PublicGood에서는 배신이 협력을 strictly dominate(엄격 지배: 상대가 무엇을 하든 항상 더 나음)하고, 합리적 플레이어는 배신해야 한다(Section 2). 다중 에이전트 학습 문헌도 단발 딜레마에서 독립적 최적화는 배신으로 수렴한다고 보여 왔다(Sandholm & Crites 1996; Foerster et al. 2018)(author-stated, Section 1).
아이디어의 계보. 저자들이 직접 연결한 흐름이다(Section 1·3, Appendix A).
- 반복과 직접 호혜성: Axelrod의 반복 죄수의 딜레마 토너먼트와 tit-for-tat(Axelrod 1980, 1984), 반복게임 folk theorem(Osborne & Rubinstein 1994).
- 평판과 간접 호혜성: Nowak & Sigmund(1998), Okada(2020), 고차 무임승차자 문제(Ohtsuki & Iwasa 2004), 사람은 1차 규칙을 선호한다는 결과(Milinski et al. 2001).
- 중재자: Monderer & Tennenholtz(2009), Kalai et al.(2010)의 위임형 중재.
- 계약·부수지급: Coase(1960)의 외부효과 거래, 일방 부수지급의 한계(Jackson & Wilkie 2005), 수락 기반 계약(Yamada 2003; Geffner et al. 2025).
- AI 에이전트의 협력 평가: 규칙 기반·고전 다중 에이전트 학습·심층 RL(Leibo et al. 2017 등), LLM 대상 Concordia 대회(Smith et al. 2025), GovSim류 공공재 관리(Piatti et al. 2024), 반복 죄수의 딜레마에서 LLM이 사람보다 관대하다는 Fontana et al.(2025).
기존 접근의 한계와 이 논문의 차이. (1) 프롬프트·fine-tuning 처방은 윤리적인 사용자·제공자가 그 방법을 실제로 적용해야 한다는 전제에 기대고, 실제 이익 압력과 능력 향상에 견고하지 않을 수 있다(author-stated, Section 1). 이 논문은 도덕과 무관하게(morality-agnostic) 이기적 합리적 에이전트 사이에서도 성립하는 메커니즘 쪽을 택한다. (2) 이전 실증 연구는 규칙 기반·RL·LLM 에이전트를 메커니즘 하나, 딜레마 한두 개에서만 봤다. 규칙 기반·RL 에이전트는 메커니즘마다 따로 만들어야 해서 “같은 에이전트”를 다른 메커니즘에 넣기 어렵다. 자연어로 아무 환경이나 읽는 LLM의 일반성을 이용해 메커니즘끼리의 첫 비교 연구를 한다는 것이 저자 주장이다(author-stated, Section 1). (3) Traveler’s dilemma와 동시 Trust game을 AI 에이전트에 처음 적용했고, Mediation 메커니즘을 LLM에 처음 구현했다고 말한다(author-stated, Section 1 “Our Main Contributions”).
지표
이 논문은 “일반합(general-sum) 게임에서는 에이전트 성능을 독립적으로 잴 수 없고, 에이전트 집단에 대해 상대적으로만 잴 수 있다”는 입장에서 출발한다(Section 5 “Three Performance Metrics”). 그래서 같은 대전 결과를 세 가지 집단 가정으로 읽는다.
공통 정규화. 집계 전에 보상을 이동·재척도해 0 = 모두 배신했을 때의 보상, 1 = 모두 (가장) 협력적인 행동을 했을 때의 보상이 되게 한 뒤, 네 딜레마를 합친다(Table 2 캡션). 반복 메커니즘은 무작위 동전 던지기로 다음 판 여부를 정하지 않고 고정 T = 15판을 돌린 뒤 판별 보상을 δ로 가중평균한다. 이 근사의 최악 오차는 기본 게임 보상 범위의 최대 4.2%다(Appendix C “Handling the Continuation Probability”). 가중하지 않은 평균은 LLM에게 설명한 게임과 평가가 어긋나므로 피해야 한다고 저자들은 명시한다(Appendix C 각주 14).
| 지표 | 무엇을 세는가 (운영적 정의) | 단위·범위 | 방향 | 분모·정규화 | 측정 조건 | 위치 |
|---|---|---|---|---|---|---|
| Mean (평균 교차 대전 보상) | 한 LLM이 모든 cross-play(서로 다른 모델끼리의 대전) 조합에서 받은 보상의 평균. 인구가 시험한 LLM들에 균등 분포한다고 가정한 것과 같다 | 정규화 보상. 0=모두 배신, 1=모두 협력. 1을 넘거나 0보다 작을 수 있다(Table 2에 1.138, −0.132 존재) | 높을수록 좋음(↑) | 모든 대전 조합 평균 → 4개 딜레마 집계. “LLM Average” 열은 해당 인구 분포(여기서는 균등)로 가중 | 각 조합 3회 반복, 6개 모델 | Section 5, Table 2 |
| Fitness (복제자 동역학 후 적합도) | 균등 인구에서 시작해 discrete replicator dynamics를 1000 step 돌린 뒤, 최종 인구에 대한 각 LLM의 기대 보상(utility). “사용자들이 더 잘하는 LLM으로 옮겨 가는 사회”를 흉내 낸다 | 정규화 보상(0=모두 배신, 1=모두 협력) | 높을수록 좋음(↑) | 상대는 최종 인구 분포로 가중. “LLM Average”는 최종 인구 분포로 가중한 평균 | exponential weight update(Freund & Schapire 1997) 기반 이산 replicator dynamics, learning rate 0.1, 1000 step | Section 5, Appendix C “Replicator Dynamics”, Table 2 |
| DR (Deviation Ratings 순위) | Marris et al.(2025)의 deviation rating으로 매긴 순위. 메타게임(사용자가 어떤 LLM을 고를지 정하는 게임)에서 가장 엄격한 coarse correlated equilibrium(조악 상관균형)을 반복 계산하고, 사용자가 그 LLM으로 이탈해도 가장 덜 아쉬운 LLM을 찾는다. Elo를 일반합 게임으로 확장한 계열 | 순위 1–6 (6개 모델) | 낮을수록 좋음(↓) | 순위이므로 “LLM Average”는 항상 3.5(Table 2 모든 행) | 메타게임은 대전 보상 행렬에서 구성 | Section 5, Appendix C “Deviation Ratings”, Table 2 |
| 행동 확률 (action frequency) | 각 행동에 둔 평균 확률. LLM은 순수 행동 대신 행동 위 확률분포를 내고, 실험자가 그 분포에서 표본을 뽑는다 | 0–100% | 협력 행동 비율이 높을수록 협력적 | 모델·메커니즘별 평균 | 무작위화에 대한 인지-행동 격차를 피하려는 설계 | Appendix C “Decision Making Format”, Appendix I(Figure 8–9) |
| 조건부 협력률 | 지난 판 상대 행동이 X였을 때 이 LLM이 각 행동을 고른 비율. 착취·용서·초기 친절 성향의 근사 | % | — | 직전 상대 행동별 조건부 | Repetition·Reputation만 | Section 6 RQ5, Appendix J(Figure 10–13) |
| 제안 품질 (proposal quality) | LLM이 설계한 중재자/계약이 시행된다면 협력 결과가 Nash equilibrium이 되는지, 또는 weakly dominant(약지배) 행동들로만 이뤄지는지의 비율 | % | 높을수록 좋음 | LLM별 제안 단위 | Mediation·Contract. Mediation의 “협력 결과” = 모두 위임 + 중재자가 협력 행동을 대신 둠 | Section 6 RQ6, Figure 18(Appendix L) |
| 제안 인기 (popularity) | 최소 한 제안이 참가자 전원의 approval vote(찬성 투표)를 받은 비율, 승리 계약 수락률, 승리 중재자에게 위임한 비율 | % | 높을수록 좋음 | 게임 회차 단위 | Mediation·Contract | Section 6 RQ6, Appendix K(Figure 14–17) |
| 정당화 범주 빈도 | LLM-as-a-judge(GPT-5.2)가 CoT에서 15개 사전 정의 정당화 범주(예: Individual utility maximization, Strategic equilibrium focus, Reciprocity) 각각의 존재 여부를 판정한 빈도. 복수 선택 가능 | 0–100% | — (서술 지표) | 결정 단위 평균 | Gemini-B 제외(추론 없음). Mediation·Contract는 마지막 결정 시점 CoT만 | Section 5 “Decision Justification Analysis”, Appendix G, Figure 2 |
각 지표가 보상하는 것과 저자가 밝힌 약점.
- Mean은 다양한 인구, 그중 일부는 착취당할 수 있는 상대가 섞인 인구에서 얼마나 잘하는지를 보상한다(Section 5). 그래서 착취 가능한 약한 상대가 있으면 그들을 착취하는 모델이 점수를 얻는다. 저자들이 Figure 3에서 보여 주듯, 균등 인구의 Mean 순위는 인구가 적응하면 뒤집힐 수 있다(Qwen-30B: 균등 인구 2위 → replicator dynamics 후 끝에서 2위, Section 6 RQ3)(
author-stated). - Fitness는 진화 압력 아래에서 살아남는 전략, 즉 잘하는 모델끼리 남은 사회에서의 성적을 보상한다. 협력적이지만 착취당하는 모델(예: NoMechanism의 GPT-4o)은 인구에서 밀려난다(Section 6 RQ1). “LLM Average” Fitness는 최종 인구 가중이라, 협력하는 모델들만 남으면 1에 가까워진다(
analyst-inference: Table 2에서 Repetition·Mediation·Contracting의 LLM Average Fitness가 0.992–1.000인 반면 개별 모델 Fitness는 0.251–1.000으로 퍼져 있다는 점에서). - DR은 지배 보존(dominance-preserving)과 복제 불변(clone-invariant: 비슷한 에이전트를 하나 더 넣어도 순위가 안 바뀜)이라는 장점이 있다. Gemini-B와 Gemini-R처럼 서로 닮은 모델을 함께 시험할 때 유용하다고 저자들은 쓴다(Appendix C). 저자들은 자신들이 deviation rating의 첫 공개 구현을 내놓는다고 말한다(Section 5).
- Fitness와 DR은 Reputation에 쓸 수 없다. Reputation에서는 메타게임을 의미 있게 구성할 수 없기 때문이다(Table 2 캡션)(
author-stated). 그래서 Reputation-/+는 Mean만 보고된다. - 통계적 유의성: 각 조합은 3회 반복이며, 개별 조합 결과는 통계적으로 유의하지 않을 수 있다. 저자들은 집계된 결과에서 신호를 얻는다고 명시한다(Section 5 “Sample Size”)(
author-stated). Table 2의±값이 표준편차인지 표준오차인지는 원문에 명시되지 않았다(보고되지 않음). - Reputation의 분산: 매 판 상대를 균등 무작위로 바꾸므로 만남 순서의 무작위성이 개별 플레이어 성적에 피할 수 없는 분산을 더한다(Section 3 “Implementation Designs”)(
author-stated). - 정당화 지표: 판정자 GPT-5.2 하나가 판정하며, 판정자 신뢰도 검증 수치는 보고되지 않았다(
analyst-inference: 본문·Appendix G에서 확인한 범위).
방법과 벤치마크 구성
네 가지 사회적 딜레마 (Section 2, Table 1)
- Prisoners(죄수의 딜레마, 2인 2행동): 배신이 협력을 strictly dominate.
- Travelers(여행자의 딜레마, 2인 4행동 5): 4에 weakly dominated, 그걸 지우면 3에… 반복 제거하면 둘 다 $2. 여러 단계의 추론을 시험한다.
- Trust(동시 신뢰 게임, 비대칭 2인): P2의 협력(“수익 나누기”)이 strictly dominated이고, 그것을 지운 뒤에야 P1의 배신(“투자 안 함”)이 dominated가 된다. 반복 지배 제거가 한 단계 필요하다.
- PublicGood(3인 공공재): 배신이 strictly dominate. 동시에 여러 상대를 다뤄야 한다.
- 기준 실험으로 Stag Hunt(협력이 조정 문제인 게임)도 돌렸다(결과는 Appendix E Table 7)(Section 1, Section 6).
전체로 행동 수·플레이어 수·비대칭성이 다양하게 섞이게 골랐다(author-stated, Section 2).
네 가지 메커니즘 (Section 3, Figure 1)
| 메커니즘 | 구조 | 협력을 지탱하는 원리 | 구현 세부 |
|---|---|---|---|
| NoMechanism | 기본 단발 게임 그대로 | — (기준선) | — |
| Repetition | 같은 상대와 여러 판, 과거 행동 관찰 | 직접 호혜성 | 끝나는 시점을 모르게 continuation probability δ ∈ (0,1). 본실험 k = 3판 이력, δ = 0.8 |
| Reputation- | 매 판 새 상대(균등 무작위), 상대의 과거 판 기록 제공 | 간접 호혜성(1차 정보) | k = 3, δ = 0.8 |
| Reputation+ | 위와 같되 상대의 과거 상대들의 과거, 그 상대의 과거… 고차 정보까지 제공 | 고차 무임승차자 제거 | Theorem 1은 Reputation+에 대해 성립 |
| Mediation | ”위임”이 추가 행동. 공개된 중재자가 누가 위임했는지 보고 위임자 대신 행동 | 조건부 협력 | 각 에이전트가 중재자를 설계·제안 → approval voting으로 1개 선정(동률은 균등 무작위) → 그 중재자로 게임 |
| Contract | 행동 조건부의 영합(zero-sum) 효용 이전(부수지급) | 외부효과 내부화 | 각 에이전트가 계약 제안 → approval voting → 플레이어 수락 단계 → 게임 |
모든 메커니즘은 (1) 기본 게임에서 할 수 있던 행동을 막지 않고 (2) 원래 없던 효용을 새로 만들지 않는다(author-stated, Section 1). 다만 Contract는 최종 보상이 원래 게임에서 가능한 보상 범위에 묶이지 않는다는 점에서 특히 강력하다(Section 3, 각주 6).
통합 정리 (Section 4, Theorem 1)
정규형 게임 G의 Nash equilibrium s*를 모든 플레이어에게 더 좋은 행동 프로필 a가 Pareto-dominate하면, u(a)를 Mediation·Contract에서, 그리고 δ가 충분히 큰 Repetition·Reputation+에서 subgame perfect equilibrium으로 달성할 수 있다. 증명은 grim trigger(누가 약속을 깨면 영원히 나쁜 균형으로 돌아가는 전략) 형태로 통일했다(Appendix D). 주의할 점: 정리는 나쁜 균형이 없다고 말하지 않는다. 모두가 무조건 배신(그리고 계약 거부)하는 결과도 여전히 subgame perfect equilibrium이다(author-stated, Section 4). 실험에서 쓴 유한 이력 k 변형에 대한 유사 명제와, Reputation에 대한 Nash 버전은 Appendix D에 있다. 저자들은 k = 3, δ = 0.8이 협력을 지탱하기에 “넉넉히 충분”하다고 증명했다고 말한다(Section 5 “Mechanism Parameters”).
실험 설정 (Section 5, Appendix C)
- 모델 6개: Claude Sonnet 4.5(low reasoning), GPT 5.2(low reasoning), Gemini 3 Flash(medium reasoning = Gemini-R, 추론 없음 = Gemini-B), GPT-4o(2024-05-13), Qwen3-30B-A3B-Instruct-2507. Gemini-B 외에는 CoT 프롬프팅.
- 목표: 각 LLM은 메커니즘이 적용된 게임에서 자기 총점을 최대화하라고 지시받는다. 효용 함수가 에이전트가 신경 쓰는 전부라는 표준 게임이론 가정을 따른다(Section 5, 각주 7).
- 프롬프트: 게임 이름이나 잘 알려진 전략 이름을 피하고, 행동은
<A1>같은 익명 태그로 표시해 이름 누출을 막는다. temperature 1(Appendix C, 전체 프롬프트는 Appendix N). - 표본: 메커니즘 × 게임 × 각 플레이어 자리의 모델 조합을 전부 돌리고(Reputation은 상대가 바뀌므로 플레이어 모델의 합집합), 조합마다 3회 반복. 모델당 8586개 결정, 전체 50,000개 초과(Section 5 “Sample Size”).
- 연구 질문: RQ1 무메커니즘 기준선, RQ2 메커니즘 효과, RQ3 진화 동역학, RQ4 모델·게임 비교, RQ5 Repetition 대 Reputation, RQ6 Mediation·Contract의 제안 품질과 수락률(Section 6).
- ablation: Prisoners에서 k ∈ {2, 3, 4}, δ ∈ {0.7, 0.8, 0.9}(Appendix H, Table 8).
- 코드: https://xiao215.github.io/CoopEval/ 에서 공개(Section 1 각주 1).
주요 결과
| 주장 | 근거 위치 | 관찰/수치 | 조건·주의 | 출처 라벨 |
|---|---|---|---|---|
| 메커니즘이 없으면 최신 LLM은 거의 항상 배신한다 | Section 6 RQ1, Figure 9(Appendix I), Table 2 | 모든 최신 LLM이 모든 딜레마에서 배신이 기본(대개 100%). GPT-4o만 협력 행동을 절반쯤 둠(PublicGood에서는 약 80% 무임승차). LLM Average Mean 0.072 | 추론 모델뿐 아니라 비추론 모델(Gemini-B, Qwen-30B)도 실패. 이전 연구와 “약간이지만 결정적으로 다른” 경향이라고 저자 강조 | author-stated |
| 무메커니즘에서 진화 압력은 협력을 더 줄인다 | Section 6 RQ1, Table 2 | LLM Average Fitness 0.021. GPT-4o Fitness −0.335 | 협력적인 GPT-4o 같은 에이전트가 인구에서 밀려나고 모두의 보상이 줄어듦 | author-stated |
| 이론상 동등한 메커니즘의 실제 효과가 크게 다르다 | Section 6 RQ2, Table 2 | LLM Average Mean: Repetition 0.587, Reputation- 0.321, Reputation+ 0.227, Mediation 0.695, Contracting 0.801. 본문: “Reputation+는 7%에서 23%로, contracting은 사회 최적의 80%를 회복” | Theorem 1은 네 메커니즘 모두 협력을 균형으로 지탱 가능하다고 말하므로, 이 차이는 저자들에게도 “놀라웠다” | author-stated |
| 진화 압력 아래에서 메커니즘의 협력 효과가 커진다 | Section 6 RQ3, Table 2 | LLM Average Fitness: Repetition 0.992, Mediation 1.000, Contracting 0.999. 본문: 협력 결과 빈도 90%–100% | Reputation은 Fitness 계산 불가라 이 결론에서 빠짐. 저자는 탈중앙적이고 약속에 기대지 않는 Repetition이 특히 인상적이라고 평가 | author-stated |
| 균등 인구 성적과 진화 후 성적은 다를 수 있다 | Figure 3, Section 6 RQ3 | PublicGood × Contract에서 Qwen-30B는 균등 인구 2위 → replicator dynamics 후 끝에서 2위 | 한 예시(게임·메커니즘 1조합). 추가 예시는 Appendix F | author-stated |
| Gemini 3 모델이 전반적으로 가장 좋다 | Section 1 highlight 5, Section 6 RQ4, Table 2 | Gemini-R·Gemini-B가 Mean이든 다른 두 지표든 비슷한 상대 성적. 예: Contracting Mean Gemini-R 1.055, Gemini-B 1.138. Mediation DR Gemini-R 2.4 | Contract의 Mean이 1을 넘는 것은 부수지급으로 다른 플레이어에게서 효용을 받은 결과로 보인다 | author-stated(순위) / analyst-inference(1 초과 해석, Section 3 각주 6 근거) |
| GPT-4o가 뚜렷하게 가장 나쁘다 | Section 6 RQ4, Table 2 | NoMechanism Mean −0.132, DR 5.4. Mediation Mean 0.243, Fitness 0.251, DR 5.5 | 지배 행동임을 알면서도 “예측 불가능하게 남으려고” 무작위 행동을 내는 사례 관찰 | author-stated |
| Claude는 Contract에서 때로 지나치게 착하다 | Section 6 RQ4, Table 2 | Contracting Mean 0.557±0.289(분산 큼), Fitness 0.798 | 이 문제는 replicator dynamics로 가끔 배신하는 GPT-4o·Qwen-30B의 비중이 줄면 해소된다고 저자 서술 | author-stated |
| Reputation은 Repetition보다 훨씬 덜 효과적이다 | Section 6 RQ5, Table 2 | Mean: Repetition 0.587 vs Reputation- 0.321 / Reputation+ 0.227 | 간접 호혜성 상황에서 사람이 더 준다는 Dufwenberg et al.(2001)과 대비. 단 그 연구는 교대 신뢰 게임과 upstream 간접 호혜성이라 직접 비교는 아님(각주 10) | author-stated |
| 고차 평판 정보는 협력에 득보다 해가 크다 | Section 6 RQ5, Table 2 | Reputation-(0.321) > Reputation+(0.227) | “혹은 우리의 언어 표현이” 문제일 수 있다고 저자가 단서를 단다 | author-stated |
| Reputation은 δ·k가 작을수록 오히려 효과적, Repetition은 둔감 | Section 6 RQ5, Appendix H(Table 8) | k ∈ {2,3,4}, δ ∈ {0.7,0.8,0.9}, Prisoners에서 | 반직관적 결과. k는 긴 이력 처리 약점 가능성, δ는 원래 협력 유인을 줄여야 함. Prisoners만 | author-stated |
| Reputation 첫 판에 무임승차가 많다 | Section 6 RQ5, Appendix J | PublicGood·Travelers에서 Gemini 제외 50%–100% 무임승차·가격 깎기. 지난 판 배신한 상대에게는 배신률 80%–100% | LLM이 이력 없는 상대보다 지난 판 협력한 상대에게 덜 협력하기도 함 | author-stated |
| Reputation에서 불확실성 정당화가 유난히 많다 | Section 6 RQ5, Figure 2 | 상대 의도·전략 불확실성 정당화 58%. Reciprocity 정당화는 Repetition에서 가끔(주로 Gemini-R·Claude), Reputation에서는 나타나지 않음 | GPT-5.2 판정자 기준 | author-stated |
| 중재자 위임이 Nash equilibrium인 비율 | Section 6 RQ6, Figure 18(Appendix L) | Trust·Prisoners 80–89%. Travelers·PublicGood에서는 약 22% 하락 | GPT-4o와 (Qwen-30B 또는 GPT-5.2)의 제안이 실패하기 쉬워서 | author-stated |
| 계약 제안은 약지배 협력도 자주 만든다 | Section 6 RQ6, Figure 18 | 약지배 기준 성공률 PublicGood 94%, Prisoners 81%. Trust는 Claude 83% 외 모든 모델 50%–67% | Travelers에서 Claude는 Nash 수준 성공만 가능성 높음 | author-stated |
| 좋은 제안 하나면 대개 충분하다 | Section 6 RQ6, Appendix K | 70%–90% 회차에서 최소 한 제안이 전원 찬성을 받음(예외: Mediation × PublicGood, Contract × Trust). 승리 계약은 더 높은 비율로 전원 수락 | — | author-stated |
| 초기 이질 인구에서 Contract > Mediation, 진화 후 비슷 | Section 6 RQ6, Table 2 | GPT-4o·Qwen-30B가 승리 중재자에게 일관되게 위임하지 못함 | 진화 후 Fitness Mediation 1.000 vs Contracting 0.999 | author-stated |
| Contract는 약한 모델에 너무 복잡할 수 있다 | Section 6 RQ4 | Stag Hunt에서 GPT-4o·Qwen-30B에 대해 협력 문제를 못 푼 유일한 메커니즘이 Contract | 저자는 “위험을 시사할 수 있다”는 수준으로 서술 | author-stated |
| 협력의 정당화는 이타심이 아니라 자기 이익이다 | Section 6 RQ2, Figure 2 | 각 메커니즘에서 협력의 가장 흔한 부분 정당화는 Individual Utility Maximization과 Strategic Equilibrium Focus. PublicGood에서 자기 이익 최대화 약 90% | 무메커니즘에서는 사회 후생·신뢰 논거가 거의 없음(Gemini-R 일부 예외) | author-stated |
세 결과가 맞물린다. 메커니즘이 없으면 모두 배신하고 진화는 이를 악화시킨다(RQ1). 메커니즘을 넣으면 균등 인구에서는 메커니즘 간 차이가 크지만(RQ2), 진화 압력이 협력하는 모델을 살아남게 하면서 Repetition·Mediation·Contract는 모두 거의 완전 협력에 도달한다(RQ3). 즉 균등 인구의 Mean 격차 상당 부분은 GPT-4o·Qwen-30B처럼 메커니즘을 잘 다루지 못하는 모델이 섞여 있어서 생긴 것으로 읽힌다(analyst-inference, RQ6의 위임 실패 설명과 Table 2 모델별 값 근거).
Take-home
핵심 메시지: 단발 사회적 딜레마에서 최신 LLM은 거의 100% 배신하지만, 계약·중재·반복 같은 게임 규칙 변경을 넣으면 이기적 목표만 준 LLM끼리도 협력하며, 진화 압력은 이 협력을 약화시키지 않고 강화한다. 다만 이론상 동등한 메커니즘도 실제 효과는 크게 다르다(Contracting Mean 0.801 vs Reputation+ 0.227).
결론이 성립하는 범위
- 6개 모델(Claude Sonnet 4.5, GPT 5.2, Gemini 3 Flash 두 설정, GPT-4o, Qwen3-30B-A3B-Instruct)과 4개 정규형 딜레마(+Stag Hunt), 2–3인 게임에서만 확인됐다.
- 메커니즘 파라미터는 본실험 k = 3, δ = 0.8. ablation은 Prisoners에서만.
- Mediation·Contract는 “LLM이 제안 → 투표”라는 특정 설계다. 투표를 빼고 모든 제안을 보여 주면 제안이 비슷할 때 조정 문제가 생긴다고 저자는 설명한다(Appendix C).
- Fitness·DR의 결론은 Reputation을 포함하지 않는다.
저자가 인정한 한계(author-stated)
- 개별 실험 조합 단위로는 통계적으로 유의하지 않을 수 있고, 집계 결과로 신호를 얻는다(Section 5).
- Reputation의 상대 순서 무작위성은 피할 수 없는 분산원이다(Section 3).
- Contract는 덜 유능한 모델에게 지나치게 복잡할 수 있다(Section 6 RQ4).
- 범위 밖: 순차적 사회적 딜레마, open-source game playing·preplay·gifting 같은 다른 메커니즘, fine-tuning·scaffold로 일부러 만든 에이전트에 대한 견고성(Section 7).
- Impact Statement: “협력”이 다른 에이전트의 효용을 무시하는 담합(collusion)이 될 수 있으므로 주의해서 쓰라고 권한다.
작성자가 보는 우려(analyst-inference)
- 지시가 “자기 총점 최대화”로 고정돼 있어, 이 결과는 기본 성향이 아니라 목표가 명시된 합리적 플레이에서의 협력이다.
- Table 2의
±정의가 원문에 없어 메커니즘 간 차이의 불확실성 크기를 정확히 해석하기 어렵다. - 정당화 분석은 단일 판정자(GPT-5.2) 의존이며, GPT-5.2는 피험 모델이기도 하다.
- 모델 수가 6개라 DR 순위(1–6)와 replicator dynamics 결과가 모델 구성에 민감할 수 있다. 저자도 DR의 clone-invariance를 장점으로 들지만, 다른 모델이 추가될 때의 안정성은 실험하지 않았다.
재현성: 각 조합 3회 반복, temperature 1, replicator dynamics learning rate 0.1·1000 step, T = 15. 코드와 벤치마크는 오픈소스로 공개(https://xiao215.github.io/CoopEval/). 전체 프롬프트는 Appendix N(Listing 1–17).
본문 도표
Figure 1 — 네 가지 협력 메커니즘 도식
- 무엇을 보여주는가: Repetition, Reputation, Mediation, Contracting 네 메커니즘의 구조를 그림으로 비교한다.
- 읽는 법: 네 칸 각각이 한 메커니즘. Repetition은 같은 두 플레이어(A, B)가 1st → 2nd → n-th 판을 이어 가며 이력 표를 쌓는다. Reputation은 플레이어 A가 판마다 다른 상대(B, C, …)를 만나며 상대의 과거 기록을 본다. Mediation은 A·B가 “Direct”로 직접 두거나 중재자에게 넘긴다. Contracting은 A와 B 사이에 계약 문서가 끼어 보상표를 바꾼다.
- 핵심 관찰: 캡션 정의 — Repetition은 같은 상대와 반복하고 전략이 과거 행동 이력에 의존할 수 있다. Reputation은 매 판 새 상대와 짝지어지고 그들의 과거 상호작용을 본다. Mediation은 제3자 중재자에게 결정을 위임하고, 중재자는 누가 위임했는지에 따라 행동한다. Contract는 행동 조건부 영합 효용 이전에 합의한다.
- 의미와 주의: 네 메커니즘 모두 원래 행동을 막지 않는 “얇은 수정”이라는 점이 핵심 설계 원칙이다(
author-stated, Section 1). 그림에는 Reputation-/+의 구분이 표시돼 있지 않다(analyst-inference). - 확인 상태: viewed
Table 1 — 네 가지 사회적 딜레마의 보상표
- 무엇을 보여주는가: 실험에 쓴 Prisoners, Travelers, Trust, PublicGood(3인)의 보상 행렬.
- 읽는 법: 행은 P1 행동, 열은 P2 행동, 칸은 (P1 보상, P2 보상). PublicGood은 P3의 C/D로 두 블록을 나누고 칸은 (P1, P2, P3) 보상.
- 핵심 관찰: (a) Prisoners: CC (2,2), CD (0,3), DC (3,0), DD (1,1). (b) Travelers: 5 4×4, 둘 다 2면 (2,2). (c) Trust: CC (10,10), CD (0,20), DC (6,2), DD (4,4)로 비대칭. (d) PublicGood: 모두 C면 (3/2, 3/2, 3/2), 모두 D면 (1,1,1).
- 의미와 주의: 모두 협력 > 모두 배신이지만 개인으로서는 배신(또는 가격 깎기)이 유리한 구조다. Travelers는 반복 약지배 제거, Trust는 한 단계 반복 지배 제거, Prisoners·PublicGood은 엄격 지배로 풀린다는 차이가 “견고한 협력의 서로 다른 구성 요소”를 시험한다(
author-stated, Section 2). Table 2의 0/1 정규화 기준점(모두 배신/모두 협력)이 이 표에서 나온다(analyst-inference). - 확인 상태: viewed
Table 2 — 네 딜레마 집계 결과 (Mean, Fitness, DR)
- 무엇을 보여주는가: 메커니즘(행 묶음) × LLM(열)별 세 지표. 이 논문의 중심 결과표.
- 읽는 법: 행 묶음은 NoMechanism, Repetition, Reputation-, Reputation+, Mediation, Contracting. 각 묶음 안에 Mean(↑), Fitness(↑), DR(↓, 순위). Reputation은 Mean만. 첫 열 “LLM Average”는 해당 인구 분포로 가중한 평균이며 파랑(0=모두 배신 쪽)~주황(1=모두 협력 쪽) 색 막대로 표시. 강한/약한 성적은 굵게/회색. 보상은 0=모두 배신, 1=모두 (가장) 협력적 행동으로 재척도.
- 핵심 관찰: LLM Average Mean은 NoMechanism 0.072 → Reputation+ 0.227 → Reputation- 0.321 → Repetition 0.587 → Mediation 0.695 → Contracting 0.801. Fitness는 NoMechanism 0.021이지만 Repetition 0.992, Mediation 1.000, Contracting 0.999. 모델별로 GPT-4o가 거의 모든 행에서 최하위(예: Mediation Mean 0.243, DR 5.5). Gemini-B의 Contracting Mean은 1.138로 1을 넘는다. 예외: Reputation-의 Mean 최고는 Qwen-30B(0.399)이고 Gemini-B는 0.200으로 낮다.
- 의미와 주의: 메커니즘 효과의 차이와 진화 후 수렴을 한 표로 보여 준다(
author-stated). DR의 LLM Average는 정의상 항상 3.5라 정보가 없다(analyst-inference).±의 정의는 캡션에 없다. Gemini 우위는 Reputation 행에서는 성립하지 않는다(analyst-inference, 표 판독). - 확인 상태: viewed
Figure 2 — 메커니즘별 정당화 프로필 (레이더 차트)
- 무엇을 보여주는가: 15개 정당화 범주 중 많이 나온 8개가 LLM의 결정 이유에 등장한 평균 빈도를 메커니즘별로 겹쳐 그린 radar chart.
- 읽는 법: 축 8개 = Individual Utility Maximization, Strategic Equilibrium Focus, Strategic Influence, Uncertainty Evaluation, Multidimensional Reasoning, Trust Evaluation, Risk Aversion, Social Welfare Maximization. 반지름 = 등장 빈도(25/50/75/100% 동심원). 선 6개 = NoMechanism, Repetition, Reputation-, Reputation+, Mediation, Contracting.
- 핵심 관찰: 모든 메커니즘에서 Individual Utility Maximization이 가장 길고(그래프 판독상 대략 75%–90%), Strategic Equilibrium Focus가 그다음이다. Mediation은 Strategic Equilibrium Focus 축이 가장 길다. Repetition·Reputation 선만 Strategic Influence와 Trust Evaluation 쪽으로 넓게 퍼지고, Reputation은 Uncertainty Evaluation이 두드러진다(본문 수치 58%). Social Welfare Maximization은 모든 메커니즘에서 작다. (축 값은
analyst-inference, 그래프 판독) - 의미와 주의: 협력이 늘어난 메커니즘에서도 이유는 이타심이 아니라 자기 이익·균형 계산이라는 저자 해석을 뒷받침한다(
author-stated, Section 6 RQ2). 판정자는 GPT-5.2 하나, Gemini-B 제외, Mediation·Contract는 마지막 결정 시점 CoT만 반영(Appendix G). - 확인 상태: viewed
Figure 3 — PublicGood × Contract의 replicator dynamics 예시
- 무엇을 보여주는가: 균등 인구에서 시작한 LLM 사회가 1000 step 동안 어떻게 변하는지(위)와 각 LLM의 적합도가 어떻게 변하는지(아래).
- 읽는 법: 위 패널 “Population Evolution Over Time” — x축 Time Step(0–1000), y축 Population Share(0–1), 모델별 색 띠 누적 면적. 아래 패널 “Fitness Trajectories Over Time” — x축 Time Step, y축 Fitness Value(원래 보상 척도, 그림에서 약 1.3–1.5 구간, 축 아래 “NE → 1” 표시로 Nash 균형 보상 1까지 생략). 별표(*)가 붙은 Qwen-30b는 굵은 실선, 나머지는 점선.
- 핵심 관찰: 위 — Gemini-R, GPT-4o, Qwen-30B의 비중이 줄어 결국 밀려나고 Claude, Gemini-B, GPT-5.2가 남는다(캡션). 아래 — Qwen-30B의 적합도가 처음 약 1.49 근처에서 약 1.445로 떨어지는 반면 다른 모델들은 오르거나 유지된다(값은
analyst-inference, 그래프 판독). 본문: Qwen-30B는 균등 인구 2위 → replicator dynamics 후 끝에서 2위. - 의미와 주의: 균등 인구 평균(Mean)과 적응 인구 적합도(Fitness)가 다른 순위를 줄 수 있다는 것, 즉 Mean만으로 모델을 평가하면 오해할 수 있음을 보여 준다(
author-stated, Section 6 RQ3). 한 게임·한 메커니즘의 예시이며, 추가 예시는 Appendix F(번호 없는 그림들)에 있다. - 확인 상태: viewed
Wiki 연결
- PropensityBench - Evaluating Latent Safety Risks in Large Language Models via an Agentic Approach (v3) — 같은 다중 압력 하 LLM 에이전트 행동 평가 계열. 성향(propensity)을 재는 PropensityBench와 달리 CoopEval은 메커니즘 설계로 행동을 바꾸는 쪽을 잰다.
- Deviation Ratings - A General Clone-Invariant Rating Method — 이 논문이 순위 지표(DR)로 쓰는 평가 방법의 원 논문
- SODE - Analyzing Social Dynamics in LLM Agents — 조건부 협력(상대·평판·관찰 여부에 따른 차이)을 지표로 쪼갠 LLM 분석
BibTeX
@inproceedings{tewolde2026coopeval,
title = {CoopEval: Benchmarking Cooperation-Sustaining Mechanisms and LLM Agents in Social Dilemmas},
author = {Tewolde, Emanuel and Zhang, Xiao and Guzman Piedrahita, David and Conitzer, Vincent and Jin, Zhijing},
booktitle = {Proceedings of the 43rd International Conference on Machine Learning},
series = {PMLR},
volume = {306},
year = {2026},
eprint = {2604.15267},
archivePrefix = {arXiv}
}