Shapley-Coop: 자기 이익을 좇는 LLM 에이전트의 협력을 끌어내는 기여도 배분

개요

역할과 순서가 미리 정해진 멀티에이전트 시스템에서는 LLM이 협업을 잘하지만, 규칙이 없는 열린 환경에 두면 각 에이전트는 자기 보상만 챙기다가 아무도 손해 보는 일을 하지 않는 **사회적 딜레마(social dilemma)**에 빠진다. 예를 들어 한 명이 레버를 당기면(−1) 다른 한 명이 문으로 탈출해 +10을 얻는 방에서, 각자 계산만 하면 아무도 레버를 당기지 않아 둘 다 갇힌다. 이 논문이 짚은 것은 문제의 핵심이 “협력하자는 말”이 아니라 **credit assignment(기여도 배분: 누가 결과에 얼마나 기여했는지 공정하게 따지는 일)**와 그에 맞는 **pricing mechanism(가격 메커니즘: 기여에 따라 보상을 주고받게 해 개인 목표와 팀 목표를 맞추는 장치)**이라는 점이다. 사람 사회가 고용 계약이나 하청처럼 “얼마를 줄 테니 이걸 해 달라”로 같은 문제를 푸는 것처럼, 에이전트에게도 값을 매기는 근거가 있으면 된다. 그 근거로 저자들은 협력 게임 이론의 **Shapley value(샤플리 값: 가능한 모든 팀 구성에 합류했을 때 한 사람이 더해 주는 몫의 가중 평균)**를 고른다. 해법은 두 단계 사고 사슬이다. 과제 도중에는 Short-Term Shapley CoT가 “내 행동이 남에게 이득(양의 외부효과)인가 손해(음의 외부효과)인가”만 정성적으로 판단해 보상을 요구할지 줄지를 정하고, 과제가 끝나면 Long-Term Shapley CoT가 실제 궤적에서 각자의 한계 기여를 계산해 최종 보상을 다시 나눈다. 여기에 <s>I propose transferring {reward} because {reasoning}</s> 같은 정형 협상 문구를 붙였다. DeepSeek-v3로 돌린 Escape Room에서 협상만 하는 LLM+NEG는 성공률 25%, 아무 장치 없는 LLM-only는 0%였지만, Short-Term만 쓴 LLM+STS와 전체 Shapley-Coop(LLM+SC)는 100% 성공했다. 차이는 공정성에서 났다. 두 에이전트의 보상 차이가 STS는 평균 1.52, SC는 0.38이었다. 4명이 보스를 잡는 Raid Battle에서도 SC의 보상 배분은 Shapley 기준값에서 덜 벗어났다(예: Level 2 탱커 Agent 1의 부족분 STS −6.26%p vs SC −1.93%p).

Implication: 이기적인 LLM 에이전트를 협력시키려면 “착하게 굴라”는 지시보다 기여를 값으로 바꿔 주고받게 하는 경제적 장치가 효과적일 수 있다. 다만 이 논문의 Shapley 계산은 LLM이 말로 추정한 근사치이고, 실험 규모가 작아 재현 근거는 아직 약하다.

📎 https://arxiv.org/abs/2506.07388

배경과 문제

왜 어려운가. 저자들은 LLM 에이전트가 게임, 소프트웨어 개발, 의료, 교육 등에서 성과를 냈지만, 명시적 규칙과 역할이 없고 목표가 서로 부딪치는 열린 환경에서는 자발적 협력이 어렵다고 말한다. 각자 자기 이익만 좇으면 사회적 딜레마에 빠져 집단 결과가 나빠진다는 것이다(author-stated, Section 1, [26, 33]).

기존 접근의 세 갈래와 한계 (author-stated, Section 1).

rule-oriented: 엄격한 행동 제약을 걸어 협력시키지만 에이전트의 자율성을 해친다 [4, 44, 45].
role-oriented: 고정 역할을 배정한다(AgentVerse [5], MetaGPT [14], ChatDev [27] 등). 동적 환경에 적응하기 어렵다.
model-oriented: 목표가 이미 일치한다고 가정하므로 실제 이해 충돌을 다루지 못한다 [19, 24, 40].

저자들은 이 셋 모두 “서로 다른 목표를 맞추는 일”과 “공정한 기여도 배분”을 정면으로 다루지 않았다고 본다.

아이디어의 계보. 사회과학이 고용 계약·하청·구조화된 협상으로 같은 조정 문제를 풀어 왔고, 경제학은 Pigovian tax(외부효과에 세금을 매기는 방법) [2]와 Coase theorem(거래 비용이 낮으면 당사자 간 협상으로 외부효과를 해결할 수 있다는 정리) [10]으로 이를 이론화했다는 것이 출발점이다(author-stated, Section 1). 기여도 측정 도구로는 협력 게임 이론의 Shapley value를 가져온다(Section 2). 부록 A는 LLM을 게임 이론으로 평가한 연구 흐름(LLM은 경쟁 상황에서는 잘하지만 협력 상황에서 어려움을 겪는다는 결과 [13, 25])과 workflow로 LLM의 불안정성을 보완하는 연구 흐름을 배경으로 든다(author-stated, Appendix A). 이 논문은 후자 계열에 “Shapley CoT를 넣은 workflow”를 더한 것으로 자리 잡는다.

이 논문의 질문. (1) 이기적인 에이전트의 서로 다른 목표를 맞추는 가격 메커니즘을 어떻게 세우는가, (2) 목표가 맞춰진 뒤 실제 기여를 정확히 반영하는 보상 배분을 어떻게 보장하는가(author-stated, Section 1).

지표

이 논문은 환경마다 다른 지표를 쓴다. 공통 지표는 없고, 대부분의 지표는 수식 정의 없이 그림 축 이름이나 표 열 이름으로만 나온다. 아래에서 원문에 정의가 있는 것과 없는 것을 구분했다.

지표	무엇을 세는가	단위·범위	방향	분모·정규화	측정 조건	위치
Success (Escape Room)	탈출에 성공한 시행 비율	%	높을수록 좋음	시행 수(몇 회인지 보고되지 않았다)	DeepSeek-v3, 2 에이전트, 4개 구성	Figure 3(a) 그림 안 라벨
Individual Payoff	에이전트별 최종 보수. 기준선은 Shapley 기준 공정 몫 4.5 (“Optimal Payoff (4.5)“)	보수 점수(−1~10)	4.5에 가까울수록 공정	없음(시행별 값의 분포)	위와 같음	Figure 3(a), Section 2
Neg. Rounds	합의까지 걸린 협상 라운드 수	라운드(평균, 오차 막대)	낮을수록 효율적(`analyst-inference`)	시행 평균	LLM+SC, LLM+STS만	Figure 3(b)
Payoff Diff.	두 에이전트 보수의 차이. 정확한 식(절댓값 여부 등)은 보고되지 않았다	보수 점수	낮을수록 공정	시행 평균	LLM+SC, LLM+STS만	Figure 3(b)
Contribution Score (Raid Battle)	에이전트별 Damage + Healing + Taunt 합. Taunt는 한 번에 보스 피해 300을 막는 것으로 계산된다(Section 4 본문의 “blocking 300 boss damage per action”, 부록 표의 Taunt 값이 300의 배수)	점수(HP 단위로 보임)	높을수록 팀 기여 큼	부록 표의 세 값 평균이 그림 막대 값과 일치(`analyst-inference`: 예 Level 1 A1 NEG = (168+224.3+0) ≈ 392)	Boss HP 2000/2500/3000, 10턴 제한	Figure 4, Tables 4–6
Reward Allocation (%) Actual vs Expected	협상으로 실제 나눈 보상 몫(Actual)과 Shapley 기준 몫(Expected)의 차이. 표에서 괄호 값이 Actual − Expected(%p)	% (네 에이전트 합 100)	차이의 절댓값이 작을수록 정확	팀 총보상 대비 비율	LLM+STS vs LLM+SC	Figure 5, Tables 4–6
Global reward $R$ (Raid Battle)	$R = 100 \cdot (1 - \frac{∣ Dead Heroes ∣}{∣ Heroes ∣}) \cdot (1 - \frac{Total Turns}{Max Turns})$ . 생존율과 속도를 함께 본다	0–100	높을수록 좋음	영웅 수, 최대 턴(10)	보스 처치 시에만 지급	Appendix B.1
WEV (weighted earned value)	역할 $r$ 의 산출물 종류별 점유율에 표준 가중치를 곱해 더한 값: $WEV_{r} = \sum_{i \in {code, dec, doc, fix}} \frac{θ _{r, i}}{\sum _{k} θ _{k, i}} w_{i}$	% 범위(가중치 범위 때문에 하한–상한으로 나옴)	기준값(높고 낮음이 아니라 보상의 목표치)	산출물 종류별 전체 역할 합으로 나눔	ChatDev, BMI Calculator·ArtCanvas	Section 4 ChatDEV, Table 3
Adj. (%) (minimal adjustment)	배정된 Reward(%)를 WEV 범위 안으로 넣는 데 필요한 최소 조정량. 범위 안이면 0	%p, 부호 있음	0에 가까울수록 정렬	—	위와 같음	Table 3

지표별 주의점.

Shapley 기준값 자체의 계산 방법. Raid Battle의 “Expected (%)“를 어떻게 계산했는지(가능한 모든 coalition을 실제로 다시 돌렸는지, 궤적에서 추정했는지)는 본문과 부록 어디에도 설명되어 있지 않다(author-stated 부재 확인, Section 4·Appendix B). 기준값이 불투명하므로 “SC가 기준에 더 가깝다”는 결과도 그만큼 해석이 제한된다(analyst-inference).
Level 3 기준값 불일치. 같은 Raid Battle Level 3인데 Table 6의 Expected(27.89 / 24.87 / 23.52 / 23.70)와 Table 7의 Expected(27.03 / 27 / 22.26 / 23.71)가 다르다(analyst-inference, Appendix B.1 표 대조).
Contribution Score는 설계자의 가치 판단을 담는다. Taunt를 “막아 준 피해 300”으로 환산하므로, Taunt를 많이 하도록 유도된 SC 구성이 이 점수에서 유리해지는 구조다. 팀 승리나 Global reward $R$ 자체는 결과로 보고되지 않았다(analyst-inference, Section 4·Appendix B.1).
WEV는 Shapley가 아니다. ChatDev에서 쓴 기준은 프로젝트 관리 지표 WEV이고, 가중치 범위( $w_{co d e} = 0.27 \sim 0.40$ , $w_{d ec} = 0.15 \sim 0.35$ , $w_{d oc} = 0.05 \sim 0.15$ , $w_{f i x} = 0.15 \sim 0.25$ )를 COCOMO II [23], COCOMO [3], CSBSG [41]에서 가져왔다(author-stated). 가중치 범위가 넓어 WEV가 구간(예: CEO 7.5–17.5%)으로 나오므로 “범위 안이면 Adj. 0”이 되기 쉽다(analyst-inference). Programmer 행은 식으로 재계산하면 맞는다: code 점유율 45/52, fix 점유율 3/6 → 하한 0.865×0.27+0.5×0.15≈30.9%, 상한 0.865×0.40+0.5×0.25≈47.1%(analyst-inference, 검산).
Reward(%)의 출처가 모호하다. 본문은 Table 3의 비교 대상을 “human-assigned rewards”라고 부르는데, 표 제목은 “allocated reward”이고 결론은 “Shapley-Coop의 공정 배분 능력을 검증했다”고 쓴다. Reward(%)가 Shapley-Coop 에이전트의 협상 결과인지 사람이 정한 값인지 원문에서 명확하지 않다(analyst-inference, Section 4 ChatDEV).

방법과 벤치마크 구성

문제 설정 (Section 2)

에이전트 $N$ 개가 각자 지역 상태 $s^{i}$ 를 보고 행동 $a^{i}$ 를 하며 자기 보상 $r^{i}$ 를 최대화한다. 전체 보상은 $R (π_{θ^{1}}, \dots, π_{θ^{N}})$ 이다. 개인 보상과 전체 보상이 어긋나는 것을 저자들은 **heterogeneous goals(서로 다른 목표)**라 부른다(author-stated).

Shapley value. coalition(연합) $C$ 의 보상을 $R (C)$ (식 1), 에이전트 $i$ 의 한계 기여를 $Δ_{i} (C) = R (C \cup {i}) - R (C)$ (식 2)라 할 때,

$ϕ_{i} = \sum_{C \subseteq {1, \dots, N} ∖ {i}} \frac{∣ C ∣ ! ( N - ∣ C ∣ - 1 )!}{N !} (R (C \cup {i}) - R (C)) (식 3)$

즉 무작위 순서로 팀에 합류할 때 $i$ 가 더해 주는 몫의 평균이다(author-stated, Section 2).

Escape Room 예시. Table 1의 보수 행렬에서 협력 없이 각자 계산하면 아무도 움직이지 않는 Nash 균형(전체 보수 0)에 머문다고 저자들은 쓴다. Shapley 값으로 나누면 두 에이전트 모두 $ϕ = 4.5$ 이므로, +10을 받은 쪽이 −1을 낸 쪽에 5.5를 넘겨 $- 1 + 5.5 = 4.5$ , $10 - 5.5 = 4.5$ 가 된다(author-stated, Section 2, Table 2). 4.5가 나오려면 혼자일 때의 가치 $v ({A g e n t_{i}}) = 0$ 이어야 하는데, 이 값은 명시되어 있지 않다(analyst-inference).

Shapley-Coop의 세 모듈 (Section 3, Figure 2)

Structured Negotiation Protocol(정형 협상 프로토콜). <s>...</s> 태그로 기계가 읽을 수 있게 만든 세 가지 문장 틀이다. 의도 알림 <s>I propose to {action}</s>, 가격 제안 <s>I propose transferring {reward} because {reasoning}</s>, 응답 <s>I {agree|disagree|counter-propose} because {reasoning}</s>(author-stated).
Short-Term Shapley CoT(과제 도중, 정성적). “가격을 매길 필요가 있는가”를 정한다. 세 단계다.
- (1) 전원 협력 시 얻을 집단 보상을 LLM이 정성적으로 짐작한다: $\tilde{R} (N) \approx LLM (s_{t}, {a_{j}^{t}}_{j \in N})$ (식 4).
- (2) 내 행동의 externality(외부효과: 내 행동이 남의 효용을 올리거나 깎는 정도) 부호 $E_{i}^{t} \in {+, -}$ 를 LLM이 판단한다. 수치 계산 없이 한계 기여의 부호만 근사한다(식 5–6).
- (3) 음의 외부효과면 상대에게 보상을 제안하고, 양의 외부효과면 상대에게 보상을 요구한다(author-stated, Section 3).
Long-Term Shapley CoT(과제 후, 정량적). “얼마를 주고받을 것인가”를 정한다. 완료된 궤적 $τ_{N} = {s^{0}, {a_{j}^{0}}, {r_{j}^{0}}, \dots, s^{T}}$ 를 놓고 네 단계를 밟는다.
- (1) 집단 결과 $R (N, τ_{N}) = \sum_{t = 0}^{T} \sum_{j \in N} r_{j}^{t}$ (식 7). 프롬프트상 “external calculation function”을 부른다.
- (2) 한계 기여 $Δ_{i} (N, τ_{N}) = R (N, τ_{N}) - R (N / {i}, τ_{N})$ (식 8).
- (3) Shapley 값 $ϕ_{i} (τ_{N})$ (식 9).
- (4) 추정한 Shapley 값을 근거로 재분배를 제안·수락·거절·수정한다(author-stated, Section 3).

한계 기여를 실제로 어떻게 추정하는가. 원문은 식 8의 $R (N / {i}, τ_{N})$ (같은 궤적에서 $i$ 가 빠졌을 때의 보상)을 어떻게 구하는지 설명하지 않는다. 예시 프롬프트에 “(call function)“이라고만 적혀 있다(author-stated 부재, Section 3). 또 식 9는 합 안의 항이 coalition $C$ 와 무관한 $Δ_{i} (N, τ_{N})$ 이다. 가중치 $\frac{∣ C ∣ ! ( N - ∣ C ∣ - 1 )!}{N !}$ 를 모든 $C$ 에 대해 더하면 1이므로, 식 9를 글자 그대로 계산하면 $ϕ_{i} (τ_{N}) = Δ_{i} (N, τ_{N})$ , 즉 leave-one-out(한 명만 뺀 차이) 기여와 같아진다(analyst-inference, 식 9 검산). 식 3의 진짜 Shapley 값과는 다를 수 있다.

실험 구성 (Section 4, Appendix B)

비교 구성은 네 가지다(author-stated, Section 4).

LLM-only: 협상·협력 장치 없음
LLM+NEG: Shapley 추론 없는 일반 협상
LLM+STS: Short-Term Shapley CoT만
LLM+SC: 전체 Shapley-Coop

환경	구성	조건	위치
Escape Room	2 에이전트, 레버(−1)·문(+10)	DeepSeek-v3만 사용. 네 구성 모두 비교	Section 4, Figure 3
Raid Battle	영웅 4명 vs 보스. 기술은 Taunt(다음 공격을 자신에게 유도), Fireball(평균 100–150 범위의 Gaussian 피해), Heal(150–200 범위 회복). 지역 보상은 Fireball 2점, Taunt·Heal 0.5점이라 딜만 하고 싶어지는 딜레마가 생긴다. 아무도 Taunt하지 않으면 보스는 HP가 가장 낮은 두 영웅을 공격한다	Level 1/2/3 = Boss HP 2000/2500/3000, 10턴 안에 못 잡으면 패배. Figure 4는 NEG vs SC, Figure 5는 STS vs SC만 비교	Section 4, Appendix B.1
ChatDev	CEO·CTO·CPO·Programmer·Reviewer·Counselor 역할의 가상 소프트웨어 회사 [27]	과제 두 개: BMI Calculator, ArtCanvas. 다른 구성(NEG, STS)과의 비교 없음	Section 4, Appendix B.2

실행 환경: 24코어 CPU·32GB DRAM 가상 머신에서 API 호출만 사용, GPU 미사용(author-stated, Appendix B).
Raid Battle과 ChatDev에 쓴 LLM 이름은 보고되지 않았다. Escape Room만 DeepSeek-v3로 명시되어 있다.
시행 횟수(seed, episode 수)는 보고되지 않았다. Raid Battle 부록 표의 각 칸이 세 값의 묶음이라 3회 실행으로 보이지만 원문에 설명은 없다(analyst-inference).

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
장치가 없으면 사회적 딜레마에 빠진다	Figure 3(a), Section 4	LLM-only Success 0%, 두 에이전트 모두 −1	DeepSeek-v3, 시행 수 미보고	author-stated
일반 협상만으로는 협력이 가끔만 성공한다	Figure 3(a)	LLM+NEG Success 25%. 성공한 시행은 보수가 10과 −1로 갈린다(재분배 없음)	그래프 판독	author-stated(25%) / analyst-inference(10·−1 분포)
Short-Term Shapley CoT만으로도 협력은 생긴다	Figure 3(a)	LLM+STS Success 100%	공정성은 떨어진다(다음 행)	author-stated
STS는 먼저 합의한 쪽이 더 가져가 불공정하다	Figure 3(a)(b), Section 4	STS Payoff Diff. 1.52 vs SC 0.38. STS의 Agent 1 보수는 최대 약 7.25, Agent 2는 최저 약 1.75까지 퍼진다	개별 점 범위는 그래프 판독	author-stated(1.52·0.38) / analyst-inference(분포 범위)
전체 Shapley-Coop은 협력과 공정성을 모두 얻고 협상도 짧다	Figure 3(a)(b)	SC Success 100%, 두 에이전트 보수가 4.5 근처에 모인다. Neg. Rounds SC 1.45 vs STS 2.15	오차 막대만 있고 통계 검정 없음	author-stated
Raid Battle에서 SC는 NEG보다 팀 기여 점수가 높다	Figure 4, Tables 4–6	평균 Contribution Score: Level 1 525→1021(+94%), Level 2 647→1290(+99%), Level 3 941→1465(+56%)	Taunt 300 환산이 SC에 유리한 구조(지표 절). Level 3 A4는 +5%, A3는 +12%로 개선 폭이 작다	author-stated(그림 라벨)
NEG는 딜만 하고 Taunt를 소홀히 한다	Section 4, Figure 4	Level 1 NEG에서 Taunt는 A3의 300 한 번뿐이고, SC는 네 명이 Taunt를 나눠 맡는다	Table 4 값	author-stated / analyst-inference(표 판독)
STS는 지원 역할의 기여를 체계적으로 과소평가한다	Figure 5, Section 4, Tables 4–6	Agent 1(주 탱커) −4.52%p(Level 1), −6.26%p(Level 2), Agent 4(주 힐러) −3.70%p(Level 3)	기준값(Expected) 계산 방법 미공개	author-stated
SC의 배분 오차가 STS보다 작다	Tables 4–6	네 에이전트 평균 절대 오차: Level 1 STS 2.26 vs SC 0.45, Level 2 3.13 vs 1.59, Level 3 1.95 vs 0.88(%p)	평균은 노트 작성자 계산. 반례: Level 2 SC도 A4 +2.90, A1 −1.93으로 1%p를 넘는다. Level 3 A3는 두 구성 모두 −0.19로 같다	analyst-inference
협상 라운드가 늘수록 Shapley 값에 수렴한다	Table 7 (Appendix B.1)	Level 3 Agent 1: 22%→24%→27% (Expected 27.03%)	Agent 2는 30→25→28%(Expected 27%)로 단조 수렴이 아니다. 이 표의 Expected는 Table 6과 다르다	author-stated(수렴 주장) / analyst-inference(반례·불일치)
ChatDev에서 WEV와 Reward의 차이가 작다	Table 3, Section 4	”대부분 역할에서 6% 미만”	반례: BMI CTO Adj. −13.3, CPO −5.6, Programmer +5.9. 다른 구성과의 비교 없음, Reward 출처 모호	author-stated(주장) / analyst-inference(반례)
실무 역할은 정렬이 좋고 리더 역할은 어긋난다	Table 3, Section 4	ArtCanvas Programmer·Reviewer Adj. 0, BMI CTO −13.3	BMI Programmer는 +5.9라 “near-perfect”는 과장	author-stated / analyst-inference

세 환경의 결과는 같은 이야기를 점점 큰 규모에서 반복하려 한다. Escape Room은 “협력은 Short-Term만으로도 생기지만 공정성은 Long-Term이 필요하다”는 분리를 가장 깨끗하게 보여 준다. Raid Battle은 같은 분리를 4인·다단계로 옮겨, NEG 대비 행동 변화(Figure 4)와 STS 대비 배분 정확도(Figure 5)를 각각 다른 비교쌍으로 보여 준다. 즉 하나의 그림에서 네 구성을 모두 비교한 것은 Escape Room뿐이다(analyst-inference).

ChatDev는 성격이 다르다. 여기서는 구성 간 비교 없이 WEV라는 외부 기준과 보상 배분의 거리만 본다. 따라서 “Shapley-Coop이 실제 소프트웨어 협업에서 공정하다”는 결론의 근거는 세 환경 중 가장 약하다(analyst-inference).

Take-home

핵심 메시지. 이기적인 LLM 에이전트에게 Shapley 값을 근거로 값을 매기고 협상하게 하면, 협력(누가 손해 보는 일을 맡을지)과 공정한 사후 배분을 둘 다 얻을 수 있다는 주장이다. 협력 자체는 정성적 외부효과 판단(Short-Term)만으로 생기고, 공정성은 사후 기여 계산(Long-Term)이 더해질 때 생긴다(author-stated, Section 4 Escape Room).

결론이 성립하는 범위.

Escape Room: DeepSeek-v3 한 모델, 2 에이전트.
Raid Battle: 4 에이전트, 3단계 난이도, 모델 미보고.
ChatDev: 과제 2개, 구성 비교 없음.
모든 환경에서 시행 횟수, 통계 검정, 다른 LLM으로의 일반화는 보고되지 않았다.

저자가 인정한 한계 (author-stated, Section 5). 협업 도중 가격을 동적으로 조정하지 못한다. 실시간 적응형 인센티브 메커니즘을 향후 과제로 남긴다.

작성자가 보는 우려 (analyst-inference).

식 9를 글자 그대로 읽으면 leave-one-out 기여와 같아진다. 궤적 기반 counterfactual $R (N / {i}, τ_{N})$ 을 어떻게 얻는지도 설명이 없다. 그래서 “Shapley value 기반”이라는 이름에 비해 실제 계산이 무엇인지 불투명하다.
평가 기준값(Raid Battle Expected, ChatDev Reward)의 산출 과정이 공개되지 않았고, Level 3 기준값이 두 표에서 다르다.
Figure 4(NEG vs SC)와 Figure 5(STS vs SC)는 비교쌍이 다르다. Raid Battle에서 STS가 팀 기여를 얼마나 끌어올리는지, NEG의 배분이 얼마나 정확한지는 보이지 않는다.
Contribution Score가 Taunt를 높게 환산하므로, 보스 처치 여부나 Global reward $R$ 같은 결과 지표가 없으면 “팀 성과 향상”을 판단하기 어렵다.
ChatDev의 Adj. 범위 주장(“6% 미만”)에는 CTO −13.3 같은 예외가 있다.
부록 B.1은 Raid Battle 환경을 “Figure 4(a)“에 그렸다고 하지만 실제 환경 그림은 Figure 6이다(원문 참조 오류로 보임).

재현 정보. seed·run 수는 보고되지 않았다. 코드·데이터 공개 여부는 보고되지 않았다(원문에서 링크를 찾지 못함). 프롬프트 예시는 Appendix C에 있다.

본문 도표

Figure 1 — Escape Room 상황도

무엇을 보여주는가: 두 에이전트와 문·레버. 왼쪽은 협력 실패(둘 다 −1), 오른쪽은 한 명이 레버를 당겨(−1) 다른 한 명이 탈출(+10)하는 협력 장면이다. 말풍선으로 “얼마를 내야 도와줄까”, “얼마면 도울 가치가 있나”를 묻는다.
읽는 법: 그림 아래 숫자가 각 에이전트의 보수다. 점선 왼쪽/오른쪽이 두 결과를 나눈다.
핵심 관찰: 협력이 반드시 필요하지만 비용(−1)과 이득(+10)이 다른 사람에게 떨어지는 비대칭 구조다(Section 2).
의미와 주의: 저자는 이것을 가격 메커니즘(이전 지불)이 필요한 최소 사례로 쓴다(author-stated). 실제 실험의 프롬프트 형태와는 다르다.
확인 상태: viewed

Table 1 — 원래 보수 행렬

무엇을 보여주는가: Escape Room의 2×2 보수 행렬.
읽는 법: 행은 Agent 1의 선택(door/lever), 열은 Agent 2의 선택, 칸은 (Agent 1, Agent 2) 보수다.
핵심 관찰: 둘이 다른 역할을 맡을 때만 (10, −1) 또는 (−1, 10)이고, 같은 선택이면 (−1, −1)이다.
의미와 주의: 저자는 협력 없이는 아무도 움직이지 않는 Nash 균형(전체 보수 0)을 말한다(author-stated). 행렬의 “같은 선택” 칸은 −1인데 본문은 “neither acts(전체 0)“를 균형으로 서술해, 행렬에 “아무것도 안 함” 선택지가 없다는 점이 서술과 어긋난다(analyst-inference).
확인 상태: viewed

Table 2 — Shapley 보상 반영 후 보수 행렬

무엇을 보여주는가: Shapley 값으로 재분배한 뒤의 보수 행렬.
읽는 법: Table 1과 같은 배치다.
핵심 관찰: 협력 칸이 (4.5, 4.5)가 된다. +10을 받은 쪽이 5.5를 넘긴 결과다(Section 2).
의미와 주의: 재분배하면 두 사람 모두 협력할 유인이 생긴다는 것이 저자 해석이다(author-stated). 이 4.5가 Figure 3(a)의 “Optimal Payoff (4.5)” 기준선이 된다.
확인 상태: viewed

Figure 2 — Shapley-Coop workflow

무엇을 보여주는가: 위쪽 Short-Term Shapley CoT 세 단계(장기 보상 정성 평가 → 핵심 기여 평가 → 협상 전략 구성), 가운데 Escape Room 게임 정보와 두 에이전트의 Notification/Proposal/Response 메시지, 아래쪽 Long-Term Shapley CoT 네 단계(집단 결과 → 한계 기여 → Shapley 추론 → 협상)를 한 고리로 그린다.
읽는 법: 색이 메시지 종류를 나눈다(노랑 Notification, 파랑 Proposal, 빨강 Response). 양옆 상자는 두 에이전트 각각의 식 4–9 계산이다. 가운데 Memory가 결정과 결과를 저장한다.
핵심 관찰: 예시 대화에서 한 에이전트가 “3을 주겠다”고 하자 상대가 “3은 너무 적다, 6이 공정하다”고 반박하고, 결국 “5.5를 주겠다”에 합의한다. Short-Term에서는 $E_{i}^{t} = -$ (음의 외부효과)인 쪽이 보상을 제안하고 $E_{j}^{t} = +$ 인 쪽이 보상을 요구한다.
의미와 주의: 저자는 이것을 자발적 협력과 장기 신뢰를 만드는 자기강화 고리라고 부른다(author-stated, 캡션). 그림의 대화는 예시이며 실험 로그인지는 밝히지 않았다(analyst-inference).
확인 상태: viewed

Figure 3 — Escape Room 결과

무엇을 보여주는가: (a) 네 구성의 에이전트별 보수 분포와 성공률. (b) LLM+SC와 LLM+STS의 협상 라운드 수와 보수 차이.
읽는 법:
- (a) box plot(상자 수염 그림)에 개별 시행 점을 겹쳤다. x축은 구성(LLM+SC, LLM+STS, LLM+NEG, LLM-Only), y축은 Individual Payoff(−1~10). 파랑은 Agent 1, 빨강은 Agent 2, 초록 점선은 Optimal Payoff 4.5다. 아래에 Success(%)가 적혀 있다.
- (b) 막대그래프. x축은 구성(SC, STS), y축은 Value. 진한 막대는 Neg. Rounds, 연한 막대는 Payoff Diff.이고 오차 막대가 있다.
핵심 관찰:
- (a) Success는 SC 100%, STS 100%, NEG 25%, Only 0%다. SC는 두 에이전트 보수가 4.5 근처(대략 4~~5.5)에 모인다. STS는 Agent 1이 4~~7.25, Agent 2가 1.75~5로 넓게 퍼진다(그래프 판독, analyst-inference).
- (b) Neg. Rounds는 SC 1.45 vs STS 2.15, Payoff Diff.는 SC 0.38 vs STS 1.52다.
의미와 주의: 저자는 STS가 먼저 합의한 쪽이 더 가져가는 불공정을 낳고, SC가 이를 해소한다고 해석한다(author-stated, Section 4). 시행 수가 보고되지 않았다. 캡션 (b)는 “ShapleyCoop workflow 사용”이라 쓰지만 실제로는 SC와 STS를 비교한다.
확인 상태: viewed

Figure 4 — Raid Battle 기여 비교

무엇을 보여주는가: Level 1/2/3에서 LLM+NEG와 LLM+SC의 에이전트별 Contribution Score.
읽는 법: 패널 (a)(b)(c)가 Level 1/2/3이다. x축은 A1~A4와 Average, y축은 Contribution Score다. 각 x 위치에 막대 두 개가 있다. 왼쪽(무늬 없음)이 NEG, 오른쪽(빗금)이 SC이고, 막대는 Damage(진파랑), Healing(연파랑), Taunt(빨강)로 쌓았다. 초록 숫자는 SC의 증가율, 검은 숫자는 합계, 오차 막대가 있다.
핵심 관찰:
- Average는 Level 1 525→1021(+94%), Level 2 647→1290(+99%), Level 3 941→1465(+56%)다.
- 가장 큰 개선은 A1이다(+209%, +150%, +222%). A1의 SC 막대는 Taunt(빨강 빗금)가 큰 비중을 차지한다.
- Level 3 A3(+12%), A4(+5%)는 개선 폭이 작다. 이 둘은 NEG에서도 Taunt가 있던 에이전트다.
의미와 주의: 저자는 NEG가 딜(보상 2점)에 몰리고 Taunt를 소홀히 해 힐 부담이 커지며, SC는 Taunt를 나눠 맡는 균형 잡힌 역할 분담을 이룬다고 해석한다(author-stated, Section 4). Contribution Score가 Taunt를 300으로 환산하므로, 이 그림은 “SC가 Taunt를 더 한다”를 강하게 반영한다(analyst-inference). Level 2 SC Average 막대 높이가 라벨 1290보다 높아 보인다(그래프 판독, analyst-inference).
확인 상태: viewed

Figure 5 — Raid Battle 보상 배분 비교

무엇을 보여주는가: Level 1/2/3에서 에이전트별 Expected(Shapley 기준) 몫, LLM+STS 실제 몫, LLM+SC 실제 몫.
읽는 법: x축은 A1~~A4, y축은 Reward Allocation(%, 0~~35)이다. 에이전트마다 막대 세 개가 있다. 빗금 막대가 Expected이고 Damage/Healing/Taunt로 나눠 쌓았다. 노랑은 LLM+STS, 민트색은 LLM+SC다. 초록 숫자는 기준과의 차이다.
핵심 관찰: STS는 Level 1 A1 −4.52%p, Level 2 A1 −6.26%p, Level 3 A4 −3.70%p로 지원 역할을 덜 쳐준다. SC는 Level 1에서 모든 차이가 1%p 미만이다(최대 A4 −0.89). Level 2에서는 A4 +2.90, A1 −1.93으로 SC도 오차가 남는다(Tables 4–6).
의미와 주의: 저자는 SC의 정밀한 기여 평가가 딜 외 행동까지 공정하게 보상해 무임승차를 줄인다고 해석한다(author-stated, Section 4). Expected 값의 계산 방법은 원문에 없다.
확인 상태: viewed

Table 3 — ChatDev 역할별 기여·보상·조정

무엇을 보여주는가: 두 과제(BMI Calculator, ArtCanvas)에서 역할별 산출물 수, WEV 범위, Reward(%), Adj.(%).
읽는 법: 왼쪽 7열은 BMI, 오른쪽 7열은 ArtCanvas다. Code(유효 코드 줄 수), Dec.(승인된 설계 결정), Docs(검증된 문서), Fixes(검증된 버그 수정), WEV(%) 하한–상한, Reward(%), Adj.(%)(Reward를 WEV 범위로 넣는 최소 조정)로 구성된다. 빨강은 음수 조정, 파랑은 양수 조정이다.
핵심 관찰:
- BMI: Programmer는 Code 45, Fixes 3으로 WEV 30.9–47.1%인데 Reward 25%라 +5.9다. CTO는 WEV 5.0–11.7%인데 Reward 25%라 −13.3이다. CPO는 −5.6이다.
- ArtCanvas: Counselor −1.3, CPO −3.8을 빼면 모두 0이다.
의미와 주의: 저자는 차이가 대부분 6% 미만이라 강하게 정렬되었다고 보고, 리더 역할의 차이는 정량화되지 않는 관리 판단 때문이라고 해석한다(author-stated). BMI CTO −13.3은 그 주장의 예외다. ArtCanvas CPO는 20−16.3=3.7인데 표에는 −3.8로 적혀 있다(analyst-inference, 검산). Reward(%)가 누구의 배분인지 모호하다(지표 절 참조).
확인 상태: viewed

Wiki 연결

DeepSHAP- Explaining a Series of Models by Propagating Shapley Values — 같은 Shapley 값을 특징 기여도 설명에 쓴 연구. 이 논문은 같은 개념을 에이전트 간 보상 배분에 쓴다(analyst-inference, 이 논문에서 인용하지 않음)
Beyond the high score - Prosocial ability profiles of multi-agent populations — 멀티에이전트의 협력·친사회성을 점수 하나가 아닌 프로필로 재려는 연구. 협력 지표 설계 비교용(analyst-inference, 이 논문에서 인용하지 않음)
A Computable Game-Theoretic Framework for Multi-Agent Theory of Mind — 게임 이론으로 멀티에이전트 상호작용을 다루는 인접 연구(analyst-inference, 이 논문에서 인용하지 않음)
More Capable, Less Cooperative - When LLMs Fail At Zero-Cost Collaboration — 협력 실패와 능력 실패를 분리하는 LLM 협업 실험
Cooperate or Collapse - Emergence of Sustainable Cooperation in a Society of LLM Agents — 집단 결과(공유자원 생존)만 보는 협력 지표와의 대비

BibTeX

@article{hua2025shapleycoop,
  title   = {Shapley-Coop: Credit Assignment for Emergent Cooperation in Self-Interested LLM Agents},
  author  = {Hua, Yun and Chen, Haosheng and Wang, Shiqin and Li, Wenhao and Wang, Xiangfeng and Luo, Jun},
  journal = {arXiv preprint arXiv:2506.07388},
  year    = {2025},
  url     = {https://arxiv.org/abs/2506.07388}
}