Welfare Diplomacy: 언어 모델의 협력 능력 벤치마크

개요

AI 에이전트들이 서로 다른 주인을 대신해 협상하는 세상이 오면, 에이전트가 “남과 함께 더 잘 사는 길”을 찾는 **cooperative capability(협력 능력)**를 재야 한다. 그런데 기존 다중 에이전트 벤치마크는 둘 중 하나였다. Hanabi·Overcooked처럼 모두가 같은 편인 순수 협력 게임이거나, 체스나 원래의 Diplomacy처럼 한 명만 이기는 제로섬 게임이다. 이 논문이 짚은 문제는 제로섬 게임에서는 협력을 잴 수조차 없다는 점이다. Standard Diplomacy(SD)에서는 우승자가 한 명뿐이라 모든 결과가 이미 Pareto-efficient(누군가를 손해 보게 하지 않고는 더 좋아질 수 없는 상태)이고, 효용의 합 같은 사회 후생 지표는 늘 상수다. 그래서 잘하는 플레이어일수록 협력이 아니라 기만과 배신에 힘을 쓴다. 저자들의 해법은 규칙 세 개만 바꾸는 것이다. 매년 겨울 “보유한 보급기지(SC) 수 − 유닛 수”만큼 **Welfare Points(WP, 복지 점수)**를 쌓고, 게임은 정해진 햇수 뒤에 끝나며, 각자의 목표는 자기 WP 최대화다. 군대를 줄일수록 점수가 오르지만, 무장을 풀면 이웃에게 땅을 빼앗길 수 있다. 이렇게 general-sum(모두가 함께 이득을 볼 수 있는) 게임이 되면, 협력은 두 숫자로 잴 수 있다. 자기 복제끼리 둘 때 모두가 얼마나 잘 사는지 보는 Nash welfare(각 플레이어 효용의 곱)와, 한두 명이 배신하면 얼마나 이득을 보는지 보는 **exploitability(착취 가능성)**다. zero-shot 프롬프트만으로 만든 언어 모델 에이전트(WDAgent)를 돌려 보니, GPT-4는 root Nash welfare 약 3.2로 무작위 정책(약 1.7)보다 훨씬 높았지만, 강화학습으로 훈련된 SD 정책을 섞은 배신자 한 명이 끼면 착취당했다. 에이전트들은 이웃이 이미 자기 본거지를 점령했는데도 “모두 평화를 우선하고 있다”고 추론할 만큼 비둘기파적이고 쉽게 믿었다.

Implication: 서로에게 잘해 주는 능력과 배신을 억제하는 능력은 다른 능력이다. 협력 벤치마크는 self-play 후생만이 아니라 “배신자에게 얼마나 털리는가”를 함께 재야 하고, 지금의 LM 에이전트는 앞의 것은 어느 정도 하지만 뒤의 것은 거의 못 한다.

📎 https://arxiv.org/abs/2310.08901

배경과 문제

왜 협력을 재야 하는가. 저자들은 foundation model이 이해관계가 다른 여러 행위자를 돕는 시스템에 들어가게 될 것이고, 그런 multi-principal, multi-agent(주인도 여럿, 에이전트도 여럿인) 환경에서 높은 사회 후생을 이루는 것이 cooperative AI 분야의 목표라고 말한다(Dafoe et al., 2020; 2021; Conitzer & Oesterheld, 2023 인용, Section 1). 협력 능력은 “다른 에이전트와 공유하는 목표를 더 잘 이루게 해 주는 기술”이고, 이 논문은 이를 높은 사회 후생을 얻는 것으로 조작적으로 정의한다(author-stated, Section 2.1).

왜 기존 Diplomacy로는 안 되는가. Diplomacy는 7개 유럽 강국이 협상하며 영토를 다투는 보드게임으로, CICERO(Bakhtin et al., 2022a) 등 다중 에이전트 LM 연구의 무대였다(Section 1, 6.1). DARPA도 AI Diplomacy 연구에 자금을 댔다(Section 1). 그러나 저자들은 SD가 제로섬이라 기만·배신·담합 같은 협력을 해치는 능력을 키우는 쪽으로 유인을 준다고 본다(author-stated, Section 1).

좋은 협력 벤치마크의 세 기준(Section 2.1).

(A) 전체가 합리적으로 협력할 여지: 다른 NE(Nash equilibrium, 아무도 혼자 전략을 바꿔 이득을 볼 수 없는 상태)에 의해 Pareto-dominated(적어도 한 명은 더 좋고 아무도 더 나쁘지 않은 다른 결과가 있는)되는 NE가 있어야 한다.
(B) 실력이 늘수록 전체 협력 쪽으로: 사회적으로 최적인 NE가 배신이나 남을 희생시키는 담합을 별로 쓰지 않아야 한다. “differential progress”(협력 능력만 차별적으로 키우기, Sandbrink et al., 2022) 개념에서 왔다.
(C) bargaining problem(협상 문제): 효율적이고 안정적인 해가 여럿이고 각자 선호가 달라서, 합의에 실패하면 나쁜 결과로 돌아갈 위험이 있어야 한다.

저자들은 SD가 셋 다 못 맞춘다고 논증한다. 모든 정책 조합이 Pareto-efficient이므로 (A)가 안 되고, 일시적 협력도 다른 플레이어의 희생이므로 (B)가 안 되며, 비효율 결과로 돌아갈 위험이 없으니 (C)도 안 된다(author-stated, Section 2.1). 각주 2는 SD에서 공리주의 사회 후생(효용의 합)이 상수라고 지적한다.

다른 협력 벤치마크와의 차이(Section 6.1). StarCraft Multi-Agent Challenge, Hanabi, Overcooked는 순수 협력이라 협상·약속(commitment) 능력을 시험하지 못한다. Melting Pot은 mixed-motive(이해가 일부 겹치고 일부 충돌하는) 시나리오가 있지만 소통과 장기 전략의 역할이 작다. 기존 LM 협력 평가(Aher et al., 2022; Akata et al., 2023 등)는 최후통첩 게임이나 짧은 반복 행렬 게임 같은 단순한 설정에 머문다. 자동 협상 연구는 두 에이전트 간 단순 협상만 본다(author-stated, Section 6.1).

선행 대안 점수 규칙(Appendix A). webDiplomacy의 Draw-Size·Sum-of-Squares 점수는 여전히 제로섬이다. 게임을 고정 길이로 끝내고 SC 수의 오목 함수(예: $# S C_{i}$ )로 점수를 주는 변형 SD’는 non-zero-sum이지만, 그 균형은 “땅을 차지하고 가만히 있기”에 가까워 WD의 “무장 해제를 서로 배신 유인 없이 조율하기”보다 협력 능력을 덜 요구할 것이라고 저자들은 추측한다(author-stated, Appendix A).

지표

본문 실험(Section 5.1)의 주 지표는 Nash welfare와 exploitability 두 개이고, 보조로 basic proficiency를 보고한다. SD와 WD의 갈등 정도를 비교하는 대리 지표로 SCs stolen을 쓴다(Section 5.2). 모든 실험은 별도 언급이 없으면 10년 게임, 턴당 메시지 3라운드, 실험 조건마다 random seed 5개로 돌리고, 오차 막대는 bootstrapped 95% 신뢰구간이다(Section 5).

1. Nash welfare / root Nash welfare

정의: Section 3.1의 일반형은 $w^{N a s h} (π) := \prod_{i} (u_{i} (π) - d_{i})$ 이고, $d_{i}$ 는 disagreement point(합의 실패 시 받는 기준값)다. 실험에서는 $d_{i} = 0$ 으로 두어 $w^{N a s h} (π) := \prod_{i} u_{i} (π)$ 를 쓴다. 여기서 $u_{i}$ 는 플레이어 $i$ 의 누적 WP를 경과한 햇수로 나눈 값이다(Section 5.1). 그림에는 7명 기하평균에 해당하는 root Nash welfare $(w^{N a s h})^{1/ n}$ , $n = 7$ 을 그린다(Section 5.1, Figure 3).
WP 자체의 정의: 매년 Winter 뒤 “보유 SC 수 − 보드 위 유닛 수”만큼 WP를 받는다(Section 2.2 규칙 (1)).
단위·범위: 연평균 WP의 기하평균. 0 이상. 상한은 Optimal Prosocial 정책이 주는 값으로, Figure 3에서 약 4.85(그래프 판독, analyst-inference).
방향: 높을수록 좋다(Figure 3 축 화살표 →).
측정 조건: $π^{W D A g e n t (M)}$ self-play(7개 강국 모두 같은 모델 M의 WDAgent). 비교 기준으로 Optimal Prosocial(첫해에 중립 SC를 미리 정한 대로 나눠 갖고 곧바로 모든 유닛 해산), Random(매 턴 가능한 행동 중 무작위), Exploiter 정책의 self-play를 함께 그린다(Section 5.1, Appendix B.2).
무엇을 보상하는가: 곱이므로 평등하게 잘 사는 결과를 보상한다. 한 명이라도 0에 가까우면 전체가 0에 가까워진다. Section 3.1은 좋은 후생 함수라면 Pareto 우위인 결과에 더 높은 값을 줘야 한다고 적는다(author-stated). 곱 구조가 불평등에 벌을 준다는 해석은 analyst-inference다.
알려진 실패 모드:
- self-play만 잰다. 높은 값은 “자기 복제와 협력할 수 있다”는 뜻이지 다른 에이전트와의 협력을 보장하지 않는다. 저자들은 다른 에이전트 분포와의 평가가 필요하다고 한계로 적는다(author-stated, Section 5.1·7).
- 효용만의 함수라서, 협력과 **담합(collusion)**을 구분하지 못한다. 저자들은 이를 측정 가능하게 구분하는 것을 향후 과제로 둔다(author-stated, Section 7).
- 높은 Nash welfare는 안정성을 말해 주지 않는다. 이 때문에 exploitability를 따로 잰다(author-stated, Section 5.1).
- 곱 구조라 한 플레이어의 WP가 0이면 전체가 0이 된다. Claude 1.2의 신뢰구간이 0까지 내려가는 것(Figure 3 왼쪽)과 Appendix C.4가 near-zero 값을 구분하려고 smoothing 상수를 더한 것(Figure 7 캡션)이 이 민감성과 관련된다고 본다(analyst-inference).
- 기준선 해석: Random 정책이 약 1.7로 꽤 높아서, 여러 모델이 무작위 수준이거나 그 아래다(author-stated: “many agents performing at or below the Random Policy”, Section 5.1). 무작위 정책은 군대를 키우지 않는 경향 때문에 WP가 쌓일 수 있다는 해석은 analyst-inference이며 원문은 이유를 설명하지 않는다.
위치: Section 3.1(일반형), Section 5.1(실험형), Figure 3 왼쪽, Appendix B.2.

2. Exploitability (exploiter agent로 추정한 착취 가능성)

이론적 정의: 크기 k 연합에 의한 정책 조합 π의 exploitability는 “k명 연합의 일원으로 π에서 이탈해 어느 플레이어든 얻을 수 있는 이득의 최솟값”이다(Zinkevich et al., 2007 참조, Section 5.1). 크기 1 연합에 대한 exploitability가 0이면, 그리고 그때만, π는 NE다(각주 4).
실제로 계산한 추정치: 진짜 exploitability 계산은 어려운 최적화라서, 저자들이 만든 exploiter agent 클래스로 대신 추정한다.
$E (π^{W D A g e n t (M)}, C^{k}) = max_{C \in C^{k}} min_{i \in C} [u_{i} (π_{N ∖ C}^{W D A g e n t (M)}, π_{C}^{E x p}) - u_{i} (π^{W D A g e n t (M)})]$
안쪽 항은 “플레이어 i가 WDAgent 정책을 따르는 대신 exploiter로 이탈했을 때 얻는 WP 이득”이다. 연합 안에서는 덜 성공한 exploiter의 이득을 보고(min), 미리 정한 연합 후보들 중 가장 성공한 연합을 고른다(max). 따라서 E가 양수이면 그리고 그때만, $C^{k}$ 안에 모든 구성원에게 이득인 이탈이 하나 이상 있다(author-stated, Section 5.1).
추정 방법: 첫 항은 C가 exploiter인 게임 한 판에서 해당 exploiter(예: Austria)의 WP, 둘째 항은 같은 플레이어의 WDAgent(M) self-play 5판 평균 WP다(각주 6).
연합 후보: $C^{1}$ = {England}, {France}, {Germany}, {Italy}, {Turkey} — 모두 SC 3개로 시작하는 나라. $C^{2}$ = {England, Turkey}, {Italy, Russia}, {England, Austria}, {Germany, Turkey}, {France, Russia} — 지도상 인접하지 않은 쌍(Appendix B.3).
Exploiter 정책: 처음엔 WDAgent(GPT-4)로 두다가, 다른 플레이어 유닛이 10개 이하가 되거나 3년이 지나면(먼저 오는 쪽) no-press SD에서 강화학습으로 훈련된 정책(FPPI-2, Anthony et al., 2020)으로 바꿔 땅을 빼앗는다. exploiter 중 하나가 SC 10개 초과를 차지하거나 게임이 2년 남으면 다시 WDAgent(GPT-4)로 돌아가 무장을 풀고 WP를 모은다(Section 5.1). LM에게 착취를 프롬프트로 시켜 봤지만 RL 정책을 섞는 쪽보다 훨씬 덜 효과적이었다(각주 5).
단위·방향: WP 이득. 낮을수록 좋다(Figure 4 축 화살표 ←). 여기의 $u_{i}$ 가 5.1절 Nash welfare에서처럼 연평균으로 정규화된 값인지는 각주 6이 “WPs”라고만 써서 원문에서 분명하지 않다(unknown).
무엇을 보상하는가: 배신자를 억제·처벌하는 능력, 즉 협력을 안정적으로 유지하는 능력(author-stated, Section 5.1 “stable, meaning that they do not admit strong incentives to deviate”).
알려진 실패 모드:
- 추정치는 특정 exploiter 클래스에 묶여 있다. 진짜 exploitability는 모든 가능한 이탈 중 최선을 봐야 하므로, 이 추정치는 실제보다 작게 나올 수 있다(하한 성격). 저자들은 “estimate”와 “exploitability by our exploiter agents”라고 이름 붙여 이 점을 표시한다(Section 5.1). 하한이라는 표현은 analyst-inference.
- 신뢰구간이 불확실성을 과소평가한다. 연합 후보마다 exploitation 실험을 한 판씩만 돌려 첫 항을 bootstrap할 수 없었다(author-stated, Figure 4 캡션).
- min 연산자 때문에 2명 연합의 점수가 오히려 낮아진다. 두 exploiter가 땅을 더 많이 정복해도 나눠 가져야 하고, min은 덜 성공한 쪽을 본다. 게다가 exploiter들은 서로 협조하도록 설계되지 않았다(author-stated, Section 5.1, 각주 7). 그래서 $C^{2}$ 점수가 $C^{1}$ 보다 낮다고 “두 명 배신에 더 강하다”고 읽으면 안 된다(analyst-inference).
- Exploiter는 GPT-4 기반 WDAgent로 시작하므로, 다른 모델 M과 섞일 때 초반 행동이 상대 모델과 다르다(analyst-inference, Section 5.1 설계에서 추론).
위치: Section 5.1, 각주 4–7, Figure 4, Appendix B.3, Appendix E(정성 사례).

3. Basic proficiency

정의: 세 값의 평균. (i) 모델 출력이 오류 없이 파싱되는 유효 JSON인 비율, (ii) 제출한 명령이 실제로 가능한 유효 명령인 비율, (iii) 전 지도 SC 중 중립으로 남지 않고 누군가 보유한 비율(Section 5.1, Figure 3 캡션).
단위·방향: 0–1, 높을수록 좋다(Figure 3 오른쪽 축 화살표 →).
무엇을 보상하는가: 게임 형식을 따르고 규칙에 맞게 두며 중립 땅을 차지하는 기본 실력. 협력 능력 점수를 해석하기 전에 “게임을 제대로 하고 있는가”를 거르는 용도다(author-stated, Section 5.1 “lack of basic proficiency for our less-capable models”).
알려진 실패 모드: (iii)이 SC 확장을 보상하므로, 협력 능력이 아닌 정복 성향도 점수를 올린다. 실제로 Exploiter의 basic proficiency가 약 1.0으로 가장 높다(Figure 3 오른쪽, 그래프 판독, analyst-inference). 메시지 라운드가 적을수록 약간 높게 나오는데, 저자들은 문맥 정보가 적어 LM이 덜 헷갈리기 때문이라고 추측한다(author-stated, Figure 8 캡션).
위치: Section 5.1, Figure 3 오른쪽, Appendix C.1, Figure 8·9.

4. SCs stolen per turn (갈등 대리 지표)

정의: 한 SC가 한 플레이어 소유였다가 침공으로 다른 플레이어에게 넘어가면 “stolen”으로 센다. 턴당 평균(Figure 1 캡션, Appendix C.2).
용도: cooperation-undermining capability(협력을 해치는 능력)의 대리 지표로, SD와 WD에서의 갈등 정도를 비교한다(Section 5.2).
방향: 낮을수록 갈등이 적다(Figure 1 축 화살표 ←).
알려진 실패 모드: 거래로 기꺼이 넘겨준 SC도 stolen으로 센다. 저자들은 평가한 모델들이 실제로 SC를 거래로 넘기지 않는 것으로 보였다고 쓴다(author-stated, Appendix C.2). 보조 지표 unit conflicts per turn(여러 유닛이 같은 지역으로 이동 시도)은 같은 플레이어 유닛끼리의 실수도 센다(author-stated, Appendix C.2).
위치: Section 5.2, Figure 1, Appendix C.2, Figure 5.

방법과 벤치마크 구성

Welfare Diplomacy 규칙 (Section 2.2)

SD는 7인 게임이다. Spring·Fall에는 유닛에 명령을 내리고, Winter에는 SC가 늘었으면 유닛을 만들고 줄었으면 없앤다. 18개 SC를 먼저 잡으면 이긴다. “full-press”판에서는 매 턴 명령 전에 비공개 메시지를 주고받는다. WD는 세 가지를 바꾼다.

매 Winter 뒤 각 플레이어는 “보유 SC 수 − 유닛 수”만큼 WP를 받는다. Build 턴에는 SC 수보다 적은 수로 유닛을 만들거나 해산할 수 있다(Section 1).
18개 SC가 아니라 정해진 햇수가 지나면 게임이 끝난다.
목표는 자기 WP 최대화이며 “승자”가 없다.

그래서 유닛을 적게 둘수록 WP가 쌓이지만, 무장을 풀면 이웃에게 SC를 빼앗길 수 있다. 플레이어는 약점을 드러내지 않는 방식으로 무장을 해제하고, 합의 위반을 막을 처벌을 찾아야 한다(author-stated, Section 2.2). 구현은 오픈소스 Diplomacy 엔진 위에 했고 코드가 공개되어 있다(Abstract, https://github.com/mukobi/welfare-diplomacy).

협력 균형의 존재 (Section 3, 증명은 Appendix G)

Toy 게임 $W_{n, T}$ : n개 꼭짓점의 완전 그래프에 각 꼭짓점마다 잎을 하나씩 단 그래프 $G_{n}$ . 잎은 각 플레이어의 본거지 SC, 나머지는 중립 SC다(Figure 2 왼쪽). T년 동안 진행.
Theorem 1 (Mutual Demilitarization): 정책 $π^{k}$ = 첫 턴에 자기 옆 중립 SC를 차지 → k년째 Winter까지 아무것도 안 함 → k년째 Winter에 모든 유닛 해산 → 이탈자가 있으면 나머지가 이탈자의 SC를 빼앗아 보복. $n \geq 6$ 이면 $π^{k}$ 는 $1 \leq k \leq T$ , $k \neq = T - 2$ 에서 NE이다. $π^{k}$ 는 $π^{k + 1}$ 를 Pareto-dominate하고, $T \neq = 3$ 이면 $π^{1}$ 은 Pareto-efficient다. $k = T - 2$ 에서는 보복할 시간이 모자라 이탈이 이득일 수 있다(각주 3).
해석: 빨리 무장을 풀수록 모두 WP가 많지만, 그만큼 이탈자가 재무장해 빈 SC를 노릴 위험이 커지고, 이를 막으려면 나머지가 함께 처벌을 조율해야 한다. “Pareto 개선 균형일수록 더 큰 협력 능력이 필요하다”는 사례다(author-stated, Section 3.2.1).
Theorem 2 (Bargaining Problems): 두 플레이어 i, j가 중립 지역 하나를 공유하는 비대칭 toy 게임(Figure 2 가운데)에서, 그 지역을 누구에게 주는가에 따라 서로 다른 Pareto-efficient NE $π^{i}$ , $π^{j}$ 가 생기고 i와 j의 선호가 엇갈린다. 기준 (C)의 근거다(Section 3.2.2).
주의: 저자들은 NE를 단순화된 분석 렌즈로 쓴다고 밝힌다. NE는 subgame perfection이나 연합 이탈 억제를 요구하지 않고, 정책이 공통지식이라고 가정하는 한계가 있다(author-stated, 각주 1). 정리는 실제 Diplomacy 지도가 아니라 toy 그래프에서만 증명됐다(author-stated, Section 3 서두).

Zero-shot LM 에이전트 WDAgent (Section 4, Appendix H)

CICERO(Bakhtin et al., 2022a)에서 영감을 받았지만 fine-tuning 없이 프롬프트만 쓴다.
System prompt: “상호작용 환경에서 다른 플레이어와 두는 전문가 Diplomacy AI”라는 설명, WD 규칙, 원하는 JSON 응답 형식.
User prompt: 이전 턴들의 메시지 요약, 현재 턴의 모든 메시지, 최근 3턴의 명령, 약칭으로 된 보드 상태와 유닛 소유, 현재 SC·유닛·WP 수, 그 턴에 가능한 수에 대한 지시.
Assistant response: 먼저 비공개 추론, 그다음 의도한 명령 목록, 마지막으로 다른 플레이어에게 보낼 메시지.
같은 틀에서 WD 전용 지시만 뺀 것이 SD용 SDAgent다. 11개 프롬프트 요소 ablation은 Appendix C.4.
샘플링: 모든 모델 temperature 1.0, top-p 0.9. GPT-4-base는 frequency penalty 0.5, Llama-2-70B-Chat은 8-bit 양자화. 임의 완성이 가능한 모델에는 JSON 앞부분을 미리 넣었다(Appendix B.1).

평가 대상과 설정 (Section 5)

모델: GPT-4-0613(“GPT 4 (RLHF)”), GPT-3.5-turbo-16k-0613, GPT-4-base, Claude-2.0, Claude-instant-1.2, Llama-2-70B-Chat.
10년 게임, 턴당 메시지 3라운드, 조건당 seed 5개, bootstrapped 95% CI.
대부분의 게임에서 긴 프롬프트가 합쳐서 300만 토큰을 넘어, 조건당 5판으로 제한됐다(author-stated, Section 7).

주요 결과

본문에는 수치 표가 없다. 아래 수치 중 “약”이 붙은 값은 모두 그림에서 눈으로 읽은 값이다(analyst-inference, 그래프 판독).

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
WD는 SD보다 SC 빼앗기가 훨씬 적다	Section 5.2, Figure 1	WD는 턴당 약 0–0.3, SD는 약 0.2–0.77 범위(게임 길이 1–10년). “much higher on average between SDAgent in SD”	Figure 1 그래프 제목상 GPT-3.5로 측정. 신뢰구간이 일부 길이에서 겹친다	author-stated(방향) / analyst-inference(수치)
Nash welfare는 모델마다 크게 다르고, 여러 모델이 Random 이하	Section 5.1, Figure 3 왼쪽	GPT-4(RLHF) 약 3.25로 최고, Claude 2.0 약 2.6, GPT-4(Base) 약 2.1, GPT-3.5 약 1.8, Llama 2 약 1.65, Claude 1.2 약 0.5로 최저. Random 약 1.7, Optimal Prosocial 약 4.85	self-play, 5 seeds	author-stated(순위) / analyst-inference(수치)
큰 모델이 작은 모델보다 Nash welfare가 높은 경향	Section 5.1	GPT-4 > GPT-3.5, Claude 2 > Claude Instant 1.2	저자들은 규모 효과를 “가설”로만 두고 증명하지 않는다고 명시. 덜 능숙한 모델의 basic proficiency 부족과 계산 비용 때문	author-stated
최고 모델도 최적과 거리가 멀다	Figure 3 왼쪽, Section 7	GPT-4 약 3.25 vs Optimal Prosocial 약 4.85	Optimal Prosocial은 하드코딩된 상한	analyst-inference(수치) / author-stated(향후 과제로 최적 접근을 언급)
Exploiter self-play는 Nash welfare가 낮다	Figure 3 캡션	”root Nash welfare for GPT-4 decreases when playing as exploiter agents”, Exploiter 약 1.55	Exploiter는 WDAgent(GPT-4) + RL SD 정책 혼합	author-stated
배신자 한 명이면 착취가 된다	Section 5.1, Figure 4 왼쪽	모든 모델에서 E > 0. Llama 2 약 8.1, GPT-3.5 약 7.35, GPT-4(Base) 약 5.4, Claude 1.2 약 5.05, Claude 2.0 약 4.85, GPT-4(RLHF) 약 3.35	연합 후보당 1판만 실행. CI가 불확실성을 과소평가	author-stated(결론) / analyst-inference(수치)
배신자 두 명이면 점수가 오히려 낮아진다	Section 5.1, 각주 7, Figure 4 오른쪽	Llama 2 약 6.55, GPT-3.5 약 5.85, Claude 2.0 약 4.75, Claude 1.2 약 3.65, GPT-4(Base) 약 3.65, GPT-4(RLHF) 약 3.5	min 연산자 + 땅 나눠 갖기 + exploiter끼리 협조 설계 없음. 강건성 향상이 아님	author-stated(이유) / analyst-inference(수치)
Welfare와 exploitability는 같은 방향이 아니다	Figure 3 왼쪽 vs Figure 4	GPT-4(RLHF)는 welfare 최고·1명 exploitability 최저이지만 여전히 양수. Claude 2.0은 welfare 2위(약 2.6)인데 1명 exploitability(약 4.85)는 Claude 1.2(약 5.05)와 비슷	두 그림의 교차 비교는 저자가 직접 그리지 않음	analyst-inference
WDAgent는 비둘기파적이고 쉽게 믿는다	Section 5.1, Appendix E	그럴듯한 공격에 방어하지 않음, 이웃이 공격적이어도 무장 해제, 적대 신호에 대응·공동 대응 조율 안 함, 배신 후에도 평화적 동기로 해석	정성 분석. 예: England가 본거지를 Germany에 빼앗긴 직후 “Germany가 복지를 우선하고 불가침을 지킨다”고 추론(Appendix E.1)	author-stated
대부분 모델이 basic proficiency가 높다	Figure 3 오른쪽, Appendix C.1	GPT-4(RLHF) 약 0.94, GPT-3.5 약 0.89, Claude 1.2 약 0.865, Claude 2.0 약 0.855, GPT-4(Base) 약 0.76, Llama 2 약 0.535, Exploiter 약 1.0	큰 모델과 빠른 변형 사이 차이가 크지 않음(C.1)	author-stated(경향) / analyst-inference(수치)
메시지 라운드가 많을수록 Nash welfare가 높다	Appendix C.5, Figure 8	메시지 없음은 협력을 크게 해친다. basic proficiency는 라운드 수와 무관하게 비슷	부록 결과, 이 노트에서는 그림을 보지 않음(caption-only)	author-stated
프롬프트 ablation 일부는 welfare를 올리지만 Random에 못 미친다	Appendix C.4, Figure 7	Claude 1.2로만 실행. 큰 모델에서는 변화 없음 또는 감소	부록 결과	author-stated

결과를 이어서 읽으면 이렇다. Figure 1은 “규칙을 바꾸면 행동이 바뀐다”를 보여 주는 환경 타당성 근거이고, Figure 3은 “그 환경에서 모델이 얼마나 협력하나”, Figure 4는 “그 협력이 얼마나 단단한가”를 보여 준다. 세 그림을 합친 저자 결론은 “LM은 가끔 협력하지만 배신자를 처벌해 협력을 유지하는 협력 능력은 부족하다”이다(author-stated, Section 5.1 마지막 문단).

Take-home

핵심 메시지. 제로섬 게임을 general-sum으로 바꾸면 협력을 “모두 얼마나 잘 사나(Nash welfare)“와 “배신하면 얼마나 이득인가(exploitability)” 두 숫자로 잴 수 있다. 2023년 frontier LM 에이전트는 self-play에서 무장을 서로 풀 줄은 알지만, 배신자를 억제하지는 못한다.

결론이 성립하는 범위.

6개 모델(GPT-4-0613, GPT-3.5-turbo-16k-0613, GPT-4-base, Claude-2.0, Claude-instant-1.2, Llama-2-70B-Chat), GPT-4에 맞춰 설계된 하나의 zero-shot 프롬프트 틀(Section 4, Appendix C.4).
10년 게임, 메시지 3라운드, self-play. 모델끼리 섞어 두는 평가는 하지 않았다(Section 7).
Exploitability는 저자들이 만든 한 종류의 exploiter(WDAgent(GPT-4) + FPPI-2 RL 정책)와 미리 고른 연합 5개씩에 대한 추정이다(Section 5.1, Appendix B.3).
균형 정리는 toy 그래프에서만 증명됐다(Section 3).

저자가 인정한 한계(author-stated, Section 7·6.2).

계산 비용: 대부분 게임이 300만 토큰 이상, 조건당 5판.
협력과 담합을 측정 가능하게 구분하지 못한다.
효용 함수 기반 지표(Nash welfare, exploitability)만 쓴다. 추론·메시지의 체계적 분석이 필요하다.
self-play 외에 다른 에이전트 분포와의 평가가 필요하다.
모델 간 Nash welfare 차이의 원인을 설명하지 못했다.
Diplomacy에서 얻은 통찰이 현실로 얼마나 옮겨지는지 불분명하다.
숙련된 WD 인간 플레이어 기반이 없어 고품질 인간 데이터를 얻기 어렵다(Section 2.2 끝).
벤치마크 과적합으로 평가 때만 협력적으로 보일 수 있고, 데이터 누출 우려가 있으며, 협력 능력을 키우다 인간 감독자에 대한 AI 담합을 키울 수 있다(Section 6.2).

작성자가 보는 우려(analyst-inference).

Exploitability 신뢰구간이 연합당 1판이라 과소평가되어 있으므로, 모델 간 작은 차이(예: Claude 1.2 대 Claude 2.0의 1명 exploitability)는 순위로 읽기 어렵다.
2명 연합 점수는 min 연산자와 exploiter 설계에 크게 좌우되므로 “연합 착취에 대한 강건성” 지표로 쓰기 어렵다.
Random 정책의 Nash welfare가 높은 편이라, Nash welfare만으로는 “협력”과 “아무것도 안 함”을 잘 구분하지 못할 수 있다. 원문은 Random이 왜 높은지 설명하지 않는다.
Basic proficiency에 SC 점유율이 들어 있어, 협력 능력과 무관한 확장 성향이 점수를 올린다.

반복 횟수와 공개 여부. 조건당 random seed 5개(Section 5). Exploitation 실험은 연합 후보당 1판(Figure 4 캡션). 코드는 공개(https://github.com/mukobi/welfare-diplomacy, Abstract).

읽지 못한 범위(unknown). Appendix D(SD·WD self-play 정성 분석)와 E(exploitation 정성 분석)는 일부만, F(Diplomacy 커뮤니티 피드백)·G(증명)·H(프롬프트 전문)는 자세히 읽지 않았다.

본문 도표

본문(Section 1–7)에는 Figure 1–4가 있고 Table은 없다. Figure 5–22는 Appendix C·E·G에 있어 기본 범위에서 뺐다.

Figure 1 — SD와 WD의 턴당 평균 SC 빼앗기

무엇을 보여주는가: 게임 길이별로 SD와 WD에서 턴당 평균 몇 개의 SC가 다른 플레이어에게 빼앗기는지. 저자들은 이를 협력을 해치는 능력의 대리 지표로 쓴다.
읽는 법: x축 Game Length(Years) 1–10, y축 Average SCs Stolen per Turn(화살표 ←, 낮을수록 갈등 적음). 파란 원 = Standard, 주황 × = Welfare. 음영 = 95% 신뢰구간. 그래프 제목에 “(GPT-3.5)“라고 적혀 있다.
핵심 관찰: WD 선은 0에서 시작해 약 0.3 아래에 머문다. SD 선은 약 0.2–0.77 사이에서 오르내리며 대부분의 길이에서 WD보다 높다(그래프 판독, analyst-inference). 4년 길이에서는 SD 약 0.3, WD 약 0.2로 가깝고 신뢰구간이 겹친다(그래프 판독).
의미와 주의: 저자는 “WD 플레이어가 SC 빼앗기를 덜 한다”고 해석한다(author-stated, Figure 1 캡션, Section 5.2). 캡션과 본문은 모델을 밝히지 않고 SDAgent·WDAgent라고만 쓰지만, 그래프 제목상 GPT-3.5 결과다(analyst-inference). SC stolen은 거래로 넘긴 SC도 센다는 한계가 있다(Appendix C.2). SD 쪽 신뢰구간이 넓어 길이별 차이는 일정하지 않다.
확인 상태: viewed

Figure 2 — toy 게임 두 개와 실제 지도의 Balkans

무엇을 보여주는가: (왼쪽) 6인 toy 게임 $G_{6}$ , (가운데) 7인 비대칭 toy 게임, (오른쪽) Diplomacy 지도의 Balkans 지역.
읽는 법: 왼쪽·가운데에서 네모는 본거지(home), 동그라미는 중립 지역이다. 가운데 그림에서 i, j 두 플레이어가 중립 지역 하나를 공유한다. 오른쪽은 Austria(빨강), Russia(회색), Turkey(노랑), Italy(초록)와 중립 SC SER, RUM, BUL, GRE.
핵심 관찰: 왼쪽은 Theorem 1(상호 무장 해제 NE)의 무대, 가운데는 Theorem 2(선호가 엇갈리는 복수의 Pareto-efficient NE)의 무대다. 오른쪽은 실제 게임에서도 중립 SC 배분을 두고 bargaining problem이 있을 법하다는 예시다.
의미와 주의: 오른쪽 Balkans 예시는 “likely bargaining problems”라는 저자의 추측이며 증명이 아니다(author-stated, Figure 2 캡션). 정리는 왼쪽·가운데 toy 그래프에만 적용된다.
확인 상태: viewed

Figure 3 — self-play의 root Nash welfare와 basic proficiency

무엇을 보여주는가: (왼쪽) 모델별 WDAgent self-play와 Exploiter self-play의 root Nash welfare, (오른쪽) 같은 조건의 basic proficiency.
읽는 법: 두 패널 모두 x축 Agent Model(Exploiter (GPT-4), Llama 2 (70B), Claude 1.2, Claude 2.0, GPT-3.5, GPT-4 (Base), GPT-4 (RLHF)), 막대 = 평균, 오차 막대 = 95% CI. 왼쪽 y축 Root Nash Welfare(→, 0–5), 보라 점선 = Optimal Prosocial, 빨간 점선 = Random Policy. 오른쪽 y축 Basic Proficiency(→, 0.5–1.0에서 잘림).
핵심 관찰:
- 왼쪽: GPT-4(RLHF) 약 3.25, Claude 2.0 약 2.6, GPT-4(Base) 약 2.1, GPT-3.5 약 1.8, Llama 2 약 1.65, Exploiter 약 1.55, Claude 1.2 약 0.5(CI가 0까지 내려감). Random 약 1.7, Optimal Prosocial 약 4.85(그래프 판독, analyst-inference).
- 오른쪽: Exploiter 약 1.0, GPT-4(RLHF) 약 0.94, GPT-3.5 약 0.89, Claude 1.2 약 0.865, Claude 2.0 약 0.855, GPT-4(Base) 약 0.76, Llama 2 약 0.535(그래프 판독).
의미와 주의: 저자는 Claude 2.0과 GPT-4만 Random보다 높고, GPT-4가 exploiter 역할을 하면 Nash welfare가 떨어지며, 대부분 모델의 basic proficiency가 높다고 해석한다(author-stated, 캡션). GPT-4(Base)는 Random보다 약간 높아 보이지만 CI가 Random 선과 겹친다(그래프 판독, analyst-inference). Claude 1.2는 basic proficiency가 약 0.865로 높은데도 Nash welfare가 최저라, 기본 실력과 협력이 따로 움직이는 예다(analyst-inference). 오른쪽 y축이 0.5에서 시작하므로 막대 길이 차이가 과장되어 보인다.
확인 상태: viewed

Figure 4 — 배신자 1명·2명에 대한 exploitability

무엇을 보여주는가: 모델별 WDAgent self-play 정책의 exploitability 추정치. (왼쪽) $E (π^{W D A g e n t (M)}, C^{1})$ , 배신자 1명. (오른쪽) $E (π^{W D A g e n t (M)}, C^{2})$ , 배신자 2명.
읽는 법: x축 Agent Model(Llama 2 (70B), Claude 1.2, Claude 2.0, GPT-3.5, GPT-4 (Base), GPT-4 (RLHF)), y축 Exploitability(←, 낮을수록 좋음, 0–8). 오차 막대 = 각 exploiter의 self-play 점수만 bootstrap한 95% CI.
핵심 관찰:
- 왼쪽(1명): Llama 2 약 8.1, GPT-3.5 약 7.35, GPT-4(Base) 약 5.4, Claude 1.2 약 5.05, Claude 2.0 약 4.85, GPT-4(RLHF) 약 3.35. 모든 모델이 0보다 크다(그래프 판독, analyst-inference).
- 오른쪽(2명): Llama 2 약 6.55, GPT-3.5 약 5.85, Claude 2.0 약 4.75, GPT-4(Base) 약 3.65, Claude 1.2 약 3.65, GPT-4(RLHF) 약 3.5(그래프 판독). 모든 모델에서 1명보다 낮지만, Claude 2.0은 약 4.85에서 약 4.75로 거의 같다.
의미와 주의: 저자는 “배신자 한 명으로 충분히 착취된다”고 해석하고, 2명일 때 점수가 낮은 것은 정복한 땅을 나눠 갖는 데다 min 연산자가 덜 성공한 exploiter를 보기 때문이라고 설명한다(author-stated, Section 5.1, 각주 7). 연합당 1판이라 CI가 불확실성을 과소평가한다(author-stated, 캡션). Figure 3과 겹쳐 보면 GPT-4(RLHF)가 welfare 최고·exploitability 최저로 두 지표 모두 가장 좋지만, 다른 모델들은 순위가 엇갈린다. 예: GPT-3.5는 welfare가 Random보다 약간 높은데 1명 exploitability는 두 번째로 높다(analyst-inference). Figure 3과 달리 Exploiter 자체의 막대는 없다.
확인 상태: viewed

Wiki 연결

LLM Squid Game - A Factorial Benchmark for Measuring Functional Self-Preservation Drive in Large Language Models — 다중 에이전트 상황에서 협력·생존 지표를 설계하는 같은 계열의 벤치마크로, Nash welfare·exploitability 같은 협력 지표를 가져다 쓸 후보 (analyst-inference, 이 논문에서 인용하지 않음)
MINDGAMES - A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs — LM의 사회적·전략적 추론을 다인 게임으로 평가한다는 점에서 같은 질문 (analyst-inference, 이 논문에서 인용하지 않음)
AI Deception - A Survey of Examples, Risks, and Potential Solutions — Section 6.2에서 더 강한 시스템의 위험 평가 문헌으로 인용한 Park et al. (2023)
Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark — 보상과 바람직한 행동의 trade-off를 게임 환경에서 재는 벤치마크라는 점에서 비교 대상 (analyst-inference, 이 논문에서 인용하지 않음)
Cooperate or Collapse - Emergence of Sustainable Cooperation in a Society of LLM Agents — LLM 사회의 협력 결과를 생존·효율·평등으로 재는 벤치마크
CoopEval - Benchmarking Cooperation-Sustaining Mechanisms and LLM Agents in Social Dilemmas — 착취에 대한 강건성을 복제자 동역학 Fitness로 보는 LLM 벤치마크

BibTeX

@article{mukobi2023welfare,
  title   = {Welfare Diplomacy: Benchmarking Language Model Cooperation},
  author  = {Mukobi, Gabriel and Erlebach, Hannah and Lauffer, Niklas and Hammond, Lewis and Chan, Alan and Clifton, Jesse},
  journal = {arXiv preprint arXiv:2310.08901},
  year    = {2023},
  url     = {https://arxiv.org/abs/2310.08901}
}