Deviation Ratings: N인 일반합 게임을 위한 복제 불변 평점법

개요

LLM 리더보드는 보통 Elo로 순위를 매기는데, Elo 점수는 “어떤 프롬프트가 얼마나 많이 들어왔는가”에 끌려간다. 어떤 모델이 잘하는 비슷한 프롬프트를 수천 개 밀어 넣으면 그 모델 점수가 부풀고, 사람이 일일이 데이터를 골라내지 않으면 편향을 막을 수 없다. 이 문제를 푸는 성질이 **clone invariance(복제 불변성: 똑같은 전략·과제를 복사해 넣어도 평점이 바뀌지 않는 성질)**이고, Nash averaging 같은 기존 방법이 이미 갖고 있었다. 그런데 그 방법들은 모두 Nash equilibrium을 계산해야 해서 2인 영합(zero-sum) 게임에서만 작동했다. 3인 이상이거나 이해관계가 섞인 게임에서는 Nash equilibrium이 여러 개로 흩어지고 계산도 어려워 “어느 균형으로 평점을 낼지” 정할 수 없기 때문이다. 이 논문의 통찰은 균형 자체를 하나로 고르려 하지 말고, 균형에서 **벗어났을 때의 이득(deviation gain)**을 하나로 고르면 된다는 것이다. 서로 다른 균형이 같은 deviation gain을 줄 수 있으므로, gain만 유일하면 평점도 유일하다. 그래서 저자들은 Nash보다 넓고 선형 제약으로 정의되는 coarse correlated equilibrium(CCE: 모두가 따를 공동 추천 분포에서 혼자 이탈해도 이득이 없는 상태) 위에서 “가장 큰 이탈 이득을 최소화하고, 묶인 제약은 얼리고, 다시 최소화”하는 선형계획을 반복해 deviation rating을 만든다. 복제 전략은 제약 행렬에 똑같은 행을 하나 더할 뿐이라 gain 값이 변하지 않는다. 결과적으로 이 평점은 존재·유일·지배 보존·복제 불변·혼합 불변·offset 불변을 모두 증명받은, N인 일반합 게임의 첫 복제 불변 평점이다(Table 1). 편향된 가위바위보 변형에서 균등 평균은 표본 분포만 바꾸면 R·P·S 중 아무거나 1등으로 만들 수 있었지만 deviation rating은 항상 모두 같은 점수를 주었다(Figure 1). Livebench 64개 모델(그림 라벨 기준)을 model vs model vs task 3인 게임으로 평가하자 Uniform·Elo는 거의 같은 순위를 냈지만, deviation rating은 claude-3-5-sonnet, gemini-1.5-pro, Llama-3.1-405B, gpt-4o 네 모델을 공동 1위로 묶고 각자 강한 과제(LCB generation, summarize, other, connections)를 드러냈다(Figure 2).

Implication: 평가 데이터를 사람이 큐레이션하지 않아도, “누가 누구를 이길 수 있는가”라는 전략적 관계에서 평점을 뽑으면 중복·조작에 흔들리지 않는다. 대신 이 평점은 진짜로 지배하는 모델이 없으면 강자들을 동점으로 묶어 버리므로, 한 줄짜리 순위를 원하는 쪽에는 답을 주지 않는다.

📎 https://arxiv.org/abs/2502.11645

배경과 문제

평점(rating)이란. 경기 결과·점수 같은 상호작용 데이터를 전략(선수, 모델, 과제, 프롬프트 등)마다 하나의 숫자로 압축하는 절차다. Elo, Bradley-Terry, Glicko, TrueSkill, Nash averaging, payoff rating, α-Rank, 사회선택이론 기반 방법이 있다(author-stated, Section 1). 이 논문은 상호작용을 **normal-form game(NFG, 정규형 게임: 모든 플레이어가 동시에 한 번 전략을 고르고 각자 payoff를 받는 게임)**으로 보는 empirical game-theoretic analysis(Wellman, 2006) 흐름에 선다(Section 1).

왜 N인 일반합이 필요한가. 저자는 Chatbot Arena가 본래 model vs model vs prompt의 3인 일반합(general-sum: 한쪽 이득이 꼭 다른 쪽 손해는 아닌) 게임인데, Elo의 한계 때문에 model vs model 2인 영합 게임으로만 평가돼 “특정 프롬프트 묶음에 특화된 모델” 같은 뉘앙스를 놓친다고 말한다(author-stated, Section 1).

평점이 가져야 할 세 성질. (Section 1)

• scalable: 같은 기술을 재는 과제가 여러 개면 그 기술이 과대대표되어 편향이 생긴다. 사람이 큐레이션하지 않아도 “중복 데이터에 자동으로, 우아하게 적응”해야 한다(Balduzzi et al., 2018 인용).
• resilient: Chatbot Arena에는 누구나 몇 번이든 프롬프트를 넣을 수 있으므로, 특정 모델이 잘하는 비슷한 프롬프트를 대량 제출해 점수를 부풀릴 수 있다.
• directional: 리더보드 hill-climbing이 실제로 전반적 개선을 낳아야 한다.

저자는 이 셋이 모두 clone invariance에서 나온다고 본다(author-stated, Section 1). 이 성질은 Nash averaging, maximal lotteries, Yao’s principle 등에서 거듭 재발견됐고, 사회선택이론에서는 “independence of clones criterion”(Tideman, 1987)이라 부른다(Section 1, 각주 1, Appendix A.2).

기존 방법의 한계. 지금까지의 복제 불변 방법은 모두 Nash equilibrium(NE) 분포를 계산한다. NE는 2인 영합에서는 볼록·계산 가능하지만, N인 일반합에서는 비볼록·계산 곤란이고 서로 떨어진 균형이 많아 equilibrium selection problem(균형 선택 문제)(Harsanyi & Selten, 1988)이 생긴다. 그래서 기존 복제 불변 방법은 2인 영합에만 작동한다(author-stated, Section 1). payoff rating(Marris et al., 2022)은 CE·CCE로 N인 일반합까지 확장했지만 복제 불변성은 보장하지 않고(Appendix A.3), α-Rank도 N인 일반합이지만 복제 불변이 아니다(Appendix A.4). 최대 엔트로피 CCE(MECCE)로 균형을 하나 고르면 유일성은 생기지만, 복제가 추가된 게임에서는 확률 질량이 다르게 퍼져 평점이 바뀐다(Section 4).

이 논문의 차이. 균형을 유일하게 고르는 대신 deviation gain을 유일하게 고르는 방식으로 균형 선택 문제를 비켜 간다(Section 4). 이로써 첫 N인 일반합 복제 불변 평점을 제시한다(author-stated, Section 1·6).

지표

먼저 짚을 점: 저자는 “평점을 평가하는 일반적 정량 지표는 없다”고 밝히고, 복제 불변성 같은 성질을 재는 지표를 새로 만들면 “인위적이고 순환적”일 수 있어 성질을 나열·증명하는 정성적 접근을 택한다(author-stated, Section 4.2). 따라서 아래 지표 중 “평점 방법 자체의 좋고 나쁨”을 재는 것은 Section 5.3의 CCE gap뿐이고, 나머지는 평점 산출식이다.

1. Deviation rating $r_p^{CCE}$ (제안 평점)

• 정의: 먼저 CCE deviation gain(이탈 이득)을 정의한다. 공동 분포 $\sigma$가 추천하는 행동 대신 플레이어 $p$가 항상 $a_p^{\prime }$를 낼 때 기대 payoff가 얼마나 바뀌는가다.
  ${\delta }_p^{\sigma }(a_p^{\prime })={\sum }_a\sigma (a)[G_p(a_p^{\prime },a_{-p})-G_p(a)]$ (Eq. 3a)
  ε-CCE는 모든 $p,a_p^{\prime }$에 대해 ${\delta }_p^{\sigma }(a_p^{\prime })\le ϵ$인 $\sigma$다(Eq. 3b). deviation rating은 선택된 균형 ${\sigma }^{\ast }$에서의 이탈 이득 그 자체다.
  $r_p^{CCE}(a_p^{\prime })={\delta }_p^{{\sigma }^{\ast }}(a_p^{\prime })$ (Eq. 4)
• ${\sigma }^{\ast }$를 고르는 법(Algorithm 1, Eq. 5): 아직 얼리지 않은 전략들의 최대 deviation gain을 $\sigma$에 대해 최소화한다(이미 얼린 전략은 $\delta =r$ 제약). 최적점에서 active인(쌍대변수가 0이 아닌) max 제약에 해당하는 전략의 평점을 그 값으로 확정하고 얼린다. 모든 전략이 얼 때까지 반복한다. 매 반복은 LP 1개이며, 최소 1개 제약이 얼기 때문에 외부 반복은 최대 ${\sum }_p|A_p|$회다(Section 4.1).
• 단위·범위: payoff 단위. ${\min }_a[G_p(a_p^{\prime },a_{-p})-G_p(a)]\le r_p(a_p^{\prime })\le 0$ (Property 3). 0이 최고점이다. 즉 “이 전략으로 이탈해도 아무것도 얻지 못한다”가 가장 좋은 평점이다.
• 방향: 높을수록(0에 가까울수록) 좋다.
• 무엇을 보상하나: 가장 엄격한(strictest) 균형, 즉 이탈하면 가장 많이 잃는 “가장 안정적인” 균형 아래에서 그 전략으로 갈아탔을 때 잃지 않는 전략. 저자는 엄격한 균형이 대체로 payoff가 높아 “실제로 높은 payoff를 줄 수 있는 전략이 높게 평가된다”고 설명한다(author-stated, Section 4.1).
• 증명된 성질: 존재(P1), 유일(P2), 범위(P3), 지배 보존(P4), offset 불변(P5), 복제 불변(P6), 혼합 불변(P7), 2인 영합에서 Nash averaging과 상수 offset 차이 $r_p^{CCE}=r_p^{NA}-{\sum }_a\sigma (a)G_p(a)$ (P8). 모두 Section 4.2.
• 알려진 실패 모드: (i) grouping: 각자 다른 과제에서 강한 모델들은 동점으로 묶인다. 저자는 이를 “게임이론 solver의 전형적 성질”이자 의도된 해석으로 제시한다(Section 5.2). 한 줄 순위를 원하면 분리가 안 된다(analyst-inference). (ii) 수치: LP를 반복해 풀기 때문에 오차 누적에 주의해야 하고, 수치 정밀도 근처의 차이 때문에 solver가 ill-conditioned될 수 있어 소수점 14자리 양자화를 쓴다(Appendix B, B.2). (iii) LP 변수는 공동 전략 공간 $|A|$ 크기의 $\sigma$이므로 플레이어·전략 수에 따라 곱으로 커진다(analyst-inference, Eq. 6의 제약 행렬 shape $[{\sum }_p|A_p|,|A|]$에서 유도). 저자는 대칭성 제거(Appendix B.1)를 권한다.
• 측정 조건: CVXPY + GLOP(단일 스레드 primal-dual simplex), 기본 파라미터, 소비자급 CPU(Appendix B.3).
• 위치: Section 4, Eq. 3a·4·5, Algorithm 1, Property 1–8.

2. Uniform rating $r^{Uni}$ (비교 기준)

• 정의: 상대 전략 전체에 대한 단순 평균 payoff. $r_p(a_p)=\frac{1}{|A_{-p}|}{\sum }_{a_{-p}}{G}_p(a_p,a_{-p})$ (Section 3.2).
• 방향: 높을수록 좋다. 범위는 payoff 범위.
• 무엇을 보상하나: 상대 분포를 고려하지 않고 평균적으로 이기는 전략. 일반 게임에 정의되고 지배 보존이다.
• 실패 모드: 복제 불변도 offset 불변도 아니다(Section 3.2). 표본 분포를 조작하면 R·P·S 중 아무거나 1등으로 만들 수 있다(Section 5.1, Figure 1). 편향 Shapley 게임에서 유일한 비착취(unexploitable) 순수 전략인 Nash 전략 N을 뒤에서 두 번째로 둔다(Table 2).
• 위치: Section 3.2, Table 1·2, Figure 1–3.

3. Elo (비교 기준)

• 정의: 대칭 2인 영합 게임에서만 정의. A가 B를 이길 확률 ${\hat{p}}_{AB}=(1+10^{(400r_B-400r_A)}{)}^{-1}$이며, 승률 $p_{ij}$를 모두 알면 로지스틱 회귀 손실 $L={\sum }_{ij}-p_{ij}{\log }_{10}{\hat{p}}_{ij}-(1-p_{ij}){\log }_{10}(1-{\hat{p}}_{ij})$를 최소화하는 해(BayesElo)로 쓸 수 있다(Appendix A.1, Eq. 7). 지수는 원문에 인쇄된 그대로 $400r_B-400r_A$다. 흔히 쓰는 표준형은 $(r_B-r_A)/400$이므로 원문 표기 오류일 수 있다(analyst-inference).
• 방향: 높을수록 좋다.
• 실패 모드: 복제 불변·offset 불변이 아니고, 확률 payoff를 갖는 대칭 2인 게임에만 쓰이며, 한 숫자로 강함을 요약해 가위바위보 같은 비이행(intransitive) 순환을 담지 못한다(Section 3.2, Appendix A.1).
• Livebench 적용 방식: 3인 게임에서 Elo를 어떻게 계산했는지는 보고되지 않았다. Figure 2(a)에서는 Uniform·Elo를 deviation rating과 같은 범위로 rescale했다(Figure 2 캡션).
• 위치: Section 3.2, Appendix A.1.

4. Nash averaging $r^{NA}$ (선행 기준)

• 정의: 2인 영합에서만. $r_1(a_1)={\sum }_{a_2}{\sigma }_2(a_2)G_1(a_1,a_2)$, $r_2$도 대칭으로 정의하며 $({\sigma }_1,{\sigma }_2)$는 최대 엔트로피 Nash equilibrium이다(Section 3.2, Balduzzi et al., 2018).
• 성질: 지배 보존·복제 불변·혼합 불변(Table 1). N인·일반합 불가.
• 관계: 2인 영합에서는 NE 집합과 CCE 집합이 같고 모든 균형 값이 같으므로, deviation rating은 Nash averaging에서 상수(균형 기대 payoff)를 뺀 것과 같다(Property 8). 본문 실험에서 Nash averaging을 직접 돌린 결과는 보고되지 않았다.

5. Task contribution $c(m_A^{\prime },t)$ (해석 도구)

• 정의: CCE에서 이탈할 때 평점 변화를 과제별로 쪼갠 값. $c(m_A^{\prime },t)={\sum }_{m_A,m_B}{\sigma }^{\ast }(m_A,m_B,t)[G_A(m_A^{\prime },m_B,t)-G_A(m_A,m_B,t)]$, 그리고 $r_A(m_A^{\prime })={\sum }_{t}c(m_A^{\prime },t)$ (Section 5.2).
• 무엇을 보여주나: 어느 과제가 그 모델의 평점을 깎거나 지탱하는지. 저자는 이 분해가 “상위 모델을 잘 가르는 과제”를 드러내므로 평가 데이터셋 개발 도구가 된다고 말한다(author-stated, Section 5.2).
• 위치: Section 5.2, Figure 2(b).

6. CCE gap (평점 방법의 성능 지표, Section 5.3)

• 정의: 전체(full) 게임에서 population 위 분포 $\sigma$의 균형까지의 해석적 거리. ${\sum }_p{\max }_{a_p^{\prime }}{\delta }_p^{\sigma }(a_p^{\prime })$ (Section 5.3, Eq. 3a). $\sigma$는 population 정책 위의 MECCE이며, 저자는 “어떤 선택 기준이든 된다”고 적는다(각주 6). 게임 트리를 순회해 계산한다.
• 단위·방향: payoff 단위, 낮을수록 좋다(Figure 3 캡션).
• 무엇을 보상하나: meta-game 평점으로 고른 population이 전체 게임의 균형을 얼마나 잘 대표하는가. 저자는 이것이 meta-game 위의 근시안적 평점보다 population 강도를 “더 전체적으로” 요약한다고 본다(author-stated).
• 측정 조건: OpenSpiel의 3인 Kuhn poker(영합)와 Sheriff(일반합; item penalty 1, item value 5, max bribe 2, max items 10, rounds 2, sheriff penalty 1). 플레이어당 무작위 확률 정책 8개로 시작해 (a) meta-game 구성 → (b) 평점 → (c) 하위 1/4 제거 → (d) 새 무작위 정책으로 교체를 반복, x축 512 iteration까지(Section 5.3, Appendix C.1, Figure 3). 반복 seed 수는 보고되지 않았다.
• 위치: Section 5.3, Figure 3.

7. Average payoff (보조 지표, Section 5.3)

• population 정책들의 평균 payoff. 높을수록 좋다(Figure 3 캡션). 저자는 이 상황에서 이론상 꼭 증가해야 할 이유는 없고 “높아 보이는 평균 payoff 전략은 착취될 수 있다”고 말한다(author-stated, Section 5.3).

방법과 벤치마크 구성

기본 설정 (Section 2)

• N인 NFG: 플레이어 $p$가 전략 집합 $A_p$에서 $a_p$를 고르고, 공동 전략 $a\in A={\otimes }_p{A}_p$에 대해 payoff $G_p(a)$를 받는다. 공동 분포 $\sigma \in {\Delta }^{|A|-1}$는 플레이어 간 조정을 허용한다.
• 균형 포함 관계: WSNE ⊆ NE ⊆ WSCE ⊆ CE ⊆ CCE. ε-CCE 집합은 볼록이다. NE는 공동 분포가 곱으로 분해된다는 추가 제약 때문에 비볼록이 된다(Section 2). ε을 음수로 둘 수 있는 게임에서는 그 해가 strict equilibrium에 해당한다.

평점 desiderata (Section 3.1)

지배 보존, 복제 불변, 혼합 불변(mixture invariance, 이 논문이 새로 붙인 이름: 기존 전략의 혼합을 새 전략으로 넣으면 그 평점이 원 평점들의 같은 혼합이 되고 나머지는 불변), offset 불변(상대 행동에만 의존하는 상수 $b_p(a_{-p})$를 payoff에 더해도 불변), 일반성(N인 일반합). 각 정의는 Section 3.1에 있다.

왜 “min”인가 (Section 4.1)

선택 연산자는 순열 등변(permutation equivariance)이면서 복제 불변이어야 하고, 저자가 아는 그런 연산자는 max와 min뿐이다(각주 4). deviation gain을 최대화하면 균형이 아니고, ε ≤ 0으로 제한하면 $\sigma$의 자유도가 커서 모든 평점이 0이 되기 쉽다. 그래서 최소화를 택하며, 이는 가장 엄격한 균형을 찾는 것과 같다(author-stated). 결과는 유일한 평점과, 같은 평점을 주는 (단일하지 않을 수 있는) CCE 집합이다.

복제 불변 증명의 핵심 (Property 6, Eq. 6)

CCE는 선형 부등식 $A\sigma \le 0$으로 정의된다. 전략 하나를 복제하면 제약 행렬에 기존과 똑같은 행 1개(중복이므로 무시 가능)와 기존 열의 복사본 열들이 붙는다. 그래서 원래 게임의 균형마다 복제 행동 사이 혼합에 대응하는 균형의 연속체가 생기지만, deviation gain이 취할 수 있는 값의 집합은 변하지 않는다. 따라서 “deviation gain을 유일하게 고르는 방법”이면 무엇이든 복제 불변이다(author-stated).

실용 계산 (Appendix B)

• LP는 다항 시간에 풀리므로 deviation rating도 다항 시간이다(Appendix B; 단, 외부 반복 최대 ${\sum }_p|A_p|$회).
• DPP(disciplined parameterized programming)로 매 반복 재컴파일을 피한다.
• 대칭성 제거: payoff 대칭(예: model vs model)을 평균해 변수 수를 절반으로 줄이고 conditioning을 개선한다. 이 경우 대칭 균형만 찾지만 평점 값은 바뀌지 않는다. 중복 열(joint symmetries)은 하나만 추적하고 개수를 기록한다(Appendix B.1).
• 양자화 14자리(Appendix B.2). 구현: CVXPY + GLOP(Appendix B.3).

실험 구성 (Section 5)

연구	게임 구성	비교 대상	위치
5.1 순환·조정 환경	편향된 Shapley 게임(대칭 일반합 가위바위보 변형, 같은 전략을 내면 둘 다 손해) + Nash 혼합 전략 N 추가. 이후 R·P·S 혼합 정책을 표본으로 뽑아 population 대칭 NFG 구성(분포 5종)	Uniform	Table 2, Figure 1
5.2 LLM 평점	Livebench model vs task 점수 $T(m,t)$(18개 과제, Hugging Face livebench/model_judgment 2024/08/18). 3인 게임 $G_A=T(m_A,t)-T(m_B,t)$, $G_B=-G_A$, $G_T=|G_A|$	Uniform, Elo	Figure 2
5.3 모델 개선 유도	OpenSpiel 3인 Kuhn poker(영합), Sheriff(일반합)에서 진화 루프의 fitness로 평점 사용	Uniform	Figure 3
D.1 (부록) Atari 에이전트	2P 영합 agent vs task, 3P agent vs agent vs task	Uniform	Figure 4, Table 3

LLM 게임 설계 이유. Chatbot Arena는 프롬프트마다 두 모델의 비교만 있어 모든 모델이 평가된 데이터가 없으므로 Livebench를 쓴다(Section 5.2). Balduzzi et al.(2018)식 model vs task 2인 게임은 모델이 가장 어려운 과제에 적대적으로 평가돼 만족스럽지 않다(Lanctot et al., 2023 인용). 그래서 “과제라는 맥락에서 모델을 다른 모델과 비교”하는 3인 게임을 만든다. task 플레이어 payoff $|G_A|$는 두 모델 중 이긴 쪽의 이득과 같아, task 플레이어는 이기는 모델과는 공동 이익, 지는 모델과는 영합 관계가 되어 두 모델을 잘 가르는 과제를 선호한다(author-stated, Section 5.2). Chatbot Arena용 prompt vs model vs model 정식화도 같은 구조로 제안만 되었고 실행되지 않았다(Section 5.2).

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
deviation rating은 6개 desiderata를 모두 만족하는 유일한 방법이다	Table 1	Elo는 지배 보존만, Nash averaging은 지배 보존·복제·혼합 불변, Uniform·Payoff Rating·σ-Rank는 지배 보존·N인·일반합	표는 저자 분류. “σ-Rank” 표기는 본문의 α-Rank로 보인다	author-stated (표기 해석은 analyst-inference)
7개 성질은 증명으로 성립한다	Property 1–7	존재·유일·범위(≤0)·지배 보존·offset·복제·혼합 불변	정량 검증이 아닌 증명. 저자는 정량 지표가 없다고 밝힘	author-stated
2인 영합에서는 Nash averaging과 상수 차이	Property 8	$r^{CCE}=r^{NA}-{\sum }_a\sigma (a)G_p(a)$	비자명한 2인 영합 게임 가정	author-stated
편향 Shapley 게임에서 Uniform은 이행 순위를 만들고 Nash 전략을 거의 꼴찌로 둔다	Table 2(b), Section 5.1	$r^{Uni}$: R −2126/964, P −2367/964, N −2497/964, S −3331/964 → R ≻ P ≻ N ≻ S	단일 Nash 균형 [87/241, 100/241, 54/241]	author-stated
같은 게임에서 deviation rating은 R = P = S = N	Table 2(b)	네 전략 모두 −2720/964	순환이 있어 어느 전략도 우월하지 않다는 해석	author-stated
표본 분포를 바꾸면 Uniform 1등이 바뀌지만 deviation rating은 불변	Figure 1(a)(b), Section 5.1	비편향: Uniform R ≻ P ≻ S. Paper 쏠림: Uniform S ≻ R ≻ P. CCE는 두 경우 모두 전원 동점	혼합 불변의 결과. 균형 질량은 population의 convex hull에만 놓인다	author-stated
순환이 깨지면 deviation rating도 차이를 낸다	Figure 1(d), Section 5.1	Minority S: 저자는 paper가 유리해야 한다고 쓰며, 반조정 요소 때문에 R과 P 모두 균형 질량을 받는다	그림에서 CCE 행 색이 달라짐(그래프 판독)	author-stated + analyst-inference
Livebench에서 Uniform과 Elo는 거의 같은 평점	Figure 2(a), Section 5.2	”close to identical ratings”	Uniform·Elo는 rescale됨. 상관계수 등 수치는 보고되지 않았다	author-stated
deviation rating은 상위 4개 모델을 공동 1위로 묶는다	Figure 2(a), Section 5.2	claude-3-5-sonnet, gemini-1.5-pro, Llama-3.1-405B, gpt-4o	64개 모델(그림 라벨 계수), 18개 과제, 2024/08/18 데이터	author-stated (모델 수는 analyst-inference)
공동 1위 모델은 각자 다른 과제에서 강하다	Figure 2(b), Section 5.2	claude-3-5-sonnet → LCB generation, gemini-1.5-pro → summarize, Llama-3.1-405B → other, gpt-4o → connections	task contribution 막대의 합 = 평점	author-stated
영합 게임에서는 두 평점 모두 CCE gap을 줄인다	Figure 3(a), Section 5.3	3P Kuhn poker: 두 곡선 모두 약 0.48에서 시작해 512 iter 무렵 Deviation 약 0.32, Uniform 약 0.34	그래프 판독. seed 수·오차 막대 없음	author-stated (수치는 analyst-inference)
일반합 게임에서는 deviation rating만 gap을 줄인다	Figure 3(b), Section 5.3	Sheriff: Deviation gap 약 22 → 약 10–11, Uniform은 약 19–20 근처에 머묾	그래프 판독. 원문 문장은 “deviation gain is only able to drive a reduction in the gap in a general-sum game”으로 단어가 어색하다	author-stated (수치는 analyst-inference)
평균 payoff는 두 방법 모두 비슷하게 줄어든다	Figure 3, Section 5.3	Sheriff에서 두 평균 곡선 모두 약 7 → 약 5대(오른쪽 축). Kuhn poker는 두 곡선 모두 0에서 평평	저자는 이론상 증가할 이유가 없다고 설명. Kuhn 평평함은 그래프 판독	author-stated + analyst-inference

결과들은 하나의 줄기로 이어진다. Table 1과 Property 1–8이 “무엇이 보장되는가”를 증명으로 세우고, Section 5.1은 그 보장(특히 혼합 불변)이 장난감 게임에서 어떻게 보이는지 직관을 준다. Section 5.2는 같은 성질이 실제 LLM 데이터에서 “강자 묶기 + 과제별 강점 분해”로 나타난다는 것을 보여 주고, Section 5.3은 평점을 진화 루프의 fitness로 쓸 때 일반합 게임에서만 차이가 난다는 것을 보인다.

다만 저자 스스로 Section 5를 “직관을 쌓기 위한 예시”라고 부른다(Section 5 서두). LLM 실험에는 정답 순위가 없어 deviation rating이 “더 맞다”는 정량 증거는 없고, 저자 해석(“사람들이 평가 데이터를 볼 때의 직관을 포착”)은 정성적이다(analyst-inference).

Take-home

• 핵심 메시지: 균형을 고르지 말고 이탈 이득을 고르면, N인 일반합 게임에서도 복제·혼합·offset에 흔들리지 않는 유일한 평점을 LP 반복으로 얻을 수 있다.
• 결론이 성립하는 범위: 성질은 모든 유한 NFG에서 증명됐다. 경험적 예시는 편향 Shapley 게임, Livebench(2024/08/18 스냅샷, 18과제), OpenSpiel 3인 Kuhn poker·Sheriff, 부록의 Atari 에이전트에 한정된다. Livebench 3인 게임 구성은 저자가 정한 payoff 설계($G_T=|G_A|$)에 의존하므로, 다른 task payoff를 쓰면 결과가 달라질 수 있다(analyst-inference).
• 저자가 인정한 한계(author-stated): 평점을 평가하는 일반 정량 지표가 없어 성질 증명으로 대신한다(Section 4.2). 반복 LP에서 오차 누적·ill-conditioning에 주의해야 한다(Appendix B, B.2). 평균 payoff는 두 방법 모두 줄었다(Section 5.3). 독립된 Limitations 절은 없다.
• 작성자가 보는 우려(analyst-inference):
  • 공동 1위 묶음은 성질의 귀결이지만, 실무 리더보드처럼 한 줄 순위를 원하면 동점을 깨는 추가 기준이 필요하다. 동점 판정이 수치 허용오차(14자리 양자화)에 얼마나 민감한지는 보고되지 않았다.
  • LP 변수가 공동 전략 공간 크기라, 모델 64개 × 64개 × 18과제처럼 커지면 계산 비용이 빠르게 늘 수 있다. 실행 시간은 보고되지 않았다.
  • 복제 불변성은 “정확한 복제”에 대한 성질이다. 비슷하지만 똑같지 않은 프롬프트(근사 복제)에 대한 강건성은 이론·실험 모두 다루지 않았다.
  • Figure 3은 단일 곡선이며 seed 반복·신뢰구간이 없다.
• 반복 횟수·공개: seed·run 수는 보고되지 않았다. 코드 공개는 보고되지 않았다(사용 라이브러리 CVXPY·GLOP·OpenSpiel만 명시). Livebench 데이터는 공개 Hugging Face 데이터셋을 사용(Section 5.2 각주 5).
• 읽지 못한 범위: 없음(본문·부록 전체 확인). 부록 도표(Figure 4, Table 3)는 캡션과 텍스트 추출로만 확인했다.

본문 도표

Table 1 — 평점 방법 비교

• 무엇을 보여주는가: 6개 평점 방법이 6개 성질(Dominant Pres., Clone Inv., Mixture Inv., Offset Inv., N-Player, General-Sum)을 갖는지 체크 표시로 비교한다.
• 읽는 법: 행=방법(Elo, Uniform Averaging, Payoff Rating, σ-Rank, Nash Averaging, Deviation Rating), 열=성질. 체크가 있으면 그 성질을 가진다.
• 핵심 관찰: Deviation Rating만 6칸 모두 체크. Nash Averaging은 지배 보존·복제·혼합 불변 3칸, Uniform·Payoff Rating·σ-Rank는 지배 보존·N-Player·General-Sum 3칸, Elo는 지배 보존 1칸. offset 불변은 Deviation Rating에만 있다.
• 의미와 주의: 저자는 이 표로 “복제 불변과 N인 일반합을 동시에 가진 첫 방법”을 주장한다(author-stated, Section 4.2). “σ-Rank”는 본문 Section 3.2의 α-Rank를 가리키는 것으로 보인다(analyst-inference). 체크는 저자의 분류이며 각 방법의 성질을 이 논문 안에서 따로 증명하지는 않는다(deviation rating만 증명).
• 확인 상태: viewed

Table 2 — 편향 Shapley 게임의 payoff와 평점

• 무엇을 보여주는가: (a) 순환 R ≻ S ≻ P ≻ R 구조에 같은 전략을 내면 둘 다 −8을 받는 편향 Shapley 게임에 Nash 혼합 전략 N을 네 번째 순수 전략으로 추가한 payoff 행렬. (b) 각 전략의 Uniform 평점과 CCE deviation 평점.
• 읽는 법: (a) 행=행 플레이어 전략, 열=열 플레이어 전략, 칸=(행 payoff, 열 payoff). 예: R vs S는 +4, −4. (b) 열 $r^{Uni}$, $r^{CCE}$, 값은 분수.
• 핵심 관찰: $r^{Uni}$는 R −2126/964, P −2367/964, S −3331/964, N −2497/964로 R ≻ P ≻ N ≻ S. $r^{CCE}$는 네 전략 모두 −2720/964.
• 의미와 주의: 저자는 Uniform이 “스스로 취약한 S를 이기는 R”을 과대평가하고 유일한 비착취 순수 전략 N을 뒤에서 두 번째로 둔다고 비판한다. deviation rating은 순환 때문에 어느 전략도 낫다고 할 수 없고, N은 같은 기대 payoff를 주는 특별한 혼합이므로 모두 같다고 해석한다(author-stated, Section 5.1).
• 확인 상태: viewed

Figure 1 — Shapley 게임 population 평점

• 무엇을 보여주는가: R·P·S 혼합 정책을 5가지 분포로 표본 추출해 만든 population 게임에서, 각 정책의 Uniform 평점(위 행)과 CCE 평점(아래 행).
• 읽는 법: 각 패널은 꼭짓점 R(위)·P(왼쪽 아래)·S(오른쪽 아래)인 심플렉스. 점의 위치=정책의 혼합 비율, 점의 채움 색=평점, 테두리 색=균형에서의 marginal 확률 질량. 열 (a) Unbiased, (b) Biased(paper 쪽 쏠림), (c) Restricted, (d) Minority S, (e) Impure(순수 전략이 convex hull 밖). 색 척도의 수치 범례는 그림에 없다.
• 핵심 관찰: (a) Uniform은 R을 가장 높게, 나머지를 R ≻ P ≻ S 방향으로 선형 배치. CCE는 전원 같은 색. (b) Uniform은 S ≻ R ≻ P로 뒤집힘. CCE는 여전히 전원 동일. (c) 범위를 조금 좁혀도 순환이 남아 평점 불변. (d) 순환이 사라져 CCE에서도 색 차이가 나타나고, 저자는 paper 유리 및 R·P 모두 균형 질량을 받는다고 설명. Uniform은 가장 혼합된 전략을 최고로 평가. (e) 게임이 사실상 반조정 게임이 되어 그렇게 평가됨.
• 의미와 주의: “분포를 조작하면 Uniform은 R·P·S 중 아무거나 1등으로 만들 수 있지만 deviation rating은 항상 동점”이라는 것이 저자 결론(author-stated). 이는 혼합 불변의 직관적 시연이며, 색 차이의 크기는 범례가 없어 정량 판독이 불가하다(analyst-inference).
• 확인 상태: viewed

Figure 2 — Livebench 분석

• 무엇을 보여주는가: Livebench 데이터를 model vs model vs task 3인 게임으로 평가한 결과. (a) 세 평점 비교, (b) 가장 두드러진 4개 과제의 기여 분해, (c) 원자료 heatmap.
• 읽는 법: (a) y축=모델 이름(위에서 아래로 정렬, 라벨 64개), x축=평점(−0.60). 마커 ×=Deviation, +=Uniform, ○=Elo. Uniform·Elo는 CCE 범위로 rescale. (b) 같은 y축, x축=평점(−0.60). 가로 누적 막대 색=과제(summarize, LCB generation, math comp, connections, other tasks), 막대 합=해당 모델의 deviation rating(× 표시). (c) 행=모델, 열=18개 과제, 색=원 점수. 아래 색점은 (b)의 강조 과제로 보인다(analyst-inference).
• 핵심 관찰: (a) Uniform과 Elo 마커가 거의 겹친다(저자: “close to identical”). Deviation(×)은 상단 4개 모델(claude-3-5-sonnet-20240620, gpt-4o-2024-08-06, Meta-Llama-3.1-405B-Instruct-Turbo, gemini-1.5-pro-exp-0801)을 같은 값으로 묶는다. 하위 모델은 약 −0.55 부근까지 내려간다(그래프 판독). (b) 상위 4개는 각각 LCB generation, summarize, other, connections에서 강하다(본문).
• 의미와 주의: 저자는 “하나의 해가 최고가 아니면, 각자의 niche를 채우는 해들을 추가 가정 없이 가르는 것은 위험하다. 강자들을 묶고 각자의 장단점을 말하는 것이 최선”이라고 해석하고, 한 모델이 모든 과제에서 지배하면 지배 보존 때문에 최고로 평가될 것이라 덧붙인다(author-stated, Section 5.2). 상위 묶음 밖 모델 간 순위가 Uniform·Elo와 얼마나 다른지는 수치로 보고되지 않았다(analyst-inference).
• 확인 상태: viewed

Figure 3 — 평점이 유도하는 모델 개선

• 무엇을 보여주는가: 진화 루프(하위 1/4 제거·무작위 교체)에서 Uniform과 Deviation을 fitness로 썼을 때, 전체 게임 CCE gap과 population 평균 payoff의 변화.
• 읽는 법: x축=iteration(0~512). 왼쪽 y축=equilibrium(CCE) gap(낮을수록 좋음), 오른쪽 y축=평균 payoff(높을수록 좋음). 실선=Gap, 점선=Average, 파랑=Deviation, 빨강=Uniform. (a) 3P Kuhn Poker(영합, 왼쪽 축 약 0.3–0.45, 오른쪽 축 −0.5–1), (b) Sheriff(일반합, 왼쪽 축 약 10–20, 오른쪽 축 5–7).
• 핵심 관찰: (a) 두 gap 곡선 모두 약 0.48에서 내려가며, 512 iter 무렵 Deviation 약 0.32, Uniform 약 0.34(그래프 판독). 평균 payoff 두 곡선은 0에서 평평(그래프 판독). (b) Deviation gap은 약 22에서 약 10–11로 감소, Uniform gap은 약 19–20 근처에서 횡보. 평균 payoff는 두 방법 모두 약 7에서 약 5대로 감소(그래프 판독).
• 의미와 주의: 저자 결론은 “영합에서는 둘 다 gap을 줄이지만 일반합에서는 deviation rating만 줄인다”이고, 평균 payoff 감소는 이론상 예상 밖이 아니라고 본다(author-stated, Section 5.3). 곡선은 각 조건 1개뿐이고 seed 반복·오차 막대가 없어 차이의 통계적 신뢰도는 판단할 수 없다(analyst-inference).
• 확인 상태: viewed

Wiki 연결

• Chatbot Arena - 인간 선호 기반 LLM 평가 오픈 플랫폼 — 이 논문이 Elo 기반 2인 영합 평가의 대표 사례로 비판하고 3인 prompt vs model vs model 정식화를 제안한 대상(Chiang et al., 2024)
• MINDGAMES - A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs — 다자 LLM 상호작용을 리더보드로 평가한다는 점에서 deviation rating을 적용할 만한 설정 (analyst-inference, 이 논문에서 인용하지 않음)
• LLM Squid Game - A Factorial Benchmark for Measuring Functional Self-Preservation Drive in Large Language Models — N인 일반합 생존 게임의 에이전트 평점 문제에 복제 불변 평점을 쓸 수 있는지 검토할 대상 (analyst-inference, 이 논문에서 인용하지 않음)
• Evaluating Agents using Social Choice Theory — 같은 저자군의 clone-consistent 집계 방법(투표 규칙 기반)
• CoopEval - Benchmarking Cooperation-Sustaining Mechanisms and LLM Agents in Social Dilemmas — Deviation Ratings를 LLM 사회적 딜레마 순위에 쓴 응용

BibTeX

@article{marris2025deviation,
  title   = {Deviation Ratings: A General, Clone-Invariant Rating Method},
  author  = {Marris, Luke and Liu, Siqi and Gemp, Ian and Piliouras, Georgios and Lanctot, Marc},
  journal = {arXiv preprint arXiv:2502.11645},
  year    = {2025},
  url     = {https://arxiv.org/abs/2502.11645}
}