사회선택이론으로 에이전트 평가하기 (Voting-as-Evaluation, VasE)

개요

여러 과제를 푸는 “범용” 에이전트를 비교할 때 가장 곤란한 지점은 과제마다 점수의 단위가 다르다는 것이다. Atari의 skiing은 보상이 −10000 아래로 내려가고, 다른 게임은 수백 점이며, LLM 벤치마크에서는 정확도·F1·성공률이 뒤섞인다. 그래서 지금까지는 둘 중 하나를 했다. 승패를 모아 Elo(체스용 로지스틱 실력 점수)를 매기거나, 점수를 [0,1]로 정규화한 뒤 “에이전트 대 과제” 게임의 균형을 푸는 Nash averaging을 쓰는 것이다. 이 논문의 통찰은 이 문제가 사실 수백 년 묵은 선거 문제와 같다는 것이다. 각 과제를 한 명의 **투표자(voter)**로 보고, 투표자는 자기 기준(속도든 득점이든)으로 후보(에이전트)의 순위만 적어 낸다. 그러면 “누가 전체 1등인가”는 “어떤 투표 규칙으로 표를 셀 것인가”로 바뀌고, 사회선택이론이 이미 증명해 둔 공리, 예를 들어 Condorcet 일관성(모든 1대1 대결에서 이기는 후보가 있으면 반드시 1등으로 뽑는다)과 clone 일관성(비슷한 후보를 여러 개 끼워 넣어도 결과가 흔들리지 않는다)을 평가 방법의 성질로 그대로 가져올 수 있다. 점수를 과제끼리 비교하지 않으니 정규화가 필요 없고, 과제 가중치도 평가자가 정한다. 저자들은 9개 투표 규칙을 비교한 끝에 maximal lotteries(1대1 득표차 행렬을 두 사람 영합 게임으로 보고 그 균형 분포를 고르는 확률적 규칙)를 추천하고, 이를 반복해 전체 순위를 내는 Iterative Maximal Lotteries(IML)를 제안한다. 증거는 대비로 나온다. Atari 54게임에서 Nash averaging은 과제 4개(7.4%)에만 가중치를 주고 네 에이전트를 공동 1위로 묶었지만, 9개 투표 규칙은 모두 Rainbow를 1위로 뽑았다(Rainbow는 strong Condorcet winner). AgentBench에서 IML은 원래 총점이 0.07밖에 차이 나지 않던 text-davinci-002와 text-bison-001이 서로 다른 “레벨”이라는 것을 드러냈다. 31,049판의 7인 Diplomacy 기록에서는 Copeland와 Approval(k=2, 3)이 Elo보다 유의하게 낮은 순위 예측 오차를 냈다.

Implication: 여러 과제를 하나의 순위로 합치는 일은 “점수를 어떻게 평균할까”가 아니라 “어떤 공리를 지킬까”를 고르는 일이다. 투표 규칙을 고르는 순간 평가자가 무엇을 중요하게 여기는지가 드러나고, 이것이 Elo·Nash averaging보다 해석 가능하고 복제·정규화에 강한 집계를 준다.

📎 https://arxiv.org/abs/2312.03121

배경과 문제

왜 어려운가. 범용 에이전트 평가는 과제·특징·지표가 여러 개일 때 혼란이 커진다. 저자들은 ALE(Arcade Learning Environment, Atari 게임 묶음)가 범용 RL 에이전트 연구를 이끌었지만 평가 선택지가 너무 넓어 서로 호환되지 않는 평가 방법론들이 생겼다고 지적한다(author-stated, Introduction p.1, Machado et al. 2018 인용). 이 문제를 설명하는 장난감 예로 세 에이전트 A·B·C가 다섯 종목(양궁·농구·사이클·싱크로나이즈드 스위밍·테니스)을 겨루는 “5종 경기”를 쓴다(Figure 1).

기존 방법 1 — Elo와 그 한계 (Evaluating Agents: Rating and Ranking, Drawbacks of Elo, pp.2–3).

Elo는 승패로부터 로지스틱 모델을 학습해 각 선수에게 rating $r_{i}$ 를 준다. 예측 승률은 $\overset{p}{^}_{ij} = 1/ (1 + 1 0^{(r_{j} - r_{i}) /400})$ (p.3). TrueSkill, bayeselo도 같은 Bradley-Terry 계열이며 불확실성을 베이즈로 다룬다(author-stated, p.3).
비추이성(non-transitivity, 가위바위보처럼 A>B>C>A인 순환 관계)을 표현하지 못한다. 가위바위보에서는 셋에게 같은 rating을 주고 서로 1/2 확률로 이긴다고 예측한다(p.2). 실제 Go 에이전트와 사람의 체스 기록에서도 추이성 가정이 깨진다고 인용한다(p.3).
복제(clone)로 조작된다. 비슷한 에이전트를 여러 개 넣으면 순위가 뒤집힐 수 있다. 진짜 승률 $p_{A B} = 0.55$ , $p_{BC} = 0.52$ , $p_{A C} = 0.9$ 인 경우 B를 10개 복제하면 Elo는 $r_{A} - r_{C} = 98$ , $\overset{p}{^}_{A C} = 0.631$ 로 예측해 실제 0.9와 크게 어긋난다(Figure 2, p.3).
5종 경기에서 A와 C를 같은 점수로 둔다. C가 A·B 모두에게 과반으로 이기는데도 그렇다(Figure 3). 부록은 Elo 갱신식의 기울기 성분이 $r_{A}$ 와 $r_{C}$ 에서 모든 단계에서 같다는 것을 보인다(Appendix “Elo Rating Analysis”, pp.16–17).

기존 방법 2 — 게임이론적 평가와 Nash averaging (Game-Theoretic Invariant Evaluation, pp.3–4).

Balduzzi et al.(2018)은 Schur 분해로 비교 문제를 순환·추이 성분으로 나누고 mElo(다차원 Elo)와 Nash averaging을 제안했다. AvT(Agent-vs-Task) 설정에서는 행=에이전트, 열=과제인 점수 행렬 $S$ 로, AvA(Agent-vs-Agent) 설정에서는 에이전트끼리의 기대 효용 행렬로 2인 영합 게임을 만들고, 최대 엔트로피 Nash 균형에 대한 기대값으로 에이전트 순위를 매긴다(p.4).
mElo는 비추이성을 표현하지만 복제에 취약하다. Nash averaging은 균형의 성질 덕에 에이전트·과제 모두 복제에 강하다. 그러나 같은 성질 때문에 과제 분포의 support(양의 확률을 받는 과제 집합)가 일부만 남을 수 있고, 저자들은 이를 adversarial task selection(적대적 과제 선택)이라 부른다(p.4).
저자들이 꼽는 Nash averaging의 세 문제: (1) 점수가 서로 직접 비교 가능해야 한다(정규화 필요), (2) 과제를 공격적으로 걸러 낸다, (3) 포함된 에이전트 집합에 매우 민감하다(author-stated, Introduction p.2).
Balduzzi et al.이 요구한 “과제 복제에 대한 불변성”은 지나치게 제약이 크고, 과제 중요도에 가중치를 줄 방법을 없앤다고 보아 이 논문은 그런 불변 프레임워크를 다루지 않는다(author-stated, p.4). 상관균형(Marris et al. 2022), α-Rank 기반 평가(Jordan et al. 2020)도 언급하며, 후자 역시 점수 정규화가 필요하다고 쓴다(p.4).

학술적 계보. 이 논문은 범용 에이전트 평가와 **계산 사회선택(computational social choice)**이라는 두 하위 분야를 잇는다고 스스로 말한다(Introduction p.1). 투표 규칙은 Condorcet(1785), Borda, Copeland(1951), Kemeny(1959)·Young, Tideman(1987, ranked pairs), Schulze(2011), 확률적 규칙인 maximal lotteries(Kreweras 1965; Fishburn 1984; Brandl et al. 2016)에서 가져온다(pp.5–7). 결론에서는 “Rethink reporting of evaluation results in AI”(Burnell et al. 2023)의 첫 지침 “집계 결정을 명확히 설명하라”를 VasE가 정확히 수행한다고 위치 짓는다(Conclusion p.10, author-stated).

이 논문의 기여(Introduction p.2, author-stated): (1) 계산 사회선택을 범용 에이전트 평가에 적용하는 VasE 틀, (2) 평가와 관련된 일관성 성질과 그 효과의 정리, (3) RL·LLM·사람 경기 세 영역에서의 분석, (4) 전체 순위를 내는 maximal lotteries의 반복 변형(IML).

지표

이 논문에서 “지표”는 두 층이다. (a) 과제별 원점수를 받아 하나의 순위로 합치는 집계 규칙(투표 규칙과 비교 대상 Elo·Nash averaging)과, (b) 그 집계가 얼마나 좋은지 재는 메타 지표(예측 오차, 과제 사용 비율, 순위 일치)다. 과제별 원점수(Atari 보상, AgentBench 과제 점수 등)는 원 논문의 것을 그대로 받아 쓰며, VasE는 같은 과제 안에서만 비교하므로 정규화하지 않는다(Observation 4, p.8).

(a) 투표의 기본 재료

이름	정의	범위·방향	위치
투표(vote) / preference profile	과제(AvT) 또는 한 판의 경기(AvA) 하나가 에이전트들에 대해 내놓는 순위 하나. 과제 점수의 내림차순으로 만든다. Diplomacy는 게임 종료 시 보급 기지(supply center) 수 순서	순서 관계	VasE 절 p.6, ALE 절 p.7, Diplomacy 절 p.10
preference count $N (x, y)$	$x$ 를 $y$ 보다 엄격히 선호한 투표자 수. $N (x, x) = 0$	0…n	Social Choice Theory Basics p.4; Appendix p.17
vote margin $δ (x, y)$ , margin matrix $M$	$δ (x, y) = N (x, y) - N (y, x)$ . $M = N - N^{T}$ 는 반대칭 행렬	−n…n, 클수록 $x$ 우세	p.4, Figure 4
Condorcet winner	weak: 모든 $a^{'}$ 에 대해 $δ (a^{*}, a^{'}) \geq 0$ . strong: 자기 자신 제외 모두에서 $> 0$ . 존재하지 않을 수 있다(3인 순환 예)	존재/부재	p.5; Appendix Definition 1 p.17

(b) 집계 규칙(9개 투표 규칙)과 각자의 점수

모든 규칙은 순위만 쓰므로 단위가 없다. 점수가 높을수록 상위다. 성질 요약은 Table 1(p.7), 부록 Table 4(p.19, 의제 일관성·IIA 행 추가).

규칙	점수 정의 (원문)	보장 성질 (Table 1)	복잡도	위치
Approval( $k$ )	각 투표에서 상위 $k$ 명에게 1점, 합계. 점수 벡터 $w = (1_{1}, \dots, 1_{k}, 0, \dots, 0)$	Population	$m$	p.5; Appendix p.18–20
Plurality	각 투표의 1위 횟수. $w = (1, 0, \dots, 0)$	Population	$m$	Appendix p.20
Borda	순위별 $m - 1, m - 2, \dots, 0$ 점 합계	Population	$m$	Appendix p.20
STV(단기 이양식)	Droop quota $⌊ n / (k + 1) + 1 ⌋$ 로 당선·탈락을 라운드마다 정하고 잉여표를 이양. 점수는 당선자 $2 m - i_{w}$ , 탈락자 $m - i_{l}$ 에 그 라운드 득표수를 소수점 뒤에 붙인 값	표시된 성질 없음	$m^{2}$	Appendix pp.20–21
Copeland	1대1에서 이긴 상대 수 + ½ × 비긴 상대 수	Condorcet	$m^{2}$	Appendix p.21
Kemeny-Young	모든 $m!$ 순열 중 “위에 놓인 후보가 아래 후보를 이긴 표 수 합”(Kemeny value)을 최대화하는 순열. 개인 점수는 자기보다 아래 놓인 후보에 대한 $N$ 의 합	Condorcet	$m!$	Appendix p.21
Ranked Pairs (Tideman)	쌍을 $δ$ 내림차순으로 정렬해 순환이 생기지 않을 때만 간선 추가, source부터 차례로 제거. 점수는 저자 정의(제거 시 도달하는 경로들의 간선 가중치 합)	Condorcet, Clone	$m^{3}$	Appendix p.23
Schulze	경로 강도 = 가장 약한 연결, $P (a, b)$ =가장 강한 경로, $P (a, b) > P (b, a)$ 이면 $a ≻ b$ . 점수는 저자 정의	Condorcet, Clone	$m^{3}$	Appendix p.22
Maximal Lotteries (ML)	모든 lottery $q$ 에 대해 $p^{T} Mq \geq 0$ 인 분포 $p \in Δ (A)$ . 즉 margin game(득표차 행렬을 보수로 하는 대칭 2인 영합 게임)의 maximin(=Nash) 해. 게임 값은 항상 0, 선형계획으로 풀린다	Condorcet, Clone, Population (+ 의제 일관성, IIA)	poly( $m^{2}$ ), 균형 solver에 의존	p.5; Appendix pp.23–24
Iterative ML (IML)	ML을 풀고 support에 든 승자 집합을 빼고 남은 margin 부분게임을 다시 푸는 것을 반복(Algorithm 1). 점수 = 레벨 + 그 레벨 균형에서 받은 확률. 본문 표기 $l - 1 + w_{a}$ , 부록 표기 $Level (W, a) + x (a)$ , Level은 맨 아래 0, 맨 위 $∣ W ∣ - 1$	ML을 각 단계에 적용	—	Algorithm 1 p.6; p.8–9; Appendix pp.24–25

규칙 간 성질과 충돌. 모든 scoring rule(점수 벡터 합산 규칙)은 population consistency를 만족하지만 Condorcet 일관적이지 않다. 결정론적 투표 규칙에서는 두 성질이 양립할 수 없다(Young and Levenglick 1978 인용, p.5). maximal lotteries는 확률적 규칙이라 이 불가능성을 피하며, population consistency와 composition consistency(clone 일관성의 강한 형태)를 동시에 만족하는 유일한 규칙이라고 쓴다(Brandl et al. 2016 인용, Appendix p.24). 저자들이 해석한 평가용 의미(p.6): Condorcet 일관성은 “1대1에서 모두를 이기는 에이전트를 찾아낸다”, population 일관성은 “과제 부분집합들에서 합의가 있으면 합쳐도 그 결론이 유지된다”, clone 일관성은 “구조·하이퍼파라미터 변형으로 생긴 거의-복제본을 넣어도 순위가 바뀌지 않는다”.

알려진 실패 양상 (원문이 보고한 것).

scoring rule은 투표 길이가 다르면(일부 과제에 일부 에이전트만 있으면) 적은 후보와 비교된 에이전트가 같은 점수를 받는 왜곡이 생기고, 에이전트별 출현 빈도가 고르지 않아도 영향을 받는다(Appendix “Voting Method Logistics”, pp.26–27). Plurality·STV는 1위 횟수를 크게 중시해 A3C를 위로 올린다(Observation 2, p.8).
결정론적 규칙은 동점을 깨는 규칙이 필요하다. 논문은 모든 방법에 일관된 무작위 작은 섭동으로 동점을 깼다(Appendix p.27).
Copeland는 Condorcet 일관적이지만 clone-proof가 아니다(Appendix p.21). Kemeny-Young은 $m!$ 열거라 비싸다(Table 1).
VasE 전체로는 순위·쌍비교만 쓰고 점수 크기(cardinal information) 같은 유용한 신호를 버린다(Conclusion p.11, author-stated).

(c) 비교 대상 지표

이름	정의	원문이 보고한 실패 양상	위치
Elo rating	$\overset{p}{^}_{ij} = 1/ (1 + 1 0^{(r_{j} - r_{i}) /400})$ 로 맞춘 rating. 갱신량 $K \cdot (S - E)$ , $K$ 는 보통 16 또는 32. 부록 유도에서는 기댓값을 $1/ (1 + e^{(r_{y} - r_{x}) /400})$ 로 적는다	비추이성 표현 불가, clone에 의한 조작, 5종 경기에서 A=C	pp.2–3; Appendix pp.16–17
Elo 예측 오차 $∥ e ∥_{\infty}$	$e = (p_{ij} - \overset{p}{^}_{ij})_{(i, j)}$ , $∥ e ∥_{\infty} = max_{i, j} ∣ e_{ij} ∣$ . 낮을수록 좋음	복제 수가 늘면 빠르게 커진다(Figure 2)	p.3
Nash average	점수 행렬(정규화 [0,1])로 만든 2인 영합 게임의 최대 엔트로피 Nash 균형에 대한 각 에이전트의 기대값. 높을수록 상위	support 안의 상위 에이전트들은 값이 같아 구분이 안 된다. 과제 support가 작아 데이터 대부분을 버린다. 정규화 없으면 skiing 한 과제에 전부 몰린다	p.4; Observations 4–6 p.8, Observation 8 p.9; Appendix pp.15, 25–26
과제 사용 비율(support 크기)	Nash averaging 균형에서 양의 확률을 받은 과제 수 / 전체 과제 수	(메타 지표) ALE 4/54=7.4%, AgentBench 2/8	Observations 5, 6, 8
AgentBench 총점	각 과제 점수에 “그 과제 평균 점수의 역수”를 곱해 가중	원 벤치마크의 집계 방식으로만 소개됨	p.8
α-Rank	고 순위강도 파라미터 방법으로 계산한 과제·에이전트 분포	Nash averaging보다 덜 적대적(전체 support)	Appendix p.28, Figures 7–8

(d) 집계 품질을 재는 메타 지표

이름	정의	범위·방향	측정 조건	위치
Kendall-tau 거리 $K_{d} (R (G), g)$	평가 순위 $R (G)$ 와 특정 게임 $g$ 의 실제 순위 사이에서 순서가 어긋난 쌍의 수	0 이상, 낮을수록 좋음. 7인 게임이므로 쌍은 $(2 7) = 21$ 개	Diplomacy	p.10
ErrorPerGame	$\frac{1}{∣ D _{T} ∣} \sum_{g \in D_{T}} K_{d} (R (D_{R}), g)$ . 학습용 게임 $D_{R}$ 로 순위를 만들고 시험용 게임 $D_{T}$ 에서 평균	낮을수록 좋음	무작위 train/test 분할 50회, $∣ D_{R} ∣ = 28049$ , $∣ D_{T} ∣ = 3000$ , 95% 신뢰구간	p.10, Figure 5
고유 투표 수(unique votes) 히스토그램	과제들이 내놓은 순위 중 서로 다른 것의 개수. 모든 투표 쌍을 $O (n^{2})$ 로 비교	많을수록 과제 집합이 (그 에이전트 집합에 대해) 다양	ALE 54과제	Observation 1 p.7
IML 레벨 수 $∣ W ∣$	IML 반복 횟수. $∣ W ∣ = m$ 이면 매 단계 승자가 1명뿐 → 순환 없음(완전 추이). 작을수록 순환(혼합 전략 해)이 잦음	1…m	—	Appendix pp.24–25

analyst-inference: Diplomacy의 $K_{d}$ 는 21쌍 중 어긋난 쌍 수이므로, 무작위 순위라면 기대값이 대략 10.5 근처일 것이다. 논문이 보고한 값은 Figure 5 판독으로 8.4–8.7 사이라 모든 방법이 무작위보다는 낫지만, 방법 간 차이는 약 0.2 이내다. 시험 게임에 학습 데이터에 없던 플레이어가 나오는 경우와 보급 기지 수 동점을 어떻게 처리했는지는 보고되지 않았다.

방법과 벤치마크 구성

VasE 틀 (Voting-as-Evaluation 절, p.6)

후보 $A$ = 평가할 에이전트 집합.
투표자 $V$ = AvT 설정에서는 과제·환경 하나하나, AvA 설정에서는 상호작용·경기 하나하나.
각 투표자는 자기 맥락의 기준(누적 보상, 특정 지표 등)으로 에이전트 순위를 만들거나 “a가 b보다 나은가” 쌍비교에 답한다. 과제 간·경기 간 비교가 가능하다고 가정하지 않고, 투표자들이 같은 지표를 쓴다고도 가정하지 않는다(author-stated).
집계자 = 투표 규칙. 평가 문제는 “평가자가 원하는 성질을 보장하는 투표 규칙 고르기”로 환원된다. 예를 들어 5종 경기에서 Condorcet 일관성을 중시하면 C(strong Condorcet winner)를 1위로 내는 규칙을, population 일관성을 중시하면 A와 C를 공동 1위로 내는 plurality·Borda 같은 scoring rule을 골라야 한다(p.6).
과제 가중치는 시스템이 아니라 사용자가 정한다(같은 표를 여러 번 세는 방식, HELM 응용 Appendix p.49).

구현은 OpenSpiel의 open_spiel/python/voting 폴더에 공개되어 있다(Introduction p.2 각주 1).

Iterative Maximal Lotteries (Algorithm 1, p.6; Appendix Algorithm 2, pp.24–25)

입력: 후보 집합 $A_{0}$ . 매 라운드 $t$ : (1) $x_{t}$ = 현재 후보들의 maximal lottery, (2) $w_{t}$ = $x_{t} (a) > 0$ 인 후보(승자 집합), (3) $(x_{t}, w_{t})$ 를 $W$ 에 붙이고, (4) 승자를 후보와 모든 투표에서 지운다(실제로는 margin matrix의 해당 행·열 삭제). 후보가 없어지면 멈춘다. 같은 레벨의 에이전트는 같은 전략적 순환 안에 있다는 뜻이고, 점수의 정수부는 레벨, 소수부는 그 레벨 균형에서의 확률이다(Appendix p.25). 5종 경기에서는 세 라운드에 걸쳐 C, A, B가 각각 확률 1로 뽑혀 점수 (3, 2, 1)이 된다(Appendix p.25).

ML과 Nash averaging의 차이 (Appendix pp.25–26, `author-stated`)

둘 다 2인 영합 게임을 풀지만 (1) ML은 순위·쌍비교에서 만든 margin matrix를, Nash averaging은 실제 보수(정규화 점수, 기대 상금)를 쓴다. (2) ML은 균형의 형태를 제한하지 않고, Nash averaging은 유일성을 위해 최대 엔트로피 균형을 요구한다. (3) ML 순위는 균형 분포 자체에서, Nash averaging 순위는 그 균형에 대한 기대값에서 나온다. (4) n인·일반합 AvA로 넓힐 때 Nash averaging의 메타게임 텐서는 인원수에 지수적으로 커지지만, ML은 모든 경기를 투표로 넣어 $m \times m$ margin matrix만 쓴다. 결정적 차이로, Nash averaging은 “한 번의 큰 승리 10”을 “7번의 승리 1”보다 선호하지만 ML은 몇 번 더 높게 순위 매겨졌는지만 본다.

부록은 Nash averaging의 AvT 이중게임(double game)이 점수 행렬 $S$ 하나로 된 비대칭 단일 게임의 최대 엔트로피 균형과 같다는 등가성 정리(Theorem 1)와 보조정리 2개를 증명한다(Appendix p.15).

실험 설정 (Empirical Evaluation, pp.7–10; 부록)

응용	데이터	후보·투표자	비교 대상	위치
ALE (범용 RL)	Hessel et al. 2017 Table 5의 평균 점수. 대체 평가 프로토콜은 같은 논문 Table 6	8 에이전트(DQN 변형들 + A3C) × 54 Atari 게임 = 완전 순위 54표. 확장판: random·human(Badia et al. 2020 Section H.4) 추가해 10 에이전트	Nash averaging(점수 [0,1] 정규화), Elo, α-Rank	pp.7–8; Appendix pp.28–31
AgentBench (LLM 에이전트)	Liu et al. 2023 Table 3 원점수, 정규화 없음	25 LLM × 8 환경(OS·DB·지식그래프·카드게임·수평사고 퍼즐·가사·웹 쇼핑·웹 브라우징)	AgentBench 총점, Nash averaging, Elo	pp.8–9; Appendix pp.35–40
Diplomacy (사람, AvA)	webDiplomacy 익명 기록 2008–2019	$n = 31049$ 판(7인), $m = 52958$ 플레이어. 한 판 = 한 표	Elo(각 판에서 $(2 7) = 21$ 개의 1대1 결과로 변환)	pp.9–10
AdA / XLand (부록)	Team et al. 2023 내부 리더보드	150 에이전트 × 46 과제 × 시행 횟수 $t \in {1, 2, 3, 5, 8, 13}$ , 각 칸은 250회 반복 평균 보상	투표 규칙 간	Appendix pp.32–34
Chatbot Arena (부록)	LMSYS 대화 데이터 33,000개, 20 모델, 쌍비교(승·패·무)	Condorcet 계열만 적용	Chatbot Arena Elo	Appendix pp.41–45
요약용 프롬프트 선택 (부록)	저자 자체 과제: 가상 관광지 글 요약	7 프롬프트 × 5 과제(과제당 글 3개 × 질문 3개). 점수 = 요약만 보고 맞힌 질문 수 − $0.1 lo g (length)$	Nash averaging	Appendix pp.42–48
HELM (부록)	2023년 4월 수집. Core: 37 모델, 지표별 head-to-head 승률. All: 37 모델 × 39 시나리오	균일 가중과 사용자 가중(독성 5배, 편향·공정성 3배 / 효율 6배, 정확도 4배)	—	Appendix pp.48–56

Diplomacy에서 Nash averaging·α-Rank·상관균형 순위는 메타게임 보수 텐서가 너무 커서 풀 수 없다고 하고, ML이 풀 게임도 크다고 쓴다(p.10). 그래서 Diplomacy 결과(Figure 5)에는 ML·IML이 없다.

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
ALE에서 9개 규칙 모두 Rainbow를 1위로 뽑는다	Table 2, p.7	Rainbow는 strong Condorcet winner	8 에이전트 × 54 게임	author-stated
ALE의 54개 투표가 모두 서로 다르다	Observation 1, p.7	반복된 순위 없음	대부분 DQN 변형인데도	author-stated
규칙에 따라 상대 순위가 바뀌는 것은 A3C뿐이다	Observation 2, pp.7–8; Table 2	A3C: Plurality 2위, STV 3위, Approval·Kemeny·IML·RP·Schulze 4위, Borda·Copeland 5위	유일한 policy gradient 에이전트라서일 수 있다는 것은 저자의 추측	author-stated
다른 평가 프로토콜(no-op 시작 vs 사람 행동 시작)은 순위를 바꾸지 않는다	Observation 3, p.8	Hessel et al. Table 6으로 돌려도 9개 규칙 순위 동일	—	author-stated
Nash averaging은 정규화가 필요하다	Observation 4, p.8	원점수면 skiing(보상 < −10000) 한 과제에 전부 가중	VasE는 과제 내부 비교만 해서 불필요	author-stated
Nash averaging은 ALE에서 과제를 적대적으로 고른다	Observation 5, p.8	4자 공동 1위 {a3c, dist-dqn, rainbow, duel}, 값 0.3891. 과제 분포 assault 0.36, boxing 0.29, breakout 0.26, venture 0.09 → 4과제(7.4%)만 사용	[0,1] 정규화 후	author-stated
Nash averaging은 에이전트 집합에 민감하다	Observation 6, p.8	random·human 추가 시 새 4자 공동 1위 {a3c, dist-dqn, rainbow, human}, 값 0.4253. 과제 분포 asterix 0.032, breakout 0.39, gopher 0.17, montezuma_revenge 0.40, 이전 support와 겹치는 과제는 1개. 원문은 “93.6%를 걸러 낸다”고 씀	VasE에서는 원래 8개 상대 순위가 거의 동일, Rainbow 여전히 strong Condorcet winner, random 최하위, human 위치는 규칙마다 다름	author-stated
원문 비율 표기 불일치 가능성	Observation 6, p.8	54개 중 4개를 쓰면 버린 비율은 50/54 ≈ 92.6%로 계산되어 원문 93.6%와 1%p 다르다	원문 오타일 가능성	analyst-inference
AgentBench에서 VasE 순위는 원 총점 순위와 대체로 같다	p.8	gpt-4가 strong Condorcet winner이자 모든 VasE 순위에서 1위	25 모델 × 8 과제	author-stated
IML은 질적으로 다른 에이전트 계층을 찾아낸다	Observation 7, p.8–9; Table 3	17번 반복 중 상위 6개(gpt-4 17.00 … text-davinci-002 12.00)는 각 부분게임의 Condorcet 승자. 원 총점이 0.07 차이인 text-davinci-002와 t-bison-001이 다른 레벨이며, 하위 3개 부분게임에서 text-davinci-002가 Condorcet 승자	Elo나 총점만으로는 드러나지 않는다는 것이 저자 주장	author-stated
Nash averaging은 AgentBench에서도 과제를 적대적으로 고른다	Observation 8, p.9	HouseHolding 0.135, WebShopping 0.865 → 6/8=75% 과제 미사용. gpt-4가 1위를 못 한 유일한 과제에 가중이 몰림. gpt-4와 gpt-3.5-turbo가 값 0.889로 공동 1위	[0,1] 정규화	author-stated
Diplomacy 순위 예측에서 일부 투표 규칙이 Elo보다 낫다	Observation 9, p.10; Figure 5	Approval(k=3), Approval(k=2), Copeland가 Elo보다 유의하게 낮은 오차. Plurality는 약간 낮지만 유의하지 않고, Borda는 유의하게 높음. Copeland가 최저	50 분할 평균, 95% CI. 그래프 판독값은 Figure 5 항목 참고. Copeland가 나은 이유(“1대1 승률 예측 의미를 만족할 필요가 없어서”)는 저자의 추측(“might be why”)	author-stated
Diplomacy 데이터의 출현 빈도 불균형	Appendix p.27	플레이어당 평균 게임 수 4.104 ± 0.749 (95% CI)	Elo가 이를 보정하지 않으므로 공정 비교를 위해 VasE도 보정하지 않음	author-stated
Diplomacy 크기 계산 표기	p.10	원문: 메타게임 보수 텐서 $7 \cdot 5295 8^{7} \approx 1 0^{32}$ , ML 게임 $5295 8^{2} \approx$ 2.8 million	직접 계산하면 $5295 8^{2} \approx 2.80 \times 1 0^{9}$ (약 28억), $7 \cdot 5295 8^{7} \approx 8.2 \times 1 0^{33}$ . 원문 표기와 자릿수가 다르다. “풀기 어렵다”는 결론 자체에는 영향이 작다	analyst-inference
프롬프트 선택에서 Nash averaging은 strong Condorcet winner를 꼴찌로 둔다	Appendix p.47, Table 17	VasE: 프롬프트 6이 strong Condorcet winner, Condorcet 계열 5개 규칙 모두 상위 4개를 6 ≻ 3 ≻ 1 ≻ 2로 일치. scoring 규칙은 6, 3, 2, 2를 선출. Nash averaging: T3 0.56, T5 0.44 두 과제만 사용, 2 = 3 ≻ 5 ≻ 1 ≻ 7 ≻ 6	5표 × 7후보의 작은 실험	author-stated
Chatbot Arena에서 IML은 다른 Condorcet 규칙이 놓치는 순환을 찾는다	Appendix pp.41–42, Figure 12, Tables 15–16	다른 규칙은 gpt4all-13b-snoozy ≻ RWKV-4-Raven-14B ≻ chatglm-6b로 줄 세우지만 IML은 셋을 같은 레벨에 두고 확률 0.833 / 0.0833 / 0.0833을 준다. 하나만 고르면 상대가 −2 또는 −33까지 떨어뜨릴 수 있음	원문은 “Table ??”로 표 번호가 깨져 있다	author-stated
서로 다른 데이터에서 상위권 순서가 일치	Appendix p.42, Figures 11·13	AgentBench(점수)와 Chatbot Arena(군중 쌍비교) 모두 gpt-4 ≻ claude ≻ gpt-3.5-turbo	Ranked Pairs 그래프	author-stated
HELM에서 사용자 가중치를 바꾸면 선택이 바뀐다	Appendix p.49	Core 균일 가중: text-davinci-002가 strong Condorcet winner. 독성 5배·편향·공정성 3배: Condorcet winner 없음, YaLM (100B)이 9개 중 7개 규칙에서 1위. 효율 6배·정확도 4배: text-curie-001이 weak Condorcet winner, App(k=5)·plurality·STV는 text-ada-001. All scenarios: code-davinci-002가 strong Condorcet winner	원문 p.49에는 Core에 대해 “strong”과 “weak” Condorcet winner 표현이 둘 다 나온다	author-stated
AdA에서 시행 횟수에 따라 순위가 크게 바뀐다	Appendix pp.32–33, Figures 9–10, Table 8	$t = 1$ 엔 Condorcet winner 없음, $t \in {2, 3, 5, 8}$ 엔 에이전트 20이 strong Condorcet winner, $t = 13$ 엔 119가 weak Condorcet winner. Copeland·ML 기준 평균 순위는 에이전트 12가 최고	150 에이전트 중 일부만 그림에 표시	author-stated
α-Rank는 Nash averaging보다 덜 적대적이다	Appendix p.28, Figures 7–8	전체 support. 에이전트 확률 [0.07, 0.21], 과제 확률 [0.005, 0.057], 순위는 VasE와 비슷	ALE	author-stated

결과들이 서로 어떻게 이어지는가. 첫째 축은 “VasE가 기존 순위를 깨뜨리지 않는다”는 안정성이다. ALE와 AgentBench 모두에서 strong Condorcet winner가 있고, 모든 규칙이 그 승자를 1위로 둔다. 따라서 VasE가 이상한 결과를 내서 주목받는 것이 아니라, 같은 1위를 더 해석 가능한 근거로 낸다. 둘째 축은 “기존 집계가 데이터 대부분을 버린다”는 Nash averaging 비판이다. ALE 7.4%, AgentBench 2/8, 프롬프트 실험 2/5 과제만 쓰고, 그 결과 공동 1위가 생기거나(ALE, AgentBench) strong Condorcet winner가 꼴찌가 된다(프롬프트 실험). 셋째 축은 “VasE가 숫자만으로는 안 보이는 구조를 드러낸다”는 것이다. A3C만 규칙에 따라 순위가 흔들리는 것, IML 레벨로 text-davinci-002와 t-bison-001이 갈리는 것, Chatbot Arena의 3자 순환이 그 예다. 넷째, Diplomacy는 유일한 예측 실험으로, 집계 순위가 다음 판의 순위를 얼마나 맞히는지로 VasE가 Elo보다 일반화가 낫다는 근거를 준다. 다만 이 실험에는 저자가 추천하는 ML·IML이 빠져 있다.

Take-home

핵심 메시지. 여러 과제를 하나의 순위로 합치는 일을 투표로 보면, 정규화 없이 순위만으로 집계할 수 있고, 평가자가 고르는 투표 규칙이 곧 “어떤 공리를 지킬 것인가”라는 선언이 된다. 저자들은 그중 maximal lotteries를 가장 적합하다고 본다. Condorcet·clone·population 일관성을 모두 만족하고, 다항 시간에 풀리며, 쌍비교만 필요하고, 확률 출력으로 순환을 드러내기 때문이다(Conclusion p.11).

결론이 성립하는 범위.

본문 실험은 기존 논문의 표를 다시 집계한 것이다(ALE: Hessel et al. 2017 Table 5·6, AgentBench: Liu et al. 2023 Table 3). 새로 에이전트를 돌린 실험이 아니다.
“VasE가 Elo보다 예측을 잘한다”는 Diplomacy 한 데이터에서, Approval(k=2, 3)·Copeland에 대해서만 유의하게 확인됐다. Borda는 오히려 Elo보다 나빴다. ML·IML은 이 비교에 없다.
Nash averaging의 적대적 과제 선택은 저자들이 [0,1] 정규화를 한 구현에서 관찰한 것이다(Observation 4–5).
5종 경기, clone 예시(Figure 2)는 설명용 장난감 예다.

저자가 인정한 한계 (author-stated).

VasE는 순위·쌍비교만 쓰고 점수·보상 같은 cardinal 정보를 버린다. distortion 연구가 보완책이 될 수 있다(Conclusion p.11).
에이전트 성능이 확률적이거나 파라미터에 민감할 때의 불확실성 표현은 앞으로의 과제다(robust voting, Conclusion p.11).
투표 길이가 다르거나 에이전트 출현 빈도가 고르지 않으면 scoring rule이 왜곡된다. Diplomacy에서는 이를 보정하지 않았다(Appendix pp.26–27).
동점은 무작위 섭동으로 깼고, 더 원칙적인 방법(NIVP)은 적용하지 않았다(Appendix p.27).
투표 규칙 선택은 의도적으로 평가자에게 맡긴다(Conclusion p.11).

작성자가 보는 우려 (analyst-inference).

Figure 5의 y축이 8.40에서 시작해 방법 간 차이(최대 약 0.2)가 시각적으로 크게 보인다. 21쌍 기준으로 보면 차이는 작다.
“유의하다”의 검정 방법은 95% 신뢰구간 막대 외에 따로 적혀 있지 않다.
본문에 수치 표기 불일치가 몇 곳 있다: Diplomacy 행렬 크기(2.8 million vs 실제 약 28억), Observation 6의 93.6%(계산상 92.6%), HELM Core의 strong/weak Condorcet winner 혼용, 부록 Table 8 캡션의 $t = 12$ (본문은 13), 부록의 “Table ??“. 결론을 뒤집지는 않지만 수치를 인용할 때는 원문을 대조하는 편이 안전하다.
균형 해가 여러 개일 때 ML 구현이 어떤 균형을 고르는지(최대 엔트로피를 요구하지 않는다고만 함)는 확보한 본문에서 특정되지 않았다.

반복·공개. Diplomacy는 무작위 train/test 분할 50회와 95% 신뢰구간을 보고한다(Figure 5). ALE·AgentBench 집계는 결정론적 재집계라 반복 개념이 없다. AdA 데이터의 각 칸은 250회 반복 평균이다(Appendix p.32). 투표 규칙 구현·응용 예시·데이터셋은 OpenSpiel에 공개됐다고 쓴다(p.2). AdA 데이터는 원저자 내부 리더보드에서 받았다고 해 공개 여부는 보고되지 않았다.

본문 도표

본문(pp.1–11)의 Figure 1–5와 Table 1–3을 모두 직접 보고 설명한다. Algorithm 1은 Figure/Table 라벨이 아니라서 ## 방법과 벤치마크 구성에서 다뤘다. 부록 Figure 6–17, Table 4–24는 기본 범위 밖이다.

Figure 1 — 5종 경기 예시

무엇을 보여주는가: 세 에이전트 A(빨강), B(파랑), C(초록)가 다섯 종목(양궁·농구·사이클·싱크로나이즈드 스위밍·테니스)에서 받은 금·은·동 순위.
읽는 법: 열 = 종목(아이콘), 행 = 금(1위)·은(2위)·동(3위). 각 칸의 말 모양이 그 순위를 받은 에이전트다.
핵심 관찰: 그림에서 읽은 열별 순위는 양궁 A>B>C, 농구 A>C>B, 사이클 C>A>B, 수영 C>A>B, 테니스 B>C>A다(analyst-inference, 그림 판독). 이는 부록 p.19의 preference profile(가중치 1: A≻B≻C, 1: A≻C≻B, 2: C≻A≻B, 1: B≻C≻A)과 일치한다. 금메달 수는 A 2개, C 2개, B 1개다.
의미와 주의: 종목마다 기준이 달라 점수를 더할 수 없고 순위만 있는 상황을 보여 준다. 논문 전체에서 Figure 3·4와 부록 투표 규칙 예시가 이 데이터를 재사용한다(author-stated, p.1, p.19).
확인 상태: viewed

Figure 2 — 복제(clone)가 Elo 예측을 망가뜨리는 예

무엇을 보여주는가: (위) 추이적 관계 A가 B를, B가 C를 이기는 진짜 승률 그래프 $p_{A B} = 0.55$ , $p_{BC} = 0.52$ , $p_{A C} = 0.9$ . (아래) B의 복제본 수에 따른 Elo 예측의 최악 오차.
읽는 법: 아래 그래프의 x축은 B 복제본 수(0–100), y축은 진짜 $p_{A C}$ 와 Elo 예측 $\overset{p}{^}_{A C}$ 의 차이로 정의된 prediction error(약 0.12–0.31 범위 눈금). 곡선 하나.
핵심 관찰: 오차가 복제본 0개 근처 약 0.13에서 시작해 처음 10–20개 사이에 급히 올라가고, 이후 약 0.30–0.31에서 포화한다(analyst-inference, 그래프 판독). 본문 수치: 복제본 10개면 $r_{A} - r_{C} = 98$ , $\overset{p}{^}_{A C} = 0.631$ (진짜 0.9)(p.3).
의미와 주의: 거의 같은 에이전트를 많이 넣기만 해도 Elo의 예측이 왜곡된다는 것, 즉 Elo가 clone-proof가 아님을 보이는 장난감 예다(author-stated). 실제 데이터 실험은 아니다.
확인 상태: viewed

Figure 3 — 5종 경기의 1대1 승률

무엇을 보여주는가: Figure 1에서 “x가 y보다 위면 x의 승리”로 센 1대1 승률을 방향 그래프로 그린 것.
읽는 법: 노드 = 에이전트, 화살표는 이긴 쪽에서 진 쪽으로. 라벨은 승률.
핵심 관찰: $p_{A B} = 0.8$ , $p_{C A} = 0.6$ , $p_{CB} = 0.6$ . C는 A와 B 모두에게 과반으로 이기고 A는 B만 이긴다. 그런데도 Elo는 A와 C에 같은 rating을 준다(캡션, p.3).
의미와 주의: Elo가 크게 이긴 한 번(A가 B를 0.8로)과 고르게 이긴 두 번(C의 0.6, 0.6)을 같게 취급할 수 있다는 예. 부록 pp.16–17이 갱신식의 기울기가 모든 단계에서 같음을 보인다(author-stated).
확인 상태: viewed

Figure 4 — 선호 행렬 $N$ 과 득표차 행렬 $M$

무엇을 보여주는가: 5종 경기의 voter preference matrix $N (x, y)$ (왼쪽)와 voter margin matrix $M (x, y) = N (x, y) - N (y, x)$ (오른쪽).
읽는 법: 행 = $x$ , 열 = $y$ , 순서 A, B, C. 칸 값은 $x$ 가 $y$ 보다 위였던 종목 수(왼쪽) 또는 그 차이(오른쪽).
핵심 관찰: $N$ = [[0,4,2],[1,0,2],[3,3,0]], $M$ = [[0,3,−1],[−3,0,−1],[1,1,0]]. C 행이 대각선을 빼고 모두 양수라 C가 strong Condorcet winner다(Appendix p.19).
의미와 주의: maximal lotteries가 푸는 margin game의 보수 행렬이 바로 $M$ 이다(author-stated, p.5). 이 예에서는 C만 지배되지 않는 전략이라 ML이 C를 확률 1로 고른다(Appendix p.24).
확인 상태: viewed

Table 1 — 투표 규칙별 보장 성질과 복잡도

무엇을 보여주는가: 본문에서 쓰는 9개 투표 규칙이 Condorcet·clone·population 일관성을 보장하는지와 계산 복잡도.
읽는 법: 열 = App(Approval), Bor(Borda), Plu(Plurality), STV, Cop(Copeland), RPs(Ranked Pairs), Kem(Kemeny-Young), Sch(Schulze), ML(Maximal Lotteries). 세로 이중선으로 scoring 계열 4개 / 결정론적 Condorcet 계열 4개 / ML을 나눈다. ✓는 보장, 빈칸은 비보장. 마지막 행은 후보 수 $m$ 에 대한 복잡도.
핵심 관찰: scoring 계열 App·Bor·Plu는 population만 ✓, STV는 ✓ 없음. Cop·Kem은 Condorcet만, RPs·Sch는 Condorcet + clone. ML만 세 성질 모두 ✓. 복잡도 App·Bor·Plu $m$ , STV·Cop $m^{2}$ , RPs·Sch $m^{3}$ , Kem $m!$ , ML poly( $m^{2}$ ).
의미와 주의: 결정론적 규칙에서는 Condorcet와 population 일관성이 양립할 수 없다는 불가능성 결과(p.5)가 표에 그대로 보인다. 캡션에 따르면 ML의 복잡도는 균형 solver에 달려 있고, ML은 IIA와 의제 일관성도 만족한다(부록 Table 4). 저자의 ML 추천 근거가 이 표다(author-stated).
확인 상태: viewed

Table 2 — ALE에서 투표 규칙별 순위

무엇을 보여주는가: 8개 Atari 에이전트에 대해 VasE가 낸 순위가 규칙에 따라 네 가지 묶음으로 나뉜다.
읽는 법: 열 A = Approval(k=3)·Kemeny-Young·IML·Ranked Pairs·Schulze, B = Borda·Copeland, C = Plurality, D = STV. 행 = 1–8위.
핵심 관찰: 네 열 모두 1위 rainbow, 6–8위 ddqn·noisy-dqn·dqn으로 같다. 달라지는 것은 a3c의 위치다(A열 4위, B열 5위, C열 2위, D열 3위). 이에 맞춰 dist-dqn·prio-ddqn·duel이 밀린다.
의미와 주의: Observation 2의 근거. 1위 횟수를 중시하는 Plurality·STV가 a3c를 위로 올린다(author-stated, p.8). 규칙별 점수 전체는 부록 Table 6(p.29)에 있다.
확인 상태: viewed

Table 3 — AgentBench에서 IML 상위 8개

무엇을 보여주는가: IML로 매긴 상위 8개 LLM과 IML 점수.
읽는 법: 열 = Rank, Agent, Score. 점수 정수부는 레벨, 소수부는 그 레벨 균형 확률. 정수 점수 차이는 해당 margin 부분게임의 Condorcet 승자를 뜻한다(캡션).
핵심 관찰: gpt-4 17.00, claude 16.00, gpt-3.5-turbo 15.00, text-davinci-003 14.00, claude-instant 13.00, text-davinci-002 12.00, chatglm 10.56, t-bison-001 10.43. 상위 6개는 확률 1로 뽑혔고, 하위 둘은 같은 균형에서 0.56과 0.43을 받았다(캡션).
의미와 주의: 원 AgentBench 총점으로는 0.07 차이인 text-davinci-002와 t-bison-001이 다른 레벨에 놓인다(Observation 7, author-stated). 캡션의 확률 0.56 + 0.43 = 0.99로 반올림된 값이다(analyst-inference). 본문에는 “text-bison-00l”, 표에는 “t-bison-001”로 표기가 섞여 있다.
확인 상태: viewed

Figure 5 — Diplomacy 순위 예측 오차

무엇을 보여주는가: 학습용 게임으로 만든 순위가 시험용 게임의 실제 순위와 얼마나 어긋나는지를 평가 방법별로 비교한 막대그래프.
읽는 법: x축 = 방법(Elo, VasE(Plurality), VasE(Borda), VasE(App(k=3)), VasE(App(k=2)), VasE(Copeland)). y축 = 게임당 평균 순위 오차(ErrorPerGame, Kendall-tau 거리 평균), 눈금 8.40–8.75. 막대는 50개 분할 평균, 오차 막대는 95% 신뢰구간. 낮을수록 좋다.
핵심 관찰: 그래프 판독값(analyst-inference)은 Elo 약 8.62, Plurality 약 8.59, Borda 약 8.69, App(k=3) 약 8.55, App(k=2) 약 8.49, Copeland 약 8.47. 저자 판정: App(k=3), App(k=2), Copeland는 Elo보다 유의하게 낮고, Plurality는 약간 낮지만 유의하지 않으며, Borda는 유의하게 높다. Copeland가 최저다(Observation 9, p.10).
의미와 주의: 7인 혼합동기 게임에서 투표 기반 집계가 Elo보다 다음 판 순위를 더 잘 맞힐 수 있다는 근거(author-stated). y축이 0이 아니라 8.40에서 시작하므로 차이가 시각적으로 과장된다. 최대 21쌍 중 차이는 0.2 안팎이다(analyst-inference). ML·IML은 이 비교에 없다.
확인 상태: viewed

Wiki 연결

AgentBench - Evaluating LLMs as Agents — 이 논문이 본문에서 재집계한 LLM 에이전트 벤치마크(25 모델 × 8 환경, Table 3·Observation 7–8).
Chatbot Arena - 인간 선호 기반 LLM 평가 오픈 플랫폼 — Elo 기반 LLM 순위의 대표 사례. 부록에서 VasE·IML을 Chatbot Arena 대화 데이터에 적용한다.
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena — 본문이 “LLM 평가에서의 Elo 사용” 예로 인용하는 Zheng et al. 2023.
Holistic Evaluation of Language Models — 부록에서 사용자 가중 VasE를 적용한 HELM 데이터의 원 논문.
Deviation Ratings - A General Clone-Invariant Rating Method — N인 일반합 게임용 clone-invariant 평점(CCE 기반)
Scalable Evaluation of Multi-Agent Reinforcement Learning with Melting Pot — 여러 시나리오 점수를 Elo·정규화 평균으로 묶는 기존 평가

BibTeX

@article{lanctot2023evaluating,
  title   = {Evaluating Agents using Social Choice Theory},
  author  = {Lanctot, Marc and Larson, Kate and Bachrach, Yoram and Marris, Luke and Li, Zun and Bhoopchand, Avishkar and Anthony, Thomas and Tanner, Brian and Koop, Anna},
  journal = {arXiv preprint arXiv:2312.03121},
  year    = {2023}
}

사회선택이론으로 에이전트 평가하기 (Voting-as-Evaluation, VasE)

사회선택이론으로 에이전트 평가하기 (Voting-as-Evaluation, VasE)

개요

배경과 문제

지표

(a) 투표의 기본 재료

(b) 집계 규칙(9개 투표 규칙)과 각자의 점수

(c) 비교 대상 지표

(d) 집계 품질을 재는 메타 지표

방법과 벤치마크 구성

VasE 틀 (Voting-as-Evaluation 절, p.6)

Iterative Maximal Lotteries (Algorithm 1, p.6; Appendix Algorithm 2, pp.24–25)

ML과 Nash averaging의 차이 (Appendix pp.25–26, author-stated)

실험 설정 (Empirical Evaluation, pp.7–10; 부록)

주요 결과

Take-home

본문 도표

Figure 1 — 5종 경기 예시

Figure 2 — 복제(clone)가 Elo 예측을 망가뜨리는 예

Figure 3 — 5종 경기의 1대1 승률

Figure 4 — 선호 행렬 N과 득표차 행렬 M

Table 1 — 투표 규칙별 보장 성질과 복잡도

Table 2 — ALE에서 투표 규칙별 순위

Table 3 — AgentBench에서 IML 상위 8개

Figure 5 — Diplomacy 순위 예측 오차

Wiki 연결

BibTeX

ML과 Nash averaging의 차이 (Appendix pp.25–26, `author-stated`)

Figure 4 — 선호 행렬 $N$ 과 득표차 행렬 $M$