Melting Pot: 다중 에이전트 강화학습의 확장 가능한 평가

개요

지도학습에는 ImageNet처럼 “훈련에서 본 적 없는 데이터로 시험한다”는 분명한 평가 규약이 있지만, 다중 에이전트 강화학습(MARL)에는 일반화를 1순위 목표로 삼는 표준 시험이 아직 없었다. 걸림돌은 비용이다. 시험용 환경 하나를 새로 만드는 일은 게임 하나를 새로 설계하는 것과 맞먹는다. 이 논문이 짚은 통찰은 **다중 에이전트에서는 “다른 에이전트가 곧 환경”**이라는 점이다. 같은 지도(substrate) 위에 누가 함께 있느냐만 바꿔도 전혀 다른 문제가 된다. 그러니 새 게임을 만드는 대신, 미리 학습시켜 둔 **background population(배경 집단: 시험에만 등장하고 훈련에는 절대 쓰지 않는 상대 에이전트들)**을 끼워 넣으면 사람 손을 덜 들이고 시험지를 대량으로 찍어 낼 수 있다. 저자들은 이것을 “Substrate + Background Population = Scenario”라는 식으로 요약한다(Section 1). 시험 성적은 **focal per-capita return(시험받는 쪽 에이전트들의 1인당 평균 보상)**으로 재고, focal이 다수인 resident mode, 소수인 visitor mode, 자기 자신의 복제본끼리만 노는 universalization mode(“모두가 너처럼 행동하면?“)로 서로 다른 약점을 찌른다. 21개 substrate·80개 넘는 scenario로 A3C·V-MPO·OPRE와 그 prosocial 변형(보상을 나눠 집단 보상을 최대화하도록 학습)을 시험하니, 평균 점수는 V-MPO 0.51, OPRE 0.46, A3C 0.45였고 시험 scenario에 직접 학습한 exploiter는 0.83이었다(Figure 5). 더 흥미로운 결과는 과적합이다. Bach or Stravinsky·Stag Hunt에서 prosocial OPRE·A3C는 훈련(self-play) 점수가 일반 버전과 비슷한데도 낯선 상대 앞에서는 random에 가까운 점수를 받았다. 협력만 배워서 배신자에게 착취당한 것이다(Section 7, Figure 4). 반대로 Clean Up에서는 prosocial 변형만 random보다 확실히 나은 정책을 배웠다.

Implication: 사회적 환경에서 “학습 중 잘한다”는 “낯선 상대와도 잘한다”를 보장하지 않는다. 집단 보상을 최대화하는 학습조차 일반화 면에서는 오히려 취약할 수 있고, 좋은 에이전트는 이기심과 친사회성을 상황에 따라 조절해야 한다.

📎 https://arxiv.org/abs/2107.06857

배경과 문제

왜 MARL 평가가 어려운가. 저자들은 MARL에 널리 받아들여진 benchmark 시험 세트가 없어 알고리즘끼리 같은 조건에서 비교하기 어렵다고 말한다(author-stated, Section 1). 단일 에이전트 RL(SARL)에는 목적별 benchmark가 여럿 있고(Gym, Atari, DM Control 등), SARL 쪽에서는 지도학습처럼 일반화를 앞세우자는 요구가 이미 나왔다 [Cobbe 2019, Farebrother 2018, Juliani 2019, Zhang 2018]. 그러나 RL에서 시험용 환경을 만드는 일은 이미지 라벨링보다 훨씬 손이 많이 든다. 저자들은 이를 “새 게임을 설계·구현하는 일과 비슷하다”고 표현한다(author-stated, Section 1).

아이디어의 계보. 저자들이 직접 언급한 흐름은 다음과 같다(Section 1, 3).

훈련 시점의 상호작용 활용: autocurricula(에이전트끼리 서로에게 과제를 만들어 주며 함께 발전하는 현상) [Baker 2019, Bansal 2017, Leibo 2019a, Sukhbaatar 2017]와 open-endedness [Clune 2019]. 이 논문은 같은 성질을 훈련이 아니라 시험 생성에 쓴다는 점이 다르다고 말한다(author-stated, Section 1).
보류된(held-out) 상대와의 평가: Capture the Flag(FTW), DOTA, StarCraft II에서 held-out 에이전트와 겨뤄 일반화를 쟀다. 다만 경쟁 게임에 한정되고 benchmark를 만들려는 목적은 아니었다(author-stated, Section 3).
새 상대와의 zero-shot 협조: 협조 게임에서 Hu et al. (2020)이 다뤘다(author-stated, Section 3).
전략 대회 방식: Axelrod(1984)식 토너먼트, 그리고 이를 MARL로 가져온 Perez-Liebana et al. (2019). 다른 팀의 제출물과 맞붙으므로 일반화가 요구된다(author-stated, Section 3).
특정 영역 MARL benchmark: Song et al. (2020b), Lowe et al. (2017)은 일반화를 재지 않고 학습 에이전트로 시험을 만들지도 않는다고 저자들은 쓴다(author-stated, Section 3).

이 논문이 다르다고 주장하는 점. (1) 경쟁·순수 협력·팀 경쟁·여러 종류의 mixed-motive(이해가 일부는 맞고 일부는 엇갈리는) 게임까지 넓은 범위의 상호작용을 다루고, (2) 일반화를 위한 benchmark라는 목적을 분명히 하며, (3) RL로 background population을 만들어 사람 노동을 줄인다(author-stated, Abstract·Section 1·3). 의사소통/언어, 턴제 게임, 물리 기반 게임은 의도적으로 뺐다(author-stated, footnote 1).

평가 대상의 정의. 평가 단위는 개별 정책이 아니라 **MAPLA(multi-agent population learning algorithm: 서로 동시에 상호작용할 수 있는 분산된 에이전트 집단을 만들어 내는 학습 절차)**다. self-play(AlphaGo 등), MADDPG, LOLA, PSRO 등 대부분의 MARL 방법이 여기에 들어간다(Section 2). MAPLA가 만든 집단은 세 가지를 만족해야 한다: ① 서로 의존하는 여러 사회적 상황에서 잘하고, ② 훈련 중 본 적 없는 낯선 개체(사람일 수도 있음)와 잘 어울리며, ③ “모두가 그렇게 행동하면?”이라는 universalization 시험을 통과해야 한다(author-stated, Section 2). 저자들은 자율주행차 회사가 자기 차가 도로의 소수일지 다수일지 모르는 상황을 예로 든다.

지표

이 논문의 핵심 지표는 하나(focal per-capita return)이고, 그것을 정규화한 performance score, scenario 평균, Elo로 요약한다. 부록에는 background 쪽 2차 지표 두 개를 시연한다.

지표	무엇을 세는가 (정의)	단위·범위	방향	분모·정규화	측정 조건	위치
Individual return $R_{i} (π ∣ M)$	플레이어 $i$ 가 한 에피소드에서 받는 총 보상의 기댓값	substrate 고유 보상 단위	높을수록 좋음	없음	호환되는 joint policy $π$ (플레이어 수 = $N$ )	Section 4.1
Per-capita return $\overset{ˉ}{R} (π ∣ M)$	$\frac{1}{N} \sum_{i = 1}^{N} R_{i} (π ∣ M)$ , 즉 개별 return의 평균	보상 단위	높을수록 좋음	플레이어 수 $N$	집단 $f$ 에서 $N$ 명을 독립 표본추출할 때는 기댓값 $\overset{ˉ}{R} (f ∣ M)$	Section 4.1
Focal per-capita return $\overset{ˉ}{R} (f ∣ M, c, g)$ (1차 지표)	scenario 설정 $c \in {0, 1}^{N}$ (1=focal, 0=background)에서 focal 플레이어만 평균한 return. $\frac{1}{m} \sum_{i} c_{i} E_{π_{1} \sim h_{1}} \dots E_{π_{N} \sim h_{N}} R_{i} (π ∣ M)$ , $h_{i} (π) = f (π)^{c_{i}} g (π)^{1 - c_{i}}$	보상 단위 (원값은 Appendix F Table 1)	높을수록 좋음	focal 수 $m$ . background는 평균에서 제외	background 정책은 $g$ 에서, focal 정책은 $f$ 에서 독립 표본추출. 시험 중 학습 없음(zero-shot)	Section 4.2, 4.4
Performance score	focal per-capita return을 scenario마다 min-max 정규화한 값. 표시된 에이전트들 중 최저 = 0, 최고 = 1	0–1	높을수록 좋음	scenario별 (최고−최저)	흔히 0 = random 에이전트, 1 = exploiter지만 항상 그렇지는 않다	Section 7 (p.8)
Substrate 평균 점수 / Overall Score	substrate 안 test scenario들의 performance score 평균, 그리고 전체 평균	0–1	높을수록 좋음	scenario 단순 평균 (가중치 언급 없음)	Figure 5	Section 7, Figure 5
Elo	에이전트 기량 순위 점수. 경쟁 substrate와 나머지를 따로 계산	min-max 정규화, 0 = 최저 에이전트, 1 = 최고 에이전트	높을수록 좋음	정규화	계산 절차·대전 구성은 본문에 없음 [Balduzzi 2018, Hunter 2004 인용만]	Section 7, Figure 5 캡션
Self-play score (S-P)	훈련 때와 같은 조건(자기 집단끼리)의 점수. 비교 기준용	0–1 (Figure 4에서 같은 방식으로 정규화된 것으로 보임)	높을수록 좋음	—	훈련 성능에 해당	Figure 4 캡션
Background per-capita return (2차)	background 플레이어들의 평균 return. focal 집단이 들어와서 배경 집단에게 부정적 외부효과(“side effect”)를 주는지 본다	min-max 정규화 0–1	높을수록 배경에 이로움	focal과 같은 방식으로 정규화	zero-sum substrate와 resident-mode scenario 제외	Section 4.4, Appendix A
Background positive-income equality (2차)	$Q (r) = 1 - \frac{\sum _{i = 1}^{m} \sum _{j = 1}^{m} ∣ r _{i}^{+} - r _{j}^{+} ∣}{2 m \sum _{i = 1}^{m} r _{i}^{+}}$ , $r_{i}^{+} = max (0, r_{i})$ . 양수 return에 대한 Gini 계수의 보수 [Perolat 2017]	0(한 명만 양수 return)–1(모두 같은 return)	높을수록 평등	background 수 $m$	위와 같음	Appendix A

각 지표가 보상하는 것과 실패 방식.

Focal per-capita return은 낯선 상대 속에서의 zero-shot 성과를 보상한다. 저자들은 이것을 1차 지표로 고른 이유를 “엄밀하고 해석이 분명한 지표”이기 때문이라고 쓴다(author-stated, Section 4.4). 집단 정의상 정책들이 독립 표본추출되므로, 역할을 미리 나눠 갖는 heterogeneous specialization(이질적 분업)은 의도적으로 불리하다(author-stated, Section 4.3). 이 지표는 focal 쪽 이득만 보므로 background에 피해를 주며 얻은 점수도 높게 나온다. 저자들은 그래서 2차 지표를 따로 제안한다(author-stated, Section 4.4).
Min-max performance score는 같은 scenario 안의 상대 순위를 보상한다. 저자들 스스로 밝힌 실패 방식: 0과 1의 기준점이 random/exploiter로 고정되지 않는다. exploiter가 상한이 아닐 때가 있다. Running with Scissors in the Matrix·King of the Hill에서는 bot이 강해서 exploiter가 착취법을 못 배웠고, Commons Harvest Open·Clean Up에서는 협력이 필요한 게임에서 exploiter가 이기적으로 보상을 최대화해서 실패했다(author-stated, Section 7). 저자들은 그룹 안에서 보상을 나누는 exploiter가 더 나은 상한이 될 수 있다고 제안한다. 작성자가 덧붙이면, 이 정규화는 비교 대상 에이전트 집합에 따라 값이 바뀌므로 다른 논문의 점수와 직접 비교할 수 없다. 예를 들어 Collaborative Cooking: Passable에서는 random이 0.54로 V-MPO(0.00)보다 높다(Figure 5, analyst-inference, 그림 판독).
Overall Score / Elo는 전체 기량 순위를 보상한다. 저자들은 기량 순위 매기기가 복잡하고 [Balduzzi 2018] 각 test scenario가 전체 점수에 얼마나 기여하느냐에 달려 있으며, 자신들은 “단순한 평가 하나만 했다”고 인정한다(author-stated, Section 7). 실제로 Overall Score 1위는 V-MPO(0.51)지만 Elo(rest)에서는 OPRE 0.75 > A3C 0.64 > V-MPO 0.63으로 순서가 바뀐다(Figure 5, analyst-inference, 그림 판독).
Background per-capita return은 focal이 배경 집단에게 주는 이득을 보상한다. zero-sum에서는 정의상 음수 영향이라 의미가 없어서 뺐다(author-stated, Appendix A). Figure A.1 평균에서 random(0.55)이 selfish A3C(0.41)·OPRE(0.39)·V-MPO(0.33)보다 높다. “배경을 덜 착취하는 무능한 에이전트”도 높게 나올 수 있다는 뜻이다(analyst-inference, 그림 판독).
Background positive-income equality는 이득·피해가 고르게 나뉘는지를 보상한다. 음수 return을 0으로 자르므로 손해의 불평등은 반영하지 못한다(analyst-inference, 식에서). Figure A.2의 행 평균은 0.73–0.75로 에이전트 간 차이가 거의 없고, Collaborative Cooking 두 substrate는 모든 행이 1.00이다. 아무도 보상을 못 받아 모두 같은 return일 때도 “완전 평등”으로 나올 수 있어 보인다(analyst-inference, 그림 판독. 저자는 이 점을 언급하지 않음).

보고되지 않은 것. 평가 에피소드 수, seed 수, 신뢰구간·표준오차는 원문 전체(본문과 부록 A–F)에서 보고되지 않았다.

방법과 벤치마크 구성

핵심 공식과 용어 (Section 1, 4)

Substrate: 부분관측 general-sum Markov game(각자 화면 일부만 보고 각자 보상을 받는 다인 게임). 지도, 물체 위치, 이동 규칙, 물리 규칙 같은 “물리적 부분”이다. 규칙은 에이전트에게 주어지지 않으므로 탐색으로 알아내야 한다. 그래서 불완전 정보이면서 동시에 규칙에 대한 공통 지식도 없는 incomplete information 게임이다(Section 4.1).
Background population $g$ : focal을 뺀, 행위 주체가 있는 부분. RL로 학습한 에이전트이며 focal 에이전트와 구분해 bot이라 부른다(Section 6).
Scenario: substrate + 설정 $c$ + background population. focal 입장에서는 background 정책으로 전이·보상을 주변화한 $m$ 인 게임 $M^{'}$ 이다. 시험 전용이며 여기서 훈련하는 것은 금지된다(Section 4.2).
훈련 규칙: MAPLA $F$ 는 substrate $M$ 에 무제한 접근해 집단 $f$ 를 만든다 ( $F [M] \mapsto f (Π_{M})$ ). background population에는 접근할 수 없다. 훈련 때 다른 플레이어의 보상·관측 같은 특권 정보를 써도 되지만(centralized training, decentralized execution), 시험에는 그런 정보가 없다(Section 4.3).

세 가지 시험 모드 (Section 4.2)

모드	구성	무엇을 시험하나
Resident mode	focal > background	집단이 만든 협력 구조가 소수의 낯선 개체에게도 버티는가
Visitor mode	background > focal	focal 개체가 다수 집단의 관습·규범을 관찰하고 재학습 없이 맞춰 행동하는가
Universalization mode	background 없음. $f$ 에서 정책 하나를 뽑아 $N$ 개 복제	”모두가 너처럼 행동하면?” 분업·무임승차 같은 실패를 진단

universalization은 background가 필요 없어 훈련에 넣을 수도 있으므로 엄밀한 일반화 시험은 아니고, 실패 진단용으로 넣었다고 저자들은 밝힌다(author-stated, Section 4.2). Appendix E에는 “half-and-half-mode” scenario(예: Arena Running with Scissors SC 3, focal 4 + bot 4)도 나온다(Appendix E.2).

Substrate 21개 (Section 5, Figure 1–2)

Conflicting > corresponding interests(이해 충돌이 더 큰 게임): Running with Scissors in the Matrix(2인), Arena Running with Scissors(8인), Capture the Flag, King of the Hill, Clean Up, Commons Harvest(Open/Closed/Partnership), Prisoner’s Dilemma in the Matrix, Chicken in the Matrix, Territory(Open/Rooms).
Corresponding > conflicting interests(이해 일치가 더 큰 게임): Collaborative Cooking(Impassable/Passable), Pure Coordination / Rationalizable Coordination / Bach or Stravinsky / Stag Hunt in the Matrix, Allelopathic Harvest, Chemistry(Branched Chain Reaction / Metabolic Cycles).
”* in the Matrix” 계열은 공통 구조다. 아이템(협력/배신, 가위바위보 등)을 모으고, 만나면 인벤토리에 따라 고전 matrix game의 보상표대로 보상을 준다(Section 5). 동시 플레이어 수는 2–16명이고 대부분 약 8명이다(Section 1).

Background population 만드는 3단계 (Section 6, Figure 3)

Specification: substrate가 내보내는 event(누가 누구를 zap했는지, 사과를 먹었는지 등)로 원하는 bot 행동에 맞는 보상 함수를 설계한다. 이 event는 다른 에이전트·환경에 대한 특권 정보라서, 픽셀과 최종 보상만으로 배워야 하는 focal보다 훨씬 쉬운 문제다. 단일 보상으로 표현하기 어려운 행동은 Horde처럼 event별로 기본 행동을 학습시킨 뒤 Python 코드로 “이 event면 저 행동”을 이어 붙인다(예: Clean Up에서 남이 청소할 때만 청소하는 bot). 이 bot은 FuN 기반 구조이며 목표를 substrate event로 외부에서 지정한다(부록 C의 “puppet”).
Training: bot이 focal 집단에 일반화해야 하므로, focal과 비슷한 행동을 배울 법한 bot을 함께 학습시킨다(예: Running with Scissors에서 rock/paper/scissors 전문 bot과 실제 보상을 받는 “free” bot).
Quality control: 후보 bot을 익숙한·낯선 고정 bot과 10–30 에피소드 돌려, 의도한 event를 실제로 최적화하는지 확인하고 아니면 버린다.

실험 설정 (Section 7, Appendix C–D)

Baseline: A3C, V-MPO, OPRE와 각각의 prosocial(PS) 변형(플레이어 간 보상을 공유해 per-capita return을 직접 최적화). zero-sum substrate에서는 per-capita return이 정의상 0이라 PS 변형을 학습하지 않았다(Figure 4 캡션).
학습량: 아키텍처마다 substrate당 1회씩 21번 학습. 한 학습에서 $N$ 명 플레이어마다 에이전트 하나, 매 에피소드 무작위로 자리 배정, 에이전트당 $1 0^{9}$ step. 시험 때 focal 집단은 $N$ 개 에이전트에 대한 균등분포다.
구조: 모두 같은 크기의 ConvNet + LSTM(128 unit). OPRE는 계층적 정책(16 options), V-MPO는 PopArt, A3C는 CPC 보조 손실. 하이퍼파라미터는 튜닝하지 않고 원 논문 값을 썼다(Appendix C). 학습은 IMPALA와 비슷한 분산 구조(Appendix D).
기준 에이전트: exploiter(test scenario 하나에 직접, 개인 return으로 최대 $1 0^{9}$ step 학습한 A3C)는 대략적 상한, random(관측을 무시하고 균등 무작위 행동)은 대략적 하한이다.

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
평균적으로 V-MPO > OPRE > A3C	Section 7, Figure 5	Overall Score V-MPO 0.51, OPRE 0.46, A3C 0.45, exploiter 0.83, random 0.04	단순 평균. 저자도 “only a simple evaluation”이라 함	author-stated (수치는 그림 판독)
세 방법은 mixed-motive에서 비슷, V-MPO는 경쟁 게임에서 앞섬	Section 7, Figure 5	Elo(competitive) V-MPO 0.55, OPRE 0.20, A3C 0.12. King of the Hill V-MPO 1.00	Elo 계산 세부 미보고	author-stated
경쟁 외 substrate의 Elo 순서는 평균 점수 순서와 다름	Figure 5	Elo(rest) OPRE 0.75, A3C 0.64, V-MPO 0.63	저자는 이 불일치를 언급하지 않음	analyst-inference (그림 판독)
Prosocial 변형은 전반적으로 selfish보다 낮다	Section 7, Figure 5	Overall A3C PS 0.29, OPRE PS 0.39, V-MPO PS 0.43 (selfish 0.45/0.46/0.51)	“picture is nuanced”: credit assignment 어려움, lazy agent 문제	author-stated
Prosocial 과적합: 훈련 점수는 비슷하지만 시험 점수는 random 근처	Section 7, Figure 4	Bach or Stravinsky: OPRE PS SC 0/SC 1 = 0.1/0.1, S-P 1.0 (OPRE는 0.6/0.1, S-P 1.0). Stag Hunt: OPRE PS SC 0/1 = 0.2/0.0, S-P 1.0	저자 설명: 협력만 배워 시험의 배신자에게 착취당함	author-stated (셀 값은 그림 판독)
Clean Up에서는 prosocial만 random보다 확실히 낫다	Section 7, Figure 5	Clean Up 평균 A3C PS 0.51, OPRE PS 0.46, V-MPO PS 0.77 vs A3C 0.02, OPRE 0.25, V-MPO 0.17	”significantly better”에 대한 통계 검정은 보고되지 않음	author-stated
Collaborative Cooking은 아무도 못 배움	Section 7, Figure 4	self-play 점수가 random보다 높은 에이전트 없음	—	author-stated
Arena Running with Scissors·Capture the Flag에서 에이전트는 exploiter보다 한참 낮다	Section 7, Figure 5	Arena RWS A3C 0.03, OPRE 0.04, V-MPO 0.13 vs exploiter 1.00. CtF 0.02/0.03/0.01 vs 1.00	—	author-stated (수치는 그림 판독)
Exploiter가 항상 최고는 아니다	Section 7, Figure 5	King of the Hill exploiter 0.02 vs V-MPO 1.00. Commons Harvest Closed exploiter 0.23 vs V-MPO 1.00. Commons Harvest Open exploiter 0.70 vs V-MPO PS 0.92. Running with Scissors exploiter 0.66	원인: bot이 강해 착취 학습이 어렵거나(RWS, KotH), 이기적 보상 최대화가 협력 게임에서 실패(CH Open, Clean Up)	author-stated
Universalization이 분업 문제를 드러낸다	Section 7, Figure 4	Chemistry: Metabolic Cycles OPRE SC 0–3 = 0.8/0.9/1.0/0.8, S-P 1.0, univ. 0.2	특정 행동을 기대하는 전문화 정책 → 효율적이지만 덜 robust	author-stated (셀 값은 그림 판독)
Prosocial은 배경 집단 return을 높인다 (예외: Chemistry, Collaborative Cooking)	Appendix A, Figure A.1	평균 A3C PS 0.74, OPRE PS 0.70, V-MPO PS 0.67 vs selfish 0.41/0.39/0.33	zero-sum과 resident-mode 제외	author-stated (수치는 그림 판독)
Chicken에서 prosocial은 배경 return을 크게 높이지만 평등은 약간 낮춘다	Appendix A, Figure A.1–A.2	Chicken 배경 return A3C 0.15 → A3C PS 0.92. equality 0.78 → 0.74	저자 해석: 모든 배경 플레이어가 짝을 찾지는 못함	author-stated (수치는 그림 판독)

결과가 이어지는 방식. 평균 점수(Figure 5)만 보면 세 알고리즘이 비슷해 보이지만, scenario별 분해(Figure 4)를 보면 차이가 어디서 나는지 드러난다. 핵심 대비는 훈련 점수(S-P)와 시험 점수(SC)의 차이다. 저자들이 초록에서 말한 “training performance alone으로는 안 보이는 약점”이 바로 이 차이다. prosocial 학습은 Clean Up처럼 협력이 꼭 필요한 곳에서는 도움이 되지만, Bach or Stravinsky·Stag Hunt처럼 배신자가 섞일 수 있는 곳에서는 착취당한다. 저자들은 이를 근거로 Melting Pot에서 잘하려면 “이기심과 친사회성을 조건에 따라 조절”해야 한다고 결론짓는다(Section 7). 다만 각 결과는 아키텍처당 학습 1회에서 나온 것이다(analyst-inference, Section 7 설정에서).

Take-home

핵심 메시지: 다중 에이전트에서는 상대를 바꾸는 것만으로 새 시험이 된다. 그 시험(focal per-capita return, zero-shot)으로 보면 self-play 점수가 감추던 과적합이 드러난다.
성립 범위: A3C·V-MPO·OPRE(와 PS 변형) 3+3개 아키텍처, 21개 substrate, Melting Pot v1 scenario(초록 “over 80”, 결론 “∼85”)에서 확인했다. 의사소통·턴제·물리 게임은 범위 밖이다(footnote 1).
저자가 인정한 한계 (author-stated):
- 순위 평가는 단순한 방식 하나뿐이고, 기량 순위는 scenario 기여도에 좌우된다(Section 7).
- exploiter는 일부 scenario에서 상한 역할을 못 한다. reward sharing exploiter가 더 나은 상한일 수 있다(Section 7).
- Figure 2의 개념 분류는 대략적 안내일 뿐 이론적 분류가 아니다(Figure 2 캡션).
- universalization 시험은 훈련에 넣을 수 있으므로 엄밀한 일반화 시험이 아니다(Section 4.2).
작성자가 보는 우려 (analyst-inference):
- min-max 정규화는 비교 대상 집합에 따라 달라지므로, 새 에이전트를 추가하면 기존 점수가 바뀐다. 논문 간 점수 비교가 어렵다.
- 2차 지표(background return, equality)는 부록에서 시연만 했고 본문 결론에 쓰이지 않는다. equality는 모두가 0을 받는 경우에도 높게 나올 수 있다.
- Elo의 계산 절차(어떤 대전을 썼는지)가 본문·부록에 없다.
반복 횟수·불확실성: 아키텍처마다 substrate당 학습 1회(Section 7). seed 수, 평가 에피소드 수, 신뢰구간은 보고되지 않았다.
코드·데이터 공개: 오픈소스로 공개(https://github.com/deepmind/meltingpot, Section 8).
읽지 못한 범위: 없음. 본문과 부록 A–F를 확인했다. 부록 E(scenario별 설명)와 F(원값 표)는 지표 확인에 필요한 부분 위주로 읽었다.

본문 도표

Figure 1 — Substrate 개요

무엇을 보여주는가: 21개 substrate의 화면(top-down 픽셀 화면) 썸네일. 위쪽 묶음은 “Conflicting interests greater than corresponding interests”, 아래쪽 묶음은 “Corresponding interests greater than conflicting interests”다.
읽는 법: 칸마다 substrate 이름과 대표 화면이 있다. 색 칸은 에이전트·자원·지형이다. 수치는 없다.
핵심 관찰: Running with Scissors, Arena Running with Scissors, King of the Hill, Capture the Flag, Clean Up, Commons Harvest 세 종류, Prisoner’s Dilemma, Chicken, Territory 두 종류가 충돌 쪽이다. Pure/Rationalizable Coordination, Collaborative Cooking 두 종류, Stag Hunt, Bach or Stravinsky, Allelopathic Harvest, Chemistry가 일치 쪽이다.
의미와 주의: 같은 ”* in the Matrix” 계열은 화면 구조가 비슷하고 보상표만 다르다(author-stated, Section 5). 그림 자체는 결과가 아니라 환경 소개다.
확인 상태: viewed

Figure 2 — Substrate별 다중 에이전트 개념

무엇을 보여주는가: substrate(열) × 성질(행)의 체크 표. 행은 “Properties of game”(이해 관계 방향, 대칭/비대칭 역할, 가역/비가역, 정보의 완전성, 1:1·1:Many·Many:Many 보상 상호의존, puzzle-like)과 “Properties of potential solutions”(시간 협조, 소유, 상호성, 공정 분배, 기만, 관습 따르기, 과제 분담, 신뢰·파트너십, 무임승차, 고집)로 나뉜다.
읽는 법: 검은 x는 주된 성질, 회색 x는 부차적 성질이다.
핵심 관찰: 예를 들어 Running with Scissors 계열은 Deception에, Clean Up·Allelopathic Harvest는 Free riding에, Territory·Stag Hunt·Allelopathic Harvest 등은 Stubbornness에 표시돼 있다(analyst-inference, 그림 판독).
의미와 주의: 저자들은 캡션에서 이것이 “rough guide”일 뿐 다중 에이전트 상황을 진지하게 이론적으로 분류한 것이 아니라고 못 박는다(author-stated).
확인 상태: viewed

Figure 3 — Melting Pot 확장 절차

무엇을 보여주는가: background population을 만드는 흐름도. Specification(설계자가 substrate event로 보상 함수 지정) → reward functions → Training(특정 보상으로 에이전트 학습) → trained bots → Quality Control(후보 bot 검증) → bot library. 아래 “Evaluation time”에서는 bot library가 substrate x/y/z와 scenario config i/j/k마다 background population a/b/c를 공급하고, 그 옆에 “Population under test”가 들어간다.
읽는 법: 위에서 아래로 진행하는 파이프라인. 수치는 없다.
핵심 관찰: 같은 bot library에서 서로 다른 substrate·설정 조합으로 여러 scenario를 만든다. 이것이 “scalable”의 근거다.
의미와 주의: 저자 주장은 RL이 사람의 시험 설계 노동을 줄인다는 것이다(author-stated, Section 6). 각 단계에 실제로 사람 시간이 얼마나 들었는지는 보고되지 않았다.
확인 상태: viewed

Figure 4 — Scenario별 performance score (heatmap)

무엇을 보여주는가: substrate 21개 각각에 대한 heatmap. 행은 에이전트(A3C, A3C PS, OPRE, OPRE PS, V-MPO, V-MPO PS, exploiter, random), 열은 scenario(SC 0, SC 1, …), S-P(self-play = 훈련 성능), univ.(universalization).
읽는 법: 칸 값은 min-max 정규화 performance score(0–1). 빨강일수록 높고 파랑일수록 낮다. exploiter는 S-P·univ. 칸이 비어 있다. zero-sum substrate(Arena RWS, Capture the Flag, King of the Hill, Running with Scissors)에는 PS 행이 없다.
핵심 관찰 (analyst-inference, 그림 판독):
- Bach or Stravinsky: A3C PS SC 0/SC 1/S-P = 0.1/0.1/0.9, OPRE PS 0.1/0.1/1.0. 일반 A3C·OPRE는 SC 0에서 0.6.
- Stag Hunt: OPRE PS SC 0/1/2 = 0.2/0.0/0.5인데 S-P = 1.0. 일반 OPRE는 0.5/0.5/0.7, S-P 0.7.
- Chemistry: Metabolic Cycles: OPRE는 SC 0–3에서 0.8–1.0, S-P 1.0인데 univ. 0.2.
- Collaborative Cooking 두 substrate: S-P 열이 모든 에이전트에서 0.0.
- Clean Up: SC 열 다수에서 V-MPO PS가 1.0이고 selfish 행은 0.0–0.5.
의미와 주의: 저자들은 이 그림으로 과적합(S-P는 높고 SC는 낮음)과 universalization의 진단 가치를 보인다(author-stated, Section 7). 정규화가 scenario마다 따로 되므로 열끼리 절대값을 비교하면 안 된다(analyst-inference). S-P·univ. 열도 같은 0–1 척도로 표시돼 있지만 그 정규화 기준은 본문에 따로 설명되지 않는다.
확인 상태: viewed

Figure 5 — Substrate 평균 점수와 Elo (heatmap)

무엇을 보여주는가: 왼쪽 세 열은 에이전트별 Overall Score, Elo(competitive), Elo(rest). 오른쪽 21열은 substrate별 평균 performance score.
읽는 법: 행은 Figure 4와 같은 8개 에이전트. 값은 0–1이고 Elo도 0 = 최저 에이전트, 1 = 최고 에이전트로 min-max 정규화돼 있다. 빈 칸은 PS 변형이 없는 경쟁 substrate다.
핵심 관찰 (analyst-inference, 그림 판독):
- Overall: A3C 0.45, A3C PS 0.29, OPRE 0.46, OPRE PS 0.39, V-MPO 0.51, V-MPO PS 0.43, exploiter 0.83, random 0.04.
- Elo(competitive): A3C 0.12, OPRE 0.20, V-MPO 0.55, exploiter 1.00, random 0.00. Elo(rest): A3C 0.64, A3C PS 0.29, OPRE 0.75, OPRE PS 0.40, V-MPO 0.63, V-MPO PS 0.43, exploiter 1.00, random 0.00.
- 결론을 지지하는 비교: Clean Up PS 행(0.51/0.46/0.77)이 selfish(0.02/0.25/0.17)보다 높다.
- 결론을 제한하는 예외: exploiter가 King of the Hill 0.02, Commons Harvest Closed 0.23으로 낮다. Collaborative Cooking: Passable에서는 random이 0.54다.
의미와 주의: 저자 해석은 V-MPO가 평균 1위이고 경쟁 게임에서 앞서며, prosocial은 대체로 뒤지지만 Clean Up은 예외라는 것이다(author-stated, Section 7). Overall 순위와 Elo(rest) 순위가 다르다는 점은 저자가 언급하지 않았다(analyst-inference).
확인 상태: viewed

Wiki 연결

Molten Pot - Evaluations & Datasets for Social Offline Reinforcement Learning — Melting Pot substrate를 focal/background로 나눠 오프라인 데이터셋으로 만든 후속 벤치마크 (analyst-inference, 이 논문에서 인용하지 않음)
Hypothetical Minds - Scaffolding Theory of Mind for Multi-Agent Tasks — Melting Pot을 평가 환경으로 쓴 LLM 에이전트 연구 (analyst-inference, 이 논문에서 인용하지 않음)
A multi-agent reinforcement learning model of common-pool resource appropriation — 평등(1−Gini) 계열 사회적 결과 지표의 원형. Melting Pot의 background equality와 같은 꼴
Beyond the high score - Prosocial ability profiles of multi-agent populations — Melting Pot 대회 점수를 능력 프로필로 분해한 후속 분석
Evaluating Agents using Social Choice Theory — Melting Pot처럼 여러 시나리오 점수를 하나의 순위로 묶는 집계 방법

BibTeX

@inproceedings{leibo2021meltingpot,
  title     = {Scalable Evaluation of Multi-Agent Reinforcement Learning with Melting Pot},
  author    = {Leibo, Joel Z. and Du{\'e}{\~n}ez-Guzm{\'a}n, Edgar and Vezhnevets, Alexander Sasha and Agapiou, John P. and Sunehag, Peter and Koster, Raphael and Matyas, Jayd and Beattie, Charles and Mordatch, Igor and Graepel, Thore},
  booktitle = {Proceedings of the 38th International Conference on Machine Learning},
  series    = {PMLR},
  volume    = {139},
  year      = {2021},
  url       = {https://arxiv.org/abs/2107.06857}
}