높은 점수 너머: 멀티에이전트 집단의 친사회적 능력 프로필

개요

Melting Pot 대회는 AI 에이전트 무리가 낯선 상대와 섞여서도 협력할 수 있는지를 51개 시나리오에서 점수로 매겼다. 그런데 점수 하나로 순위를 매기면 “왜 1등인가”를 알 수 없다. 협력을 잘해서 1등일 수도 있고, 협력이 필요 없는 판에서 점수를 쓸어 담아서 1등일 수도 있다. 이 논문의 통찰은 이 두 경우를 가르려면 평균 점수가 아니라 시나리오마다 어떤 협력 요구(demand)가 걸려 있는지와 그 판의 성적을 함께 봐야 한다는 것이다. 그래서 저자들은 **Measurement Layout(측정 레이아웃: 과제의 요구와 관측 성적을 잇는 계층적 베이지안 네트워크)**을 제출물마다 하나씩 맞춘다. 시나리오에 걸린 7개 협력 요구(새 참가자 대하기, 방문자 역할, 시간 압박, 관습 따르기, 가르치기, 용서, 호혜)마다 그 능력을 가졌을 확률 θ를 두고, 요구가 없는 자리에는 **base chance ρ(협력 요구가 없을 때의 기본 성공 확률)**를 둔다. 그리고 이 확률들을 더하지 않고 곱한다(non-compensatory, 비보상적: 한 능력이 다른 능력의 부족을 메워 주지 못함). 한 요구라도 못 맞추면 전체 성공 확률이 떨어지는 구조다. 이렇게 얻은 능력 프로필은 XGBoost·tabPFN 같은 블랙박스 assessor와 비슷한 수준으로 새 성적을 예측하면서, 블랙박스가 주지 못하는 설명을 준다. 그 설명이 불편했다. 예측력이 충분했던 10개 제출물에서 상위권 제출물이 협력 능력이 더 높지는 않았다. 오히려 하위권 team_10_id_23의 관습 따르기 능력 추정치(0.733)가 1위 team_2_id_6(0.351)보다 높았다. 대신 상위권은 base chance가 뚜렷하게 높았다(team_2_id_6 0.853 대 team_10_id_23 0.760). 대회 보고서에 따르면 우승작은 substrate별로 손으로 짠 정책이었는데, 학습 기반 상위 제출물도 비슷하게 base chance가 높았다.

Implication: 협력 벤치마크의 높은 점수는 협력 능력의 증거가 아닐 수 있다. 협력이 필요 없는 시나리오에서 벌어 둔 점수가 순위를 정할 수 있으므로, 시나리오마다 요구를 촘촘하고 중복 없이 표시하고 능력 단위로 분해해 평가해야 한다.

📎 https://arxiv.org/abs/2509.14485

배경과 문제

집계 점수의 한계. 저자들은 단순 집계 지표가 AI 시스템 능력의 범위와 복잡성을 담지 못한다고 말한다(author-stated, Section 1). 데이터를 N개 영역으로 나눠 영역별 점수를 내는 방법도 두 가지 문제가 있다고 지적한다. 첫째, 영역마다 난이도가 다르면 A 영역 30%, B 영역 80%라는 숫자만으로 B를 더 잘한다고 단정할 수 없다. 둘째, 그 부분 점수는 같은 영역 구분·같은 난이도의 데이터에만 일반화된다(author-stated, Section 2).

capability-oriented evaluation(능력 중심 평가)의 두 갈래. 저자들은 이 문제에 대한 접근을 (1) 기존 벤치마크에서 잠재 요인을 뽑아내는 방식과 (2) 심리학·인지과학에서 영감을 받아 “어떤 요구가 성적에 어떻게 영향을 주는가”라는 사전 지식으로 능력을 모델링하는 방식으로 나눈다(Section 2, [14]). 어느 쪽이든 문항 하나하나를 따로 보는 instance-level evaluation(사례 단위 평가)이 필요하다고 본다([7]).

assessor의 한계. assessor(평가 대상 시스템과 과제를 입력받아 점수 분포를 예측하는 별도 모델, 식 (1) R̂(r|π, µ) ≈ Pr(R(π, µ) = r))는 예측은 하지만, XGBoost는 특징이 결과에 어떻게 작용하는지 알려 주지 않는다. 로지스틱 회귀의 계수는 시험 과제 분포가 바뀌면 같이 바뀌므로 “과제 분포와 무관한 시스템 고유 속성”이라는 능력의 정의와 맞지 않는다. 비선형 assessor는 낮은 요구와 높은 요구에서는 성공하고 중간에서 실패하는 식의 비단조 관계를 배울 수 있는데, 이것은 능력이 작동하는 방식과 맞지 않는다고 저자들은 말한다(author-stated, Section 2.1).

Measurement Layout의 계보. Measurement Layout은 Burden et al.의 “Bayesian triangulation”[5]에서 나왔고, linking function(연결 함수: 능력·요구가 성공 확률로 바뀌는 수식)은 대부분 Item Response Theory(IRT, 문항반응이론: 응시자 능력과 문항 난이도의 차이로 정답 확률을 모델링하는 심리측정 이론)[10]와 가깝다. IRT와 다른 점은 Measurement Layout에서는 요구(demand)와 성적이 둘 다 관측된다는 것이다(author-stated, Section 2.2). 저자들은 이미 강화학습 에이전트와 언어모델에 적용한 선례가 있다고 쓴다([25, 6], Section 1).

멀티에이전트 평가 쪽 계보. Section 2.3은 협력 게임의 기여도 배분에 쓰는 Shapley value(섀플리 값: 가능한 모든 연합에서의 한계 기여를 평균한 공정 배분)[23], 경쟁 게임의 ELO·TrueSkill·Glicko, α-Rank, Nash equilibrium·Nash average[4]를 훑는다. 저자들은 기존 기법 대부분이 팀 대 팀 상호작용, 특히 기만 같은 복잡한 사회적 역학을 평가하는 데 한계가 있다고 말한다(author-stated, Section 2.3). Melting Pot[1, 20]은 그 빈틈을 겨냥한 플랫폼이다.

이 논문의 차이점. 저자들의 이전 연구는 Measurement Layout으로 환경·역할(visitor/resident) 같은 넓은 요인을 봤고, 이번 연구는 친사회적(prosocial) 능력에만 초점을 맞추며 assessor와 예측력을 비교한다(author-stated, Section 1).

지표

이 논문에는 “대회가 쓴 점수”, “이 논문이 모델 입력으로 바꾼 점수”, “모델이 내놓는 능력 추정치”, “모델을 평가하는 예측 지표” 네 층이 있다. 층을 섞지 않도록 나눠 적는다.

A. 대회 원점수 — Melting Pot normalised score

뜻: focal population(평가 대상 에이전트 무리)의 per capita return(1인당 보상)이다(Section 2.3).
정규화: substrate 사이 일관성을 위해 Melting Pot 2.0 baseline 범위로 정규화한다. 1보다 크면 가장 좋은 baseline보다 잘한 것이고, 0보다 작으면 가장 나쁜 baseline보다 못한 것이다(Section 2.3, [27]).
방향: 높을수록 좋다.
측정 조건: 최종 평가 단계에서 팀당 최대 3개 제출물, 51개 held-out 시나리오, 제출물당 80 episode. 단, 하위 8개 제출물은 20 episode만 평가했다(Section 2.3). 23개 팀이 참가했고(Section 2.3), Figure 1과 Table 1에는 26개 제출물이 나온다.
무엇을 보상하나: 시나리오 종류와 상관없이 focal 무리가 보상을 많이 버는 것. 협력이 필요한 판인지 아닌지를 점수 자체는 구분하지 않는다(analyst-inference, Section 2.3 정의에서).
알려진 실패 모드: 협력 요구가 없는 시나리오에서 높은 점수를 얻어도 순위가 올라간다. 저자들은 상위 제출물이 그런 시나리오를 노려 평가 틀의 빈틈을 이용했을 가능성을 제기한다(author-stated, Abstract, Section 4). 대회 보고서[27]는 우승작이 substrate별 hard-coded 정책이었다고 보고한다(Section 1, 4).

B. 모델 입력 점수 — 5-episode 블록 평균 + Min-Max 정규화 점수 p_i

뜻: 80 episode를 한꺼번에 평균하지 않고 5 episode마다 평균한 값을 한 test instance로 쓴다. 시나리오당 16개(하위 제출물은 4개) 데이터 점이 나오고, 제출물당 51 × 16 = 816행(하위는 204행)이다(Section 3.1).
정당화: episode 번호에 대한 mixed-effects 회귀(제출물별 random intercept)의 기울기가 0이었다(z = −0.203, p = 0.839; Table 1). 그래서 블록으로 묶어도 효과가 가려지지 않는다고 저자들은 판단한다(Section 3.1).
정규화: Min-Max 정규화 후 Beta 분포로 모델링한다(Section 3.1, 3.3). 범위는 0–1. Min-Max의 기준(무엇의 최솟값·최댓값인지)은 원문에 명시되지 않았다(unknown).
split: 80/20. 학습 653행(하위 163행), 테스트 163행(하위 41행)(Section 3.1).
값의 규모: 제출물별 평균 Min-Max 점수는 Figure 1에서 대략 0.10–0.20 범위다(analyst-inference, 그래프 판독).

C. 요구–점수 상관 (demand filtering 지표)

뜻: 16개 binary demand(시나리오에 그 협력 능력이 필요하면 1, 아니면 0)와 Min-Max 점수 사이의 상관계수(Figure 2). 상관의 종류(Pearson 등)는 원문에 명시되지 않았다(unknown).
측정 조건: 80 episode로 평가된 상위 제출물 전체(Figure 2 캡션).
쓰임: “요구가 있으면 성적이 떨어져야 그 요구가 난이도 지표로 의미 있다”는 논리로, 음의 상관을 가진 요구만 남긴다. 패턴이 똑같은 중복 요구(partner_choice·time_pressure·ostracism, teaching·sanctioning)는 하나씩만 남긴다. 결과로 7개 요구가 남는다(Section 3.2).
알려진 실패 모드: 양의 상관 요구(예: acceptance)를 버리므로, 뒤집어 쓰면 중요한 능력일 수 있는 것을 놓친다. 저자들은 데이터가 너무 sparse해서 이 방향을 탐색하지 못했다고 말한다(author-stated, Section 4).

D. 모델 산출 지표 — 능력 θ_j, base chance ρ, sample size ν

식 (3), Section 3.3.1.

기호	이름	뜻	범위·사전분포	방향
θ_j	ability j (예: abilityReciprocity)	요구 j가 걸린 자리에서 성공할 확률, 즉 “그 능력을 가졌을 확률”	0–1, Beta(1, 1) (균등, 무정보)	높을수록 그 협력 능력이 있다
ρ	base chance	요구가 없는 자리의 성공 확률. 저자 설명은 “협력 요구가 없을 때의 기본 성공 확률”	0–1, Beta(5, 1) (높은 쪽으로 치우친 사전분포)	높을수록 협력 요구 없이도 잘한다
ν	’sample size’	Beta 관측 모델의 유효 시행 수. 클수록 관측 점수가 Λ_i 주변에 촘촘히 모인다	HalfNormal(5)	해석용 아님(잡음 정도)

결합 방식: λ_{i,j} = (1 − δ_{i,j}) ρ + δ_{i,j} θ_j (local performance), Λ_i = ∏_j λ_{i,j} (integrated performance), p_i ~ Beta(Λ_i ν, (1 − Λ_i) ν) (observed score). δ_{i,j}는 test instance i에 요구 j가 있으면 1이다(Section 3.3.1).
보고 형식: 사후 평균과 HDI(highest density interval, 최고밀도구간) 3%–97%(Table 2, Figure 3 오른쪽, Figure 11).
무엇을 보상하나: θ_j는 “요구 j가 있는 시나리오에서도 점수가 떨어지지 않는 것”을, ρ는 “요구가 없는 자리에서 점수가 높은 것”을 반영한다(Section 3.3.1).
식에서 읽히는 성질 (analyst-inference): 곱 Λ_i는 7개 요구 자리 전부에 걸쳐 있으므로, 요구가 하나도 없는 instance의 예측 성공률은 ρ가 아니라 ρ^7이다. 요구가 k개 있으면 ρ^(7−k) × (해당 θ들의 곱)이다. 따라서 ρ는 엄밀히 말하면 “요구 자리 하나당” 기본 성공률이다. 예를 들어 Table 2의 ρ 0.853과 0.760은 ρ^7로 보면 약 0.33과 약 0.15로 벌어진다(작성자 계산). 관측 점수 평균이 0.10–0.20 규모인데 ρ가 0.74–0.85인 것도 이 구조로 설명된다.
알려진 실패 모드 (author-stated, Section 4): 요구 taxonomy가 sparse하고 일부 중복돼 있어, 몇몇 시나리오에만 걸린 요구의 능력 사후분포는 넓게 퍼지고 제출물 사이를 구별하지 못한다. 실제로 abilityTeaching·abilityForgiveness·abilityTimePressure는 제출물 사이에 유의한 차이가 없었다(Section 3.3.3). substrate가 만드는 체계적 편향도 모델에 없다.
추가 주의 (analyst-inference): ρ의 사후 평균(26개 제출물 0.742–0.853, Table 2)이 사전분포 Beta(5, 1)의 평균 5/6 ≈ 0.833 근처에 모여 있다. 저자들은 사전분포 민감도 분석을 보고하지 않았다.

E. 예측력 지표 — RMSE, R²

뜻: 테스트 세트에서 Measurement Layout과 assessor 세 개(linear regression, XGBoost regressor, tabPFN), 그리고 학습 세트 평균 점수로 예측하는 mean-score baseline의 예측을 비교한다. RMSE(root mean squared error, 낮을수록 좋음)와 R²(결정계수, 높을수록 좋음)를 쓴다(Section 3.3.2).
측정 조건: 입력은 요구(demand)뿐이다. 제출물별로 따로 계산한다(Figure 10, Appendix).
쓰임: R² > 0.25인 제출물만 능력 프로필 분석에 넣는다(Section 3.3.2). 이 기준을 넘은 10개 제출물이 Figure 3에 나온다.
알려진 실패 모드: 여러 제출물에서 assessor와 Measurement Layout 둘 다 예측력이 낮았다. 저자들은 요구가 성적을 설명하기에 충분히 informative하지 않거나 다른 잠재 요인이 작용한다고 해석한다(author-stated, Section 3.3.2).

F. 수렴 진단 — R̂, ESS

Gelman-Rubin R̂와 bulk/tail ESS(effective sample size, 유효 표본 수)로 MCMC 수렴을 확인했다. 모든 제출물·모든 파라미터에서 bulk ESS는 7000을 넘었고 tail ESS는 4300을 넘었다(Section 3.3.1, Table 2). 이것은 성능 지표가 아니라 추정의 신뢰성 점검이다.

방법과 벤치마크 구성

평가 대상: Melting Pot 대회

scenario의 구성: scenario는 substrate(물리 환경: 지도 배치, 물체 위치, 이동 제약, 물리 규칙)와 background population(시뮬레이션 안에 미리 프로그램된 상대 에이전트 무리)을 합친 것이다. 평가 대상은 focal population이다(Section 2.3, Figure 4).
규모: Melting Pot에는 50개가 넘는 MARL substrate와 250개가 넘는 테스트 시나리오가 있고, 대회 최종 단계는 그중 51개 held-out 시나리오를 썼다(Section 2.3).
데이터 출처: 이 논문은 에이전트를 새로 돌리지 않는다. 대회가 모은 점수와 Trivedi et al.[27]이 단 시나리오 주석(16개 binary demand)을 재분석한다(Section 3.1, 3.2). 코드와 데이터는 GitHub에 공개했다고 쓴다(Section 3).

요구(demand) 선택: 16개 → 7개

16개 demand가 51개 시나리오에 있는지 없는지를 본다(Figure 7, Appendix).
똑같은 패턴의 중복을 제거한다: partner_choice·time_pressure·ostracism 중 time_pressure를, teaching·sanctioning 중 teaching을 남긴다(Section 3.2).
Min-Max 점수와 음의 상관을 가진 요구만 남긴다(Figure 2).
남은 7개: prosocial_newcomers, visitor, time_pressure, convention_following, teaching, forgiveness, reciprocity(Section 3.2).

저자들은 요구 사이의 상관이 대부분 낮아 서로 다른 측면을 잡는다고 본다(Figure 8, Appendix, author-stated).

7개 잠재 능력과 모델 (Section 3.3.1)

요구 하나에 잠재 능력 하나를 대응시킨다. abilityTimePressure, abilityReciprocity, abilityProsocialNewcomers, abilityVisitor, abilityForgiveness, abilityConventionFollowing, abilityTeaching이다. 요구가 binary이므로 “능력의 수준”이 아니라 “그 능력을 가졌을 확률”을 추정한다.

모델의 흐름은 다음과 같다(식 (3), Figure 9).

능력 θ_j ~ Beta(1, 1): 무정보 사전분포.
base chance ρ ~ Beta(5, 1): 협력 요구가 없으면 Melting Pot에서 성공 확률이 대체로 높을 것이라는 기대를 반영한 치우친 사전분포(author-stated).
local performance: 요구가 있으면 λ = θ_j, 없으면 λ = ρ.
integrated performance: Λ_i = ∏_j λ_{i,j}. 능력들은 non-compensatory로 가정한다. 어떤 요구 하나라도 못 맞추면 전체 성공 확률이 떨어진다. 원문은 이 대목에서 “having one cooperation ability does compensate for the absence of another”라고 썼는데, 앞뒤 문맥과 곱 구조로 보아 “does not”의 오식으로 보인다(analyst-inference, Section 3.3.1).
관측 모델: p_i ~ Beta(Λ_i ν, (1 − Λ_i) ν), ν ~ HalfNormal(5).

일반적인 Measurement Layout은 root node(요구와 능력·잡음·편향), derived node(관측 불가능한 중간 성적인 child node와 관측 성적인 leaf node), linking function 세 부품으로 구성된다(Section 2.2). 이 논문의 구현에서는 θ·ρ·ν가 root, λ·Λ가 child, p가 leaf에 해당한다(analyst-inference, Figure 9 대응).

추론 설정

PyMC, NUTS(No-U-Turn Sampler, 걸음 크기와 궤적 길이를 자동 조정하는 HMC 변형), 4 chain × 4000 sample, burn-in 1000(Section 3.3.1).
제출물마다 별도 Measurement Layout을 맞춘다(Section 3.3.1).

비교 대상 (Section 3.3.2)

assessor: linear regression, XGBoost regressor, tabPFN[17]. 입력은 요구 feature.
baseline: 학습 세트 전체 평균 점수.

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
episode 진행에 따른 체계적 추세가 없다	Section 3.1, Table 1	episode 번호 기울기 −0.000, z = −0.203, p = 0.839	81,600 관측, 26개 제출물, REML	author-stated
16개 요구 중 일부는 성적과 양의 상관이고 일부만 음의 상관이다	Section 3.2, Figure 2	음의 상관 요구를 남겨 7개로 축소	상관 종류 미명시, 80 episode 제출물만	author-stated
중복 요구가 있다	Section 3.2	partner_choice·time_pressure·ostracism 동일, teaching·sanctioning 동일	51개 시나리오 주석 기준	author-stated
Measurement Layout과 assessor 모두 대부분 제출물에서 mean-score baseline보다 낫다	Section 3.3.2, Figure 10	예외로 본문은 team_12_id_19, team_11_id_26을, Figure 10 캡션은 team_11_id_25를 든다	본문과 캡션의 예외 목록이 다르다(아래 설명)	author-stated
비선형 assessor가 약간 더 정확하다	Figure 10 캡션	XGBoost·tabPFN이 linear regression·Measurement Layout보다 “slightly higher predictive accuracy”	수치 표는 없음, 그래프로만 제시	author-stated
여러 제출물에서 모든 방법의 예측력이 낮다	Section 3.3.2	요구가 충분히 informative하지 않거나 다른 잠재 요인이 있다는 해석	R² > 0.25만 분석에 포함	author-stated
높은 점수 제출물이 일부 능력에서 더 높을 확률을 보인다	Section 3.3.3, Figure 3	저자는 Team 1 세 제출물을 예로 든다	모든 능력에서 성립하지 않음	author-stated
일부 능력은 제출물을 구별하지 못한다	Section 3.3.3	abilityTeaching, abilityForgiveness, abilityTimePressure에서 유의한 차이 없음	요구가 sparse한 탓일 수 있음(Section 4)	author-stated
하위권 제출물이 일부 협력 능력에서 더 높다	Section 3.3.3, Table 2	abilityConventionFollowing: team_10_id_23 0.733 [0.621, 0.851] 대 team_2_id_6 0.351 [0.310, 0.395]. abilityReciprocity: team_10_id_23 0.651 [0.551, 0.757] 대 team_1_id_3 0.416 [0.379, 0.452]	대괄호는 HDI 3–97%. 짝은 작성자가 Table 2에서 고른 대표 비교	author-stated(경향), analyst-inference(짝 선택)
abilityProsocialNewcomers는 하위권이 더 높은 경우가 있다	Section 3.3.3, Table 2	team_10_id_23 0.737 [0.513, 0.979] 대 team_2_id_6 0.379 [0.250, 0.508]	HDI가 넓다	author-stated(경향), analyst-inference(짝 선택)
상위권은 base chance가 뚜렷하게 높다	Section 3.3.3, Figure 3 오른쪽, Table 2	team_2_id_6 0.853 [0.846, 0.859], team_1_id_3 0.837 대 team_10_id_23 0.760 [0.749, 0.771], team_12_id_19 0.764	HDI가 겹치지 않을 만큼 좁다	author-stated
상위권의 우위는 협력이 필요 없는 시나리오에서 왔을 수 있다	Section 4	우승작은 hand-crafted 정책([27]), 학습 기반 상위 제출물도 base chance가 비슷하게 높음	”plausible”이라는 추론이며 직접 검증하지 않음	author-stated
MCMC는 수렴했다	Section 3.3.1, Table 2	bulk ESS > 7000, tail ESS > 4300, R̂ 1.000–1.001	모든 제출물·파라미터	author-stated

결과 사이의 연결. 논리의 사슬은 세 고리다. (1) 요구 정보만으로도 블랙박스 assessor와 비슷한 예측이 가능하다는 것을 보여 Measurement Layout이 데이터를 잘 요약한다는 신뢰를 얻는다(Figure 10). (2) 그 모델의 능력 추정치를 보면 점수 순위와 협력 능력 순위가 일치하지 않는다(Figure 3 왼쪽). (3) 점수 순위와 일치하는 것은 base chance다(Figure 3 오른쪽). 그래서 “높은 점수 = 협력 잘함”이라는 해석이 흔들린다.

본문과 캡션의 불일치. Section 3.3.2 본문은 mean-score baseline을 못 넘은 예외로 team_12_id_19와 team_11_id_26을 들고, Figure 10 캡션은 team_11_id_25를 든다. Figure 10 그래프에서는 team_11_id_25의 R²가 음수이고, team_12_id_19의 Measurement Layout R²는 약 0.3으로 양수다(analyst-inference, 그래프 판독). team_12_id_19는 R² > 0.25 기준을 넘어 Figure 3에도 들어 있다. 그래프로는 캡션 쪽이 맞아 보이지만 어느 쪽이 맞는지 원문은 정리하지 않았다.

Take-home

한 줄 요약. Melting Pot 대회의 높은 점수는 협력 능력보다 “협력 요구가 없는 자리에서의 기본 성공률(base chance)“과 더 잘 맞물렸고, 이는 점수 기반 협력 벤치마크가 협력이 필요 없는 시나리오를 공략하는 전략에 열려 있음을 시사한다.

성립 범위.

대상은 Melting Pot 대회 최종 단계 제출물 하나의 데이터셋이다(Section 4). 능력 프로필 해석은 R² > 0.25인 10개 제출물에 한정된다(Section 3.3.2–3.3.3).
요구는 대회 주최 측이 단 binary 주석이고, 그중 음의 상관을 보인 7개만 쓴다(Section 3.2).
“상위권이 협력 불필요 시나리오를 노렸다”는 것은 base chance 패턴과 대회 보고서를 결합한 추론이다(Section 4, “plausible”).

저자가 인정한 한계 (author-stated, Section 4).

요구 taxonomy가 sparse하고 일부 중복돼 있어 일부 능력 사후분포가 넓고 제출물을 구별하지 못한다.
평가 테스트베드가 Melting Pot 하나뿐이다. 다른 social-AI suite로의 이전은 열린 질문이다(새 시나리오에 적절한 demand 주석이 있으면 가능하다고 본다).
substrate의 영향을 모델링하지 않았다. 앞으로 substrate를 bias factor로 넣자고 제안하지만 지금 데이터로는 부족하다.
양의 상관 요구를 뒤집어 쓰는 방향은 데이터가 sparse해서 탐색하지 못했다.

권고 (author-stated, Section 1, 4): 앞으로의 대회는 중복 없는 meta-feature로 요구를 더 잘 정의하고, 요구가 성적과 음의 상관을 갖게 하며, 덜 sparse하게 만들어야 한다. 그러면 능력 추정의 신뢰가 오르고 평가 틀을 공략할 위험이 줄어든다.

작성자가 보는 우려 (analyst-inference).

곱 구조 Λ_i = ∏_j λ_{i,j}에서 ρ는 요구가 없는 자리마다 곱해진다. 그래서 ρ는 “요구가 없을 때의 성공 확률” 그 자체가 아니라 자리당 성공률이다(요구가 하나도 없는 instance는 ρ^7). 저자 설명과 식의 해석이 미묘하게 다르다.
요구가 적게 걸린 instance일수록 ρ가 더 많이 곱해지므로, ρ와 θ가 서로를 얼마나 식별하는지는 요구의 분포(sparsity)에 크게 좌우될 수 있다. 저자들의 sparsity 우려와 같은 방향이다.
ρ의 사후 평균(0.742–0.853)이 사전분포 평균(약 0.833) 근처다. 사전분포 민감도 분석이 보고되지 않았다.
상관이 음수인 요구만 남기는 선택은 “요구가 있으면 성적이 떨어져야 한다”는 가정에 맞는 데이터만 남기는 것이어서, 결과로 나온 능력 프로필의 해석 범위를 좁힌다.
base chance가 높은 이유가 일반 역량인지, 특정 substrate에 대한 과적합인지는 이 모델로 구분되지 않는다. 저자들도 substrate 편향을 다음 과제로 남긴다.

재현성. MCMC 설정(4 chain, 4000 sample, burn-in 1000)과 사전분포는 명시돼 있다(Section 3.3.1). 학습/테스트 split은 80/20이며, split의 무작위 seed나 반복 횟수는 보고되지 않았다. 코드와 데이터는 https://github.com/markotesic/melting-pot-competition-analysis 에 공개했다고 쓴다(Section 3).

본문 도표

Figure 1 — 제출물별 평균 Min-Max 정규화 점수

무엇을 보여주는가: 모든 episode·시나리오에 걸친 제출물별 평균 점수와 95% 신뢰구간(Section 3.1).
읽는 법: x축은 제출물 ID(team_k_id_n, 점수 내림차순 정렬), y축은 Min-Max normalised score(0–0.200 눈금). 막대는 평균, 검은 선은 95% CI.
핵심 관찰: 26개 제출물이 나온다. 맨 왼쪽 team_2_id_6이 약 0.20, 맨 오른쪽 team_11_id_26이 약 0.10이다(analyst-inference, 그래프 판독). 상위 10여 개는 0.18–0.20 부근에서 신뢰구간이 겹치고, team_8_id_18 이후 점수가 내려간다(analyst-inference, 그래프 판독).
의미와 주의: 이 순위가 뒤의 능력 프로필과 base chance를 해석하는 기준이다(Section 3.3.3이 “higher-scoring submissions (see Figure 1)“로 참조, author-stated). 상위권끼리는 CI가 겹치므로 상위권 내부의 순서 차이는 크지 않다(analyst-inference).
확인 상태: viewed

Figure 2 — 16개 요구와 점수의 상관

무엇을 보여주는가: 80 episode로 평가된 상위 제출물 전체에서 16개 demand 각각과 Min-Max 점수의 상관계수(Section 3.2).
읽는 법: x축은 demand 이름, y축은 Correlation Coefficient(−0.2–0.6 눈금). 0 위 막대는 양의 상관(그 요구가 있을 때 점수가 오히려 높음), 0 아래는 음의 상관.
핵심 관찰: 양의 상관은 acceptance(약 0.56), resident(약 0.28), chance_to_benefit_oneself_without_imposing_social_cost(약 0.21), enforcement(약 0.14), flexibility·defense(약 0.06)다. 음의 상관은 prosocial_newcomers(약 −0.07), visitor·ostracism·time_pressure·partner_choice(약 −0.10), convention_following(약 −0.13), sanctioning·teaching·forgiveness(약 −0.17), reciprocity(약 −0.22)다(analyst-inference, 그래프 판독). 중복 요구 묶음(ostracism·time_pressure·partner_choice, sanctioning·teaching)은 막대 높이가 같다.
의미와 주의: 저자들은 음의 상관 + 중복 제거 기준으로 7개 요구를 남긴다(author-stated). 상관 크기가 모두 |0.25| 이하로 작고, 상관의 종류는 명시되지 않았다(analyst-inference, unknown).
확인 상태: viewed

Figure 3 — 능력 프로필과 base chance

무엇을 보여주는가: 왼쪽은 Measurement Layout의 예측력이 충분했던(R² > 0.25) 10개 제출물의 7개 능력 추정치, 오른쪽은 같은 제출물의 base chance(Section 3.3.3).
읽는 법: 왼쪽은 radar chart(방사형 그래프)다. 7개 축이 abilityTimePressure, abilityVisitor, abilityProsocialNewcomers, abilityReciprocity, abilityForgiveness, abilityTeaching, abilityConventionFollowing이고, 중심에서 바깥으로 0–0.9 눈금이 있다. 선 하나가 제출물 하나다(범례: team_2_id_6, team_1_id_3, team_2_id_5, team_2_id_4, team_1_id_1, team_1_id_2, team_9_id_22, team_10_id_23, team_9_id_20, team_12_id_19). 오른쪽은 forest plot 형태로, y축은 제출물(아래쪽이 고득점), x축은 base chance의 사후 평균과 HDI(0.76–0.86 눈금)다.
핵심 관찰:
- 왼쪽: abilityTeaching·abilityForgiveness 축에서는 선들이 몰려 있고, abilityConventionFollowing·abilityProsocialNewcomers 축에서는 하위권 선이 바깥에 있다. 정확한 값은 Table 2에 있다(예: abilityConventionFollowing team_10_id_23 0.733 대 team_2_id_6 0.351, abilityVisitor team_1_id_3 0.974).
- 오른쪽: team_2_id_6 0.853, team_1_id_3 0.837, team_2_id_4 0.834, team_2_id_5 0.828, team_1_id_1 0.824, team_1_id_2 0.823으로 상위권이 0.82–0.86에 몰리고, team_9_id_22 0.780, team_9_id_20 0.768, team_12_id_19 0.764, team_10_id_23 0.760으로 하위권이 0.76–0.78에 있다(Table 2). 두 무리의 HDI는 겹치지 않는다.
의미와 주의: 저자들은 협력 능력만으로 높은 점수가 설명되지 않고, 상위권은 협력 요구가 없을 때 더 잘하는 쪽이라고 해석한다(author-stated). radar chart에는 불확실성(HDI)이 표시되지 않아, 넓은 HDI를 가진 능력(예: team_10_id_23 abilityProsocialNewcomers [0.513, 0.979])의 차이를 그림만 보고 과대평가하기 쉽다(analyst-inference). HDI는 Figure 11과 Table 2(Appendix)에 있다.
확인 상태: viewed

Wiki 연결

Agentic Misalignment - How LLMs Could Be Insider Threats — 점수·행동 지표가 무엇을 재는지에 대한 같은 vault의 에이전트 평가 노트
PropensityBench - Evaluating Latent Safety Risks in Large Language Models via an Agentic Approach (v3) — 능력(capability)과 성향(propensity)을 분리해 재는 평가 설계 비교용
Scalable Evaluation of Multi-Agent Reinforcement Learning with Melting Pot — 분석 대상 대회의 기반 벤치마크(focal per-capita return)
More Capable, Less Cooperative - When LLMs Fail At Zero-Cost Collaboration — 능력과 협력을 분리한다는 같은 목표를 LLM에서 짝 조건으로 푼 논문