74분 분량

몰튼 팟 - 사회적 오프라인 강화학습을 위한 평가 프로토콜 및 데이터셋

Molten Pot - Evaluations & Datasets for Social Offline Reinforcement Learning

저자
Juan Claude Formanek et al.
출처
ICML 2026 Workshop on Decision-Making from Offline Datasets to Online Adaptation
분류
Benchmark/Evaluation
읽은 깊이
시작 전
리뷰
2026-07-15
Offline RLSocial RLMixed-motive MARLBenchmarkPartner Inference

오프라인 데이터만으로 사회적 환경에서 강화학습의 견고성을 평가하는 벤치마크와 1TB 규모 데이터셋 제시

몰튼 팟 - 사회적 오프라인 강화학습을 위한 평가 프로토콜 및 데이터셋

Digest: 자율주행차·적응형 임상시험·배치된 LLM 에이전트처럼 실세계에서 강화학습(RL)이 가장 중요하게 쓰이는 환경은 대개 “사회적(다른 적응형 의사결정자가 함께 존재)“이면서 동시에 “데이터 제약적(온라인 추가 탐색이 불가능)“이지만, 현행 평가 인프라는 이 둘의 교집합을 검증하지 못한다 — 표준 오프라인 RL(offline RL, 고정된 과거 데이터만으로 정책을 학습) 벤치마크 D4RL·RL Unplugged는 환경을 비사회적 단일 에이전트로 다루고, 오프라인 MARL(multi-agent RL, 다중 에이전트 강화학습) 벤치마크 OG-MARL은 완전 협력 설정에만 국한된다. 저자들의 통찰은 사회적 환경에서 “과거 로그로 견고한 정책을 배울 수 있는가”라는 표준 질문이 “혼합 동기(mixed-motive, 이해관계가 부분적으로 일치·부분적으로 상충)를 가진 co-player 집단의 로그로 학습한 정책이 낯선 파트너에게도 일반화되는가”로 확장되어야 하며, 특히 시나리오 레이블을 숨긴 채 평균 return을 최대화하는 것이 형식적으로 partner inference(파트너 추론, 에피소드 내 이력만으로 상대 정체를 추정)를 요구한다는 점이다(§3 Bayes-filter 사후분포 정리). 이를 검증하기 위해 저자들은 DeepMind Melting Pot substrate(사회적 상호작용을 모사하는 환경 골격)를 focal(학습·평가 대상)/background(고정된 배경 파트너)로 분할해 오프라인 데이터셋화한 Molten Pot을 제안한다 — 5개 substrate, 47개 social scenario, 약 1 TB의 궤적(관측·행동·보상 기록) 데이터로 구성되고, 사회적 견고성의 서로 다른 측면을 격리하는 3개 evaluation setting(Setting 1 단일 시나리오 / Setting 2 레이블 은닉 partner inference / Setting 3 disjoint split zero-shot 일반화)을 정의한다. 대표 오프라인 RL 알고리즘 4종(BC·BCQ·IQL·CQL)을 GRU 순환 코어로 확장해 벤치마크하니, 데이터가 더 많은 Setting 2에서 optimality gap(↓, rliable 지표)이 오히려 커졌고(CQL 0.43→0.49, BCQ 0.26→0.29, Table 1), Setting 3에서는 모든 substrate·알고리즘이 in-distribution→OOD 하락을 겪어(Commons Harvest의 punishment/role-shift가 최대 하락, Coins가 최소, Fig. 6) 네 알고리즘 모두 데이터셋 p90(“best-in-dataset”) 상한 대비 뚜렷한 여유(headroom)를 남겼다. 다만 이 4종은 모두 scenario-agnostic conservatism(시나리오 구분 없이 데이터 분포 이탈만 억제)에 의존하고, 저자들이 제시한 partner representation·posterior-aware conservatism·memory 아키텍처는 방향 제시에 그쳐 실제로 격차를 줄이는지는 검증되지 않았으며, Molten Pot은 partner handling만 격리 평가하도록 설계돼 coordination 자체는 범위 밖이다. 남는 질문은 “평균 return 최대화 = Bayes-optimal partner inference” 정리가 유한 데이터·유한 용량 신경망 조건에서도 실증 격차의 원인으로 작동하는지, calibrated belief를 유지하는 memory 아키텍처가 실제로 Setting 3의 zero-shot 사회적 일반화를 개선하는지, mixed-motive 환경에서 coordination과 partner handling이 정말 분리 가능한 개념인지다.

먼저 이해하기

Molten Pot은 “낯선 상대들 사이에서, 오직 과거에 쌓인 데이터만으로 잘 행동하는 법을 배울 수 있는가”를 재는 시험대(벤치마크)다. 기존 강화학습 시험대는 둘 중 하나만 다뤘다 — offline RL(온라인 추가 탐색 없이 고정된 과거 데이터로만 학습하는 강화학습) 벤치마크는 다른 의사결정자가 없는 혼자만의 문제였고, 협력형 다중 에이전트 벤치마크는 모두가 한 팀인 상황만 다뤘다. Molten Pot은 DeepMind Melting Pot substrate(사람들의 사회적 딜레마를 게임으로 모사한 환경) 5종에서 mixed-motive(혼합 동기 — 이해관계가 일부는 맞고 일부는 어긋나는 상태) 상황 47개 scenario를 뽑아, 약 1 TB의 궤적(에이전트가 남긴 관측·행동·보상 기록) 데이터로 만들었다. 핵심 시험 중 하나인 Setting 2는 “지금 상대가 누구인지 알려주는 scenario 레이블”을 가린 채 평균 점수를 최대화하게 하는데, 저자들은 이 점수를 올리는 것이 수학적으로 partner inference(에피소드 안의 이력만 보고 상대의 정체·성향을 추론하는 것)를 요구함을 증명했다. 대표적인 offline RL 알고리즘 4종(BC·BCQ·IQL·CQL)을 돌려 보니, 데이터가 더 많은 Setting 2에서 오히려 optimality gap(최선 대비 부족분, 낮을수록 좋음)이 커졌고(CQL 0.43→0.49, Table 1), 학습에 없던 파트너로 넘어가는 Setting 3에서는 성능이 일관되게 떨어졌다(Fig. 6). 즉 지금의 알고리즘들은 사회적 데이터에서 견고한 전략을 뽑아내는 데 아직 명확한 한계가 있다는 것이 이 논문의 결론이다.

녹화된 주행 로그로 학습하는 자율주행차, 서로 다른 시행기관의 과거 임상시험 기록을 모아 설계하는 적응형 임상시험, 사전학습 데이터만으로 상대를 추론하는 배치된 LLM 에이전트는 모두 “데이터는 풍부하지만 온라인 시행착오는 불가능하고, 환경 안에 다른 적응형 의사결정자가 있는” 공통 조건에 놓인다(§1). 이 논문은 바로 이 조건 — “사회적 × 데이터 제약적” — 을 잴 벤치마크가 지금까지 없었음을 지적하고 그 시험대를 처음 제공한다. 또한 Setting 2의 평균 return 최대화가 형식적으로 Bayes-optimal partner inference를 요구한다는 정리를 통해, “성능 지표 상승”과 “사회적 추론 능력 향상” 사이에 수학적으로 검증 가능한 연결고리를 세운다(§3). 벤치마크 결과 4개 대표 알고리즘 모두 데이터셋 p90 상한 대비 여유를 남기고 데이터가 늘어난 Setting 2에서도 optimality gap이 줄지 않음을 보임으로써(Table 1), 저자들은 표준 오프라인 RL의 scenario-agnostic conservatism을 넘어 파트너에 대한 신념(belief)을 명시적으로 다루는 알고리즘이 필요하다는 연구 방향을 실증적으로 정당화한다. 다만 이 필요성은 방향 제시이며, 제안된 아키텍처가 실제로 격차를 줄이는지는 이 논문의 범위 밖이다.

먼저 알아둘 말

용어쉬운 설명정확성 메모
offline RL (offline reinforcement learning)환경을 새로 탐색하지 않고 미리 모아둔 과거 데이터만으로 정책을 학습하는 강화학습온라인 상호작용이 비싸거나 위험한 배치 상황을 겨냥. 핵심 난점은 데이터 분포를 벗어난 행동의 과대평가
mixed-motive (혼합 동기)참여자들의 이해관계가 일부는 맞고 일부는 어긋나는 상태 (완전 협력도, 제로섬도 아님)Molten Pot substrate는 명시하지 않는 한 mixed-motive. 협력할지·언제 협력할지 판단이 핵심
substrate (Melting Pot substrate)맵·역학·보상구조로 정의된 다중 에이전트 사회 환경의 골격POSG로 형식화, 관측은 자기중심 88×88 RGB. 5종 사용(Clean Up, Coins, Coop Mining, Commons Harvest, Allelopathic Harvest)
focal / background 분할학습·평가하는 focal 에이전트와, 고정돼 함께 배포되는 background 파트너로 플레이어를 나눔background 행동·상태는 데이터셋에 기록하지 않아, 학습자는 파트너를 궤적의 흔적으로만 추론
scenario하나의 substrate와 고정된 background 정책의 쌍 ⟨Ms, πsB⟩총 47개(Clean Up 9, Coins 7, Coop Mining 6, Commons Harvest 12, Allelopathic Harvest 13)
partner inference (파트너 추론)에피소드 안의 관측 이력만으로 상대 파트너의 정체·성향을 추정하는 것Setting 2의 평균 return 최대화가 형식적으로 이를 요구(§3 Bayes-filter 정리)
zero-shot social generalisation학습에 쓰지 않은(disjoint) 파트너 구성으로 추가 학습 없이 바로 일반화하는 능력Setting 3에서 검증. 관측·행동 공간과 substrate 역학은 유지, scenario 구성만 분포이동
optimality gap (rliable)상한/최선 대비 얼마나 부족한지의 척도, 낮을수록 좋음rliable(stratified-bootstrap 95% CI)로 보고. 상한은 데이터셋 p90(“best-in-dataset”)
normalised return / p90 ceiling0 = 무작위 정책, 1 = 데이터셋 내 상위 10% 궤적 수준으로 정규화한 점수J̃s = (Rs − Rrandom)/(Rp90 − Rrandom). 알고리즘·substrate 간 비교 위해 도입
conservatism (보수성)학습 데이터 분포를 벗어난 행동을 억제하는 오프라인 RL의 기본 전략BC·BCQ·IQL·CQL 모두 scenario-agnostic conservatism에 의존 — 파트너 유형 불일치를 다루지 못함이 핵심 발견

섹션별 요약

Abstract

RL(reinforcement learning, 강화학습)이 가장 중요하게 쓰일 수 있는 실제 배치 환경은 사회적(social, 다른 의사결정자가 함께 존재)이면서 동시에 데이터 제약적(온라인 상호작용으로 추가 탐색이 불가능)인 경우가 많지만, 현행 평가 체계는 이 둘의 교집합인 데이터 제약 하의 사회적 추론을 검증하지 못한다 — 표준 오프라인 RL(offline RL, 온라인 탐색 없이 고정된 과거 데이터만으로 정책을 학습하는 RL) 벤치마크는 환경을 비사회적으로 다루고, 멀티에이전트(multi-agent) 벤치마크는 완전 협력 설정에만 국한되어, 혼합 동기(mixed-motive, 협력과 경쟁의 유인이 함께 존재) 상황에서 파트너의 정체·동기를 오프라인 데이터만으로 추론·일반화하는 능력은 검증되지 않은 채 남아 있다. 저자들은 DeepMind Melting Pot substrate(사회적 상호작용을 모사하는 시뮬레이션 환경) 위에 구축한 오프라인 mixed-motive 사회적 RL용 평가 프로토콜·데이터셋·벤치마크 “Molten Pot”을 제안하며, 5개 substrate, 47개 social scenario, 약 1 TB의 궤적(trajectory) 데이터로 구성되고, 사회적 견고성(social robustness)의 서로 다른 측면을 각각 검증하는 3개의 상보적 evaluation setting을 정의한다: Setting 1(고정 background 개체군에서의 멀티에이전트 mixed-motive 오프라인 RL), Setting 2(시나리오 레이블 없이 다양한 파트너 행동에 대응해야 하는 partner inference), Setting 3(disjoint train/test split을 통한 zero-shot 사회적 일반화). 대표적 오프라인 RL 알고리즘 4종(BC, BCQ, IQL, CQL)을 이 프로토콜과 데이터셋으로 벤치마크한 결과, 이들 방법은 오프라인 데이터만으로 견고한 사회적 전략을 학습하는 데 명확한 한계를 보였다. 이로써 Molten Pot은 offline social evaluation(오프라인 사회적 평가)을 RL 연구의 독립적이고 필수적인 목표로 정립한다.

저자 contribution

  • Melting Pot substrate 기반의 오프라인 mixed-motive 사회적 RL 평가 프로토콜·데이터셋·벤치마크 Molten Pot을 제안한다 (5 substrate, 47 social scenario, 약 1 TB 궤적 데이터).
  • 사회적 견고성의 서로 다른 측면을 각각 검증하는 3개의 상보적 evaluation setting(고정 배경 개체군 오프라인 RL / 레이블 없는 partner inference / disjoint split zero-shot 사회적 일반화)을 정의한다.
  • 대표 오프라인 RL 알고리즘 4종(BC, BCQ, IQL, CQL)을 벤치마크하여 이들이 오프라인 데이터만으로 견고한 사회적 전략을 학습하는 데 한계가 있음을 규명한다.

왜 이 연구를 하는가?

핵심 질문: 고정된(온라인 탐색이 불가능한) 과거 상호작용 로그만으로, 혼합 동기(mixed-motive)를 가진 co-player 집단을 상대로 견고한 정책을 학습할 수 있는가, 그리고 그 정책은 학습 데이터에 없던 낯선 파트너에게도 일반화되는가?

이 질문은 추상적 호기심이 아니라 이미 배치되고 있는 시스템들의 현실에서 나온다. 녹화된 주행 로그로 학습한 자율주행차는 통제할 수 없는 인간 운전자들 사이로 병합해 들어가야 하고, 서로 다른 시행기관·시기의 과거 임상시험 기록을 모아 설계하는 적응형 임상시험은 사후에 개입할 수 없는 참여자들의 순응도·투약·조기중단 패턴을 다뤄야 하며, 사전학습 데이터만으로 상대의 정체를 추론해야 하는 배치된 LLM 에이전트는 다른 LLM 에이전트·인간·기존 자동화 시스템과 상호작용한다. 이 세 사례 모두에서 데이터는 이미 풍부하지만, 환경은 사회적(다른 적응형 의사결정자가 존재)이고, 에이전트에게는 온라인 시행착오의 기회가 없다.

기존 접근법의 한계

  • 표준 오프라인 RL 벤치마크(D4RL, RL Unplugged): 정지된 환경 역학을 가진 단일 에이전트 제어 문제에만 집중한다. 평가 대상은 행동 정책(behaviour policy)과 학습된 정책 간의 분포 이동(distributional shift)과 이를 완화하는 보수성(conservatism)뿐, 환경 안에 다른 적응형 에이전트가 있을 때 발생하는 사회적 추론 과제는 다루지 않는다.
  • 오프라인 MARL 벤치마크(OG-MARL 등): SMAC, MAMuJoCo처럼 완전 협력(fully cooperative)적인 환경만을 대상으로 하며, 핵심 과제가 팀원 간 조정(coordination)이다. 이해관계가 부분적으로 일치하고 부분적으로 상충하는 혼합 동기(mixed-motive) 설정, 즉 협력할지·언제 협력할지를 판단해야 하는 상황은 거의 다루지 않는다.
  • Melting Pot: mixed-motive 사회적 추론을 시험할 수 있는 substrate(환경 템플릿)를 제공하지만 온라인 평가용으로 설계되었다. self-play나 population-based 방법으로 정책을 학습한 뒤 held-out 배경 집단(background population)에 대해 온라인으로 채점하는 구조라, 고정 데이터셋만으로 mixed-motive 사회적 정책을 학습·평가하는 오프라인 대응물은 아직 존재하지 않는다.

핵심 통찰

  • 사회적 환경에서는 “과거 로그로부터 견고한 정책을 배울 수 있는가”라는 표준 오프라인 RL 질문이, “혼합 동기를 가진 co-player 집단과의 상호작용 로그로부터 견고한 정책을 학습하고, 그 정책이 낯선 파트너에게도 일반화되는가”라는 질문으로 확장되어야 하며, 현행 평가 인프라는 이 확장된 질문을 아직 시험하지 못한다.
  • 세 종류의 벤치마크(단일 에이전트 오프라인 RL, 협력 전용 오프라인 MARL, 온라인 전용 Melting Pot)는 각각 “오프라인성”과 “사회성” 중 한쪽만 갖추고 있어, 그 교집합—고정 데이터로부터 상충하는 유인을 가진 낯선 파트너를 추론·대응하는 능력—을 검증할 벤치마크는 공백으로 남아 있다.

Introduction

Molten Pot는 SPINE 상에서 “실세계 배치가 요구하는 사회적 추론 × 오프라인 데이터 제약이라는 교집합을 기존 벤치마크가 검증하지 못한다”는 전체 논지의 출발점 역할을 한다. 낯선 교통 상황에 병합하는 운전자, 처음 만나는 상대와 협상하는 협상가, 순응도가 미지의 환자 집단을 위해 적응형 임상시험(adaptive trial, 진행 중 축적된 데이터를 반영해 설계를 조정하는 임상시험)을 설계하는 통계학자처럼, 사람은 온라인 시행착오 없이 제한된 관찰만으로 상대의 의도를 추론하고 대응한다. 문제는 실제로 강화학습(RL) 에이전트가 배치되는 상황 다수—과거 주행 로그로 학습해야 하는 자율주행차, 서로 다른 시행기관의 과거 임상시험 기록을 모아 설계하는 적응형/플랫폼 시험—가 데이터는 풍부하지만 환경이 사회적(social, 다른 적응형 의사결정자가 존재)이며 온라인 탐색이 비싸거나 위험하거나 비현실적이라는 점이다. 그러나 현행 평가 인프라는 이 능력을 시험하지 않는다: D4RL·RL Unplugged 같은 표준 오프라인 강화학습(offline reinforcement learning, 온라인 상호작용 없이 고정된 과거 데이터만으로 정책을 학습·평가하는 방식) 벤치마크는 정지된 단일 에이전트 제어 문제에만 집중해 다른 적응형 에이전트가 존재하는 사회적 추론 과제를 다루지 않으며, OG-MARL 같은 오프라인 다중 에이전트 강화학습(MARL, multi-agent RL) 벤치마크는 SMAC·MAMuJoCo 등 완전 협력(fully cooperative) 환경에 국한되어 핵심 과제가 조정(coordination)일 뿐, 상충하는 유인 아래 이질적 파트너를 다뤄야 하는 혼합 동기(mixed-motive, 참여자들의 이해관계가 부분적으로 일치하고 부분적으로 상충하는 상황) 설정은 대체로 빠져 있다. DeepMind의 Melting Pot(mixed-motive 사회적 딜레마를 구현한 환경 템플릿, substrate)은 바로 이런 mixed-motive 사회적 추론을 시험할 substrate를 제공하지만, self-play나 population-based 방법으로 학습한 뒤 held-out 배경 집단(background population)에 대해 온라인으로 채점하도록 설계되어 있어, “고정 데이터셋으로부터 mixed-motive 사회적 정책을 학습하고 이 substrate들에서 평가한다”는 오프라인 대응물은 아직 탐구되지 않았다. 이 공백에서 저자들은 사회적 환경에서는 표준 오프라인 RL 질문(“과거 로그에서 견고한 정책을 학습할 수 있는가”)이 “혼합 동기를 가진 co-player 집단과의 상호작용 로그로부터 견고한 정책을 학습하고, 그 정책이 미지의 파트너에게 일반화되는가”로 확장되어야 한다는 통찰을 제시하며, 이를 검증하는 평가 프로토콜과 데이터셋인 Molten Pot을 제안한다.

Methods

Preliminaries — POSG 형식화와 데이터 수집

Molten Pot은 5개 substrate(환경 골격)를 부분관찰 일반합 마르코프 게임(partially observable general-sum Markov game, POSG — 각 플레이어가 전체 상태를 다 보지 못하고 보상도 서로 다를 수 있는 다중 에이전트 게임 형식)으로 형식화하고, 플레이어 집합을 학습·평가 대상인 focal(초점) 에이전트와 고정된 background(배경) 에이전트로 나눈 뒤, 배경 정책을 고정한 “scenario(시나리오)” 단위로 independent PPO(독립적 PPO — 에이전트마다 별도의 PPO 학습기를 두고 각자 자기 보상만으로 학습)를 돌려 오프라인 궤적 데이터셋을 수집한다.

  • Substrate(환경 골격): M = ⟨N, Z, {Ai}, {Oi}, T, {ri}, γ⟩로 형식화되는, 맵·역학·보상구조로 정의된 다중 에이전트 환경. 관측은 자기중심(egocentric) 88×88 RGB 프레임, 보상은 개별적이며, 명시하지 않는 한 게임은 mixed-motive(혼합 동기 — 완전 협력도 제로섬도 아닌, 이해관계가 부분적으로 어긋나는 상태)다. Clean Up, Coins, Coop Mining, Commons Harvest, Allelopathic Harvest 5개 substrate가 각각 공유자원 딜레마·공공재 게임·이인 사회적 딜레마·파트너 선택 조정·관습 채택 등 서로 다른 mixed-motive 구조를 대표한다(Fig. 2).
  • Focal/Background 분할: 플레이어 집합 N을 정책을 학습·평가하는 focal 위치 F와, 벤치마크에 고정되어 함께 배포되는 background 위치 B = N\F로 나눈다. focal 에이전트는 위치 간 파라미터 θ를 공유하고, background 에이전트는 스크립트화되었거나 사전학습된 co-player로서 학습자 입장에서는 블랙박스로 취급된다.
  • Scenario(시나리오): substrate Ms와 고정된 결합 background 정책 πsB의 쌍 s = ⟨Ms, πsB⟩. scenario를 고정하면 background 행동이 전략 변수가 아니라 환경 전이 함수의 일부로 흡수되어 focal 입장에서는 사실상 단일 에이전트 문제처럼 다뤄지며, focal return Js(πθ)는 focal 정책 πθ 하에서 T개 타임스텝 동안 얻는 (감가율 γ 적용) 평균 보상의 기대 누적합으로 정의된다(식 1). 5개 substrate에 걸쳐 총 47개 scenario(Clean Up 9, Coins 7, Coop Mining 6, Commons Harvest 12, Allelopathic Harvest 13; Table 2–3)가 제공된다.
  • Dataset 수집 절차: scenario s의 오프라인 데이터셋 Ds는 고정된 background 개체군 πsB와 함께 Ms에서 행동하는 focal 정책들이 생성한 focal 시점 에피소드 모음이다. 각 에피소드는 focal 에이전트의 관측·행동·보상만 기록하고 background의 행동과 환경 내부 상태는 저장하지 않아, 학습자는 파트너 행동을 오직 그것이 focal 궤적에 남긴 영향으로만 관측한다. 각 scenario마다 focal 에이전트들은 고정된 background를 상대로 independent PPO로 학습되는데, 어느 한 focal 관점에서 background는 고정돼 있지만 다른 focal 에이전트들은 동시에 학습 중인 비정상적(non-stationary) co-learner이므로, 비정상성·신뢰 할당(credit assignment) 같은 MARL의 전형적 어려움을 그대로 물려받는다.

각 학습 run에서는 수렴 시점만이 아니라 학습 전 구간에 걸쳐 균일한 간격으로, 즉 서로 다른 학습 진행 단계의 independent PPO 체크포인트들로부터 N=1000개, 길이 T=1000의 궤적을 기록한다. 그 결과 Ds는 근-무작위 수준의 학습 초기 행동부터 수렴된 정책까지 focal 숙련도가 의도적으로 뒤섞인(skill-mixed) 데이터셋이 되며, 수렴 정책의 품질은 같은 scenario에서 Leibo et al.(Melting Pot 원 논문)이 보고한 반환값과 비교해 검증된다(substrate별 집계 분포 Fig. 3, scenario별 세부 분포 Appendix B). 표준 오프라인 RL 벤치마크가 환경을 비사회적으로 다루는 것과 달리 이 절은 substrate를 처음부터 mixed-motive POSG로 형식화하고, background의 행동·상태를 아예 기록하지 않는 설계로 학습자가 파트너를 궤적의 흔적으로만 추론하게 만들어 이후 §3의 partner inference 정당화로 직접 이어진다.

Partner Inference and Bayes Optimality

이 절은 §2 Preliminaries의 형식화를 이어받아, 뒤이어 나올 3-setting 평가 프로토콜(§4) 중 특히 Setting 2(“scenario 레이블을 숨긴 채 평균 return을 최대화”)가 왜 정당한 사회적 견고성 시험인지—즉 이 지표를 최대화하는 것이 형식적으로 partner inference(파트너 추론)를 요구한다는 것—를 정리(theorem) 형태로 증명하여 Setting 2 프로토콜의 근거를 마련한다. 핵심 구성요소는 두 가지다. 첫째, latent-context 구조(잠재 맥락 구조): background 파트너의 행동은 시나리오마다 다르고 focal 에이전트에게 직접 관측되지 않으므로, focal이 겪는 전이 동역학은 관측 불가능한 배경 파트너라는 잠재 변수에 의존한다. 저자들은 focal 관측 이력 h_t = (o_0, a_0, r_0, …, o_t)를 정의하고, 시나리오 s 하의 focal 관점 전이 확률 p(o_{t+1}, r_t | h_t, a_t; s)를 배경 정책 π^B_s에 대해 배경 행동을 주변화(marginalise, 확률변수를 합산해 없앰)해 얻는다(식 2). 둘째, Bayes-filter 사후분포(베이즈 필터로 순차 갱신되는 사후확률) b_t(s) := Pr(s | h_t): 시나리오 집합 S 위의 사전확률에서 출발해 매 타임스텝 관측된 전이의 우도(likelihood)를 곱해 갱신되며(식 3), 경험이 쌓일수록 실제 시나리오 쪽으로 수렴한다. 입력→출력 흐름은 “관측 이력 h_t → 베이즈 갱신으로 파트너 사후분포 b_t(s) → 사후분포로 가중된 예측 동역학 위에서 행동을 고르는 Bayes-optimal 정책”이며, 그 가치 V*(h_t)는 belief-weighted 동역학에 대한 벨만 방정식(식 4)을 만족한다. 이 정리의 차별점이자 Setting 2를 정당화하는 지점은, V*가 사전확률 아래 시나리오 분포 전체에 대해 평균 낸 기대 return의 상한이라는 데 있다—개별 시나리오에만 특화하면 그 시나리오에선 더 높은 return을 낼 수 있으나 다른 시나리오 성능을 희생해야 하며, per-scenario 특화와 분포 전체에 대한 견고성 사이의 이 긴장이 프로토콜이 드러내려는 것이다. 또한 이 정식화는 “무엇을 풀어야 하는지”만 규정할 뿐 “어떻게 푸는지”는 규정하지 않아, 명시적 사후분포 추적으로 최적에 도달하는 에이전트와 학습된 일반화 전략만으로 같은 가치에 도달하는 에이전트가 동등하게 최적이며 후자에서는 사회적 추론이 암묵적으로 일어난 것으로 취급된다. 결론적으로 파트너 정체가 관측되지 않고 오직 에피소드 내 이력으로만 추론 가능한 상태에서 분포 전체의 기대 return을 최대화하는 것은 명시적이든 암묵적이든 형식적으로 partner inference를 요구하며, Setting 2는 이 조건을 그대로 구현(operationalise)한 것이다.

The Molten Pot Evaluation Protocol

Molten Pot 평가 프로토콜(evaluation protocol)은 하나의 오프라인 데이터셋 구조 위에서 학습 시나리오 집합(S^tr)과 평가 시나리오 집합(S^te)의 관계만 다르게 설정해, 사회적 견고성(social robustness)의 서로 다른 측면을 각각 격리 검증하는 3개의 완결된 오프라인 RL 문제, Setting 1/2/3으로 구성된다. 각 setting은 학습에 쓸 수 있는 데이터의 시나리오 집합 S^tr과 정책 π_θ가 채점되는 시나리오 집합 S^te를 지정하며, 세 setting을 가르는 것은 오직 이 두 집합의 관계(같은가 다른가)다. 모든 setting에서 시나리오 레이블 s는 학습 관측값과 평가 시점 정책 모두에서 은닉되어, 알고리즘은 focal (o, a, r) 튜플만 본다.

  • Setting 1 (Single-Scenario Offline Multi-Agent RL with Mixed Motives): 시나리오별 독립 실행. 각 s에 대해 S^tr = S^te = {s}로 고정하고, D_s로 학습한 정책을 동일 시나리오에서 온라인 평가해 J_I(π_θ; s) = J_s(π_θ)(식 5)로 채점한다. s가 고정되므로 background 정책이 환경 동역학의 고정된 일부가 되어 partner inference가 요구되지 않는다 — 표준 단일 과제 오프라인 POSG와 같지만 협력이 아닌 mixed-motive 환경이라는 점이 다르다.
  • Setting 2 (Partner Inference for Offline Multi-Scenario Social RL): substrate별 독립 실행. 해당 substrate의 시나리오 집합 전체를 S^tr = S^te = S_sub로 두고 합집합 데이터셋 D_{S_sub}로 단일 정책을 학습하되 레이블은 제공하지 않는다. 학습된 정책은 각 시나리오에 개별 배포되어 평가되며, 헤드라인 점수는 균등분포 하의 혼합 리턴 J_II(π_θ) = E_{s∼P^te}[J_s(π_θ)](식 6)이고, 시나리오별 프로파일도 함께 보고(Fig. 5)해 시나리오별 실패를 드러낸다.
  • Setting 3 (Zero-Shot Social Generalisation in Offline RL): substrate별 독립 실행. 각 substrate마다 S^tr ∩ S^te = ∅인 disjoint train/test split(Table 4)을 제공하고, 레이블을 은닉한 채 D_{S^tr}로 학습한 정책을 held-out 시나리오에서 Setting 2와 동일한 J_II로 zero-shot 평가한다. Table 4는 다섯 substrate에 걸쳐 총 18개 split을 열거하며, 각 split은 convention mismatch(관습 불일치), reciprocity threshold shift(상호성 임계값 변화), punishment-capability shift(처벌 능력 변화), role shift(역할 변화), commitment shift(공약 변화), latent within-episode partner type(에피소드 내 은닉 파트너 유형) 등 하나의 명명 가능한 사회적 분포 변화(distribution shift)를 격리한다.

세 setting 모두 입력은 시나리오 레이블이 제거된 focal 궤적 데이터이고 출력은 상호작용 없이 학습된 정책 π_θ이며, Setting 1은 단일 시나리오 데이터를 받아 같은 시나리오에서 채점, Setting 2는 substrate의 모든 시나리오를 합쳐 각 시나리오에서 배포·채점, Setting 3은 학습에 쓰이지 않은 held-out 시나리오에서 zero-shot 평가한다. 표준 오프라인 RL 벤치마크가 mixed-motive 사회 환경을 다루지 않고 기존 멀티에이전트 오프라인 벤치마크가 완전 협력에 국한된 것과 달리, Setting 1이 그 공백을 메우고, Setting 2는 레이블 없이 파트너 population을 에피소드 내 이력만으로 추론해야 하는 유일한 setting이며(J_II를 최대화하는 정책이 이론적으로 Bayes-optimal partner inference 정책이 됨), Setting 3은 관측·행동 공간과 substrate 역학은 유지한 채 시나리오 구성만 분포이동시켜 학습된 사회적 추론이 완전히 새로운 파트너 population으로 전이되는지를 검증한다.

발견 (Findings)

  • 데이터가 늘어도 optimality gap이 커짐: (substrate, scenario, seed) pooling 기준 optimality gap(↓)이 Setting 1→Setting 2(레이블 은닉·데이터 union)로 갈수록 4개 알고리즘 모두에서 증가했다 — IQL 0.30→0.31, BC 0.35→0.36, BCQ 0.26→0.29, CQL 0.43→0.49 (Table 1). CQL이 가장 크게 악화됐고 BCQ가 두 setting 모두 최저 gap을 유지했다(단, BC·IQL의 증가는 95% CI가 중첩해 약한 신호, BCQ·CQL은 CI 비중첩으로 유의).
  • 모든 substrate에 partner-mismatch 취약 scenario 존재: Setting 2 spider plot에서 각 substrate마다 최소 1개 scenario가 모든 알고리즘에 대해 random 기준선 이하로 붕괴했고, 취약 지점이 알고리즘 간 유사해 conservatism 강도보다 파트너 유형 불일치가 근본 원인임을 시사한다(Fig. 5).
  • in-distribution→OOD 성능 하락이 전 알고리즘·전 substrate에서 관측: Setting 3에서 in-distribution 마커가 OOD 마커를 모든 substrate·알고리즘에서 상회했으며 어떤 알고리즘도 이 gap을 닫지 못했다(Fig. 6). Commons Harvest의 punishment/role-shift split에서 하락폭 최대, Coins에서 최소.
  • BC는 좁은 대역·offline RL 3종은 넓은 편차: Setting 1 성능 프로파일에서 BC는 near-flat plateau 후 급락하는 narrow-band 패턴을, IQL·BCQ·CQL은 완만한 곡선으로 scenario별 큰 편차(일부 완전 실패, 일부 p90 초과)를 보였다(Fig. 4).
  • focal agent 이득이 다수 scenario에서 background agent 손실을 대가로 함: Appendix F에서 Coop Mining 등 일부는 win-win, 대다수 scenario는 focal 성능 향상이 background return 감소를 수반해 mixed-motive 구조를 재확인했다.

Results — Benchmark Results

저자들은 오프라인 강화학습(offline RL, 온라인으로 환경을 추가 탐색하지 않고 미리 수집된 궤적 데이터만으로 정책을 학습하는 방식) 대표 알고리즘 4종 — 행동 복제(BC, behavioural cloning: 데이터의 행동을 그대로 모방하는 지도학습), Batch-Constrained Q-Learning(BCQ: 데이터 분포를 벗어난 행동을 억제), Implicit Q-Learning(IQL: 별도의 명시적 정책 개선 없이 기대값 회귀로 Q값을 학습), Conservative Q-Learning(CQL: 분포 밖 행동의 Q값을 낮춰 보수적으로 학습) — 을 GRU(순환신경망 계층, 과거 관측·행동 이력을 요약해 파트너 정체를 추론할 수 있게 함)로 확장해 Evaluation 1~3에서 벤치마크했다. 완전 협력 전제의 기존 오프라인 MARL 방법 대신 독립 에이전트 알고리즘을 택했는데, 이는 에이전트별 보상이 다른 mixed-motive substrate가 표준 CTDE(중앙집중훈련) 방식에 맞지 않기 때문이다. 모든 알고리즘은 20,000 gradient update, 3개 시드로 학습됐다(Appendix C). 성능은 정규화 return J̃s = (Rs − Rrandom,s)/(Rp90,s − Rrandom,s)로 보고되며, 0은 무작위 정책, 1은 데이터셋 내 상위 10% 궤적 수준(“best-in-dataset”, p90 ceiling)에 대응한다.

Evaluation 1 (Setting 1, 단일 scenario 집계, Fig. 4): substrate별 성능 프로파일에서 BC는 대부분 substrate에서 좁은 대역의 near-flat plateau 후 특정 지점에서 급락하는 패턴을 보여 scenario 간 비교적 일관된 점수를 낸다. 반면 IQL·BCQ·CQL은 완만하게 감소하는 곡선을 그리며 scenario 간 편차가 훨씬 커서, 일부 scenario에서는 전혀 학습에 실패하고 다른 scenario에서는 데이터셋 p90을 큰 폭으로 초과했다. Appendix F의 background-agent 영향 분석에 따르면 Coop Mining 등 일부 scenario에서는 focal 정책 배포 후 background agent의 return도 함께 증가하는 win-win이 관찰되지만, 다수 scenario에서는 focal의 이득이 background의 손실을 대가로 하여 mixed-motive 특성을 반영했다.

Evaluation 2 (Setting 2, scenario 레이블 은닉, Fig. 5·Table 1): substrate별 spider plot(Fig. 5)에서 모든 substrate에 대해 모든 알고리즘이 최소 1개 scenario에서 random 기준선 이하로 붕괴했고, 취약 scenario가 알고리즘 간 대체로 일치했다. 저자들은 이를 conservatism 정도의 차이보다는 해당 scenario의 파트너 유형이 학습 혼합분포와 어긋나는 “사후분포 추론(posterior-inference)” 문제로 해석한다. Table 1은 (substrate, scenario, seed) 전체를 pooling한 optimality gap(↓, rliable 95% CI)을 Setting 1→Setting 2로 비교하는데, Setting 2가 더 많고 다양한 데이터로 학습함에도 gap이 오히려 커졌다: IQL 0.30 [0.28, 0.33]→0.31 [0.29, 0.32], BC 0.35 [0.33, 0.36]→0.36 [0.35, 0.37], BCQ 0.26 [0.24, 0.27]→0.29 [0.27, 0.31], CQL 0.43 [0.42, 0.44]→0.49 [0.48, 0.51]. CQL이 절대 gap과 증가폭 모두 최대, BCQ가 두 setting 모두 최저 gap을 기록했다.

Evaluation 3 (Setting 3, disjoint train/test split, Fig. 6): 모든 substrate·모든 알고리즘에서 in-distribution 마커가 out-of-distribution(OOD, held-out test split) 마커보다 항상 위에 있어 disjoint-scenario 전환이 측정 가능한 return 손실을 유발했고, 일부 substrate에서는 OOD 성능이 random 기준선 근처까지 밀렸다. Commons Harvest의 punishment/role-shift split이 가장 큰 하락폭을 보였는데(“수동적 파트너→제재하는 파트너”, “방문자→거주자 배치”라는 두 전이가 동시에 겹침), 반대로 Coins는 훈련·테스트 scenario가 공통된 dyadic 구조를 공유하고 파트너 임계값만 달라 하락폭이 가장 작았다. 어떤 알고리즘도 in/out gap을 닫지 못했으며, 저자들은 scenario-agnostic 오프라인 RL이 in-distribution 행동은 회복하지만 disjoint 파트너 구성으로의 조합적(compositional) 일반화는 만들어내지 못한다고 결론짓는다.

Discussion (Related Work + Conclusion)

이 대목은 Molten Pot을 기존 오프라인 RL·MARL 벤치마크 지형 속에 위치시키고(Related Work), 벤치마크 결과가 드러낸 실패 양식을 정리해 앞으로 무엇이 필요한지 제시한다(Conclusion). 표준 단일 에이전트 오프라인 RL 벤치마크인 D4RL·RL Unplugged는 task별 행동 분포를 고정해 BCQ·CQL·IQL 같은 conservative(보수적, 학습 데이터 분포를 벗어난 행동을 억제하는) 알고리즘을 distributional shift 축 하나로 비교하게 하지만, 환경이 비사회적이라 Molten Pot이 겨냥하는 실패 양식 자체가 원천적으로 드러나지 않는다. 가장 가까운 다중 에이전트 대응물 OG-MARL과 그 개정판은 SMAC·MAMuJoCo에서 물려받은 협력 가정을 유지해 partner inference(파트너 추론, 상대 에이전트의 성향·전략을 데이터로부터 추정하는 것)를 평가하지 않는다. Molten Pot의 mixed-motive 평가 프로토콜은 sequential social dilemma·Melting Pot의 focal/background 분할(평가 대상 에이전트와 배경 파트너를 나눠 미지의 co-player에 대한 일반화를 측정하는 설계)에서 비롯되며, 이 지형에서 Molten Pot은 OG-MARL의 오프라인 데이터 규율은 계승하되 협력 가정을 Melting Pot의 focal/background mixed-motive 구조로 대체함으로써 coordination이 아니라 partner handling 자체를 격리 평가한다는 점에서 위치가 명확하다. Conclusion은 Setting 1·2에서 4개 대표 알고리즘(CQL·BC·BCQ·IQL)이 모두 p90 데이터셋 상한 대비 뚜렷한 여유(headroom)를 남기고 Setting 3에서 in-distribution→out-of-distribution 하락을 겪는다는 실증 결과를, 세 setting이 공통으로 “표준 오프라인 RL 벤치마크가 놓친 실패 양식”을 드러낸다는 하나의 결론으로 묶고, 현재의 scenario-agnostic conservatism을 넘어 알고리즘이 파트너에 대한 신념(belief)을 명시적으로 다뤄야 한다는 방향을 제시한다.

저자가 인정한 한계

  • 벤치마크에 포함된 4개 알고리즘(BC, BCQ, IQL, CQL)은 모두 scenario-agnostic conservatism(시나리오 구분 없이 데이터 분포 이탈만 억제하는 보수적 설계)에 의존하며, 이 때문에 Setting 1·2에서 p90 상한 대비 여유를 남기고 Setting 3에서 in→out 하락을 겪는다 — 현재 오프라인 RL 알고리즘 자체가 파트너 추론에 특화되어 있지 않다는 근본적 한계.
  • Molten Pot은 partner handling만 격리 평가하도록 설계돼 coordination 자체의 평가는 범위 밖에 놓인다(저자 명시 설계 경계).
  • (독자 식별) 저자들이 제시한 partner representation·posterior-aware conservatism·memory 아키텍처는 이번 벤치마크에서 실제로 구현·검증된 것이 아니라 방향 제시에 그쳐, 이 접근들이 Setting 2·3의 격차를 실제로 줄이는지는 미지수다.

향후 방향

  • 외삽(extrapolation, 학습 데이터 범위를 넘어선 상황에 대한 일반화)을 지원하는 partner representation 설계.
  • 파트너 유형에 대한 사후 신념을 반영하는 posterior-aware conservatism penalty 개발.
  • 파트너 유형에 대한 calibrated belief(보정된 신념)를 유지하는 memory 아키텍처 설계.

이론적 의의

  • 평가축의 개념적 격리(coordination vs. partner handling): D4RL/RL Unplugged(비사회적)와 OG-MARL(협력 전용)이 다루지 못한 지점을 Molten Pot이 채움으로써, “협력을 잘하는 능력”과 “이해관계가 상충하는 낯선 파트너를 다루는 능력”이 서로 다른 평가축임을 명시적으로 분리한다. 향후 오프라인 MARL 연구가 두 능력을 혼동 없이 각각 측정·개선할 개념적 토대를 제공한다.
  • Bayes-optimality를 통한 프로토콜의 형식적 정당화: Setting 2(레이블을 숨긴 채 평균 return 최대화)가 임의의 설계 선택이 아니라 평균 return 최대화가 형식적으로 Bayes 사후분포 기반 partner inference를 요구한다는 정리에서 도출됨을 보여, “성능 지표 상승”과 “사회적 추론 능력 향상” 사이에 수학적으로 검증 가능한 연결고리를 제공한다.
  • Conservatism 개념의 확장 필요성 제시: 표준 오프라인 RL의 distributional-shift 기반 conservatism이 scenario-agnostic하다는 사실이 실증적으로 드러나면서, conservatism 개념 자체를 posterior-aware(파트너 유형에 대한 불확실성을 반영하는) 방향으로 확장해야 한다는 이론적 필요성을 제기한다.

Discussion Points
논쟁점: (1) Setting 2에서 데이터가 더 많음에도 optimality gap이 오히려 증가한 결과는 “데이터가 많을수록 오프라인 RL 성능이 개선된다”는 통념에 반한다 — 알고리즘 설계의 결함인지, scenario 레이블 은닉 자체가 문제 난이도를 바꾸기 때문인지 논쟁 가능. (2) Molten Pot이 “coordination이 아니라 partner handling을 격리 평가”한다고 규정하지만, mixed-motive 환경에서 두 능력이 실제로 명확히 분리 가능한 개념인지, 아니면 상호 얽혀 있어 격리 평가 자체가 인위적인지는 논쟁의 여지가 있다.
검증할 가정: (1) Setting 2의 이론적 근거인 “평균 return 최대화 = Bayes 사후분포 기반 partner inference” 정리가 유한 데이터·유한 용량 신경망 학습이라는 실제 조건에서도 실증 성능 격차의 원인으로 작동하는지는 추가 검증이 필요하다. (2) memory 아키텍처가 calibrated belief를 유지하면 zero-shot 사회적 일반화(Setting 3)가 개선될 것이라는 가정은, 이번 4개 baseline 중 어느 것도 그런 설계를 쓰지 않았기에 아직 직접 검증되지 않았다.
후속 연구: (1) 외삽을 지원하는 partner representation, posterior-aware conservatism penalty, calibrated belief를 유지하는 memory 아키텍처를 Molten Pot의 3개 setting 위에서 직접 구현·비교하는 알고리즘 연구. (2) ZSC-Eval·ad-hoc-teamwork 문헌에서 협력적 맥락에 한정 검증된 “recurrent agent의 과제-조건부 partner modelling”(Mon-Williams et al.) 결과가 mixed-motive·오프라인 데이터 제약 하에서도 성립하는지 Molten Pot 데이터셋으로 재검증하는 연구.

실험 결과 상세

Model/MethodSetting (Dataset)MetricScorevs. Baseline(BC, 동일 Setting)출처
BCSetting 1 (단일 시나리오)IQM (↑)0.69 [0.68, 0.71]기준(baseline)Table 7 (Appendix G, p.45)
IQLSetting 1IQM (↑)0.73 [0.71, 0.74]+0.04Table 7
BCQSetting 1IQM (↑)0.80 [0.78, 0.82]+0.11 (최고)Table 7
CQLSetting 1IQM (↑)0.63 [0.62, 0.65]−0.06 (최저)Table 7
BCSetting 1Optimality Gap (↓)0.35 [0.33, 0.36]기준(baseline)Table 1 (§5.2)
IQLSetting 1Optimality Gap (↓)0.30 [0.28, 0.33]−0.05 (개선)Table 1
BCQSetting 1Optimality Gap (↓)0.26 [0.24, 0.27]−0.09 (최다 개선)Table 1
CQLSetting 1Optimality Gap (↓)0.43 [0.42, 0.44]+0.08 (악화)Table 1
BCSetting 2 (pooled, label 은닉)IQM (↑)0.66 [0.65, 0.67]기준(baseline)Table 7
IQLSetting 2IQM (↑)0.73 [0.72, 0.75]+0.07Table 7
BCQSetting 2IQM (↑)0.73 [0.71, 0.77]+0.07Table 7
CQLSetting 2IQM (↑)0.57 [0.54, 0.58]−0.09 (최저)Table 7
BCSetting 2Optimality Gap (↓)0.36 [0.35, 0.37]기준(baseline)Table 1
IQLSetting 2Optimality Gap (↓)0.31 [0.29, 0.32]−0.05 (개선)Table 1
BCQSetting 2Optimality Gap (↓)0.29 [0.27, 0.31]−0.07 (개선)Table 1
CQLSetting 2Optimality Gap (↓)0.49 [0.48, 0.51]+0.13 (최다 악화)Table 1
4종 종합Setting 1 → Setting 2Optimality Gap ΔIQL +0.01, BC +0.01, BCQ +0.03, CQL +0.06데이터가 더 많은 Setting 2에서 gap 전반 증가 (BC·IQL은 CI 중첩, BCQ·CQL은 CI 비중첩으로 유의)Table 1 (§5.2)
IQL/BC/BCQ/CQLSetting 3 (zero-shot, disjoint split)Normalised Return, In-dist vs OOD실험 데이터 불충분 — 수치 표 미제공, Figure 6(Mean±SE)로만 보고모든 substrate·알고리즘에서 in-distribution > OOD; Commons Harvest(punishment/role shift) 최대 하락, Coins 최소 하락Figure 6 (§5.3)

참고: vs. Baseline은 동일 Setting 내 BC를 기준으로 한 IQM 차이(↑ 클수록 우수) 또는 Optimality Gap 차이(↓가 개선). 논문은 특정 제안 방법이 없는 벤치마킹 논문이므로 가장 단순한 BC를 관행적 baseline으로 채택.

프레임워크 다이어그램

graph TB
    A["Melting Pot substrate 5종<br/>(Clean Up, Coins, Coop Mining,<br/>Commons Harvest, Allelopathic Harvest)"] --> B["Focal / Background 에이전트 분할"]
    B --> C["Scenario 47종<br/>(substrate x 고정 background policy)"]
    C --> D["오프라인 데이터셋 Ds<br/>(약 1TB, independent PPO 궤적,<br/>skill-mixed N=1000 x T=1000)"]
    D --> E1["Setting 1: 단일 시나리오<br/>train = test = 시나리오 s"]
    D --> E2["Setting 2: Pooled 다중 시나리오<br/>label 은닉, train = test = substrate 전체"]
    D --> E3["Setting 3: Zero-shot 일반화<br/>train과 test 시나리오 분리(비중첩)"]
    E1 --> F["오프라인 RL 알고리즘<br/>BC / BCQ / IQL / CQL + GRU 순환 코어"]
    E2 --> F
    E3 --> F
    F --> G["rliable 평가 지표<br/>Median / IQM / Mean / Optimality Gap<br/>정규화 return, dataset p90 ceiling"]

재현성 및 신뢰도 평가

항목등급비고
코드 공개⚠️GitHub 저장소 링크 명시(github.com/jcformanek/moltenpot, footnote 3): “Our code is available on GitHub.” 본문만으로는 README·라이선스·환경 재현 파일 존재 여부 미확인
데이터 공개✅Hugging Face 전체 공개(huggingface.co/datasets/jcformanek/moltenpot, footnote 2). ~1TB 궤적, 5 substrate × 47 scenario 전체, 수집 절차(independent PPO, N=1000×T=1000) 상세, train/test split도 Table 4(18개)로 명시
하이퍼파라미터✅Table 5(3-layer CNN, FC 256, GRU 256, Adam lr 3e-4, γ 0.99, τ 0.005, batch 32, seq 128, 20,000 grad steps, 3 seeds)와 Table 6(알고리즘×substrate별 IQL expectile/temp, BCQ threshold, CQL α) 명시. 다만 탐색 grid 범위는 미기재
실험 환경⚠️seed 3개 명시. GPU 모델/수량·프레임워크 버전·학습 소요 시간 미확인. Acknowledgments에 University of Cape Town HPC 언급뿐
통계적 신뢰도✅3 seeds × 모든 (substrate, algorithm, scenario), rliable(stratified-bootstrap) 95% CI를 Table 1·7과 Figure 4~6 전반에 일관 보고. Median/IQM/Mean/Optimality Gap 다중 지표 교차검증
종합 등급B데이터·하이퍼파라미터·통계신뢰도는 A급이나 코드 재현 세부·하드웨어/프레임워크 명세가 본문에서 직접 확인되지 않아 B

주장별 신뢰도

#주장근거신뢰도
1Setting 2(더 많은 데이터)에서 4종 모두 optimality gap이 Setting 1 대비 증가Table 1/7, 95% CI: BC(0.35→0.36)·IQL(0.30→0.31)은 CI 중첩(약한 신호), BCQ(0.26→0.29)·CQL(0.43→0.49)은 CI 비중첩(유의). 저자도 “tends to grow”로 헤지🟡
2Setting 2의 J_II 극대화는 형식적으로 Bayes-optimal partner inference를 요구§3 Bayes-filter 사후분포(Eq.3)·Bellman 최적성(Eq.4)의 형식적 증명🟢
3Setting 3에서 모든 substrate·알고리즘이 in→OOD 하락Figure 6(Mean±SE)에서 일관된 in>out 패턴. 정확한 수치표·유의성 검정 없이 그래프 판독 의존🟡
4데이터셋은 5 substrate·47 scenario·~1TB, skill-mixedFigure 3·Table 2·3, Hugging Face 공개로 독립 재검증 가능🟢

관련 연구 비교 매트릭스

선정 근거: Melting Pot은 Molten Pot이 오프라인으로 확장한 mixed-motive substrate의 원조(base), OG-MARL은 동일 저자 그룹이 동일 문제를 fully-cooperative로 먼저 푼 직접 비교 대상(direct), D4RL은 오프라인 RL 평가 프로토콜을 정립한 base, D5RL은 D4RL 계열의 최신 대안(alternative)이다 — 넷 모두 “사회성”과 “오프라인 데이터 제약” 중 한 축만 다뤄 Molten Pot이 메우는 교집합 공백을 대비시킨다.

축본 논문 (Molten Pot)Melting Pot (base)OG-MARL (direct)D4RL (base)D5RL (alternative)
핵심 접근Melting Pot substrate를 focal/background로 분할해 오프라인 mixed-motive social RL 데이터셋화 + Bayes-optimality 정리로 partner inference를 정당화하는 3-setting 프로토콜RL로 novel test scenario를 자동 생성해 MARL 정책의 온라인 일반화 측정(80+ 시나리오)실세계 특성 반영 고품질 오프라인 데이터셋+베이스라인 레포지토리(fully cooperative)다양한 소스의 정적 데이터셋으로 단일 에이전트 오프라인 RL 표준 비교scripted+human 데이터 기반 로봇 조작·보행으로 D4RL 대비 realism 강화
문제 정의오프라인 데이터만으로 이해관계가 다른 낯선 파트너를 추론·대응하는 능력을 검증 — “사회적×데이터제약” 교집합MARL 정책이 못 본 novel 사회적 상황에 일반화하는가(온라인 전제)협력적 다중 에이전트를 오프라인 데이터로 학습(사회적 갈등은 범위 밖)단일 에이전트 정책을 정적 데이터로 학습·평가(사회성 없음)기존 벤치마크의 realism 부족 해소(사회성 없음)
데이터5 substrate·47 scenario·~1TB(N=1000×T=1000, skill-mixed), Setting 3용 18개 disjoint split오프라인 궤적 미배포 — 80+ 온라인 테스트 시나리오만복수 협력 환경 “growing repository”(구체 규모 미보고)다수 태스크 hand-designed/human/mixture 데이터셋로봇 조작·보행 scripted+human 데이터
핵심 메트릭rliable optimality gap/IQM, 3-setting별 정규화 return (Setting1→2 gap 예: IQL 0.30→0.31, CQL 0.43→0.49)novel-scenario 약점 정성 진단(정량 메트릭 미고정)협력 태스크 정규화 return(단일 setting)task별 정규화 점수(단일 setting)로봇 task 정규화 return(단일 setting)
확장성3-setting이 신규 substrate/알고리즘으로 확장 가능, 코드·HF·인터랙티브 시각화 공개(현재 4 baseline·5 substrate 검증)자동 시나리오 생성으로 80+ substrate 확장(온라인 전제)“growing repository” 표방하나 협력 범위 내커뮤니티 표준이나 성능 포화 한계D4RL 포화 겨냥 확장(단일 에이전트 범위)
한계(저자) scenario-agnostic conservatism 한계, partner representation/memory 부재를 향후 과제로 명시 / (독자) 워크숍 포스터 단계, 최신 offline MARL 특화 알고리즘 미포함(독자) 오프라인 데이터 제약 미대응(저자) “offline MARL is still in its infancy” / (독자) fully cooperative 전용(독자) 단일 에이전트·비사회적, 성능 포화(독자) 단일 에이전트·비사회적
코드 공개✅ (github.com/jcformanek/moltenpot/, HF dataset, viz)✅ (github.com/google-deepmind/meltingpot)✅ (github.com/instadeepai/og-marl)✅ (github.com/Farama-Foundation/D4RL)△ 웹사이트만(sites.google.com/view/d5rl)

원자적 인사이트 (Zettelkasten)

💡 시나리오 레이블을 숨긴 평균 return 최대화는 형식적으로 partner inference를 요구한다

출처: Molten Pot - 사회적 오프라인 강화학습을 위한 평가 프로토콜 및 데이터셋 (Formanek et al., 2026)
유형: 이론적

파트너의 정체가 관측되지 않고 오직 에피소드 내 관측 이력 h_t로만 추론 가능한 상태에서, 시나리오 분포 전체에 대한 기대 return을 최대화하는 것은 명시적이든 암묵적이든 partner inference를 요구한다. 저자들은 focal 관점 전이확률을 background 행동에 대해 주변화하고(식 2), 시나리오에 대한 Bayes-filter 사후분포 b_t(s)=Pr(s|h_t)를 정의해(식 3), belief-weighted 동역학 위의 Bellman 방정식(식 4)을 만족하는 Bayes-optimal 정책의 가치 V*가 사전분포 아래 기대 return의 상한임을 보인다. 이 정리는 “무엇을 풀어야 하는지”만 규정하므로, 명시적 사후분포 추적 에이전트와 학습된 일반화 전략만으로 같은 가치에 도달하는 에이전트가 동등하게 최적으로 취급된다.

핵심 조건/맥락: latent-context 구조(파트너가 관측 불가능한 잠재변수) + 시나리오 레이블 은닉이 전제. Molten Pot Setting 2가 이 조건을 그대로 구현(operationalise)한 것.
연결: Bayes-adaptive MDP (BAMDP), ad-hoc teamwork, posterior sampling for RL
활용 가능성: 사회적·partner-conditioned 벤치마크에서 “성능 지표 상승 = 추론 능력 향상”임을 수학적으로 정당화하는 템플릿. posterior-aware conservatism penalty 설계의 이론적 출발점.

💡 오프라인 사회적 RL에서는 데이터가 늘어도 optimality gap이 오히려 커질 수 있다

출처: Molten Pot - 사회적 오프라인 강화학습을 위한 평가 프로토콜 및 데이터셋 (Formanek et al., 2026)
유형: 실험적 (반직관)

“데이터가 많을수록 오프라인 RL 성능이 개선된다”는 통념과 달리, 시나리오 레이블을 숨기고 substrate 전체 시나리오를 합쳐 학습한 Setting 2는 단일 시나리오 Setting 1보다 더 많고 다양한 데이터를 쓰는데도 (substrate, scenario, seed) pooling optimality gap이 4개 알고리즘 모두에서 증가했다: IQL 0.30→0.31, BC 0.35→0.36, BCQ 0.26→0.29, CQL 0.43→0.49 (Table 1). CQL이 증가폭 최대, BCQ가 두 setting 모두 최저 gap. 저자들은 이를 conservatism 강도 차이가 아니라, 해당 파트너 유형이 학습 혼합분포와 어긋나는 posterior-inference 실패로 해석한다.

핵심 조건/맥락: BC·IQL의 증가는 95% CI가 중첩해 약한 신호, BCQ·CQL은 CI 비중첩으로 유의. rliable 95% CI 기준, GRU 순환 코어·20,000 grad step·3 seed 설정.
연결: distributional shift in offline RL, data scaling laws (반례), Conservative Q-Learning (CQL)
활용 가능성: 파트너가 섞인 데이터에서는 데이터 양보다 파트너 유형 정합성이 성능을 지배함을 보여, 데이터 수집·큐레이션 전략(파트너 커버리지 설계)의 근거로 활용 가능.

💡 scenario-agnostic conservatism은 in-distribution 행동은 회복하지만 disjoint 파트너로의 조합적 일반화는 못 만든다

출처: Molten Pot - 사회적 오프라인 강화학습을 위한 평가 프로토콜 및 데이터셋 (Formanek et al., 2026)
유형: 실패-한계

표준 오프라인 RL의 conservatism은 데이터 분포 이탈만 억제할 뿐 파트너 유형을 구분하지 않는다(scenario-agnostic). 그 결과 Setting 3의 disjoint train/test split에서 모든 substrate·모든 알고리즘의 in-distribution 성능이 OOD(held-out) 성능을 항상 상회했고, 일부 substrate에서는 OOD 성능이 random 기준선 근처까지 밀렸다(Fig. 6). Commons Harvest의 punishment/role-shift split(수동적→제재하는 파트너, 방문자→거주자 배치가 동시에 겹침)에서 하락폭 최대, 공통 dyadic 구조에 파트너 임계값만 다른 Coins에서 최소.

핵심 조건/맥락: 18개 disjoint split(Table 4), 관측·행동 공간과 substrate 역학은 유지한 채 scenario 구성만 분포이동. 4개 baseline 어느 것도 gap을 닫지 못함 — 단, partner representation·memory를 갖춘 설계는 미검증.
연결: compositional generalization, zero-shot coordination (ZSC), ad-hoc teamwork
활용 가능성: 오프라인 사회적 일반화를 목표로 하는 알고리즘의 필수 실패 테스트. “in-distribution 회복”과 “조합적 일반화”를 분리 측정하는 프로토콜로 재사용 가능.

핵심 용어 정리

용어정의
offline RL (오프라인 강화학습)온라인으로 환경을 추가 탐색하지 않고, 미리 수집된 고정 데이터셋만으로 정책을 학습하는 강화학습.
MARL (multi-agent RL)여러 에이전트가 함께 존재하는 환경에서의 강화학습. 비정상성(non-stationarity)·신뢰 할당(credit assignment)이 난점.
mixed-motive (혼합 동기)참여자 이해관계가 부분적으로 일치·부분적으로 상충하는 게임 구조. 완전 협력도 제로섬도 아님.
Melting Pot / substrateDeepMind이 만든 사회적 딜레마 시뮬레이션 환경 템플릿(substrate). Molten Pot은 5종 사용.
focal / background학습·평가 대상인 focal 에이전트와, 고정돼 함께 배포되는 background 파트너로 플레이어를 분할하는 설계.
scenariosubstrate와 고정된 결합 background 정책의 쌍 ⟨Ms, πsB⟩. 총 47개.
POSG (partially observable general-sum Markov game)각 플레이어가 전체 상태를 다 보지 못하고 보상도 서로 다를 수 있는 다중 에이전트 게임 형식.
partner inference (파트너 추론)관측된 focal 이력만으로 파트너의 정체·성향을 추정하는 것. Setting 2의 핵심 요구.
Bayes-filter posterior (b_t)시나리오 집합에 대한 사후확률 b_t(s)=Pr(s
independent PPO에이전트마다 별도의 PPO 학습기를 두고 각자 자기 보상만으로 학습하는 방식. 데이터 수집에 사용.
BC / BCQ / IQL / CQL벤치마크된 대표 오프라인 RL 알고리즘 4종 — 행동 복제 / 배치 제약 Q학습 / 암묵적 Q학습 / 보수적 Q학습.
optimality gap상한(데이터셋 p90) 대비 부족분. 낮을수록 좋음. rliable 지표로 보고.
normalised return / p90 ceiling0 = 무작위, 1 = 데이터셋 상위 10%(“best-in-dataset”)로 정규화한 점수.
conservatism (보수성)학습 데이터 분포를 벗어난 행동을 억제하는 오프라인 RL의 기본 전략. 4종 모두 scenario-agnostic.

관련 연구

태그

paper offline-RL multi-agent-RL mixed-motive benchmark social-RL Melting-Pot partner-inference

BibTeX

@inproceedings{formanek2026moltenpot,
  title={Molten Pot: Evaluations \& Datasets for Social Offline Reinforcement Learning},
  author={Formanek, Juan Claude and Hedman, Marcel and Tessera, Kale-ab and Holmes, Christopher C. and Shock, Jonathan P.},
  booktitle={ICML 2026 Workshop on Decision-Making from Offline Datasets to Online Adaptation},
  year={2026},
  url={https://openreview.net/forum?id=0NYZ3Hkamd}
}