환경 수준 질의를 통한 세계모델 학습 벤치마킹

Digest: Context. AI가 세상을 진짜로 “이해”하는지 보려면, 머릿속에 환경의 작동 원리를 담은 **world model(세계모델: 환경이 어떻게 변하는지 예측하는 내부 모형)**을 갖췄는지 측정해야 한다. 그런데 기존 평가는 대부분 한 번의 관측 궤적(rollout)으로 정답이 정해지는, 관측 가능한 속성·고정 출력형식만 묻는다. 즉 “다음 프레임을 맞혀봐” 같은 질문은 모델이 세계의 구조를 알아서가 아니라 표면 패턴을 외워서도 풀린다. Insight. 이 논문의 핵심 통찰은, 진짜로 물어야 할 것은 단일 rollout으로는 결정되지 않는 **environment-level query(환경 수준 질의: “이 환경에서 X가 항상 성립하는가” 같은 환경 전체 속성에 대한 질문)**라는 점이다. 이런 질문에 답하려면 행위자가 스스로 가설을 세우고 환경을 조작·탐색해 검증해야 한다. Solution. 그래서 저자들은 표현 방식에 의존하지 않고(representation-agnostic) 보상 없이(reward-free) 오직 행동으로 채점하는 2단계 프로토콜 **WorldTest(상호작용 단계 → 시험 단계)**를 제안한다. 질의는 원래 환경 M을 파생 challenge 환경 τ:(M,ξ)→(M′,R,H)으로 인코딩되어, 모델이 학습한 세계모델을 행동으로 증명하게 만든다. 이를 Autumn DSL로 만든 **AutumnBench(43개 인터랙티브 그리드월드 POMDP × 129개 task)**로 구현했고, task는 가려진 프레임 복원(masked-frame prediction, MFP), 변화 탐지(change detection, CD), 계획(planning) 세 종류다. Evidence. 517명의 인간(Prolific, 상위 80퍼센타일 집계가 “human” 기준)과 5개 frontier reasoning 모델(Claude 4 Sonnet, Gemini 2.5 Pro/Flash, o3, Qwen3-235B)을 비교한 결과, 인간이 모든 환경·모든 task 유형에서 모든 모델을 능가했다(인간 평균 0.935). 더 충격적인 것은 격차의 원인이다. 인간은 reset을 “초기 상태로 되돌려 같은 조건에서 가설을 재검증하는 실험 도구”로 적극 사용했지만(reset·no-op 각 약 12.5%, reset-LCS 0.637), 모델은 거의 쓰지 못했고(reset <7%, Claude는 2.1%, reset-LCS 0.188–0.360) 환경의 42%에서는 연산을 더 줘도 성능이 전혀 늘지 않았다. Implication. 결론적으로 두 가지 능력—**능동적 실험 설계(특히 reset을 활용한 탐색)**와 신념 갱신(belief updating: 모순되는 증거 앞에서 기존 가설을 수정하기, 특히 MFP에서 실패)—이 현 reasoning 모델에 빠져 있으며, 이것이 단순 스케일링으로 메워지지 않는다는 점에서 world model 평가의 무게중심을 “출력 정확도”에서 “탐색·갱신 행동”으로 옮겨야 함을 시사한다. 📎 https://arxiv.org/abs/2510.19788

섹션별 요약

Abstract

현행 세계 모델(world model) 평가는 관측된 상호작용에서 측정 가능한 속성(next-frame prediction, task return 등)만 시험할 뿐, 학습된 모델이 환경 전반에 걸친 다양한 질의(environment-level query)—가시성 밖에서 일어나는 일, 환경 역학의 변화 감지, 상태 도달 가능성 판단 등—에 답할 수 있는지는 검증하지 않는다. 이를 해결하기 위해 저자들은 WorldTest를 제안한다: 보상 신호 없이 에이전트가 탐색하게 한 뒤 환경 수준 질의에 대한 직접 응답을 행동 기반으로 채점하는 2단계 평가 프로토콜이다. WorldTest를 구현한 AutumnBench는 43개 인터랙티브 그리드월드 환경과 3개 질의 패밀리(masked-frame prediction / change detection / planning) 129개 태스크로 구성된다. 517명의 인간 참가자와 5개 frontier reasoning 모델을 대상으로 실험한 결과, 인간이 모든 영역에서 모델을 크게 능가하였으며, 저자들은 이 격차의 원인을 탐색 전략(특히 reset 활용)과 신념 갱신(belief updating)의 차이로 귀속시킨다. AutumnBench는 그리드월드 도메인에서의 세계 모델 학습 평가 프레임워크를, WorldTest는 더 풍부한 도메인으로 확장하기 위한 템플릿을 제공한다.

저자 contribution

WorldTest를 제안한다: 에이전트가 보상 없이 환경을 자유 탐색한 뒤 environment-level query에 직접 응답하도록 하여, 표현 형식에 독립적으로 행동 기반으로 채점하는 평가 프로토콜.
AutumnBench를 구현한다: 43개 그리드월드 환경과 129개 태스크(masked-frame prediction / change detection / planning 3개 질의 패밀리)로 구성된 공개 벤치마크.
517명 인간 vs. 5개 frontier 모델 대규모 실험을 통해 인간의 실질적 우위를 실증하고, 그 원인을 탐색 전략 및 신념 갱신 능력의 차이로 분석한다.

왜 이 연구를 하는가?

기존 벤치마크들은 world model의 질을 간접 지표(보상, 고정 출력 형식, 정적 예시 규칙 귀납)로만 측정하기 때문에, 에이전트가 환경의 구조 자체—도달 가능성, 개입 효과, 은닉 상태 예측—를 실제로 이해했는지를 직접 시험할 수단이 없다. Environment-level query는 단일 rollout의 관측-보상 시퀀스로는 그 답이 결정되지 않는 질문들로, 지역 연결성이나 반사실적 변이처럼 에이전트가 궤적만으로는 추론할 수 없는 전역 속성을 포괄한다. 따라서 상호작용 탐색을 통해 그러한 지식을 획득한 뒤, 표현 형식의 제약 없이 행동으로만 답을 검증하는 평가 체계가 요구된다. WorldTest와 AutumnBench는 바로 이 공백—보상 없는 탐색 후 변형 환경에서의 행동 채점으로 environment-level query를 직접 평가하는 통합 메커니즘—을 메우기 위해 설계되었다.

Introduction

WorldTest와 AutumnBench는 AI 에이전트의 world model(세계 모델: 환경 동역학에 대한 내적 표상) 학습 능력을 environment-level query(환경 수준 질의: 단일 rollout 분포로는 결정되지 않는, 환경 전체 속성에 관한 질문) 중심으로 평가하기 위해 제안된 최초의 행동 기반·표현 비의존적 2단계 벤치마크 프레임워크다.

연구의 출발점은 일상적 비유다. 자신의 부엌에서 요리를 반복하는 사람은 시간이 지나면서 작업 공간 전체의 내적 모델을 구축하고, 이를 통해 (1) 냄비 속 음식이 얼마나 익었는지 예측하고, (2) 서랍이 재배치된 변화를 인식하며, (3) 레시피 동작 순서를 계획할 수 있다. 그러나 현재 AI 평가 체계는 이러한 범용적 환경 이해를 직접 시험하지 못한다. 기존 평가 방식은 네 범주로 나뉘며 각각 고유한 한계를 갖는다. (1) 비상호작용(non-interactive) 벤치마크(ARC, Bongard, CLEVRER 등)는 정적 예시에서 규칙을 귀납하는 능력은 시험하지만, 에이전트가 동적 환경과의 상호작용을 통해 구조를 학습하는지는 평가하지 않는다. (2) 표현 기반(representation-based) 접근법(DiscoveryWorld, CLEVRER 변형 등)은 에이전트의 출력을 기호 논리, 프로그램, 자연어 등 고정 형식으로 제한하여 다양한 에이전트 유형 간의 공정한 비교를 방해하고, 자연어 답변은 자동 평가에 적합하지 않다. (3) Gym형(gym-like) 벤치마크(Atari, Procgen, NetHack 등)는 보상(reward) 기반 task success를 측정할 뿐이어서, 높은 성능이 외운 정책에서 비롯된 것인지 환경 구조의 진정한 이해에서 비롯된 것인지 구별하지 못한다. (4) 2단계 RL 벤치마크(URLB, in-context RL)는 탐색과 평가 단계를 분리하는 시도를 하지만, 두 단계가 동일한 환경에서 이루어지고 in-context RL은 보상 신호를 interaction history에 포함시켜, 행동-보상 시퀀스로는 관측 불가능한 구조적 속성(지역 연결성, 반사실적 변이 등)을 시험하지 못한다.

이러한 한계들이 본 연구의 핵심 질문을 동기부여한다: “에이전트의 출력 표현에 제약을 부과하지 않으면서 environment-level query를 지원하는, 상호작용적 환경에서의 world-model 학습 평가 프레임워크는 무엇인가?” (원문: “What is an evaluation framework for assessing world-model learning in interactive environments that supports environment-level queries without imposing constraints on the agent’s output representations?“)

이에 대한 답으로 저자들은 WorldTest를 제안한다. WorldTest는 기존 설정과 세 가지 측면에서 차별화된다. (1) 표현 비의존적 자동 채점(representation-agnostic, automatic scoring): 에이전트의 내부 표현을 검사하거나 LLM 기반 평가에 의존하지 않고, 파생 challenge 환경에서의 행동만으로 평가한다. (2) 목표 없는 상호작용(goal-free interaction): 상호작용 단계에서 외부 보상 없이 환경 동역학을 자유롭게 탐색하도록 하여, task 특화 목표 최적화가 아닌 전이 가능한 환경 이해를 장려한다. (3) 질의 구동 일반화(query-driven generalization): 테스트 단계에서 environment-level query를 기저 환경을 변형한 파생 challenge 환경의 명시적 목표로 컴파일하여, 학습된 world model이 훈련 환경 너머의 추론을 지원하는지 직접 측정한다.

WorldTest의 구체적 구현체인 AutumnBench는 43개의 격자형(grid-world) 환경으로 구성되며, 각 환경에 세 가지 task 유형을 제공한다: masked-frame prediction (MFP, 부분 마스킹된 궤적으로부터 최종 관측의 가려진 영역 복원), change detection (CD, 환경 동역학 변화를 감지하고 변화 발생 최초 시점 보고), planning (목표 configuration 도달을 위한 행동 시퀀스 생성). 이 세 task 유형은 예측·반사실적 추론·계획 등 core world-modeling 역량을 포괄하며 총 129개 task를 형성한다. 517명의 인간 참가자와 5개의 state-of-the-art AI 모델을 대상으로 한 실험에서, 인간이 frontier 모델을 크게 상회하며, 그 격차는 탐색과 신념 갱신(belief updating) 능력의 차이에서 비롯됨을 보였다.

Methods

프레임워크 개요

WorldTest는 에이전트의 월드 모델(world model) 학습 능력을 평가하기 위해 환경 자체에 대한 질의(environment-level query)를 보상 없는 POMDP 상호작용 후 파생 challenge 환경에서 행동을 통해 채점하는 2단계 프로토콜이며, AutumnBench는 이를 Autumn DSL로 구현한 43개 2D 그리드 월드·3종 과제의 구체적 벤치마크다.

핵심 구성요소

POMDP 형식화: 환경 M은 보상이 없는 튜플 ⟨S, A, O, T, Ω⟩로 정의된다. S는 (에이전트에게 숨겨진) 상태 공간, A는 행동 공간, O는 관측 공간, T: S×A→Δ(S)는 다음 상태에 대한 분포를 반환하는 전이 함수, Ω: S×A→Δ(O)는 관측 함수다. 에이전트는 M의 동역학(dynamics)을 사전에 알 수 없다.
환경-수준 질의 q와 변환 τ: 환경-수준 질의는 q: M→Y로 정의되는 고차 함수(higher-order function)로, 개별 궤적이 아닌 환경의 구조 자체에 대한 추론(예: 도달 가능성, 반사실적 결과 예측)을 요구한다. 이 질의를 평가 가능한 형태로 변환하기 위해, 질의 파라미터 공간 Ξ와 분포 P_Ξ를 정하고 결정론적 함수 τ: (M, ξ)↦(M′, R, H)를 정의한다. 여기서 ξ∼P_Ξ는 질의 인스턴스, M′=⟨S′, A′, O′, T′, Ω′⟩는 파생된 challenge 환경, R: (O′×A)^H→ℝ은 목적 함수(채점 함수), H∈ℕ는 평가 horizon(최대 스텝 수)이다.
Autumn DSL (domain-specific language): AutumnBench의 환경은 Autumn이라는 도메인 특화 언어로 구현된다. Autumn은 간결하고 표현력 있는 환경 명세를 가능하게 하며, AI 에이전트를 위한 텍스트 기반 Gym-like 인터페이스와 인간 평가자를 위한 브라우저 기반 GUI를 모두 지원한다(Das et al., 2023).
WorldTest 6단계 프로토콜:
- Step 1 — 과제 유형 공개: 프로토콜이 변환 함수 τ의 구조(challenge 행동 공간 A′, 관측 공간 O′, 보상 함수 R의 형식 — 예: 이진 성공 또는 페널티가 있는 연속 보상)를 공개한다. 단, 질의 파라미터 Ξ, 수정된 동역학 (T′, Ω′), 실제 보상 목표, M′의 관측값은 공개하지 않는다.
- Step 2 — 환경 탐색: 에이전트는 외부 보상 없이 기반 환경 M을 자유롭게 탐색한다. 언제든 환경을 초기 상태로 reset할 수 있으며, 탐색 이력을 수집하고 τ에 맞는 내부 모델 M̂을 구축한다.
- Step 3 — 프로토콜 인스턴스화: 에이전트가 test phase로 전환을 선언하면, 프로토콜이 ξ∼P_Ξ를 샘플링하고 (M′, R, H)=τ(M, ξ)를 계산한다.
- Step 4 — 정책 생성: 에이전트는 내부 모델 M̂과 τ에 대한 지식을 활용하여 정책 π: (O′)∗→Δ(A′)를 반환한다.
- Step 5 — 정책 실행: 정책 π를 challenge 환경 M′에서 H 스텝 동안 실행하여 이력 h′=(o′₀, a′₀, …, o′_H, a′_H)를 생성한다.
- Step 6 — 채점: 프로토콜이 R(h′)를 계산하여 최종 점수를 부여한다.
AutumnBench 환경 특성: 총 43개의 2D 그리드 월드로 구성된다. 그리드 크기는 3×3에서 25×25까지이며, 대부분 16×16이다. 각 환경은 5종 이하의 객체 타입과 1–12개의 색상을 가진다. 43개 중 17개는 확률론적(stochastic) 환경으로, 동일한 상태에서 동일한 행동을 해도 전이 동역학의 무작위성으로 인해 다른 결과가 나올 수 있다. 환경은 Atari류 게임, 식물 성장·모래성 건설 같은 실세계 현상 시뮬레이션, Nim 같은 전략 게임을 포함하며, Ying et al.(2025)의 novel game desiderata(새로운 게임 요건) 세 가지 — 구조적 참신성, 인간 직관 가능성, 다양한 동역학 — 를 모두 충족한다.

입력 → 출력 흐름

에이전트가 받는 입력은 다음과 같다: (1) Step 1에서 과제 유형과 τ의 구조(A′, O′, R의 형식), (2) Step 2에서 기반 환경 M의 관측 시퀀스와 reset 포함 행동 공간 {left, right, up, down, click, no-op, reset}, (3) Step 4~5에서 challenge 환경 M′의 관측 o′. 에이전트의 출력은 Step 4에서의 정책 π와 Step 5에서의 H 스텝 행동 시퀀스이며, Step 6에서 R(h′)가 최종 점수로 산출된다. 핵심적으로, 질의 파라미터 ξ는 Step 3 이전까지 에이전트에게 비공개이므로 탐색 단계에서 정답 정보가 누설되지 않는다.

3개 과제 (MFP / CD / Planning)의 정의 및 채점

Masked Frame Prediction (MFP, τ_MFP): 에이전트는 일부 프레임이 가려진(masked) 궤적을 관측하고, 최종 프레임의 결락 내용을 6지선다 중에서 예측한다. 정답 선택 시 1점, 오답 시 0점(이진 채점).
Change Detection (CD, τ_CD): test phase에서 에이전트는 기반 환경의 수정 버전과 상호작용하며, 어느 시점부터 규칙(rule) 하나가 변경된다. 에이전트는 변화가 처음 발생한 가장 이른 타임스텝을 식별해야 한다. 정확한 타임스텝 탐지 시 1점, 늦은 탐지 시 부분 점수, 변화 이전 타임스텝 선택 시 0점.
Planning (τ_PL): 에이전트는 환경의 특정 서브그리드(subgrid)가 목표 배치(target configuration)에 도달하도록 행동 시퀀스를 생성해야 한다. 이 과제에서는 reset 행동이 불가하며, 목표 도달 시 1점, 실패 시 0점(이진 채점). 43개 환경×3개 과제로 총 129개 문제를 구성한다.

기존 방법과의 차별점

WorldTest는 세 가지 핵심 설계 원칙에서 기존 평가 방법과 구별된다. 첫째, reward-free interaction: 탐색 단계에서 보상 신호를 일절 제공하지 않아, 보상 중심(reward-centric) 평가가 놓치는 순수 환경 이해 능력을 측정한다. 둘째, representation-agnostic(표현 방식 무관): test phase에서 에이전트의 내부 표현 형식을 강제하지 않고 행동만으로 채점하므로, 지식을 단일 사전 정의된 형식(예: 심볼릭 프로그램이나 고정 벡터)으로 표현할 수 없는 에이전트도 평가 가능하다. 셋째, query-driven + ξ 비공개: 질의 파라미터 ξ를 test phase 직전까지 공개하지 않음으로써, 에이전트가 특정 과제에 과적합(leakage)하지 않고 환경의 일반적 구조를 이해해야만 높은 점수를 얻을 수 있다.

발견 (Findings)

인간이 전 환경·전 과제에서 모든 추론 모델을 능가: 인간 aggregate agent(80th-percentile, 평균 0.935)는 Claude 4 Sonnet, Gemini 2.5 Pro/Flash, o3, Qwen3-235B 모두를 43개 환경 전체 및 CD·MFP·Planning 세 과제 유형 모두에서 앞섰다 (Fig 3b, Fig 4). 이 차이는 단순 점수 격차가 아니라 탐색 전략의 구조적 차이에서 비롯된다.
추론 모델은 stochastic 환경에서 상대적으로 우수하나, 인간은 stochasticity에 무관하게 일관됨: 추론 모델은 deterministic 환경보다 stochastic 환경에서 유의하게 높은 점수를 얻었다 (Fig 3a). 인간은 두 조건에서 거의 동일한 성능을 보였다. 이는 추론 모델이 확률론적 신호에 과도하게 의존하거나, deterministic 환경에서 구조를 파악하는 능력이 상대적으로 취약할 가능성을 시사한다.
전체 환경의 42%(SetB, 18개)에서 추가 compute가 무익—스케일 너머 한계 존재: 비용 오름차순(Gemini 2.5 Flash→o3)으로 정렬한 성능이 SetB에서는 단조 증가하지 않았으며 (Fig 4), MFP·Planning의 37%, CD의 33%에서만 비용이 성능 향상과 연결되었다 (Section F.1.3). 이는 test-time compute 스케일링이 일부 환경 유형에서는 근본적 한계를 갖는다는 부정적 증거다.
인간은 reset을 가설검증 도구로 사용, 모델은 reset을 사실상 무시: 인간의 reset·no-op 비중은 각 ~12.5%(Fig 5), 전 환경에서 최소 1회 reset 수행(Fig 6a). 추론 모델의 reset+no-op 합산은 7% 미만이며, Claude는 31개 환경에서 reset을 건너뛰었다 (Fig 6a). reset 전후 LCS 비율은 인간 0.637 vs 모델 0.188–0.360으로 (Section F.2.3), 인간이 동일 행동 패턴을 반복 실험하는 반면 모델은 비체계적임을 보여준다. Normalized perplexity의 AUC 및 final 값 모두 인간이 낮아 (Fig 6b, 6c), 인간의 탐색이 더 빠르고 표적화된 world-model 학습으로 이어진다.

Results

셋업 요약

인간 참가자 517명을 Prolific을 통해 모집하였으며, 색맹·주의 집중 및 이해력 검사 탈락자를 필터링하였다 (§5.1.1). 각 문제는 20회 반복되었고, 문제별 80번째 백분위수 점수로 구성된 단일 aggregate agent를 “human” baseline으로 정의하였다. 추론 모델 5개(Claude 4 Sonnet, Gemini 2.5 Pro, Gemini 2.5 Flash, o3, Qwen3-235B-a22b-thinking-2507)는 API 비용 제약으로 인해 문제당 단일 trajectory만 평가하였다 (§5.1.2). 그리드 상태는 색상 문자열 2차원 배열 형태의 텍스트 인터페이스로 제공되었다. Autumn-simulator가 oracle baseline 역할을 한다.

주요 결과

전체 성능 (§5.2.1) — 인간은 43개 환경 전체 및 세 과제 유형(CD, MFP, Planning) 모두에서 5개 추론 모델을 능가하였다 (Fig 3b). 인간 평균 점수는 0.935이며 (Fig 4 참조선), 에이전트별·문제별 상세 점수는 Table F.2 및 Fig 3c(환경별 점수 분포)에 보고되어 있다. 환경 stochasticity에 따라 에이전트 간 행동 패턴이 달랐다. 인간은 결정론적(deterministic)과 확률론적(stochastic) 환경에서 거의 동일한 점수를 보였으나, 추론 모델은 stochastic 환경에서 deterministic 환경보다 유의하게 더 나은 성능을 보였다 (Fig 3a).

계산 비용 대비 성능 (§5.2.1) — 5개 모델을 문제당 비용 오름차순으로 정렬하면 Gemini 2.5 Flash < Qwen3-235B < Gemini 2.5 Pro < Claude 4 Sonnet < o3 순이다. 43개 환경을 성능 단조 증가 여부로 분류하면, SetA(25개 환경)에서는 비용 증가에 따라 성능이 단조적으로 향상되었고, SetB(18개 환경)에서는 추가 compute가 이득을 주지 못하였다 (Fig 4). 과제 유형별로는 MFP과 planning 과제의 37%, CD 과제의 33%에서만 비용 증가가 성능 향상으로 이어졌다 (Section F.1.3). 전체 환경 중 42%가 추가 compute로부터 이득을 얻지 못하였다.

탐색 패턴 (§5.2.2) — 행동 유형 분포(Fig 5): 인간은 reset과 no-op을 각각 약 12.5%씩 사용하였다. 모든 추론 모델은 reset과 no-op 합산 비중이 7% 미만이었으며, Claude 4 Sonnet이 2.1%로 최저치를 기록하였다. reset 빈도(Fig 6a): 인간은 43개 환경 전체에서 최소 1회 이상 reset을 수행하였고, 43개 환경 중 33개에서 모델별 환경 평균을 초과하였다. 반면 추론 모델은 다수 환경에서 reset을 아예 수행하지 않았다: Claude 4 Sonnet은 31개 환경, Qwen3-235B는 8개 환경, Gemini 2.5 Pro는 7개 환경, Gemini 2.5 Flash는 4개 환경, o3는 3개 환경에서 reset을 건너뛰었다. reset 전후 행동 구조(LCS ratio, Section F.2.3): 인간은 pre-/post-reset 행동 윈도우 간 longest common subsequence(LCS) 비율 평균이 0.637이었고, 추론 모델은 0.188–0.360 범위에 분포하였다.

World-Model Learning (§5.2.3) — 탐색 행동의 초점화 정도를 normalized perplexity로 정량화하였다(높을수록 무작위, 낮을수록 표적화). 두 가지 집계 지표 normalized perplexity의 AUC(탐색 전체 궤적, 낮을수록 빠른 집중)와 final perplexity(탐색 종료 시점 표적화) 모두에서 인간이 추론 모델보다 낮은 값을 기록하였다 (Fig 6b, 6c). 이는 인간이 무작위 클릭·키 입력에서 표적화된 행동으로 더 빠르게 전환하며, 탐색 종료 시점에서도 더 결정론적·목적지향적임을 나타낸다.

Discussion

인간과 추론 모델 간 world-model 학습 격차는 두 축—**실험 설계(experimental design)**와 신념 갱신(belief updating)—에서 두드러진다. 이 격차는 단순한 성능 차이가 아니라 추론의 여러 층위에 걸친 구조적 한계를 반영한다.

실험 설계 측면에서, 인간은 reset을 환경 동역학에 대한 가설을 검증하는 실험도구로 활용한다. 실제로 인간은 43개 환경 전부에서 최소 한 번 이상 reset을 실행했으며, 환경별 모델 평균을 43개 중 33개에서 상회했다. 반면 모든 추론 모델은 reset과 no-op에 소비하는 행동 비율이 7% 미만이며(Claude 최저 2.1%), reset 전후 행동 창의 최장 공통 부분 수열(LCS) 비율도 인간(평균 0.637) 대비 모델(0.188–0.360)에서 현저히 낮다. 모델의 reasoning trace에서도 keypresses·clicks를 “정보적 행동”으로 우선시하면서 reset·no-op의 가설검증적 가치를 인식하지 못하는 패턴이 나타난다(Listing F.1).

신념 갱신 측면에서, 추론 모델은 모순된 증거 앞에서 신념을 갱신하는 데 빈번히 실패한다. 특히 masked-frame prediction(MFP) 과제에서 두드러지는데, 테스트 단계 관측이 상호작용 중 학습한 규칙과 모순됨을 인식하더라도 원래 규칙에 의존하는 경향을 보인다.

종합하면, 인간 수준의 world-model 학습에는 더 나은 prior·world model·memory뿐 아니라 전략적 실험설계 능력, 불확실성 정량화, 유연한 신념 갱신이 함께 요구된다.

저자가 인정한 한계

상관 ≠ 인과: reset 빈도와 성능 간 관계는 상관에 그치며, reset 사용이 성능 향상의 원인임을 입증하는 인과적(causal) 근거는 없다. 인과 관계 확립에는 interventional design이 필요하다.
도메인 한정성: AutumnBench는 grid-world 환경에 국한되어 있으며, physics-rich·robotics·multi-agent 도메인으로의 일반화 여부는 미검증이다.
Prompt 민감성: 모델 성능은 prompt 구성 방식에 민감하게 변동한다(Section F.1.2). 현 평가는 단일 prompt 변형에 의존하므로 결과 해석 시 이 변동성을 고려해야 한다.
단일 trajectory 평가(독자 식별): 각 환경에서 단일 exploration trajectory만 평가하므로 결과의 분산 추정이 제한적이다.

향후 방향

Interventional design 도입: reset 사용과 성능 간 인과성을 검증하기 위한 통제 실험 설계.
도메인 확장: WorldTest 프레임워크를 physics-rich 환경, robotics, multi-agent 시스템 등 다양한 도메인에 적용.
다중 prompt + variance bar: 미래 평가에서 복수의 prompt 구성을 함께 보고하고 분산 바를 제시할 것을 권고.

이론적 의의

Environment-level query 패러다임의 개방: 기존 world-model 평가는 에이전트의 내부 표현(symbolic state, latent vector 등)을 직접 검사하거나 보상 최적화 성과에 의존했다. WorldTest는 “행동으로 답하는 파생 도전 환경(derived challenge environment)“이라는 environment-level query 개념을 도입함으로써, 표현 형식에 무관하게(representation-agnostic) 인간·LLM·classic agent를 동일 척도로 비교할 수 있는 평가 가능성을 연다.
추론 층위 분해의 실증적 기여: 성능 격차를 단일 지표가 아닌 실험설계 전략과 신념 갱신 유연성이라는 두 축으로 분해함으로써, “더 좋은 prior”만으로 인간 수준에 도달할 수 없음을 실증적으로 보여준다. 이는 world-model 연구의 다음 목표를 전략적 탐색 행동 및 반증 통합 능력으로 구체화하는 이론적 방향성을 제공한다.
벤치마크 설계 규범 제안: prompt 민감성과 단일 trajectory 분산 문제를 명시적으로 한계로 인정하고 다중 prompt + variance bar 보고를 권고함으로써, 향후 LLM 기반 평가 연구의 방법론적 표준에 기여한다.

Discussion Points

논쟁점: reset 사용 빈도와 성능 향상 간의 인과 관계는 입증되지 않았다 — 상관 관계만 보고되어 있으므로, reset이 실제 성능 향상의 원인인지 아니면 높은 역량을 가진 참여자의 공통 행동 특성인지는 논쟁의 여지가 있다. 또한 모델 점수가 prompt 구성에 민감하므로, 단일 prompt 조건 하의 비교가 모델 간 공정 비교를 담보하는지도 논쟁 가능하다.
검증해야 할 가정: 인간 기준선이 80th-percentile 집계 방식으로 산출되는데, 이것이 “평균적인 인간”의 능력을 대표하는지(혹은 상위 퍼포머에 편향되어 있는지)는 검증이 필요하다. 아울러 단일 exploration trajectory 평가가 에이전트의 실제 world-model 학습 능력을 안정적으로 추정하는지(분산 문제)도 확인이 필요하다.
후속 연구: (1) 인과성 입증을 위한 interventional 실험설계(예: reset 가용성을 조건으로 제한한 A/B 실험), (2) WorldTest 프레임워크의 physics-rich·robotics·multi-agent 도메인 적용, (3) 복수 prompt 구성에서의 모델 평가 및 분산 보고 표준화.

실험 결과 상세

표 1. 과제군별 에이전트 성능 (정성 비교)

모델/에이전트	환경 수	MFP	CD	Planning	종합 비고
인간 (80th pctile 집계, n=517)	43	인간 > 모든 모델 (Fig 3b)	인간 > 모든 모델	인간 > 모든 모델	집계 평균 0.935 (Fig 4)
Claude 4 Sonnet	43	부록 F 표 — 본문에 수치 없음	〃	〃	reset 31/43 환경 생략
Gemini 2.5 Pro	43	부록 F 표 — 본문에 수치 없음	〃	〃	—
Gemini 2.5 Flash	43	부록 F 표 — 본문에 수치 없음	〃	〃	최저 비용
o3	43	부록 F 표 — 본문에 수치 없음	〃	〃	최고 비용
Qwen3-235B-a22b-thinking-2507	43	부록 F 표 — 본문에 수치 없음	〃	〃	—
Autumn-Simulator (oracle)	43	참조 기준(ground-truth 프로그램 접근)	해당 없음	해당 없음	next-frame 예측 스타일 상한 참조점

주: 모델별 task-type 수치 점수는 Appendix F Table F.2에만 존재하며 본문 제공 텍스트에 없음. 인간 종합 평균 0.935는 Fig 4에 명시.

표 2. 비용 vs. 성능 (Fig 4)

환경 집합	환경 수	비용 증가에 따른 성능 변화	비고
Set A	25개 (58%)	단조 증가 — 비용↑ → 점수↑	비용이 도움 되는 환경군
Set B	18개 (42%)	효과 없음 — 추가 compute 무이득	스케일링 한계 환경군

비용 순서(낮은 쪽): Gemini 2.5 Flash → Qwen3-235B → Gemini 2.5 Pro → Claude 4 Sonnet → o3. 과제별 비용 효과: MFP 37%, Planning 37%, CD 33% (Section F.1.3).

표 3. 탐색 행동 메트릭 (Fig 5, 6)

에이전트	reset+no-op 비율	reset 생략 환경 수 (43개 중)	reset 전후 LCS	perplexity AUC / final
인간	reset ~12.5%, no-op ~12.5%	0 (전 환경 ≥1회 reset)	0.637 (mean)	모델 중 최저 (Fig 6b,c)
Claude 4 Sonnet	합계 < 7% (최저 2.1%)	31	0.188–0.360 범위	부록 F — 본문 수치 없음
Qwen3-235B	합계 < 7%	8	0.188–0.360 범위	〃
Gemini 2.5 Pro	합계 < 7%	7	0.188–0.360 범위	〃
Gemini 2.5 Flash	합계 < 7%	4	0.188–0.360 범위	〃
o3	합계 < 7%	3	0.188–0.360 범위	〃

표 4. 확률적 vs. 결정론적 성능 (Fig 3a)

에이전트	결정론적(≈26개)	확률적(17개)	차이
인간	거의 동일	거의 동일	일관적
5개 추론 모델	상대적으로 낮음	상대적으로 높음	stochastic에서 유의하게 우수

프레임워크 다이어그램

graph TB
    subgraph WorldTest["WorldTest 프레임워크 (2단계 프로토콜)"]
        A["상호작용 단계<br/>보상 없음 / 자율 탐색"] --> B["환경 탐색<br/>(리셋·no-op 가능)"]
        B --> C{"go-to-test<br/>전환 결정"}
        C -->|"테스트 단계로 이동"| D["쿼리 파라미터 샘플링<br/>xi ~ P_Xi"]
        D --> E["challenge POMDP 생성<br/>M' = tau(M, xi)"]
        E --> F["정책 실행 후 점수 산출<br/>R(h')"]
    end

    subgraph Tasks["AutumnBench 과제군 (129 tasks / 43 envs)"]
        F --> G["MFP<br/>마스크 프레임 예측<br/>(6지선다)"]
        F --> H["CD<br/>변화 감지<br/>(변화 최초 timestep)"]
        F --> I["Planning<br/>목표 격자 배치 달성<br/>(reset 불가)"]
    end

    subgraph Agents["평가 주체"]
        J["인간<br/>517명 / 80th pctile<br/>평균 0.935"]
        K["Claude 4 Sonnet"]
        L["Gemini 2.5 Pro / Flash"]
        M["o3"]
        N["Qwen3-235B-a22b"]
        O["Autumn-Simulator<br/>oracle 참조점"]
    end

    J --> A
    K --> A
    L --> A
    M --> A
    N --> A
    O --> A

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	✅	Autumn 인터프리터(BasisResearch/Autumn.cpp, WASM/Python/Julia 바인딩), 추론 모델 프로토콜(BasisResearch/MARA-Protocol), GUI(autumn.basis.ai) 모두 공개
데이터 공개	⚠️	AutumnBench 데이터셋 Zenodo(10.5281/zenodo.19498269) 공개. 단, 벤치마크 무결성 보호 목적 일부 문제 비공개(private subset) — 전체 재현 불가
하이퍼파라미터 / 비용	⚠️	모델별 API 비용 범위(Fig 4, ~ $0.1-$ 10/문제)·비용 순서 보고. 단 온도·토큰 수·프롬프트 구체 내용은 부록 일부만. prompt 민감성을 저자가 인정(§5.3)
실험 환경	⚠️	모델당 문제당 단일 trajectory — 분산 추정 불가. 인간은 문제당 20회 → 80th pctile 집계. 두 에이전트 유형 비교 기반 상이
통계적 신뢰도	❌	모델 점수에 CI·표준편차 미보고. 저자도 “다중 prompt + variance bars” 보고를 향후 과제로 명시
종합 등급	B	코드·데이터 공개 수준은 높으나, 모델 평가의 단일 trajectory 설계·CI 부재·private subset이 재현성을 제한

주장별 신뢰도

🟡 인간(0.935)이 5개 frontier 모델 전부를 모든 환경·과제에서 상회 — Fig 3b/3c, Fig 4로 일관 지지. 단 모델 점수의 분산·CI 부재로 통계적 유의성 미제시.
🟡 모델은 stochastic(17/43) 환경에서 deterministic보다 우수 — Fig 3a 시각 확인. 단 확률적 환경의 난이도/특성 통제 안 됨.
🟡 인간은 reset을 가설검증 도구로 사용 (LCS 0.637 vs 0.188–0.360) — Fig 5/6a, §F.2.3 일관. 단 reset→성능의 인과는 interventional design 미실시(저자 명시).
🟡 환경 42%(18/43)는 비용↑로도 성능 무개선 — Fig 4 직접 보고. 단 단일 trajectory라 SetA/SetB 경계 안정성은 재실험 시 변동 가능.

읽기 난이도: ⭐⭐ — 그리드월드 시각화·인간-AI 구도는 직관적이나, WorldTest 형식 정의(POMDP, τ, 정책 π)·normalized perplexity·LCS 이해엔 RL/POMDP 기초가 필요.

축	AutumnBench (본 논문)	DiscoveryWorld (Jansen 2024 / direct)	CLEVRER (Yi 2020 / alternative)	ARC-AGI (Chollet 2019 / base)	Alchemy (Wang 2021 / alternative)	URLB (Laskin 2021 / base)
환경 유형	POMDP	POMDP	Static (비디오)	Static (이미지 격자)	POMDP	POMDP
상호작용성	완전 (2단계: 탐색→쿼리)	완전 (과학적 발견)	비상호작용	비상호작용	완전 (메타-RL)	완전 (사전훈련→다운스트림)
Representation-Agnostic	✅	❌ (자연어·기호 출력 필수)	❌ (서술어 정확도)	✅	✅	✅
Rewardless Training	✅	✅	✅	✅	❌ (보상 필수)	✅
Modified Test Env	✅	✅	✅	✅	❌ (동일 환경)	❌ (동일 환경 내 태스크)
평가 대상	인간+LLM+RL (통일)	RL 중심	LLM/VLM	LLM/인간	RL 전용	RL 전용
코드 공개	✅	✅	❌	❌	✅	✅

원자적 인사이트 (Zettelkasten)

💡 진짜 world-model 평가는 “단일 rollout으로 결정되지 않는 질문”이어야 한다

기존 world-model 벤치마크는 한 번의 관측 궤적으로 정답이 고정되는 관측 가능 속성만 묻기 때문에, 모델이 환경 구조를 이해하지 않고 표면 패턴을 외워도 풀린다. 핵심 전환은 평가 단위를 관측 궤적이 아니라 환경 전체 속성(environment-level query)으로 올리는 것이며, 이런 질문은 본질적으로 단일 rollout으로 결정될 수 없어 행위자가 능동적으로 환경을 조작·검증하게 강제한다. (조건: 질의를 파생 challenge POMDP τ:(M,ξ)→(M′,R,H)로 인코딩해 행동으로만 채점, 표현 비의존·보상 없음.) → POMDP, active learning

💡 reset은 리셋이 아니라 “통제된 재실험” 도구다 — 인간은 쓰고 모델은 못 쓴다

인간은 reset을 환경을 초기 상태로 되돌려 동일 조건에서 가설을 반복 검증하는 실험 통제 수단으로 사용했지만(reset·no-op 각 ~12.5%, reset-LCS 0.637), frontier 모델은 거의 쓰지 못했다(<7%, Claude 2.1%, reset-LCS 0.188–0.360). 인간-모델 격차의 상당 부분이 이 능동적 탐색 전략 부재에서 비롯되며, 환경 42%는 추가 연산으로도 성능이 안 올라 격차가 연산량이 아니라 탐색 행동의 질에서 옴을 시사한다. → exploration vs exploitation, in-context reinforcement learning

💡 frontier 모델의 병목은 출력 정확도가 아니라 “모순 증거 앞에서의 신념 갱신”이다

5개 reasoning 모델은 모든 환경·task에서 인간(평균 0.935)에게 졌고, Discussion이 지목한 두 병목은 (1) 능동적 실험 설계와 (2) 신념 갱신이다. 특히 MFP에서 모델은 초기 가설과 모순되는 관측이 들어와도 기존 신념을 수정하지 못했는데, 이는 perplexity AUC/최종값이 인간보다 높게(덜 효과적인 학습) 유지된 것으로도 드러난다. 단순 스케일링으로 메워지지 않음(42% 환경 compute 무효). → belief revision, Bayesian inference

💡 모델은 결정론보다 확률적 환경에서 (상대적으로) 더 낫다는 반직관

직관과 달리 frontier 모델들은 17개 확률적 환경에서 결정론적 환경보다 상대적으로 나은 성능을 보였다. 결정론적 환경은 정확한 규칙을 행동으로 검증·확정해야 하지만, 확률적 환경은 분포적 추측이 부분 점수로 보상받기 쉬워, 모델이 정밀한 구조 추론보다 통계적 평균화에 강함을 시사한다. 인간은 두 유형 모두에서 우월했으므로 이는 모델의 상대적 약점 프로파일을 드러낸다. → determinism vs stochasticity, world model

핵심 용어 정리

용어	정의
World model (세계모델)	환경이 어떻게 작동·변하는지를 예측하는, 행위자 내부의 모형. 좋을수록 미래 상태를 잘 예측·계획한다.
Environment-level query (환경 수준 질의)	한 번의 관측 궤적이 아니라 환경 전체 속성(“항상 X인가” 등)을 묻는 질문. 단일 rollout으로 정답이 결정되지 않아 능동적 탐색이 필요.
WorldTest	표현 비의존·보상 없이 행동으로만 채점하는 2단계 평가 프로토콜(상호작용→시험). 질의를 파생 challenge 환경으로 인코딩.
AutumnBench	WorldTest의 구현 벤치마크. Autumn DSL로 만든 43개 인터랙티브 그리드월드(POMDP) × 129개 task.
POMDP	부분 관측 마르코프 결정 과정. 행위자가 상태를 직접 못 보고 관측으로 추론해야 하는 의사결정 환경 ⟨S,A,O,T,Ω⟩.
Masked-frame prediction (MFP)	가려진 최종 프레임을 6지선다로 복원하는 task. 신념 갱신 실패가 가장 두드러진 과제.
Change detection (CD)	환경 규칙/동역학에 변화가 일어난 가장 이른 timestep을 탐지하는 task. 늦으면 부분 점수.
Planning (계획)	목표 subgrid 배치에 도달하는 행동 시퀀스 생성 task. 이 과제에선 reset 불가.
Normalized perplexity	행동 예측 불확실성의 정규화 지표. AUC·최종값이 낮을수록 더 효과적·표적화된 세계모델 학습.
Reset action (리셋 행동)	환경을 초기 상태로 되돌리는 행동. 인간은 동일 조건 가설 재검증의 “통제된 재실험” 도구로 활용.
Reset-LCS	reset 전후 행동 시퀀스 유사도(최장 공통 부분수열). 인간 0.637 vs 모델 0.188–0.360.
Autumn DSL	그리드월드 환경(동역학·규칙)을 기술하는 functional reactive 도메인 특화 언어(Das et al., 2023).
Frontier reasoning model	평가 대상 최신 추론 모델군: Claude 4 Sonnet, Gemini 2.5 Pro/Flash, o3, Qwen3-235B-a22b-thinking-2507.

BibTeX

@article{warrier2025benchmarking,
  title={Benchmarking World-Model Learning with Environment-Level Queries},
  author={Warrier, Archana and Nguyen, Thanh Dat and Naim, Michelangelo and Jain, Moksh and Liang, Yichao and Schroeder, Karen and Yang, Cambridge and Tenenbaum, Joshua B. and Vollmer, Sebastian and Ellis, Kevin and Tavares, Zenna},
  journal={arXiv preprint arXiv:2510.19788},
  year={2025},
  url={https://arxiv.org/abs/2510.19788},
  eprint={2510.19788},
  archivePrefix={arXiv}
}

환경 수준 질의를 통한 세계모델 학습 벤치마킹

환경 수준 질의를 통한 세계모델 학습 벤치마킹

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

프레임워크 개요

핵심 구성요소

입력 → 출력 흐름

3개 과제 (MFP / CD / Planning)의 정의 및 채점

기존 방법과의 차별점

발견 (Findings)

Results

셋업 요약

주요 결과

Discussion

이론적 의의

실험 결과 상세

표 1. 과제군별 에이전트 성능 (정성 비교)

표 2. 비용 vs. 성능 (Fig 4)

표 3. 탐색 행동 메트릭 (Fig 5, 6)

표 4. 확률적 vs. 결정론적 성능 (Fig 3a)

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 진짜 world-model 평가는 “단일 rollout으로 결정되지 않는 질문”이어야 한다

💡 reset은 리셋이 아니라 “통제된 재실험” 도구다 — 인간은 쓰고 모델은 못 쓴다

💡 frontier 모델의 병목은 출력 정확도가 아니라 “모순 증거 앞에서의 신념 갱신”이다

💡 모델은 결정론보다 확률적 환경에서 (상대적으로) 더 낫다는 반직관

핵심 용어 정리

관련 연구

태그

BibTeX