HERO’S JOURNEY: 텍스트 게임으로 복잡한 규칙 귀납을 시험하다
Digest: 대형언어모델(LLM)이 “예시에서 숨은 규칙을 알아내고 그 규칙대로 여러 단계를 실행”하는 능력을 따로 떼어 측정하는 벤치마크다(Context). 기존 귀납 벤치가 “무엇을 무엇에 매핑하는가”만 묻던 것과 달리, HERO’S JOURNEY는 절차적 과제실행 grounding(규칙을 알아도 의존 단계를 순서대로 행동해야 함)·구성가능한 규칙 상호작용·식별성(identifiability, source 예시가 target 규칙을 충분히 결정하는지) 세 원칙을 합성 텍스트게임 세계에 녹였다(Innovation). attribute·procedural 두 귀납 family에 걸친 8과제 각 4개 규칙형태를 SOTA LLM 6종과 인간 7명으로 평가했다(So-what). 핵심 결과는 “인간이 전 모델을 일관 능가 — Efficiency-Calibrated Success Rate(ECSR) 13%p, Rule Verbalization(RV) 30% 차이”이며(Table 6), format gap 실험에서 절차 과제의 실행 병목(GPT-5.4-mini Δμ=0.268, p<.001)이 드러났다(Evidence). 다만 합성·노이즈 없는 환경, RV 심판이 Qwen 계열, 인간 표본 소수라는 한계가 있다(Limitation). 그렇다면 절차적 실행 병목을 줄이는 steering이 procedural family에서도 신뢰성 있게 작동하게 만들 수 있을까(Question)?
먼저 이해하기
이 논문은 “LLM이 정말로 규칙을 귀납(induction, 몇 개 예시만 보고 일반 규칙을 추론)할 수 있는가”를 묻는다. 단, 규칙을 말로 옳게 설명하는 것만으로는 부족하다. 에이전트는 텍스트게임(완전히 합성된 가상 세계에서 명령어로 행동하는 환경) 안에서 시연(demonstration)을 보고 숨은 규칙을 추론한 뒤, 그 규칙대로 목표지향 다단계 행동(예: go→buy→go→defeat 같은 의존 단계 사슬)을 직접 수행해야 한다. 즉 “알아내기”와 “실행하기”를 한 과제에 묶어 측정한다.
왜 중요한가. 추출 전문에 따르면 기존 귀납 벤치는 “무엇을 무엇에 매핑하는가”라는 정적 질문에 머물러, 규칙을 행동으로 옮기는 절차적 실행이나 규칙들이 서로 어떻게 상호작용하는지, 그리고 주어진 예시가 정답 규칙을 충분히 결정하는지(식별성)를 통제하지 못했다. HERO’S JOURNEY는 이 세 가지를 설계 원칙(3 desiderata)으로 명시하고 통제가능한 testbed를 제공한다는 점에서 의의가 있다.
먼저 알아둘 말:
| 용어 | 뜻 |
|---|---|
| 규칙 귀납(rule induction) | 몇 개의 예시(시연)만 보고 그 뒤에 숨은 일반 규칙을 추론하는 것 |
| 식별성(identifiability) | source 예시들이 target 규칙을 유일하게 결정할 만큼 충분한가의 조건 |
| 절차적 실행(procedural execution) | 알아낸 규칙을 의존 단계(선행 의존이 있는 다단계 행동)로 직접 수행하는 것 |
| ECSR | Efficiency-Calibrated Success Rate, 성공률에 효율 보정을 곱한 지표 |
| RV | Rule Verbalization, 추론한 규칙을 말로 옳게 설명하는 정도(0–2 채점) |
섹션별 요약
Abstract
HERO’S JOURNEY는 목표지향 에피소드 과제에서의 규칙 귀납을 측정하는 벤치마크다. 에이전트는 시연에서 숨은 규칙을 추론하고 다단계 실행으로 그 규칙대로 행동해야 한다. attribute·procedural 두 귀납 family에 걸친 8과제, 각 4개 구조적 규칙 형태, 통제가능한 어휘 grounding, 식별성 조건을 갖춘다. SOTA LLM 평가 결과 규칙 귀납 능력은 제한적·불균등했다. 과정 실행은 실행 병목을 더했고, 표면 의미(surface semantics)는 효과가 미미했다. 귀납 특화 steering은 attribute family에선 개선했으나 procedural family에선 신뢰성 있는 향상이 없었다.
저자 contribution
- 절차적 실행 grounding·구성가능한 규칙 상호작용·식별성 조건을 모두 갖춘, 8과제×4규칙형태의 합성 텍스트게임 귀납 벤치마크를 제안한다.
- SOTA LLM 6종과 인간 baseline으로 평가해, 인간이 전 모델을 일관 능가하며 실행 복잡도가 핵심 병목임을 보인다.
- 식별성·실행 복잡도·표면 의미·steering을 분리 측정하는 구성가능한 testbed를 제공한다.
왜 이 연구를 하는가?
연구 동기는 “규칙 귀납을 정적 매핑 문제가 아니라 절차적 실행 안에 묻어 평가”하려는 데 있다. 기존 한계는 두 가지 이상이다. (1) 기존 벤치는 “무엇을 매핑하는가”만 물어, 규칙을 의존 단계로 옮기는 절차적 실행을 측정하지 못했다. (2) 규칙들이 서로 어떻게 상호작용하는지(구성가능성)와 source 예시가 target 규칙을 충분히 결정하는지(식별성)를 통제하지 못했다. 핵심 통찰은 세 desiderata — 절차적 과제실행 grounding, 구성가능한 규칙 상호작용, 식별성 조건 — 를 합성 텍스트게임 세계로 구현하는 것이다.
Introduction
텍스트게임 환경은 완전 합성 세계의 목표지향 다단계 행동을 제공해, 규칙 귀납과 절차적 실행을 한데 묶기에 적합하다. 설계 원칙은 (1) 규칙 귀납만이 아니라 의존 단계로 행동하도록 하는 절차적 과제실행 grounding, (2) “무엇을 매핑”만이 아니라 “규칙들이 어떻게 상호작용”하는지를 보는 구성가능한 규칙 상호작용, (3) source 예시가 target 규칙을 충분히 결정하도록 하는 식별성 조건이다.
Methods
과제 구조는 Process Π로 표현된다. Π는 goal network(subgoal·선행의존·action-argument binding)로, 예컨대 go→buy→go→defeat 같은 의존 사슬을 갖는다.
- Attribute 귀납 Attr1–4: Attr1 Additive(f=size(v1)+size(v2)), Attr2 Compositional(f=(size(v1),color(v2))), Attr3 Conditional(regime R(v1)∈{0,1}로 분기), Attr4 Override(v2=u*면 고정 아이템으로 덮어씀).
- Procedural 귀납 Proc1–4: σ는 ℐ→𝒜×O(행동타입·순서) 매핑이다. Proc1 count 합, Proc2 act(v1)=행동·ord(v2)=순서, Proc3 regime 분기, Proc4 override.
- 식별성 조건: Additive는 연결 이분그래프가 필요하고, Compositional은 한 속성을 고정하고 다른 속성을 변동시키는 쌍, Conditional은 각 V1이 ≥2개 V2와 등장, Override는 u*가 ≥2개 V1과 등장 등을 요구한다.
차별점은 규칙 귀납을 정적 QA가 아니라 에피소드 형식의 절차적 실행 안에서 측정하고, 어휘 grounding과 식별성을 통제가능하게 만든 점이다.
발견 (Findings)
핵심 발견은 “인간이 전 모델을 일관 능가 — ECSR 13%, RV 30% 차이”이다(Table 6 기반). RV와 ECSR의 상관(n=48)은 ρ=0.54, p<.001이며, 인간은 ρ=0.85로 더 높다. family별로는 attribute ρ=0.72가 procedural ρ=0.36보다 높다(p=.08). 식별성 추적에서는 coverage k를 0~2k로 늘리면 ECSR이 k까지 상승한 뒤 정체되어, “성능은 시연 양보다 규칙 식별성에 기인”함을 시사한다. 단 A-Cond는 contextual bias(복사)로 추세가 역전된다.
Results
모델은 Qwen3.5-27B, Olmo3.1-32B-Instruct, GPT-OSS-120B, Llama-4-Maverick-17B, Gemini-3.1-Flash, GPT-5.4-mini이며, 인간 baseline은 7명(언어학자 2 + 크라우드 5)이다. 지표는 Rule Verbalization(RV, 0–2, Qwen 심판; LLM–인간 일치 α=0.84/0.79로 인간–인간 0.795에 근접)과 Efficiency-Calibrated Success Rate(ECSR = success_rate × norm_eff, norm_eff는 brute-force 0·1회성공 1)이다. task별 n_tries는 A-Add5/A-Comp9/A-Cond6/A-Over4, P-Add3/P-Comp4/P-Cond3/P-Over4이고, task type당 20 variant다.
실행 복잡도 분석에서 format gap(QA vs episodic)은 GPT-5.4-mini 기준 attribute Δμ=0.096, procedural Δμ=0.268로 둘 다 p<.001이며, procedural의 큰 격차가 실행 병목을 나타낸다. surface semantics는 GPT-5.4-mini에서 어휘조건 효과가 없었다(Δμ≈0). steering 효과는 IDEA Δμ=0.097(최대), HR 0.059, ACE 0.049, ReAct −0.004(무효)였고, 이득은 attribute에 집중되며 procedural에는 신뢰개선이 없었다.
Discussion
규칙 귀납을 절차적 실행 안에 묻어 평가한 결과, 모델은 귀납 증거를 보이나 매우 제한적·불균등하며, 실행 복잡도와 절차 추론이 주요 난제로 남는다. 한계는 (1) 환경이 합성·노이즈 없음이고, (2) 시행착오를 완전히 배제하지 못하며, (3) RV 심판이 Qwen 계열이고, (4) 인간 표본이 작다는 점이다. 향후 방향으로는 procedural family에서도 신뢰성 있게 작동하는 귀납 특화 steering의 개발이 제시된다.
이론적 의의
이 연구는 “규칙을 말로 옳게 설명하는 것(RV)“과 “규칙대로 실제로 행동하는 것(ECSR)“이 분리될 수 있음을 보이며(특히 procedural family에서 상관 ρ=0.36으로 약함), 귀납 능력 평가가 정적 매핑을 넘어 절차적 실행 grounding을 포함해야 함을 시사한다.
Discussion Points
- 논쟁점: RV 심판이 평가 대상과 같은 Qwen 계열이라는 점이 RV–ECSR 상관 해석에 편향을 줄 수 있는가.
- 검증할 가정: “성능은 시연 양이 아니라 규칙 식별성에 기인한다”는 주장이 A-Cond의 contextual bias 역전을 넘어 일반화되는가.
- 후속 연구: procedural family에서도 신뢰성 있게 작동하는 귀납 특화 steering 설계.
실험 결과 상세
Table 6 기반, 각 task의 ECSR/RV 최고모델 vs 인간평균(추출 전문 수치만 사용).
| Task | 최고 모델 | 최고 모델 ECSR/RV | 인간평균 ECSR/RV |
|---|---|---|---|
| A-Add | GPT-OSS-120B | 0.85 / 0.47 | 0.63 / 0.71 |
| A-Comp | GPT-5.4-mini | 0.93 / 0.60 | 0.75 / 0.79 |
| A-Cond | GPT-OSS-120B | 0.38 / 0.20 | 0.57 / 0.64 |
| A-Over | GPT-5.4-mini | 0.83 / 0.42 | 0.78 / 1.00 |
| P-Add | Gemini-3.1-Flash | 0.48 / 0.10 | 0.61 / 0.71 |
| P-Comp | GPT-OSS-120B | 0.03 / 0.42 | 0.57 / 0.57 |
| P-Cond | GPT-OSS-120B | 0.26 / 0.00 | 0.62 / 0.57 |
| P-Over | GPT-OSS-120B | 0.47 / 0.53 | 0.58 / 0.71 |
핵심: 인간이 전 모델을 일관 능가(ECSR 약 13%p, RV 약 30% 차이). RV–ECSR 상관(n=48) ρ=0.54(p<.001), 인간 ρ=0.85, attribute ρ=0.72 > procedural ρ=0.36(p=.08).
보조 분석 수치:
| 분석 | 조건 | 효과(Δμ) | 유의성 |
|---|---|---|---|
| format gap (GPT-5.4-mini) | attribute (QA vs episodic) | 0.096 | p<.001 |
| format gap (GPT-5.4-mini) | procedural (QA vs episodic) | 0.268 | p<.001 |
| surface semantics (GPT-5.4-mini) | 어휘조건 | ≈0 | 효과 없음 |
| steering | IDEA | 0.097 | 최대 |
| steering | HR | 0.059 | — |
| steering | ACE | 0.049 | — |
| steering | ReAct | −0.004 | 무효 |
프레임워크 다이어그램
flowchart TD A["시연 demonstration (source 예시)"] --> B["규칙 귀납: 숨은 규칙 추론"] B --> C{"귀납 family"} C -->|attribute| D["Attr1-4: Additive / Compositional / Conditional / Override"] C -->|procedural| E["Proc1-4: count / act-ord / regime / override"] D --> F["식별성 조건 확인 (source가 target 결정)"] E --> F F --> G["Process goal network: subgoal · 선행의존 · action-argument binding"] G --> H["다단계 절차 실행 (예: go to buy to go to defeat)"] H --> I["평가: ECSR (성공률 x 효율) · RV (규칙 언어화 0-2)"] I --> J["인간 baseline 7명과 비교"]
재현성 및 신뢰도 평가
- 코드 공개: no — 추출 전문에 코드 공개 여부가 명시되지 않음(데이터 불충분).
- 종합 재현성 등급: B — 과제 구조(8과제×4규칙형태), 식별성 조건, 지표 정의(ECSR·RV), task별 n_tries와 variant 수, 평가 모델·인간 baseline 구성이 상세하다. 다만 코드·하이퍼파라미터·프롬프트 공개 여부가 전문에 없어 완전 재현은 보장되지 않는다.
- 주장별 신뢰도:
- “인간이 전 모델을 일관 능가(ECSR 13%·RV 30%)”: 강 — Table 6의 8개 task 전반에서 인간평균이 최고모델을 대체로 상회하며 수치가 제시됨.
- “절차적 실행이 병목”: 중–강 — format gap 통제실험(procedural Δμ=0.268, p<.001)이 attribute(0.096)보다 큰 격차로 직접 증거를 제공하나, 단일 모델(GPT-5.4-mini) 기준이라 일반화는 제한적.
- “성능은 시연 양보다 식별성에 기인”: 중 — coverage k 추적의 정체 패턴이 근거이나, A-Cond의 contextual bias 역전 같은 예외가 존재.
관련 연구 비교 매트릭스
| 논문 | 환경 | 과제유형 | 핵심기여 | 평가지표 | 코드공개 | 본 논문과의 관계 |
|---|---|---|---|---|---|---|
| HERO’S JOURNEY (Zheng et al., 2026) | 합성 텍스트게임 | 규칙 귀납 + 절차적 실행 | 절차실행·구성가능성·식별성 통제 벤치 | ECSR, RV | 명시 없음 | 본 논문 |
| Game of Hidden Rules / Metrology (Mathew et al., 2025) | RL 그리드 | 숨은 규칙 추론 | 숨은 규칙 환경의 강화학습 metrology | — | — | alternative(대안 환경) |
| Hypothesis Search (Wang et al., 2023) | 텍스트/프로그램 | 규칙 가설귀납→프로그램 | LLM 가설 탐색으로 귀납 규칙을 프로그램화 | — | — | direct(직접 관련 방법) |
| MIR-Bench (Yan et al., 2025) | 다중샷 프롬프트 | 다중샷 귀납추론 | many-shot 귀납추론 벤치 | — | — | alternative(대안 벤치) |
| ARC (Chollet, 2019) | 격자 추상화 | 추상 규칙귀납 | 추상·일반화 규칙귀납 벤치 | — | — | base(기반 벤치) |
원자적 인사이트 (Zettelkasten)
- 규칙을 말로 옳게 설명하는 능력(RV)과 규칙대로 실제 행동하는 능력(ECSR)은 분리될 수 있으며, procedural family에서 그 상관이 ρ=0.36으로 약하다.
- 같은 규칙이라도 정적 QA가 아니라 에피소드형 절차 실행으로 물으면 procedural 과제에서 성능이 크게 떨어진다(GPT-5.4-mini Δμ=0.268, p<.001) — 실행 자체가 병목이다.
- 시연을 더 많이 줘도 식별성 임계(k*)를 넘으면 성능이 정체되므로, 귀납 성능을 좌우하는 것은 예시의 양이 아니라 규칙을 결정짓는 식별성이다.
- 귀납 특화 steering은 attribute family에는 도움이 되지만(IDEA Δμ=0.097) procedural family에는 신뢰성 있는 향상을 주지 못한다.
핵심 용어 정리
- 규칙 귀납(rule induction): 소수의 시연에서 숨은 일반 규칙을 추론하는 능력.
- 식별성(identifiability): source 예시가 target 규칙을 충분히(유일하게) 결정하는지의 조건. Additive는 연결 이분그래프, Override는 u*가 ≥2 V1과 등장 등을 요구.
- ECSR(Efficiency-Calibrated Success Rate): 성공률에 효율 보정을 곱한 지표(norm_eff: brute-force 0, 1회성공 1).
- RV(Rule Verbalization): 추론한 규칙을 말로 옳게 설명하는 정도(0–2, Qwen 심판; LLM–인간 일치 α=0.84/0.79).
- Process Π / goal network: subgoal·선행의존·action-argument binding으로 구성된 다단계 목표 구조(예: go→buy→go→defeat).
- surface semantics(표면 의미): 과제의 어휘적 grounding 조건; 본 연구에서 성능 효과가 미미함(Δμ≈0).
관련 연구
- Toward a Metrology for Artificial Intelligence - Hidden-Rule Environments and Reinforcement Learning — 숨은 규칙 추론을 다루는 대안 환경(RL 그리드)으로 alternative 관계.
- Hypothesis Search - Inductive Reasoning with Language Models — LLM이 규칙 가설을 귀납해 프로그램화하는 direct 관계의 방법.
태그
rule-induction benchmark LLM-agents inductive-reasoning text-games identifiability
BibTeX
@article{zheng2026herosjourney,
title={HERO'S JOURNEY: Testing Complex Rule Induction with Text Games},
author={Zheng, Anshun Asher and Misra, Kanishka and Beaver, David I. and Li, Junyi Jessy},
journal={arXiv preprint arXiv:2606.02556},
year={2026}
}