잠재 추론으로 test-time compute 키우기: 순환 깊이(Recurrent Depth) 접근

개요

요즘 추론 모델은 어려운 문제에서 생각을 길게 “말로” 풀어 쓴다(long chain-of-thought). 계산을 더 쓰려면 토큰을 더 만들어야 하는 셈이다. 이 논문의 통찰은 이 방식이 낭비일 수 있다는 것이다. 모델 내부의 비싼 계산이 매번 단어 하나로 눌려 나와야 하고, 그러려면 긴 시범 데이터와 긴 context가 필요하다. 사람처럼 “말하기 전에 속으로 오래 생각하는” 축이 따로 있을 수 있다. 그래서 저자들은 Transformer를 세 부분으로 나눈다. 입력을 잠재공간으로 올리는 prelude P, 같은 층 묶음을 여러 번 돌리는 recurrent block R, 잠재 상태를 다시 단어 확률로 내리는 coda C다. 핵심 장치는 두 가지다.

첫째, 잠재 상태 s₀를 무작위 잡음에서 시작해 매 반복 sᵢ = R(e, sᵢ₋₁)처럼 prelude 출력 e를 매번 다시 넣는다(input injection). 경사하강법이 매 단계 데이터를 다시 보듯, 이렇게 해야 반복이 안정적이고 시작점과 무관한 상태로 수렴한다(path independence).
둘째, 학습 때 반복 횟수 r을 heavy-tail 분포에서 매번 무작위로 뽑고, 역전파는 마지막 8번 반복에만 흘린다(truncated backpropagation). 그래서 특별한 CoT 데이터 없이 일반 사전학습 데이터만으로, 추론 때 반복을 늘리면 성능이 오르는 모델이 된다.

실제 파라미터 3.5B, 800B 토큰으로 학습한 Huginn은 r = 1일 때 GSM8K CoT 0.00%였지만 r = 32에서 34.80/42.08%(strict/flexible)였고, 같은 데이터·설정의 고정 깊이 baseline(180B 토큰)보다 특히 ARC-C·GSM8K 같은 어려운 과제에서 앞섰다(Table 2, Table 4). 쉬운 과제(OpenBookQA, HellaSwag)는 8 반복 언저리에서 포화하고 GSM8K는 더 많은 반복을 쓴다(Figure 1, Figure 7). 추가 학습 없이 토큰별 조기 종료, KV-cache 공유, 연속 CoT, 자기 추측 디코딩도 된다(Section 6).

Implication: test-time compute를 늘리는 방법이 “토큰을 더 쓰기”만 있는 것은 아니다. 깊이 방향으로 반복하는 잠재 추론은 파라미터 수·CoT 길이와 별개의 세 번째 확장 축이 될 수 있다—다만 이 결과는 학습 1회, 3.5B 규모의 proof-of-concept이다.

Huggin의 구조 in Figure2 - juhyeon

구조부터 보자.

배경과 문제

왜 이 문제가 중요한가. 저자들은 추론 능력을 높이는 주된 길이 (1) 모델 크기 확장과 (2) 긴 CoT 예시로 사후학습해 중간 계산을 context window에 “말로 꺼내게(verbalize)” 하는 것이라고 정리한다. 그리고 비싼 내부 추론을 매번 하나의 말로 된 토큰으로 투영해야 한다는 제약이 낭비로 보인다고 말한다(author-stated, Section 1).

순환 깊이를 쓰는 이유 (author-stated, Section 2).

• 잠재 추론은 맞춤형 학습 데이터(CoT 시범)가 필요 없다. 표준 데이터로 가변 계산 예산을 두고 학습하고, test-time에 계산을 더 주면 능력이 오른다.
• CoT 모델보다 학습·추론 메모리가 적다. CoT는 매우 긴 context가 필요하다.
• 파라미터당 FLOP이 많아 가속기 간 통신 비용이 줄어든다.
• 계산은 많고 파라미터는 적은 구조로, 암기보다 “생각”(메타 전략, 논리, 추상화)으로 문제를 푸는 강한 사전(prior)을 주려 한다. “deep thinking” 문헌(Schwarzschild et al., 2021b; Bansal et al., 2022; Schwarzschild et al., 2023)이 근거다.

학술적 계보 (저자가 직접 언급한 것).

• Deep thinking / 알고리즘 일반화: 매 단계 잠재 입력 e를 넣는 것(Bansal et al., 2022)과 잠재 벡터를 무작위 상태로 초기화하는 것이 반복을 안정시키고 path independence(Anil et al., 2022)를 촉진한다는 결과에 구조를 기댄다(Section 3.1). 학습 때 반복 수를 무작위로 뽑는 것은 Schwarzschild et al.(2021b)을 따른다(Section 3.3). Schwarzschild et al.(2021b), Bansal et al.(2022), Bear et al.(2024), McLeish et al.(2024)은 무작위 unrolling과 input injection으로 학습할 때 깊이 반복이 일반화 가능한 알고리즘 학습에 유리하다고 보였다(Section 8).
• Universal Transformer와 looped Transformer: Dehghani et al.(2019), 고정 반복으로 대규모에 쓴 Lan et al.(2019, ALBERT), 이론·소규모 분석인 Giannou et al.(2023), Gatmiry et al.(2024), Yang et al.(2024a), Fan et al.(2025)(Section 8). → Looped Transformers as Programmable Computers, Looped Transformers for Length Generalization
• Deep equilibrium models와 diffusion models: 고정점 반복을 학습하는 신경망으로 볼 수 있다(Bai et al., 2019; 2022). 차이는 학습 목표다. 평형 모델은 “direct” 문제를 풀고, diffusion은 대리 목표를 풀며, 이 논문은 truncated unrolling이 확장 가능한 대안이라고 말한다(Section 8, Remark 3.1).
• 고정 깊이 모델을 미세조정해 잠재 추론을 붙이는 연구: Hao et al.(2024, continuous CoT), Cheng and Durme(2024), Liu et al.(2024a). 목표는 같지만 이 논문은 처음부터 순환을 사전학습한다는 점이 다르다(Section 6.3, Section 8). → Training Large Language Models to Reason in a Continuous Latent Space
• 하이브리드: weight-shared 층 위 LoRA adapter(Bae et al., 2024) 등(Section 8). → Relaxed Recursive Transformers - Effective Parameter Sharing with Layer-wise LoRA

prelude/coda를 두는 이유. 고정 깊이 LLM 분석 연구(Skean et al., 2024; Sun et al., 2024; Kaplan et al., 2024)에 따르면 처음과 끝 층은 눈에 띄게 다르고 가운데 층은 서로 바꾸거나 순서를 섞어도 된다. 그래서 입력을 잠재공간으로 올리는 층들과 내리는 층들을 따로 두고 가운데만 반복한다(author-stated, Section 3.1).

지표

지표	뜻	단위·범위	방향	분모·정규화	측정 조건	위치
lm-eval-harness accuracy	ARC-E, ARC-C, HellaSwag, MMLU, OBQA, PiQA, SciQ, WinoGrande 정답률	%	높을수록 좋음	제공되면 normalized accuracy	zero-shot, r = 4/8/16/32	Table 1
GSM8K / GSM8K CoT	초등 수학 문장제 정답률. flexible / strict extract 두 값	%	높을수록 좋음	문항 수	zero-shot과 8-way CoT. Figure 8은 chat template + 8-way few-shot multiturn	Table 2, Figure 7–8
Minerva MATH	MATH를 Minerva 평가 규칙으로	% (extract match)	높을수록 좋음	문항 수	r = 32	Table 2
MathQA	수학 객관식	% (acc norm.)	높을수록 좋음	문항 수	r = 32	Table 2
MBPP / HumanEval pass@1	코드 생성 1회 시도 통과율	%	높을수록 좋음	문항 수	bigcode-bench로 실행	Table 3
OBQA closed / open	관련 사실을 주지 않은(closed) / 준(open) OpenBookQA	%	높을수록 좋음	문항 수	r = 32	Table 5
Validation perplexity	검증 데이터 perplexity	실수(log 축)	낮을수록 좋음	토큰 평균	반복 수 1, 4, 8, 16, 32, 64	Figure 5–6
Hidden state correlation	토큰 차원에서 hidden state 상관. 1.0에 가까우면 모든 토큰이 같은 상태(표현 붕괴)	0–1 (log 축)	낮을수록 건강	[위치 미확인: 계산식 미기재]	학습 초기 10000 step	Figure 5
Steps to KL-based threshold	연속 두 반복 사이 KL-divergence가 5 × 10⁻⁴ 아래로 떨어질 때까지 걸린 반복 수	반복 수	적을수록 계산 절약	토큰별	MMLU 범주별 첫 50문항, free-form chat	Figure 10
MT-Bench	대화 벤치마크 1-turn 점수	점수	높을수록 좋음	—	조기 종료·KV 공유 영향 확인	Section 6.1–6.2, Appendix Table 6
‖sᵢ − s*‖	각 반복 상태와 r = 128로 계산한 근사 극한점 s* 사이 거리	거리(log 색)	작을수록 수렴	토큰별	위험한 질문 1개 예시	Figure 11

방법과 벤치마크 구성

거시 구조 (Section 3.1, Figure 2)

표기: 시퀀스 길이 n, hidden 차원 h, 어휘 집합 V. 반복 횟수 r과 입력 토큰 x ∈ Vⁿ이 주어지면 출력 확률 p ∈ ℝ^{n×|V|}를 다음처럼 만든다.

$$\begin{array}{rl}\mathbf{e}& =P(\mathbf{x})\\ {\mathbf{s}}_0& \sim \mathcal{N}(0,{\sigma }^2{I}_{n\cdot h})\\ {\mathbf{s}}_i& =R(\mathbf{e},{\mathbf{s}}_{i-1})\text{for}i\in \{1,\dots ,r\}\\ \mathbf{p}& =C({\mathbf{s}}_r),\end{array}$$

σ는 무작위 상태를 초기화하는 표준편차다. 상태 s ∈ ℝ^{n×h}. 코어 R은 이전 잠재 상태 sᵢ₋₁과 임베딩된 입력 e를 받아 새 상태 sᵢ를 낸다. 모든 반복이 끝나면 coda가 마지막 상태를 처리해 다음 토큰 확률을 낸다.

• prelude P: 여러 transformer 층으로 입력을 잠재공간에 임베딩.
• recurrent block R(core): 상태 s를 갱신하는 반복 계산의 중심.
• coda C: 여러 층으로 잠재공간에서 un-embed, prediction head 포함.

왜 매번 e를 넣는가 (Motivation for this Design). 함수 E(x, y)의 경사하강법은 무작위 x₀에서 시작해 이전 상태 xₖ와 데이터 y에 의존하는 같은 연산을 반복한다. 함수를 실제로 최적화하려면 매 단계 y가 필요하다. 마찬가지로 e를 매 반복 넣는다. 처음에만 넣으면(예: s₀ = e) 해가 경계조건에만 의존해 반복이 안정적이지 않다. 각주 1: e에 의존하지 않으면 R은 monotone operator가 될 수 없어서 엄격 볼록·데이터 의존 함수의 경사하강을 표현할 수 없다는 의미의 “안정”이다(Bauschke et al., 2011)(author-stated, Section 3.1).

Remark 3.1 (Diffusion 모델인가?). diffusion에 더 가까운 변형 sᵢ = R(e, sᵢ₋₁) + n, n ∼ 𝒩(0, σᵢ I_{n·h})을 시험했지만 잡음 주입은 예비 실험에서 도움이 안 됐다. 현재 단계를 입력으로 받는 sᵢ = Rᵢ(e, sᵢ₋₁)(Peebles and Xie, 2023)는 path independence와 나쁘게 상호작용해 외삽하지 못하는 모델이 됐다.

미시 구조 (Section 3.2)

• 각 층: causal self-attention(RoPE, base 50000) + gated SiLU MLP. 정규화는 RMSNorm. query·key에만 학습 가능한 bias.
• Sandwich 정규화 (norm 층 nᵢ):

$$\begin{array}{rl}{\hat{\mathbf{x}}}_l& =n_2\left({\mathbf{x}}_{l-1}+\mathrm{Attn}(n_1({\mathbf{x}}_{l-1}))\right)\\ {\mathbf{x}}_l& =n_4\left({\hat{\mathbf{x}}}_l+\mathrm{MLP}(n_3({\hat{\mathbf{x}}}_l))\right)\end{array}$$

작은 규모에서는 pre-norm, post-norm 등이 거의 비슷했지만, 규모를 키우면 이 정규화가 반복 학습에 필요했다. 각주 2: n₃는 엄밀히는 불필요하지만 최종 모델에 쓴 그대로 보고한다.

• Prelude: 임베딩 행렬 E와 임베딩 scale γ로 입력을 γE(x)로 임베딩한 뒤 l_P개 층을 적용.
• Core R: 먼저 adapter 행렬 A : ℝ^{2h} → ℝ^h가 sᵢ와 e의 concatenation을 h차원으로 사상한다(Bansal et al., 2022). 작은 모델에서는 덧셈으로 다시 넣어도 똑같이 잘 됐지만 규모가 크면 concatenation이 가장 좋았다. 그다음 l_R개 transformer 층, 마지막에 RMSNorm n_c로 다시 scale.
• Coda: l_C개 층, n_c 정규화, tied embedding Eᵀ로 어휘 사상.
• 구조는 삼중항 (l_P, l_R, l_C)와 반복 수 r로 요약한다. 소규모 모델 (1, 4, 1), h = 1024. 대형 모델 (2, 4, 2), h = 5280. “실제” 층은 8개지만 r = 32이면 유효 깊이 2 + 4r + 2 = 132층이다.

학습 목표 (Section 3.3)

시퀀스마다 무작위 반복 수 r을 배정하고, 데이터 분포 X의 샘플 x와 분포 Λ의 반복 수 r에 대한 손실 기댓값을 최적화한다.

$$\mathcal{L}(\theta )={\mathbb{E}}_{\mathbf{x}\in X}{\mathbb{E}}_{r\sim \Lambda }L\left(m_{\theta }(\mathbf{x},r),{\mathbf{x}}^{\prime }\right).$$

m은 모델 출력, x′는 x를 왼쪽으로 민(다음 토큰) 시퀀스. Λ는 log-normal Poisson distribution이다. 목표 평균 반복 r̄ + 1과 σ = 1/2로 다음처럼 샘플링한다(𝒩: 정규분포, 𝒫: Poisson 분포).

$$\tau \sim \mathcal{N}\left(\log (\bar{r})-\frac{1}{2}{\sigma }^2,\sigma \right)(1)r\sim \mathcal{P}(e^{\tau })+1,(2)$$

대부분 r̄보다 작은 값이 나오지만, 훨씬 많은 반복을 하는 heavy tail이 있다(Figure 3).

Truncated backpropagation. 마지막 k번 반복에만 역전파한다(주 실험 k = 8). 그래서 최대 activation 메모리와 backward 계산이 r과 무관해져 heavy-tail 분포로 학습할 수 있다. 작은 규모에서 k를 균등 샘플링한 것만큼 잘 됐다. prelude는 출력 e가 매 반복 주입되므로 매 step gradient를 받는다. 시간이 아니라 깊이 방향의 truncated BPTT와 닮았다.

대규모 학습 (Section 4)

• 데이터: 단일 학습만 가능해서 벤치마크 최적화보다 추론 행동 발현을 노린 혼합. 코드·수학 비중이 크고 일반 웹 텍스트는 언어 능력에 필요한 만큼. 모두 공개 데이터. instruction 데이터를 사전학습에 직접 섞음(Allen-Zhu and Li, 2024). 혼합은 ablation하지 못했다(Figure 4, Appendix C).
• 토크나이저: BPE 65536 어휘, 사전학습 코퍼스의 instruction split 위에서 구축. 시퀀스 길이 4096으로 packing.
• 구조·초기화: (2, 4, 2), 평균 반복 r̄ = 32, h = 5280(head 55개 × 96), MLP inner 17920, RMSNorm ε = 10⁻⁶. 비순환 prelude+head 약 1.5B, core 1.5B, tied 임베딩 0.5B. 대규모에서는 Takase et al.(2024) 초기화 σ_h² = 2/(5h), out-projection은 σ_out² = 1/(5hl), l = l_P + r̄l_R + l_C = 132. 임베딩 출력은 √h로 scale, s₀는 분산 σ_s² = 2/5인 truncated normal에서 샘플.
• Locked-step sampling: micro-batch마다 하나의 r을 뽑아 worker 간에 동기화.
• 최적화: Adam + decoupled weight regularization(β₁ = 0.9, β₂ = 0.95, η = 5 × 10⁻⁴), update clipping, ε 제거, gradient clip 1, 4096 step warm-up 후 상수 learning rate(cooldown 없음).
• 하드웨어: ORNL Frontier(AMD MI250X), 4096 GPU에서 GPU당 52–64 TFLOP/s(41%–51% AFU), 초당 1–1.2M 토큰. 전역 batch 16M 토큰/step. data parallel만 사용.
• 일정: 최대 12시간짜리 21개 구간, 주로 2024년 12월 초. 795B 토큰을 스케줄했다(Section 4.2). 고정 깊이 baseline(core를 1회만 통과)은 같은 설정으로 180B 토큰.
• 정규화·초기화의 중요성 (Section 4.3, Figure 5): Bad Run 1(parameter-free RMSNorm, 임베딩 scale 없음, A(s, e) = s + e, peak LR 4 × 10⁻⁴)은 hidden state 상관이 1.0으로 가는 표현 붕괴로 멈췄다. Bad Run 2(임베딩 scale 추가, pre-norm, 학습 adapter)는 회복했지만 반복 1회든 32회든 검증 perplexity가 같았다. 들어오는 상태 s를 무시하는 국소해에 빠진 것이다. Main run은 sandwich 형식으로 되돌리고 peak LR을 4 × 10⁻⁵로 낮춰 성공했다. 이 run의 최종 checkpoint가 Huginn-0125다.

주의(analyst-inference): Section 4.1은 η = 5 × 10⁻⁴라고 쓰고, Section 4.3은 main run에서 peak LR을 4 × 10⁻⁵로 낮췄다고 쓴다. 두 값이 다르다. 학습 토큰도 Section 4.2는 795B, 나머지 본문은 800B로 적는다.

평가 구성 (Section 5)

비교 대상은 공개 데이터로 학습한 비슷한 규모의 오픈 모델: Amber, Pythia(2.8b/6.9b/12b), OLMo 1·2 변형. 코드는 starcoder2-3b/7b도. 표준 과제는 lm-eval harness, 코드는 bigcode-bench로 실행. 반복 수 r을 바꿔 가며 같은 모델을 평가한다.

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
반복을 늘리면 표준 벤치마크가 오른다	Table 1	ARC-C 27.99(r=4) → 38.23(r=32), HellaSwag 43.46 → 65.21, SciQ 80.00 → 93.50(r=16에서 93.90)	zero-shot, normalized acc	author-stated
Pythia보다 낫고 OLMo-7B와 대략 비슷, 이후 OLMo에는 뒤진다	Table 1, Section 5.1	예: ARC-E 69.91 vs OLMo-7B 68.81, OLMo-2-1124 82.79. MMLU 31.38 vs OLMo-7B 28.39, OLMo-7B-0424 47.46	학습 토큰 0.8T vs OLMo 2.05–4T	author-stated
수학에서 최신 OLMo-2를 뺀 모든 비교 모델을 크게 앞선다	Table 2, Section 5.2	GSM8K CoT 34.80/42.08(w/ sys. prompt, r=32), MATH 12.58(w/o)·11.24(w/). OLMo-7B-0724 28.89/28.89, OLMo-2-1124-7B 61.94/66.19	strict/flexible	author-stated
범용 오픈 모델 중 코드 최고, 전용 코드 모델엔 못 미침	Table 3	MBPP 24.80, HumanEval 23.17. starcoder2-7b 43.80/31.70	starcoder2는 3.3–3.7T 토큰	author-stated
포화 지점은 과제에 따라 다르다	Figure 1, Figure 7, Section 5.2	HellaSwag는 8 반복이면 거의 최고, GSM8K CoT·HumanEval은 더 많은 반복을 씀	그래프	author-stated
성능 향상은 순환에서 온다	Table 4, Section 5.3	180B 토큰 시점: 고정 깊이 baseline GSM8K CoT 1.82/2.20 vs 순환 r=32 9.02/10.24(약 5배), ARC-C 26.96 vs 29.18. SciQ 등 회상형은 차이 작음(73.20 vs 80.60)	같은 데이터·설정. 단, baseline은 180B에서만 비교	author-stated
반복 1회 성능은 180B 이후 거의 안 오른다	Table 4, Section 5.2	r=1: 180B ckpt ARC-E 34.01, 800B 34.89. SciQ는 54.10 → 47.10으로 오히려 하락	저자 해석: 향상은 prelude/coda가 아니라 반복 block에 저장	author-stated
어려운 과제는 학습 예산에 거의 선형으로 오른다(충분한 반복 시)	Figure 8	GSM8K CoT 32·64 Rec가 학습 진행에 따라 상승, 1·4 Rec는 거의 0	그래프	author-stated
few-shot 예시가 많을수록 더 많은 반복을 쓴다	Figure 9, Section 5.3	0-shot은 8–12 반복에서 포화, 1-shot 약 20, 25–50-shot 약 32	ARC-C, un-normalized accuracy	author-stated
사실을 주면(open) 격차가 거의 닫힌다	Table 5	Ours closed 38.2 → open 49.2(+11.0). OLMo-2-1124 46.2 → 53.4	Table 1의 OBQA r=32 값은 38.80, Table 5 closed는 38.2로 서로 다름	author-stated
가중치 평균(EMA)이 cooldown 효과를 낸다	Section 5.4	GSM8K 47.23% flexible(38.59% strict), r = 64	β = 0.9, 마지막 75 checkpoint, dilation 7	author-stated
추가 학습 없는 토큰별 조기 종료가 된다	Section 6.1, Figure 10	KL < 5 × 10⁻⁴에서 종료. 평균 반복: high school mathematics 12.7, moral scenarios 16.2(3.5 차이). MT-Bench standard 5.63 vs early exits 5.56	MMLU 범주별 첫 50문항	author-stated
KV-cache 공유가 성능을 떨어뜨리지 않는다	Section 6.2	반복 i에서 cache 항목 i mod k 사용. MT-Bench cache budget 4: 5.86	Appendix Table 6, 차이는 통계적으로 유의하지 않음	author-stated
연속 CoT(이전 토큰 sᵣ로 warm-start)가 수렴 반복을 줄인다	Section 6.3, Figure 10	평균 1–2 반복 감소. 예: philosophy 14.6 → 13.5	Hao et al.(2024)와 관련	author-stated
자기 추측 디코딩이 별도 draft 모델 없이 된다	Section 6.4	적은 반복 N으로 draft, M > N으로 검증	속도 수치는 본문에 보고되지 않았다	author-stated
토큰마다 수렴 속도가 다르고, orbit·slider 같은 궤적이 나타난다	Section 7, Figure 11–12	질문의 핵심 부분이 더 오래 숙고됨. 숫자 “3”은 orbit, “wrong”은 slider	정성적 예시 몇 개	author-stated
path independence가 유지된다	Section 7, Appendix Figure 22	여러 s₀에서 시작해도 같은 orbit·고정점·drift가 나타남	부록 그림	author-stated

결과들의 연결. 설계 논리는 “매번 e 주입 + 무작위 s₀ → path independence → 학습 때 본 적 없는 큰 r에서도 안정 → test-time에 r을 늘리면 성능 향상”으로 이어진다. Table 4의 r = 1 결과가 거의 무작위 수준이라는 점은, 이 모델이 반복 없이는 제대로 작동하지 않으며 능력이 반복 block에 들어 있다는 저자 해석을 뒷받침한다. 다만 Table 1–3의 다른 모델 비교는 학습 데이터·토큰 수가 모두 달라 구조 효과만 분리한 비교는 Table 4 하나다(analyst-inference).

Take-home

핵심 메시지. 같은 core block을 잠재공간에서 반복하고 매 반복 입력을 다시 넣으며, 학습 때 반복 수를 무작위로 주면, CoT 데이터 없이도 추론 때 반복만 늘려 성능이 오르는 LLM을 사전학습할 수 있다.

성립 범위. 3.5B 파라미터, 800B 토큰, 단일 학습 run, 코드·수학 비중이 큰 공개 데이터 혼합, 영어 벤치마크. 다른 규모·데이터에서의 반복 검증은 없다.

저자가 인정한 한계 (author-stated).

• proof-of-concept이며 단일 모델만 학습했다(Section 10).
• 주 checkpoint는 47000 step만 학습했고, 검증되지 않은 데이터 혼합이며, learning rate를 peak에서 내리지 않았다(Section 5).
• 데이터 혼합을 ablation하지 못했다(Section 4.1).
• 800B 토큰은 OLMo 같은 최신 오픈 모델보다 적고 산업 모델보다 훨씬 적다(Section 5).
• 사실 암기 용량이 적다(Table 5 해석, Section 5.3).
• 단일 순환 단계만 다뤘고, 선형 attention·MoE 같은 다른 구조 개선과의 관계는 다루지 않았다(Section 9).

작성자가 보는 우려 (analyst-inference).

• LR 값(5 × 10⁻⁴ vs 4 × 10⁻⁵), 학습 토큰(795B vs 800B), OBQA r=32 값(38.80 vs 38.2)처럼 본문 안에서 숫자가 어긋나는 곳이 있다.
• 고정 깊이 baseline은 180B 토큰까지만 있어 800B 시점의 구조 효과는 직접 비교되지 않는다.
• “50B 파라미터 상당 계산”은 FLOP 환산이며 50B 모델과 같은 성능이라는 뜻이 아니다.
• Section 7의 orbit·slider 해석은 몇 개 토큰의 PCA 투영에 근거한 정성 관찰이다.
• Figure 2는 마지막 상태를 s_R로, 식은 s_r로 적는다(표기 차이일 뿐 같은 대상으로 보인다).

재현성. 학습 seed 반복은 보고되지 않았다(단일 run). 모델(huggingface.co/tomg-group-umd/huginn-0125), 코드·데이터(github.com/seal-rg/recurrent-pretraining), 일부 중간 checkpoint를 공개했다고 밝힌다(Section 1, 4.1).

본문 도표

Figure 1 — test-time 반복에 따른 정확도

• 무엇을 보여주는가: 3.5B 순환 깊이 모델을 test-time에 더 오래 반복하면 정확도가 오르는 모습. ARC challenge, GSM8K CoT, OpenBookQA.
• 읽는 법: x축 Test-Time Compute Recurrence(1, 4, 6, 8, 12, 20, 32, 48, 64, log 간격), y축 Accuracy(%). 위쪽 축은 그 반복 수에 해당하는 “Materialized Parameters”(3.6B, 8.3B, 11.5B, 14.6B, 21.0B, 33.6B, 52.6B, 77.9B, 103B).
• 핵심 관찰 (그래프 판독, analyst-inference): GSM8K CoT는 r = 1–4에서 거의 0이다가 8에서 약 24, 12에서 약 38, 32 이후 약 47에서 평평하다. ARC-C는 약 22에서 약 44–45로, OpenBookQA는 약 25에서 약 41로 오르며 더 일찍 포화한다.
• 의미와 주의: 저자는 덜 추론적인 OpenBookQA가 GSM8K보다 빨리 수렴하고, GSM8K는 계산을 더 효과적으로 쓴다고 해석한다(author-stated, 캡션). 그래프의 GSM8K CoT 최고값은 Table 2의 r = 32 값(42.08)보다 높아 보이는데, 어느 checkpoint·설정인지 캡션에 적혀 있지 않다(analyst-inference).
• 확인 상태: viewed

Figure 2 — 구조도

• 무엇을 보여주는가: prelude(파랑) → recurrent block(초록, 공유) 반복 → coda(빨강)로 “Hello”에서 “World”를 예측하는 흐름.
• 읽는 법: 𝒩(0, σ²I_{n·h})에서 뽑은 s₀가 첫 R로 들어가고, P의 출력 e가 점선(Input Injection)으로 모든 R에 들어간다. 실선은 Residual Stream. 마지막 상태 s_R가 C로 가서 p를 낸다.
• 핵심 관찰: 반복되는 R은 모두 같은 block이고, e는 첫 R뿐 아니라 매 R에 들어간다.
• 의미와 주의: 각 block은 여러 sub-layer로 구성된다(캡션). 그림의 s_R은 본문 식의 s_r에 대응한다(analyst-inference).
• 확인 상태: viewed

Figure 3 — 학습 반복 수 분포

• 무엇을 보여주는가: 학습 step마다 반복 수 r을 뽑는 log-normal Poisson 분포의 밀도.
• 읽는 법: x축 Sampled r(0–150), y축 Density. 세로 점선은 Mean = 33.0(파랑), Median = 29.0(초록), Mode = 24.0(빨강).
• 핵심 관찰: 최빈값 24 근처에 봉우리가 있고 오른쪽으로 150까지 긴 꼬리가 있다.
• 의미와 주의: 대부분 r̄보다 작은 값을 뽑지만 가끔 훨씬 많은 반복을 하는 heavy tail이 있다(author-stated, Section 3.3). 이 꼬리 덕분에 학습 중에도 긴 반복을 간간이 겪는다(analyst-inference).
• 확인 상태: viewed

Figure 4 — 사전학습 데이터 구성

• 무엇을 보여주는가: 학습 데이터 출처 비율 파이 차트.
• 읽는 법: 범주별 비율.
• 핵심 관찰: generic-text 28.71%, code 25.36%, scientific-text 18.73%, synthetic-text 8.14%, longform-text 7.50%, math 6.14%, generic-instruct 2.09%, Q&A-text 1.58%, math-instruct 1.51%, writing-instruct 0.12%, misc-reasoning 0.11%.
• 의미와 주의: 대부분이 일반 웹 텍스트, 과학 글, 코드다(캡션). 세부 출처는 Appendix C Table 7–8.
• 확인 상태: viewed

Figure 5 — 실패한 두 run과 성공한 run

• 무엇을 보여주는가: 학습 초기 10000 step의 세 run(Main, Bad Run 1, Bad Run 2).
• 읽는 법: 왼쪽 Loss(log), 가운데 Hidden State Corr.(log), 오른쪽 Val PPL(log)을 반복 수 1, 4, 8, 16, 32, 64별 선 모양으로. x축 Optimizer Step(log).
• 핵심 관찰: Bad Run 1(주황)은 loss가 일찍 평평해지고 hidden state 상관이 10⁰(=1.0) 근처에 붙어 있다. Bad Run 2(초록)는 상관이 처음엔 높다가 떨어지지만, 오른쪽에서 반복 수별 선이 갈라지지 않는다. Main(파랑)은 상관이 낮고, 반복 수가 클수록 Val PPL이 낮게 갈라진다.
• 의미와 주의: 저자는 실패 run의 hidden state 붕괴와 반복 붕괴가 구조·초기화의 중요성을 보여주고 사전학습 loss 부진을 설명한다고 해석한다(author-stated, 캡션, Section 4.3).
• 확인 상태: viewed

Figure 6 — 주 run의 학습 곡선

• 무엇을 보여주는가: 왼쪽은 800B 토큰 동안의 사전학습 loss, 오른쪽은 반복 깊이 1, 4, 8, 16, 32, 64에서의 검증 perplexity.
• 읽는 법: x축 Step(log)과 위쪽 Tokens(log). y축 Loss 또는 Validation Perplexity(log).
• 핵심 관찰 (그래프 판독, analyst-inference): loss는 매끄럽게 내려가고 큰 spike가 없다. 검증 perplexity는 반복 1이 다른 깊이보다 뚜렷이 높고, 4는 그 사이, 8–64는 거의 겹친다.
• 의미와 주의: 학습 중 모든 반복 수준에서 perplexity가 좋아진다(author-stated, 캡션).
• 확인 상태: viewed

Table 1 — lm-eval-harness zero-shot 결과

• 무엇을 보여주는가: 8개 표준 과제에서 오픈 모델들과 Huginn(r = 4, 8, 16, 32) 비교.
• 읽는 법: 열은 Param, Tokens, ARC-E, ARC-C, HellaSwag, MMLU, OBQA, PiQA, SciQ, WinoGrande. 맨 위 random 행이 우연 수준. 제공되면 normalized accuracy.
• 핵심 관찰: r = 4 → 32에서 ARC-E 49.07 → 69.91, HellaSwag 43.46 → 65.21, MMLU 23.39 → 31.38(random 25.0). 비교: OLMo-7B ARC-E 68.81, MMLU 28.39. OLMo-2-1124 ARC-E 82.79, MMLU 60.56. 예외: SciQ는 r = 16(93.90)이 r = 32(93.50)보다 약간 높다.
• 의미와 주의: 저자 해석은 Pythia보다 낫고 OLMo-7B와 대략 비슷하며 이후 OLMo에는 뒤진다는 것(author-stated, Section 5.1). 토큰 수가 0.8T로 비교 모델보다 적다.
• 확인 상태: viewed

Table 2 — 수학 추론

• 무엇을 보여주는가: GSM8K, GSM8K CoT, Minerva MATH, MathQA 비교.
• 읽는 법: GSM8K류는 flexible/strict extract 두 값, Minerva MATH는 extract match, MathQA는 acc norm. Ours는 system prompt 없음/있음 두 행(r = 32).
• 핵심 관찰: Ours w/o sys. prompt GSM8K 28.05/28.20, GSM8K CoT 32.60/34.57, MATH 12.58, MathQA 26.60. w/ sys. prompt GSM8K 24.87/38.13, GSM8K CoT 34.80/42.08, MATH 11.24, MathQA 27.97. OLMo-2-1124-7B는 66.72/66.79, 61.94/66.19, 19.08, 37.59로 더 높다. OLMo-7B-0724 GSM8K CoT 28.89/28.89.
• 의미와 주의: system prompt는 GSM8K 쪽 값을 올리지만 MATH는 오히려 낮춘다(12.58 → 11.24)(analyst-inference). MathQA는 random 20.00에 가깝다.
• 확인 상태: viewed

Table 3 — 코드 벤치마크

• 무엇을 보여주는가: MBPP와 HumanEval pass@1.
• 읽는 법: 열 Param, Tokens, MBPP, HumanEval.
• 핵심 관찰: Ours(r = 32) 24.80 / 23.17. 범용 모델 중 OLMo-7B-0724 25.60 / 20.12, OLMo-7B-0424 21.20 / 16.46. 코드 전용 starcoder2-7b 43.80 / 31.70.
• 의미와 주의: 저자는 범용 오픈 모델을 모두 이긴다고 말하지만(author-stated, Section 5.2), MBPP에서는 OLMo-7B-0724(25.60)가 Ours(24.80)보다 약간 높다. HumanEval에서만 범용 모델 중 최고다(analyst-inference).
• 확인 상태: viewed

Figure 7 — 반복 수에 따른 과제별 성능

• 무엇을 보여주는가: GSM8K CoT(strict, flexible), HellaSwag(acc norm.), HumanEval(pass@1)을 test-time 반복 1, 4, 8, 16, 32, 64에서.
• 읽는 법: x축 Recurrence at Test-Time, y축 Performance.
• 핵심 관찰 (그래프 판독, analyst-inference): HellaSwag는 1에서 약 29, 8에서 약 60, 16 이후 약 65로 평평. GSM8K CoT flexible은 4까지 거의 0, 16에서 약 38, 32–64에서 약 41. HumanEval은 16에서 약 20, 32–64에서 약 23.
• 의미와 주의: HellaSwag는 8 반복이면 거의 최고 성능이고 다른 과제는 계산을 더 쓴다(author-stated, 캡션).
• 확인 상태: viewed

Table 4 — 순환 모델 vs 고정 깊이 baseline

• 무엇을 보여주는가: 같은 설정·데이터로 학습한 고정 깊이 baseline(0.18T)과 순환 모델(0.18T early ckpt, 0.8T)을 r = 1과 r = 32로 비교.
• 읽는 법: 열은 Table 1의 8개 과제 + GSM8K CoT(strict/flexible로 보임).
• 핵심 관찰: 0.18T에서 baseline vs 순환 r = 32: ARC-C 26.96 vs 29.18, HellaSwag 37.34 vs 48.80, SciQ 73.20 vs 80.60, GSM8K CoT 1.82/2.20 vs 9.02/10.24. 순환 r = 1은 0.18T·0.8T 모두 GSM8K CoT 거의 0(0.00/0.15, 0.00/0.00). 예외: 0.18T에서 WinoGrande는 r = 1(53.75)이 r = 32(52.88)보다 약간 높다.
• 의미와 주의: 저자는 180B 토큰에서도 순환 모델이 어려운 과제에서 크게 앞선다고 해석한다(author-stated, 캡션). r = 1 성능이 baseline보다 낮다는 것은, 순환 모델이 반복 없이 쓰이도록 학습되지 않았음을 보여 준다(analyst-inference).
• 확인 상태: viewed

Figure 8 — 학습 토큰에 따른 성능 (반복 수별)

• 무엇을 보여주는가: 학습 토큰 100–800B에서 GSM8K CoT, HellaSwag, HumanEval 성능을 반복 1, 4, 8, 16, 32, 64별로.
• 읽는 법: x축 Tokens Trained(Billion), y축 각 과제 점수. GSM8K CoT는 chat template + 8-way few-shot multiturn, HellaSwag·HumanEval은 zero-shot·chat template 없음.
• 핵심 관찰 (그래프 판독, analyst-inference): GSM8K CoT는 32·64 Rec가 100B 약 3에서 700B 약 36까지 오르고, 8 Rec는 약 14–21, 1·4 Rec는 거의 0. HellaSwag는 32·64 Rec 약 40 → 65, 1 Rec는 약 29에서 거의 변화 없음. HumanEval은 32·64 Rec가 800B에서 약 23, 1 Rec는 0.
• 의미와 주의: 충분한 test-time 계산이 주어지면 어려운 과제의 성능이 학습 예산에 거의 선형으로 오른다(author-stated, 캡션).
• 확인 상태: viewed

Figure 9 — few-shot 수와 포화 지점

• 무엇을 보여주는가: ARC-C 정확도(un-normalized)를 test-time 반복과 few-shot 수(0, 1, 5, 25, 50)별로.
• 읽는 법: x축 반복 수(1–64), y축 ARC Challenge Accuracy(%). 점은 측정값과 오차막대, 선은 적합 곡선.
• 핵심 관찰 (그래프 판독, analyst-inference): 0-shot은 약 34에서 8–12 반복 이후 평평하다. 1-shot은 약 40, 5-shot 약 42, 25·50-shot은 약 43까지 더 많은 반복에서 계속 오른다.
• 의미와 주의: 포화 지점이 few-shot 수와 상관되며, 더 많은 context가 주어지면 그 정보를 추출하는 데 반복을 더 쓴다(author-stated, 캡션). Yang et al.(2024a)·Fan et al.(2025)의 일반화 향상과 비슷하다고 저자는 말한다.
• 확인 상태: viewed

Table 5 — Closed vs Open QA

• 무엇을 보여주는가: OpenBookQA를 관련 사실 없이(closed) / 사실을 먼저 주고(open) 풀었을 때.
• 읽는 법: 열 Closed, Open, ∆(%).
• 핵심 관찰: Ours(r = 32) 38.2 → 49.2(+11.0). OLMo-2-1124 46.2 → 53.4(+7.2), OLMo-7B-0724 41.6 → 53.2(+11.6). Closed에서 Ours는 OLMo-2보다 8.0 낮지만 Open에서는 4.2 낮다.
• 의미와 주의: 저자 해석은 모델이 추론 능력은 있지만 암기한 사실이 적다는 것(author-stated, 캡션). Table 1의 OBQA(r = 32) 38.80과 이 표의 Closed 38.2는 다르다(analyst-inference).
• 확인 상태: viewed

Figure 10 — 토큰별 조기 종료 분포

• 무엇을 보여주는가: MMLU 4개 범주에서 KL 기준 종료까지 걸린 반복 수의 히스토그램. 기본(Default)과 zero-shot 연속 CoT(Cont. CoT)를 겹쳐 그림.
• 읽는 법: x축 Steps to KL-based Threshold(0–30), y축 Density. 범례에 평균 μ. 종료 임계값 5 × 10⁻⁴.
• 핵심 관찰: 평균 μ(Default / Cont. CoT): high school mathematics 12.7 / 11.9, philosophy 14.6 / 13.5, logical fallacies 15.6 / 14.4, moral scenarios 16.2 / 16.0.
• 의미와 주의: 고등학교 수학에서 더 빨리 수렴하고, philosophy처럼 일부 과제에서는 잠재 CoT로 상태를 재사용해 일부 토큰에서 빨리 수렴한다(author-stated, 캡션). “수학이 쉽다”로 일반화하기에는 범주 4개·각 50문항이다(analyst-inference).
• 확인 상태: viewed

Figure 11 — 토큰별 잠재 상태 수렴

• 무엇을 보여주는가: 위험한 질문(unsafe question) 한 개에 대해 각 토큰(위→아래)과 반복(왼→오른쪽)별 ‖s − s*‖. s*는 r = 128로 구한 최종 반복.
• 읽는 법: x축 Iterations at Test Time(0–60대), y축 토큰. 색은 Log Distance(밝을수록 멂).
• 핵심 관찰: 대부분 토큰은 10–20 반복 안에 어두워지지만(수렴), 질문의 핵심 부분 “really wrong-ed” 줄은 60 반복 가까이 밝게 남는다. “school” 토큰은 진동 패턴을 보인다.
• 의미와 주의: 학습 때는 시퀀스 전체에 r을 고정했는데도 토큰마다 다른 수렴 속도가 규모와 함께 나타났다(author-stated, 캡션). 캡션에 따르면 그림에 없는 부분에서 모델은 숙고 후 답을 거부했다.
• 확인 상태: viewed

Figure 12 — 잠재 궤적의 세 유형

• 무엇을 보여주는가: 세 토큰(” deeper”, ” 3”, ” wrong”)의 잠재 궤적을 첫 6개 PCA 방향(PC1-PC2, PC3-PC4, PC5-PC6)에 투영.
• 읽는 법: 색이 어두운 쪽에서 밝은 쪽으로 반복이 진행된다. 빨간 ×는 무게중심. PCA는 한 시퀀스의 모든 토큰 궤적에서 계산.
• 핵심 관찰: 윗줄(” deeper”)은 한 점으로 수렴한다. 가운데 줄(” 3”, GSM8K 질문의 숫자)은 세 평면 모두에서 orbit(고리) 모양을 그린다. 아랫줄(” wrong”) PC3-PC4는 한 방향으로 미끄러지는 “slider”다.
• 의미와 주의: 저자는 orbit·slider가 산술이나 복잡한 숙고 같은 고급 개념을 표현·처리하는 데 쓰인다고 관찰한다(author-stated, 캡션). slider는 반복 횟수를 세는 장치일 수 있다는 것도 저자 추측이다(Section 7). 몇 개 토큰의 정성적 예시다(analyst-inference).
• 확인 상태: viewed

Wiki 연결

• Looped Transformers for Length Generalization — 같은 “입력 재주입 + 가변 반복” 아이디어를 합성 알고리즘 과제에서 보인 Fan et al.(2025). 이 논문 Section 5.3·8에서 인용.
• Training Large Language Models to Reason in a Continuous Latent Space — Hao et al.(2024) continuous CoT. 고정 깊이 모델을 미세조정해 잠재 추론을 붙이는 대안으로 Section 6.3에서 비교.
• Relaxed Recursive Transformers - Effective Parameter Sharing with Layer-wise LoRA — Bae et al.(2024). weight-shared 층 위 LoRA라는 하이브리드로 Section 8에서 언급.
• Looped Transformers as Programmable Computers — Giannou et al.(2023), looped Transformer 이론 계보.
• Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — 반복의 안정성·고정점 수렴·적응 정지를 다루는 후속 계열. 이 논문의 path independence·KL 조기 종료와 비교할 만하다.

BibTeX

@article{geiping2025scaling,
  title   = {Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach},
  author  = {Geiping, Jonas and McLeish, Sean and Jain, Neel and Kirchenbauer, John and Singh, Siddharth and Bartoldson, Brian R. and Kailkhura, Bhavya and Bhatele, Abhinav and Goldstein, Tom},
  journal = {arXiv preprint arXiv:2502.05171},
  year    = {2025}
}