사전학습된 언어모델에 반복(recurrence)을 덧붙여 더 깊이 생각하게 하기

개요

**Depth-recurrent 모델(같은 층 묶음을 여러 번 반복 통과시켜, 추론할 때 반복 횟수를 늘리는 것만으로 계산을 더 쓰는 모델)**은 CoT처럼 토큰을 더 생성하지 않고도 test-time compute를 늘릴 수 있다. 문제는 학습 비용이다. 대표 사례인 Huginn-0125(Geiping et al., 2025)는 평균 32번 반복하며 800B 토큰을 처음부터 학습했는데, 같은 파라미터의 일반 모델보다 훨씬 느리다. 이 논문이 짚은 점은 이렇다. Transformer 층들은 residual stream이라는 같은 표현 공간에 값을 써 넣기 때문에, 이미 학습된 모델의 층 묶음 출력을 다시 그 묶음의 입력으로 넣어도 말이 된다. 그렇다면 굳이 처음부터 학습할 필요 없이 **기존 모델을 개조(retrofit)**하면 된다. 구체적으로, 사전학습 모델의 앞쪽 층을 prelude(입력을 표현으로 바꾸는 앞부분), 뒤쪽 층을 **recurrent block(반복할 핵심 블록)**과 **coda(출력부)**로 쓰고 가운데 층은 버린다. 그다음 반복 횟수의 평균을 학습 초반엔 작게 시작해 점점 키우는 recurrence curriculum으로 이어 학습한다. 비유하면 처음부터 마라톤 거리로 훈련하지 않고 거리를 조금씩 늘리는 것이다. 결과적으로 Llama-3.2-1B 층으로 초기화하면 무작위 초기화보다 loss가 일관되게 낮았고(Figure 2), curriculum은 같은 FLOPs에서 더 낮은 loss를 냈다(Figure 3). 핵심 결과로, 약 50B 토큰의 수학 데이터로 이어 학습했을 때 파라미터가 72.7%로 줄어든 TinyLlama (4,8,4) 반복 모델은 원래 TinyLlama를 같은 데이터로 학습한 것보다 GSM8K가 높았다(Figure 5). 반면 수학만 학습하면 일반 벤치마크가 조금 떨어지는데, FineWeb-Edu로 먼저 26B 토큰 **healing(층을 잘라낸 뒤 언어 능력을 회복시키는 단계)**을 거치면 Arc-C가 5% 오르고 대부분 벤치마크에서 원래 모델과 같거나 높아졌다(Table 1).

Implication: depth-recurrence는 “처음부터 새로 학습하는 비싼 구조”가 아니라 기존 모델 위에 붙이는 후속 학습 단계(문맥 길이 확장처럼)로 다룰 수 있다. 다만 확인 범위는 1B 모델, 50B 토큰 이하, 수학 과제다.

📎 https://arxiv.org/abs/2511.07384

배경과 문제

왜 중요한가. Test-time compute scaling의 주류는 CoT를 길게 쓰거나 후보를 여러 개 생성해 고르는 방식이다(Snell et al., 2024; Guo et al., 2025 인용). Depth-recurrence는 계산을 늘려도 추론 메모리나 문맥 길이가 늘지 않고, 생각을 토큰으로 말하지 않아 정보 대역폭이 높은 latent 공간에서 더 복잡한 추론이 가능할 수 있으며, 특수한 추론 trace 없이 일반 데이터로 학습할 수 있다는 장점이 있다(author-stated, Section 1).

왜 어려운가. Geiping et al.(2025)은 depth-recurrent Transformer를 800B 토큰으로 처음부터 학습했는데, 학습 중에도 많은 반복을 돌려 같은 파라미터 고정 깊이 모델보다 학습이 크게 느리다(author-stated, Section 1). 또 개조 과정에서 파라미터를 더하고(어댑터) 빼므로(층 제거), 사전학습 지식이 넘어간다는 보장이 없다(author-stated, Section 1).

학술적 계보 (저자가 직접 언급한 것, Section 2).

Recurrent/Universal Transformer: Universal Transformer의 Turing 완전성(Dehghani et al., 2018), 고정 반복 횟수 가중치 공유 모델들(ALBERT 등), 그리고 Saunshi et al.(2025) → Reasoning with Latent Thoughts - On the Power of Looped Transformers.
적응적 깊이: ACT(Graves, 2016), data-dependent exit을 갖는 모델들(Geiping et al., 2025; Bae et al., 2025), Mixture-of-Depths(Raposo et al., 2024), 가중치 공유 + 적응 exit의 Mixture-of-Recursions(Bae et al., 2025) → Mixture-of-Recursions - Learning Dynamic Recursive Depths for Adaptive Token-Level Computation.
Model surgery: 사후 구조 변경(Net2Net 등). 가장 가까운 선행 연구는 Bae et al.(2024) Relaxed Recursive Transformer — 사전학습 모델을 2–3회 재귀 모델로 바꾸지만 LoRA 어댑터가 필요하고, 더 반복하면 성능이 떨어져 test-time compute를 활용하지 못한다. 동시기 연구 Koishekenov et al.(2025)은 OLMo를 개조하지만 input injection 없이, 모든 파라미터를 유지하고, 고정 반복으로 학습하며, 학습·추론 계산량 기준으로 결과를 제시하지 않는다(author-stated, Section 2).
Latent reasoning: HRM(Wang et al., 2025)과 그 ablation(ARC Prize Team, 2025) — 핵심은 주 반복뿐이고 결국 Geiping et al.(2025)과 비슷한 모델로 환원된다는 지적. 이 논문은 Geiping et al.(2025)의 학습 레시피(Huginn)를 출발점으로 삼는다(author-stated, Section 2).
Gradual stacking: 학습 중 층을 복제해 깊이를 늘리는 기법(Gong et al., 2019 등)이 recurrence curriculum의 유비다(author-stated, Section 4.2).

이 논문의 차이. 증류나 보조 어댑터(LoRA) 없이 사전학습 층을 재사용하고, 반복을 늘릴수록 성능이 오르며(test-time compute 활용), 모든 결과를 학습 FLOPs 기준으로 비교한다(author-stated, Section 2).

지표

지표	무엇을 세는가	단위·범위	방향	분모·정규화	측정 조건	원문 위치
Training loss / Validation loss	다음 토큰 cross-entropy	nats로 추정(단위 명시 없음 → `unknown`)	↓	토큰 평균	Validation은 100만 토큰, 1000 step마다	Figure 2, 3, 4
Hellaswag 0-shot accuracy	문장 이어쓰기 4지선다 정답률	0–1	↑	문항 평균	반복 1, 2, 4, 8, 16, 32	Figure 2 오른쪽
GSM8K accuracy	초등 수학 문장제 정답률(flexible extract)	0–1 또는 %	↑	문항 평균	1-shot. 답 형식이 교란 변수가 되지 않게 flexible extract 사용	Figure 5, 7, Table 1, Section 4.3.2
MATH accuracy	경시 수학 정답률	0–1 또는 %	↑	문항 평균	1-shot, Minerva 기준 + Math-Verify	Figure 6, 7, Table 1
일반 벤치마크 (Arc-E, Arc-C, HS, WG, MMLU, PIQA, OBQA)	0-shot 정답률	%	↑	문항 평균	Table 1 조건, 반복 1·32	Table 1, Figure 8
학습 FLOPs	학습 계산량	FLOPs (1e20, 1e21)	비교 축	고정 깊이: $6 N D$ . 반복 모델: $(6 N_{1} + 2 N_{2}) D$ , $N_{1}$ =gradient가 기록되는 파라미터, $N_{2}$ =forward만 쓰는 파라미터, 평균 학습 반복 수 기준	임베딩 제외	Section 3 “Calculating Training Cost”
파라미터 수	중복 없이 센 고유 학습 파라미터	개수	—	임베딩·언임베딩 제외	—	Section 3, Appendix E

“Train recurrence = k”는 학습 때 반복 수를 뽑는 Poisson-Lognormal 분포의 평균이 k라는 뜻이고, “Test recurrence”는 추론 때 고정한 반복 수다(Section 3).

방법과 벤치마크 구성

모델 구조 (Section 3, Figure 1). Geiping et al.(2025)과 같은 표기. $e = P (x)$ (prelude), $s_{0} \sim N (0, σ^{2})$ (무작위 초기 상태), $s_{i} = R (e, s_{i - 1})$ 을 $r$ 번(recurrent block), $p = C (s_{r})$ (coda). $R$ 의 맨 앞에는 $s_{i}$ 와 $e$ 를 이어 붙인 $2 h$ 차원을 $h$ 로 줄이는 linear adapter가 있다. 즉 매 반복마다 prelude 출력 $e$ 를 다시 넣는다(input injection).

Model surgery (Section 3). (prelude, recurrent, coda) 층 수를 튜플로 표기. 예: 22층 TinyLlama의 (4,8,4)는 층 [0–3], [10–17], [18–21]을 쓰고 4–9를 버린다. 앞쪽 층은 prelude, 뒤쪽 층은 recurrent block과 coda로 쓰는 선택이 가장 좋았다(Appendix Figure 12·13, ShortGPT 가지치기와 비교). OLMo-2-0425-1B와 Llama-3.2-1B는 (4,6,4)로 층 4–5를 버린다. 남는 파라미터는 TinyLlama 약 700M(72.7%), OLMo 약 900M(87.5%)(Section 4.3).

학습 설정 (Section 3, Appendix B). 학습마다 반복 수 $r$ 을 Poisson-Lognormal 분포에서 뽑고, truncated backpropagation으로 마지막 최대 8번의 반복에만 gradient를 기록한다. 정규화는 블록당 2개로 줄였다(Huginn은 4개). GQA, 문맥 길이 1024, 임베딩·언임베딩 비공유. bfloat16, Flash Attention, AMD MI300A, warmup-stable-decay 스케줄. 최적화기는 Muon(Section 4.3.1에서 AdamW보다 안정적이라 이후 전부 Muon).

실험 구성.

초기화 비교 (Section 4.1): (2,4,2) 모델을 Llama-3.2-1B 층 vs 무작위(Takase et al., 2023 방식)로 초기화, FineWeb-Edu 약 120B 토큰, 평균 반복 32.
반복 curriculum (Section 4.2): (2,4,2) Llama 초기화 모델, 4 MI300A로 48시간(약 1e20 FLOPs). 평균 반복을 일정 step 동안 선형으로 32까지 올리는 것 vs 처음부터 32.
최적화기 (Section 4.3.1): TinyLlama (4,8,4), Muon(lr 0.001) vs AdamW(lr 5e-5) vs AdamW*(Huginn 변형).
수학 후속학습 (Section 4.3.2): Nemotron-CC-Math-v1-4plus 약 50B 토큰, 첫 75%는 1-sqrt curriculum 이후 고정. TinyLlama (4,8,4), OLMo (4,6,4), Llama (4,6,4) vs 같은 데이터·같은 순서로 학습한 원래 비반복 모델. 학습 반복 4·8·16·32.
데이터 혼합 (Section 4.4): TinyLlama (4,8,4), FineWeb-Edu + Nemotron-Pretraining-SFT-v1-General + -Math 균등 혼합 26B(single phase) vs FineWeb-Edu 26B healing 후 같은 혼합 26B(two phase, 총 52B). RL로 학습된 추론 모델(DeepSeek-R1 등)이 생성한 행과 user–assistant 태그는 제거. 반복 모델은 전체의 25% 동안 선형 curriculum.

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
사전학습 층 초기화가 무작위 초기화보다 훨씬 효율적이다	Figure 2, Section 4.1	Llama 초기화가 처음엔 loss가 높지만 이후 일관되게 낮다. 1000 step에 이미 반복으로 Hellaswag 정확도를 올리는 반면 무작위 초기화는 모든 반복에서 무작위 수준을 조금 넘는 정도	(2,4,2), 120B 토큰. 로그-선형 외삽으로 두 loss 곡선이 만나려면 최소 약 950B 토큰 필요(Appendix Figure 9), 저자는 이것도 과소추정일 것이라고 봄	author-stated
반복 평균을 선형으로 늘리는 curriculum이 데이터·계산 모두에서 효율적이다	Figure 3, Section 4.2	step 기준 약간 이득, FLOPs 기준 큰 이득	48시간·약 1e20 FLOPs 범위. 최대 backprop 깊이를 늘리는 schedule은 FLOPs 기준 유리·step 기준 불리(Appendix C.2). 1-sqrt curriculum은 TinyLlama에서 선형과 비슷(Appendix Figure 19)	author-stated
Muon이 반복 모델에서 AdamW보다 안정적이고 loss가 낮다	Figure 4, Section 4.3.1	AdamW는 loss spike 후 NaN으로 끝남. 비반복 TinyLlama에서는 차이가 작다	같은 데이터 순서. AdamW lr 5e-5, Muon 0.001로 학습률이 다르다	author-stated
같은 학습 FLOPs에서 반복 모델이 비반복 모델보다 GSM8K가 높다 (TinyLlama)	Figure 5, Section 4.3.2	비반복 모델은 약 0.27에서 정체. 학습 반복 16 모델은 test recurrence 32에서 약 0.44(그래프 판독)	같은 토큰 수를 보면 반복 모델이 학습 FLOPs를 더 쓴다. 비반복 곡선이 끝나는 FLOPs 지점에서도 반복 모델이 더 높다(그래프 판독)	author-stated / analyst-inference
같은 조건에서 MATH도 반복 모델이 더 높다 (OLMo)	Figure 6	비반복 약 0.25 수평선, 학습 반복 16 모델은 test recurrence 8 이상에서 약 0.29(그래프 판독)	왼쪽 그래프에서 같은 FLOPs 구간의 곡선은 거의 겹친다. 이득은 주로 더 오래(더 많은 FLOPs) 학습한 구간에서 나온다(그래프 판독)	author-stated / analyst-inference
세 모델 계열 모두 최종 체크포인트에서 반복 모델이 GSM8K·MATH가 높다	Figure 7, Section 4.3.2	GSM8K는 학습 반복이 클수록 대체로 높다(그래프 판독). Llama·OLMo가 TinyLlama보다 높다	test recurrence 32(추론 FLOPs 더 사용). GSM8K에서 학습 반복이 클수록 FLOPs당 이득이 큰 경향은 OLMo·Llama에서만 성립하고 TinyLlama에서는 아니다(저자 명시, Figure 20)	author-stated
수학만 학습하면 일반 벤치마크가 조금 떨어진다	Section 4.4, Appendix Table 3–5	Hellaswag, Arc, OpenbookQA 하락	부록 표는 캡션만 확인	author-stated
Healing(two phase)이 반복 모델의 일반 성능을 회복시킨다	Figure 8, Table 1, Section 4.4	반복 모델 Arc-C(test rec 32): single 32.7 → two phase 37.7. 비반복 모델은 35.2 → 36.5로 차이가 작다	TinyLlama (4,8,4), 학습 반복 4. Two phase는 총 52B 토큰으로 single(26B)보다 데이터가 두 배	author-stated / analyst-inference(데이터량 차이)
Two phase 반복 모델은 대부분 벤치마크에서 비반복 모델과 같거나 높다	Table 1	Test rec 32: Arc-E 65.2, Arc-C 37.7, HS 60.4, PIQA 73.6, OBQA 40.0, GSM8K 51.2 vs 비반복 two phase 62.5, 36.5, 60.3, 72.9, 39.4, 45.2	반례: MMLU 44.8은 비반복 single phase 45.1보다 낮고(저자: 1 표준오차 이내), MATH 14.2는 비반복 single phase 14.4보다 낮다. Test rec 1에서는 대부분 비반복보다 크게 낮다(Arc-E 52.7 vs 62.5)	author-stated / analyst-inference
3.5B Huginn-0125보다 MMLU·GSM8K가 높다	Section 4.4, Appendix Table 6	MMLU 44.8 vs 31.4, GSM8K 51.2 vs 42.08 (test rec 32)	Huginn 수치는 Geiping et al.(2025)의 공개값이며 같은 조건에서 재평가하지 않았다. 반대로 Arc-E(69.9), HS(65.2), PIQA(76.2)는 Huginn이 높다	author-stated / analyst-inference(반례)

결과의 연결. Figure 2–4는 “어떻게 하면 개조 학습이 싸고 안정적인가”(초기화, curriculum, Muon)를, Figure 5–7은 “그렇게 만든 모델이 수학에서 원래 모델보다 나은가”를, Figure 8·Table 1은 “일반 능력을 잃지 않는가”를 답한다. 수학 성능 이득은 test recurrence를 늘리는 데서 크게 오므로(Table 1에서 test rec 1의 GSM8K 26.5 → 32에서 51.2), 추론 계산을 더 쓰는 것이 이득의 일부다. 저자는 추론 FLOPs 기준으로도 경쟁력이 있다고 Appendix Figure 22·33을 근거로 말하지만, 그 그림은 캡션만 확인했다(analyst-inference).

Take-home

핵심 메시지: 사전학습된 고정 깊이 모델의 층을 잘라 prelude–반복 블록–coda로 재조립하고, 반복 curriculum + Muon + healing 데이터 curriculum으로 이어 학습하면, 처음부터 학습하는 것보다 훨씬 싸게 depth-recurrent 모델을 얻고 같은 학습 FLOPs에서 원래 모델보다 수학 성능이 높아진다.
성립 범위: TinyLlama-1.1B, OLMo-2-0425-1B, Llama-3.2-1B. 약 50B 토큰 이하. 문맥 길이 1024. 수학(GSM8K, MATH) 중심.
저자가 인정한 한계 (author-stated, Section 5):
- 반복 모델은 파라미터당 FLOPs가 많아 학습이 더 비싸다(이 논문은 그 비용을 줄이는 방법을 제시).
- 학습 때보다 더 깊게 반복해 더 어려운 문제를 푸는 법은 미해결.
- 문제 난이도에 따라 반복 수를 스스로 정하는 내장 적응성(정지 기준)이 없다.
- 층 선택은 탐색으로 정했고(Figure 12·13) 더 나은 방법이 있을 수 있다.
- 1B·50B 토큰 규모에서만 실험했고, 수학 외 추론 영역은 향후 과제.
작성자 우려 (analyst-inference):
- “같은 학습 FLOPs” 비교에서 비반복 모델은 같은 토큰을 다 본 시점에서 멈춘다. 비반복 모델에 같은 FLOPs만큼 더 많은 토큰을 주었을 때의 비교는 아니다(Figure 5·6 왼쪽에서 비반복 곡선이 먼저 끝남). 다만 비반복 곡선이 이미 정체돼 있다는 점은 저자 주장을 지지한다.
- 최종 정확도 비교(Figure 7, Table 1)는 test recurrence 32로, 반복 모델이 추론 계산을 훨씬 많이 쓴다.
- Two phase가 single phase보다 학습 토큰이 두 배다. healing 효과와 데이터량 효과가 완전히 분리되지 않는다.
- Huginn과의 비교는 서로 다른 평가 조건(공개값 인용)이다.
반복 횟수·공개: seed 반복이나 반복 실행 수는 보고되지 않았다(전문 확인). 코드(github.com/mcleish7/retrofitting-recurrence)와 모델(huggingface.co/collections/tomg-group-umd/retrofitting-recurrence)이 공개됐다(Abstract).
읽지 못한 범위: 없음(전문 확보). 부록 도표(Figure 9–43, Table 2–9)는 캡션만 확인했다(Table 6은 텍스트로 수치 확인).

본문 도표

Figure 1 — 개조 방법 개요

무엇을 보여주는가: 22층 사전학습 모델(L0–L21)에서 L0–L1을 prelude, L16–L19를 recurrent block, L20–L21을 coda로 가져오고 L2–L15는 제거한다. prelude 출력 $e$ 와 반복 상태 $s_{i}$ (처음엔 무작위 잡음 $s_{0} \sim N (0, σ^{2})$ )를 이어 붙여 adapter를 거친 뒤 recurrent block에 넣고, 출력 $s_{i + 1}$ 을 다시 돌린다. 마지막에 coda가 $p$ 를 낸다.
읽는 법: 왼쪽은 원래 층, 오른쪽은 재조립된 모델. 색이 같은 층끼리 대응. 초록 화살표 고리가 반복.
핵심 관찰: 그림의 층 선택은 예시이며, 실제 TinyLlama (4,8,4)는 [0–3], [10–17], [18–21]을 쓴다(Section 3).
의미와 주의: 저자는 앞쪽 층을 prelude로, 뒤쪽 층을 반복·coda로 쓰는 것이 가장 좋았다고 보고한다(author-stated, Appendix Figure 12·13). 그림 속 층 번호와 본문 실험 설정이 다르므로 혼동하지 않아야 한다(analyst-inference).
확인 상태: viewed

Figure 2 — 사전학습 초기화 vs 무작위 초기화

무엇을 보여주는가: (왼쪽) (2,4,2) 모델의 학습 loss(로그 축 step), Llama-3.2-1B 층 초기화(파랑) vs 무작위(주황), 약 120B 토큰. (오른쪽) Hellaswag 0-shot 정확도, test recurrence 1·2·4·8·16·32(진할수록 큼).
읽는 법: (왼쪽) y = loss(로그), x = step(로그). (오른쪽) y = 정확도, x = step.
핵심 관찰: (왼쪽) 초반 몇 step은 Llama 초기화 loss가 더 높지만 약 10 step 이후 계속 더 낮다(그래프 판독). (오른쪽) Llama 초기화는 반복이 많을수록 정확도가 확실히 높고(약 0.55까지), 무작위 초기화는 같은 step에서 더 낮다(약 0.48, 그래프 판독).
의미와 주의: 저자 해석은 “사전학습 층이 큰 효율 이득을 준다”(author-stated). 무작위 초기화도 결국 따라잡을 수 있으나 외삽상 950B 토큰 이상이 필요하다고 본다(Appendix Figure 9).
확인 상태: viewed

Figure 3 — 반복 curriculum

무엇을 보여주는가: (2,4,2) Llama 초기화 모델의 validation loss. 색 = curriculum 길이(0 = 처음부터 평균 32, 6250 = 6250 step 동안 선형 증가). 선 모양 = test recurrence 2(실선), 4(파선), 16(점선). (왼쪽) step 기준, (오른쪽) FLOPs 기준.
읽는 법: y = loss(낮을수록 좋음).
핵심 관찰: (왼쪽) 같은 step에서 curriculum(주황)이 대체로 약간 낮다. 48시간 동안 curriculum 모델이 더 많은 step(약 10000 vs 약 8000)을 돌았다(그래프 판독). (오른쪽) 같은 FLOPs에서 curriculum 곡선이 확실히 아래에 있다.
의미와 주의: curriculum은 초반 반복이 적어 forward 비용이 싸므로 같은 시간·FLOPs에 더 많은 데이터를 본다(author-stated, Section 4.2). test recurrence 2(실선)에서는 curriculum 모델의 loss가 거의 줄지 않고 평평해 보인다(그래프 판독, analyst-inference).
확인 상태: viewed

Figure 4 — Muon vs AdamW

무엇을 보여주는가: (왼쪽) TinyLlama (4,8,4) 반복 모델의 loss, Muon(주황) vs AdamW(파랑) vs AdamW*(청록). (오른쪽) 비반복 TinyLlama의 50 step 평활 loss, Muon vs AdamW.
읽는 법: x = step(로그), y = loss.
핵심 관찰: (왼쪽) AdamW 계열은 1e3–1e4 step 사이에서 큰 loss spike가 나고, AdamW 선은 NaN으로 일찍 끝난다(캡션). Muon은 spike 없이 가장 낮다. (오른쪽) 두 최적화기의 곡선이 거의 겹친다.
의미와 주의: 반복 구조에서 최적화 안정성이 특히 중요하다는 근거(author-stated). 학습률이 서로 다르게(AdamW 5e-5, Muon 0.001) 설정돼 있어 순수한 최적화기 비교로 보기엔 제한이 있다(analyst-inference).
확인 상태: viewed

Figure 5 — TinyLlama GSM8K

무엇을 보여주는가: Nemotron-CC-Math-v1 약 50B 토큰으로 학습한 (4,8,4) 학습 반복 4(주황), 16(파랑), 비반복 TinyLlama(초록). (왼쪽) 학습 FLOPs 대비 GSM8K 정확도. (오른쪽) 최종 체크포인트의 test recurrence 대비 정확도.
읽는 법: (왼쪽) 각 반복 모델은 test recurrence = 평균 학습 반복으로 평가. 선 끝은 모두 같은 토큰 수. (오른쪽) 초록 수평선이 비반복 기준.
핵심 관찰: (왼쪽) 비반복은 약 0.27에서 약 0.3e21 FLOPs에 끝나고, 학습 반복 4는 약 0.39(약 0.4e21), 학습 반복 16은 약 0.44(약 0.85e21)까지 오른다(그래프 판독). (오른쪽) 학습 반복 16 모델은 test rec 1에서 약 0.11로 비반복보다 낮지만 rec 4 이상에서 약 0.42–0.44로 넘는다(그래프 판독).
의미와 주의: 저자 해석은 “FLOPs를 통제해도 반복이 추론을 개선한다”(author-stated). 반복이 적으면(test rec 1) 오히려 원래 모델보다 못하다(analyst-inference).
확인 상태: viewed

Figure 6 — OLMo MATH

무엇을 보여주는가: Figure 5와 같은 구성으로 OLMo (4,6,4) 학습 반복 4·16 vs 비반복 OLMo-2의 MATH 정확도.
읽는 법: Figure 5와 같음.
핵심 관찰: (왼쪽) 같은 FLOPs 구간에서는 세 곡선이 거의 겹치고, 반복 모델이 더 긴 학습으로 약 0.28–0.29까지 간다(그래프 판독). (오른쪽) 비반복 약 0.25. 학습 반복 4는 test rec 4 이상에서 약 0.275, 학습 반복 16은 rec 8 이상에서 약 0.29(그래프 판독).
의미와 주의: 저자는 “같은 토큰에서 반복 모델이 비반복을 효율적으로 앞선다”고 쓴다(author-stated). 같은 학습 FLOPs 지점에서의 차이는 GSM8K(Figure 5)보다 작다(analyst-inference).
확인 상태: viewed

Figure 7 — 세 모델 계열의 최종 정확도

무엇을 보여주는가: TinyLlama, Llama, OLMo 각각의 비반복 모델과 학습 반복 4·8·16·32 모델의 최종 GSM8K(파랑)·MATH(초록) 정확도, test recurrence 32.
읽는 법: 막대 묶음 = 모델 계열, 막대 = 학습 반복 설정.
핵심 관찰: GSM8K는 세 계열 모두 반복 모델이 비반복보다 높고, OLMo는 학습 반복이 커질수록 단조 증가(약 0.35 → 약 0.51, 그래프 판독). MATH는 증가 폭이 작다(대체로 0.02–0.05p, 그래프 판독). Llama·OLMo가 TinyLlama보다 높다.
의미와 주의: 저자는 “더 강한 사전학습 가중치가 추가 지식을 전한다”고 해석한다(author-stated). 모든 반복 모델은 test rec 32로 평가돼 추론 계산을 더 쓴다. 정확한 수치는 Appendix Table 3–5(캡션만 확인).
확인 상태: viewed

Figure 8 — Single phase vs two phase

무엇을 보여주는가: (왼쪽) 혼합 데이터 26B 토큰 학습 중 Arc-Challenge 정확도. 반복 (4,8,4) single(파랑)·two phase(주황), 비반복 single(초록)·two phase(빨강). (오른쪽) 최종 체크포인트의 test recurrence 대비 Arc-C.
읽는 법: two phase의 왼쪽 곡선은 healing 26B 이후 두 번째 단계만 그린 것.
핵심 관찰: (왼쪽) 반복 single phase는 학습 내내 가장 낮고, 반복 two phase는 비반복 두 모델과 비슷한 높이로 올라온다(그래프 판독). (오른쪽) 반복 two phase는 rec 1 약 0.316 → rec 32 0.377로 비반복 기준선(0.352, 0.365)을 넘고, 반복 single phase는 rec 32에서도 0.327에 머문다.
의미와 주의: 저자 해석은 “healing이 surgery 후 언어 능력 회복을 돕는다”(author-stated). 비반복 모델은 surgery를 하지 않아 “고칠 것”이 없으므로 차이가 작다고 설명한다. Two phase가 데이터를 두 배 본다는 점은 해석 시 고려해야 한다(analyst-inference).
확인 상태: viewed

Table 1 — 데이터 curriculum과 벤치마크

무엇을 보여주는가: TinyLlama (4,8,4) 학습 반복 4 모델(single/two phase, test rec 1·32)과 비반복 TinyLlama(single/two phase)의 Arc-E, Arc-C, HS, WG, MMLU, PIQA, OBQA, GSM8K, MATH 정확도.
읽는 법: 굵게 = 열 최고. 반복 모델은 test rec 1과 32 두 줄.
핵심 관찰: Two phase, test rec 32가 Arc-E 65.2, Arc-C 37.7, HS 60.4, PIQA 73.6, OBQA 40.0에서 최고. Single phase rec 32가 WG 61.1, GSM8K 52.0, MATH 14.5에서 최고. MMLU는 비반복 single phase 45.1이 최고(반복 two phase 44.8). Test rec 1에서는 반복 모델이 거의 모든 열에서 비반복보다 낮다(예: Arc-E 52.7 vs 62.5, GSM8K 26.5 vs 45.2).
의미와 주의: 저자는 “반복 모델이 MMLU를 제외한 모든 벤치마크에서 높고 MMLU 차이도 1 표준오차 이내”라고 쓴다(author-stated). 표준오차 값은 표에 적혀 있지 않다(unknown). 이득은 test-time 반복을 늘려야 나타나며, 반복 모델은 고유 파라미터가 72.7%라는 점이 함께 성립한다.
확인 상태: viewed

Wiki 연결

Mixture-of-Recursions - Learning Dynamic Recursive Depths for Adaptive Token-Level Computation — Bae et al.(2025), 가중치 공유 + 적응적 exit. 이 논문이 해결 못 한 “내장 적응성”을 다루는 쪽.
Scaling Latent Reasoning via Looped Language Models — 같은 시기 looped LM을 7.7T 토큰으로 처음부터 학습한 Ouro. 처음부터 학습 vs 기존 모델 개조의 대비(analyst-inference 연결, 본문 인용 아님).
Reasoning with Latent Thoughts - On the Power of Looped Transformers — Saunshi et al.(2025), 고정 반복 looped Transformer 계열로 Related Work에서 인용.
Less is More - Recursive Reasoning with Tiny Networks — HRM 계열 재귀 추론. Related Work의 HRM 논의와 연결(analyst-inference 연결).
Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — 반복 깊이 외삽·안정성 문제(저자가 밝힌 미해결 과제)와 연결(analyst-inference 연결).

BibTeX

@article{mcleish2025teaching,
  title   = {Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence},
  author  = {McLeish, Sean and Li, Ang and Kirchenbauer, John and Kalra, Dayal Singh and Bartoldson, Brian R. and Kailkhura, Bhavya and Schwarzschild, Avi and Geiping, Jonas and Goldstein, Tom and Goldblum, Micah},
  journal = {arXiv preprint arXiv:2511.07384},
  year    = {2025}
}