Ouro: 반복(looped) 언어모델로 latent 추론을 사전학습 단계에서 키우기

개요

요즘 LLM은 주로 **chain-of-thought(CoT, 답 전에 풀이를 글로 길게 쓰는 방식)**로 “생각”한다. 그런데 이 능력은 사후학습(post-training)에서야 붙고, 생각할수록 출력이 길어져 문맥을 잡아먹는다. 모델을 키우는 길은 비용이, 데이터를 늘리는 길은 데이터 고갈이 막고 있다. 이 논문은 세 번째 길로 **LoopLM(Looped Language Model: 같은 가중치의 층 묶음을 한 번의 forward 안에서 여러 번 반복 통과시키는 모델)**을 택하고, “생각”을 글이 아니라 hidden state의 반복 갱신으로, 그것도 사전학습 단계부터 키운다. 이전의 looped 모델 연구는 작은 규모에 머물렀으므로, 실제 최신 모델 규모에서도 이득이 있는지를 7.7T 토큰 학습으로 직접 확인한 것이 핵심이다. 반복 횟수는 **exit gate(각 반복 단계마다 “여기서 멈출 확률”을 내는 작은 선형층)**가 정하는데, 그냥 학습시키면 gate가 늘 마지막 단계로 쏠리므로 **entropy 정규화(멈출 단계 분포가 한쪽으로 몰리지 않게 벌점을 주는 항, 균등 prior와의 KL과 같음)**를 넣고, 나중에 gate만 따로 “한 번 더 돌렸을 때 loss가 실제로 줄었는가”로 다시 학습시킨다. 결과적으로 4번 반복하는 Ouro 1.4B는 BBH 71.02, GSM8K 78.92, MATH500 82.40으로 Qwen3-4B-Base(70.95, 72.86, 59.60)와 같거나 높고, Ouro 2.6B는 MMLU-Pro·BBH·MATH500에서 Qwen3-8B-Base를 넘었다(Table 7·8). 더 흥미로운 것은 원인 분석이다. 합성 전기(biography) 데이터로 재 보니 반복을 해도 파라미터당 저장 지식은 약 2 bits로 그대로였지만, 모듈러 산술 트리(Mano)·다단계 질의응답처럼 **지식 조작(knowledge manipulation: 이미 아는 사실들을 조합해 새 답을 만드는 능력)**이 필요한 과제에서는 같은 파라미터의 비반복 모델보다 뚜렷이 잘했다(Figure 6·7).

Implication: “반복 횟수”는 모델 크기·데이터에 이은 세 번째 확장 축이 될 수 있고, 그 이득은 더 많이 외우는 데서가 아니라 같은 지식을 더 깊이 굴리는 데서 온다. 다만 대형 벤치마크 비교는 서로 다른 데이터로 학습된 외부 모델과의 비교이고, 반복 4회는 같은 파라미터 dense 모델보다 토큰당 계산을 더 쓴다는 점을 함께 봐야 한다.

📎 https://arxiv.org/abs/2510.25741

배경과 문제

왜 어려운가·왜 중요한가. LLM 성능은 주로 모델 크기를 키우는 방식으로 올라왔지만, 수천억 파라미터 모델은 배포 비용·지연이 크다. 그래서 고정된 파라미터 예산에서 능력을 높이는 parameter efficiency가 중요하다. 기존 두 경로는 (1) 모델 크기와 무관하게 학습 데이터를 늘리는 것(데이터 부족이 점점 제약), (2) CoT로 추론 시 토큰을 더 생성하는 것이다(author-stated, Section 1). 저자들은 세 번째 경로로 “고정 파라미터 안의 동적 계산”, 즉 가중치를 묶은 층을 반복 재사용하는 구조를 제안한다.

연구 질문. “LoopLM은 비재귀 Transformer보다 능력·효율·안전 면에서 더 유리한 scaling을 보이는가?” 그리고 (1) 가중치 재사용이 비공유 깊이 증가와 같은 능력 이득을 주는가, (2) 반복 횟수에 대해 이득이 단조 증가하는가(author-stated, Section 1).

학술적 계보 (저자가 직접 언급한 것, Section 2).

Universal Transformer(Dehghani et al.)에서 시작한 반복 구조, 그리고 이를 작은 규모에서 탐구한 연구들[7–14].
Recurrent depth로 test-time compute 확장: Geiping et al.[17].
Looped Transformer와 latent thought: Saunshi et al.[7]이 looped Transformer가 훨씬 깊은 비반복 모델과 추론 과제에서 맞먹을 수 있고, looping이 latent thought 생성과 형식적으로 연결됨을 보였다 → Reasoning with Latent Thoughts - On the Power of Looped Transformers.
Relaxed Recursive Transformers[16](LoRA로 반복 단계별 차이를 줌), Mixture-of-Recursions[22](토큰별 반복 깊이 routing) → Mixture-of-Recursions - Learning Dynamic Recursive Depths for Adaptive Token-Level Computation.
두 관점: (관점 1) 파라미터 공유로 모델 압축(ALBERT[23], 기계번역의 공유 전략[24, 25], Megrez2[26]), (관점 2) latent 추론·반복 정제(Coconut[27] → Training Large Language Models to Reason in a Continuous Latent Space, CoTFormer[28], PHD-Transformer[29]). Coconut·CoTFormer처럼 hidden state를 입력에 다시 넣는 명시적 피드백과 달리, Ouro 같은 암묵적 LoopLM은 사고 과정이 hidden state의 반복 갱신 안에 다 들어 있다(author-stated, Section 2).
적응적 정지: PonderNet[33](ELBO로 동적 halting, geometric prior), PALBERT[32](Q-exit 기준)(author-stated, Section 3.2–3.3).
지식 용량·조작 분석: Physics of Language Models 계열의 Capo·Mano 과제[68, 69]와 다단계 QA[70](author-stated, Section 6).

기존 한계와 이 논문의 차이. 저자들은 LoopLM이 실용적 규모에서 최전선 수준의 이득으로 이어지는지는 증명되지 않았다고 본다(author-stated, Section 1). 또 적응적 exit는 얕은 깊이로 무너지거나 긴 반복을 남용하는 경향이 있다고 지적한다(author-stated, Contributions). 이 논문은 (i) 7.7T 토큰 규모의 LoopLM 사전학습, (ii) 균등 prior entropy 정규화 + gate 전용 2단계 학습, (iii) 통제된 합성 과제로 이득의 출처 분석, (iv) 안전성·충실성 평가를 묶어 제시한다.

지표

지표	무엇을 세는가	단위·범위	방향	분모·정규화	측정 조건	원문 위치
Base 벤치마크 점수 (MMLU, MMLU-Pro, BBH, ARC-C, HellaSwag, Winogrande, GSM8K, MATH500, HumanEval(+), MBPP(+))	정답률 또는 pass@1	%	↑	문항 평균	MMLU logprobs 5-shot, MMLU-Pro 5-shot CoT, BBH 3-shot CoT, ARC-C 25-shot, HellaSwag 10-shot, Winogrande 5-shot, GSM8K 3-shot CoT, MATH500 5-shot CoT(in-house), 코드 evalplus pass@1	Table 7·8, Appendix C.1 Table 16
Reasoning 벤치마크 (AIME24/25, OlympiadBench, BeyondAIME, HLE, SuperGPQA, GPQA)	정답률. AIME는 pass@1·pass@10	%	↑	문항 평균	in-house harness, LLM-as-judge(고정 rubric), temperature 1.0, top_p 0.7	Table 9, Section 5.2
Knowledge capacity	합성 전기 속성 토큰의 cross-entropy 합으로 추정한 기억 정보량	bits (파라미터당 bits로 비교)	↑	파라미터 수로 나눔	GPT-2형 1M–40M 모델, bioS(N) N=20K–500K, 1000 exposures	Section 6.1, Figure 6 왼쪽
Mano accuracy	모듈러 23 산술 트리 식의 답 정답률	%	↑	최대 길이 L의 테스트 문항	L = 10, 16, 24	Section 6.2, Figure 6 오른쪽
Multi-hop QA accuracy	3-hop 질의 정답률	%	↑	남겨 둔 테스트 세트	6층 기반, 학습 샘플 수 변화	Figure 7
Harmfulness score / Harmful rate	GPT-4o 판정 해로움 점수(1–5), 점수 5인 비율	1–5 / 0–1	↓	HEx-PHI 330문항(11개 금지 범주)	Base: greedy, max 128 토큰. Thinking: temp 1.0, top_p 0.7, max 8192 토큰	Section 7.1, Figure 8a
Linear probe ROC AUC	hidden state로 그 단계의 답을 예측하는 선형 probe의 판별력	0.5–1.0	(충실성 해석용)	—	Quora Question Pairs	Figure 9 왼쪽
단계 간 일치 수 A[i,j]	단계 i와 j의 답이 같은 문항 수	0–1000	(충실성 해석용)	1,000문항	Quora Question Pairs	Figure 9 오른쪽
Average exit round	조기 종료 시 평균 반복 횟수(계산량 대리 지표)	1–4	↓(계산 절약)	문항 평균	MMLU	Figure 5
Memory reduction	KV 캐시 메모리 절감 배수	×	↑	전체 캐시(4×) 대비	디코딩 단계	Table 14

방법과 벤치마크 구성

구조 (Section 3.1, Figure 3, Table 2). 입력 임베딩 → L층 Transformer 묶음 $M^{L}$ 을 $t$ 번 반복 → LM head. $t = 1$ 이면 일반 모델과 같다. 반복 단계마다 LM head로 loss $L^{(t)}$ 를 계산한다(식 2). 블록은 표준 decoder-only: MHA, RoPE, SwiGLU FFN, 그리고 깊은 반복의 안정성을 위해 attention·FFN 앞에 RMSNorm을 두는 sandwich normalization. 어휘는 SmolLM2의 49,152개. Ouro 1.4B = 24층, 2.6B = 48층, hidden 2048(Table 2). 즉 1.4B를 4번 반복하면 실효 깊이는 96층이다(analyst-inference).

Exit gate (Section 3.2). 단계 $t$ 마다 $λ_{t} = σ (Linear (h^{(t)}))$ 가 즉시 정지 확률. 생존확률 $S_{t} = \prod (1 - λ_{j})$ 로 “처음 $t$ 에서 멈출 확률” $p_{ϕ} (t ∣ x)$ 를 만들고 남은 질량은 마지막 단계에 준다(식 3). 추론 때는 누적분포 CDF가 임계값 $q$ 를 처음 넘는 단계에서 멈춘다(PALBERT의 Q-exit). $q$ 가 작을수록 일찍 멈춘다.

Stage I — entropy 정규화 목표 (Section 3.3, 식 4). $L = \sum_{t} p_{ϕ} (t ∣ x) L^{(t)} - β H (p_{ϕ})$ . 정규화 없이 학습하면, 깊은 단계 loss가 더 낮으니 확률이 뒤로 쏠리고 → 뒤 단계가 더 학습되어 → 더 쏠리는 자기강화로 $T_{ma x}$ 에 붕괴한다. entropy 항은 균등 prior $π_{t} = 1/ T_{ma x}$ 와의 KL과 상수만 다르므로 ELBO로 볼 수 있다(PonderNet과 연결). geometric prior는 일찍 멈추는 쪽을 선호하지만, 균등 prior는 깊이에 중립이어서 “입력 난이도”만으로 정지가 결정되게 한다는 것이 선택 이유다. geometric과의 비교는 Appendix A(Figure 10, 캡션만 확인).

Stage II — gate 집중 학습 (Section 3.4, 식 5–6). LM은 얼리고 gate만 학습. 토큰 $i$ 에서 단계 $t - 1 \to t$ 의 loss 개선 $I_{i}^{(t)} = max (0, L^{(t - 1)} - L^{(t)})$ (detached). 이상적 계속 확률 라벨 $w = σ (k (I - γ))$ , $k = 50.0$ , $γ = 0.005$ . gate의 예측 계속 확률 $1 - λ$ 와 $w$ 의 binary cross-entropy로, “더 해야 하는데 멈춤(underthinking)“과 “그만해도 되는데 계속(overthinking)“을 동시에 벌한다.

학습 파이프라인 (Section 4, Figure 4, Table 1·3–6). 총 7.7T 토큰.

Stage 1a(3T): 반복 8회로 시작했으나 loss spike·gradient 진동이 생겨 → Stage 1b(3T)에서 반복 4회로 줄임. 이때 1.4B는 24층 유지, 2.6B는 24층을 복제해 48층으로 upcycling.
Stage 2 CT Annealing(1.4T, 16K 길이), Stage 3 LongCT(20B, 64K, ProLong), Stage 4 Mid-training(300B 실효: SFT 혼합 90B + Stage 1 replay 30B + Stage 2 replay 180B, 32K, ChatML 변환, 벤치마크 오염 제거 수행).
β는 Stage 1a의 0.1에서 이후 0.05로 낮춤. batch 4M→8M 토큰. AdamW(β1 0.9, β2 0.95), weight decay 0.1, grad clip 1.0. 반복 구조는 같은 파라미터 Transformer보다 작은 학습률이 필요했고, 계산 제약으로 LR sweep은 하지 않았다(Section 4.3).
Reasoning SFT: 약 8.3M 예시(수학 3.5M, 코드 3.2M, 과학 808K, 대화 767K), 2 epoch, 32K, LR 2e-5 → Ouro-Thinking. 인프라 문제로 학습이 중단돼 마지막 체크포인트에서 재개(각주 2).
RL 시도(DAPO, GRPO, DAPO-17K): vLLM/SGLang의 고정 실행 경로가 가변 깊이와 맞지 않아 off-policy 방식과 고정 4회 방식 모두 SFT 체크포인트를 넘지 못했다(Section 4.5).

평가 구성. Base: Qwen2.5·Qwen3·Gemma3·Llama3.1/3.2 base 모델과 같은 파이프라인(lm-eval-harness, evalplus)으로 비교(Section 5.1). Reasoning: Qwen3-1.7B/4B/8B, DeepSeek-Distill-Qwen-1.5B/7B, 같은 in-house harness·프롬프트, LLM-as-judge(Section 5.2). 메커니즘 분석은 GPT-2형 소형 모델의 합성 과제(Capo, Mano, 3-hop QA)와 이론(Theorem 1, 그래프 도달 가능성)으로 한다(Section 6). 안전·충실성은 HEx-PHI, PCA, Quora Question Pairs linear probe(Section 7).

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
Ouro 1.4B R4는 대부분 벤치마크에서 Qwen3-4B-Base와 비슷하고 추론 과제에서 앞선다	Table 7, Section 5.1	BBH 71.02 vs 70.95, GSM8K 78.92 vs 72.86, MATH500 82.40 vs 59.60	반례: MMLU 67.35 vs 73.19, MMLU-Pro 48.62 vs 51.40, HumanEval 74.40 vs 77.40, MBPP 73.00 vs 78.80에서는 Qwen3-4B가 높다	author-stated(수치) / analyst-inference(반례 선별)
Ouro 2.6B R4는 추론 중심 벤치마크에서 8B dense를 넘는다	Table 8, Section 5.1	MMLU-Pro 55.73, BBH 80.46, MATH500 90.85 vs Qwen3-8B 53.72, 77.65, 62.30	반례: MMLU 74.60 vs 76.63, GSM8K 81.58 vs 83.09, HumanEval 78.70 vs 84.80, HellaSwag는 Gemma3-12B 83.68이 최고	author-stated / analyst-inference
Ouro-Thinking은 4B·8B 추론 모델과 경쟁한다	Table 9, Figure 2, Section 5.2	1.4B: OlympiadBench 71.6(Qwen3-4B 73.2), BeyondAIME 34.0(31.0). 2.6B: OlympiadBench 76.4(Qwen3-8B 75.3), BeyondAIME 39.0(38.0), AIME24 pass@10 90.0	반례: AIME25 pass@1 2.6B 50.3 vs Qwen3-8B 66.7, GPQA 52.7 vs 59.1. LLM-as-judge 평가, 반복 실행 수 미보고	author-stated / analyst-inference
Base 성능은 학습 깊이 T=4에서 정점, 그 이상 외삽하면 완만히 떨어진다	Table 10·11, Section 5.3	1.4B MMLU: T=1 41.21 → T=4 67.45 → T=8 64.49	2.6B Winogrande는 T=5에서 75.93으로 T=4(75.53)보다 높다	author-stated
Thinking 모델은 T=1에서 거의 0점, 정점은 T=3–5	Table 12·13	1.4B AIME24: T=1 0.00, T=4 65.00, T=8 38.67. 2.6B AIME24는 T=3 70.33이 T=4 64.70보다 높다	2.6B OlympiadBench는 T=8에서 39.26으로 급락	author-stated
학습된 gate(Stage II)가 같은 평균 반복에서 가장 정확하다	Figure 5, Section 5.4.1	평균 2.5회에서 trained gate 66%, untrained 약 64%. 고정 깊이는 1→2회에서 40%→60%, 4회 67.35%	MMLU 한 벤치마크. 그래프상 세 적응 방법 곡선이 대부분 1%p 안에서 겹쳐 보여, 본문의 “대부분 지점에서 2–3% 차이”와 잘 맞지 않는다(그래프 판독)	author-stated / analyst-inference(불일치)
디코딩 때는 마지막 단계 KV만 남겨도 성능이 거의 유지된다	Table 14, Section 5.4.2	Full 78.92/82.40, Last-step 78.85/80.40, Averaged 78.73/78.52, First-step 18.73/8.43 (GSM8K/MATH-500). 메모리 4.00× 절감	prefill에서 KV 재사용은 GSM8K >10점 하락. 본문은 “two strategies”라 하고 세 가지를 나열(서술 오류)	author-stated
반복은 지식 저장량을 늘리지 않는다	Figure 6 왼쪽, Section 6.1	loop-1·loop-4 모두 약 2 bits/parameter	GPT-2형 1M–40M, 합성 전기 데이터	author-stated
반복은 지식 조작(Mano)을 크게 돕는다	Figure 6 오른쪽, Section 6.2	L=24: Loop(3⊗4) 92.2, Loop(2⊗6) 78.0 vs Base(3⊗1) 11.0, iso-FLOP Base(12⊗1) 34.8	반례: Loop(6⊗2)는 L=10·16에서 iso-FLOP Base(12⊗1)보다 낮다(93.4 vs 93.6, 88.5 vs 94.4). Appendix B.2에 따르면 3 seed 중 최고 성능 보고	author-stated / analyst-inference
반복할수록 다단계 QA를 더 적은 샘플로 배운다	Figure 7, Section 6.2	15% 샘플·20000 step: Loop4 약 62%, Loop2 약 33%, Loop1 약 14%(그래프 판독)	본문은 iso-FLOP 모델(24⊗1)도 학습했다고 하지만 Figure 7에는 Loop1/2/4만 보인다	author-stated / analyst-inference
한 층 looped Transformer가 그래프 도달 가능성을 $O (lo g_{2} D)$ 반복으로 판정할 수 있다	Theorem 1 (Section 6.3), 증명 Appendix B.5	순차 계산 단계: discrete CoT $O (n^{2})$ , continuous CoT $O (D)$ , Universal Transformer $O (lo g D)$	존재성(표현력) 결과이며 학습으로 그 해를 찾는다는 보장은 아니다	author-stated / analyst-inference(해석 주의)
반복 단계가 늘수록 안전성이 좋아진다(외삽 포함)	Figure 8a, Section 7.1	4단계 harmful rate: 1.4B Thinking 0.009, 2.6B Thinking 0.003 (Qwen3-4B-Thinking 0.009)	그래프상 2.6B base는 6→8단계에서 harmful rate가 약간 다시 오른다(그래프 판독)	author-stated / analyst-inference
반복 단계 사이에 답이 실제로 바뀐다(충실한 latent 과정)	Figure 9, Section 7.2	A[2,3]=551, A[2,4]=361. Qwen3-4B-Thinking은 최종 토큰 probe ROC AUC 0.99	관찰적 대리 지표이며 개입(intervention) 실험이 아니다(저자도 “cannot manipulate”라고 명시). i≥4에서 A[i,i+1]은 922–932	author-stated

결과의 연결. 벤치마크 비교(Table 7–9)는 Ouro가 같은 크기 외부 모델보다 낫다는 “현상”을 보이고, Section 6의 합성 실험은 그 원인을 “저장은 같고 조작이 낫다”로 설명한다. MMLU 같은 지식 중심 과제에서 상대적으로 약하고 BBH·MATH500 같은 추론 중심 과제에서 강한 패턴(Table 7·8)은 이 설명과 방향이 맞는다(analyst-inference, Appendix B.4의 MMLU 범주 분석도 같은 방향이라고 저자 주장). 반면 깊이 외삽은 벤치마크 정확도에서는 이득이 없고(Table 10–13), 안전성만 개선이 이어진다고 저자는 보고한다.

Take-home

핵심 메시지: 4회 반복 LoopLM을 7.7T 토큰으로 사전학습하면 1.4B·2.6B 모델이 2–3배 큰 dense 모델과 많은 벤치마크에서 맞먹고, 그 이득은 지식 저장이 아니라 지식 조작 능력에서 온다는 것이 저자들의 주장이다.
성립 범위: Ouro 1.4B·2.6B, 학습 반복 4회. 메커니즘 분석은 1M–40M GPT-2형 소형 모델의 합성 과제. 반복 이득은 학습 깊이(T=4) 근처까지만 유효하고 외삽 시 벤치마크 성능은 떨어진다.
저자가 인정한 한계 (author-stated):
- 반복 8회 학습은 불안정해 4회로 줄였다(Section 4.3).
- LR sweep을 하지 않았다(Section 4.3).
- RL(RLVR)은 가변 깊이와 추론 엔진의 불일치로 SFT를 넘지 못했다(Section 4.5).
- 학습 깊이를 넘는 외삽 성능 향상은 향후 과제(Section 8).
- 충실성 평가는 latent 과정을 직접 조작할 수 없어 관찰적 대리 지표를 썼다(Section 7.2).
작성자 우려 (analyst-inference):
- “2–3배 parameter efficiency”는 데이터·학습 레시피가 다른 외부 모델과의 비교다(Ouro 7.7T vs Qwen3 36T, Gemma3-4B 4T 등, Table 7·8). 같은 데이터로 학습한 비반복 대조군의 대규모 비교는 본문에 없고, Appendix D의 LoopLM vs Standard 비교(Figure 13·14, Table 18)는 캡션만 확인했다.
- 4회 반복은 같은 파라미터 dense 모델보다 토큰당 계산이 많다. 파라미터 효율과 계산 효율은 다른 이야기다.
- Stage 4 mid-training에 SFT 형식 데이터 90B가 들어가 “base” 모델 비교의 성격이 다른 base 모델과 같은지 판단하기 어렵다.
- Table 7과 8에서 같은 외부 모델의 점수가 다르게 적힌 곳이 있다(예: Qwen3-4B BBH 70.95 vs 71.14, HumanEval 77.40 vs 77.70; Gemma3-4B ARC-C 60.92 vs 60.75, Winogrande 71.07 vs 71.27).
- Figure 5에서 trained gate의 우위는 그래프상 작다. 본문 수치(2–3%)는 판독치보다 크다.
반복 횟수·공개: 대형 벤치마크(Table 7–14)의 seed·반복 실행 수는 보고되지 않았다. 합성 과제는 Mano 3 seed 중 최고(Appendix B.2), 다단계 QA 4 seed 평균(Appendix B.3), prior 비교는 다중 seed(Appendix A). 모델(Base·Reasoning)은 공개됐다(Project Page http://ouro-llm.github.io, p.1). 학습 데이터는 전부 공개 데이터셋이라고 밝혔다(Section 4.2). 학습 코드 공개 여부는 확인하지 못했다.
읽지 못한 범위: 없음(전문 확보). 부록 도표(Figure 10–23, Table 15–18)는 캡션만 확인했다.

본문 도표

Figure 1 — Ouro 구조와 레이더 차트

무엇을 보여주는가: (왼쪽) 입력 임베딩 → Layer 1…N 묶음을 ×R 반복 → 현재 반복 $i$ 에서 exit gate( $p_{i}$ )와 head( $L_{i}$ ). (가운데) Ouro 1.4B vs Gemma3 1B, Qwen3 1.7B, Gemma3 4B, Qwen3 4B. (오른쪽) Ouro 2.6B vs Gemma3 4B, Qwen3 4B, Gemma3 12B, Qwen3 8B. 축은 ARC-C, BBH, MMLU-Pro, MMLU, MBPP+, HumanEval+, MATH500, GSM8K, Winogrande, HellaSwag.
읽는 법: 바깥쪽일수록 높은 점수. 빨간 선이 Ouro(4회 반복).
핵심 관찰: Ouro 1.4B 선이 MATH500·GSM8K·BBH 축에서 바깥으로 튀어나오고, 2.6B도 MATH500에서 가장 바깥에 있다. 정확한 값은 Table 7·8.
의미와 주의: 저자 해석은 “훨씬 큰 baseline과 비슷하거나 그 이상”(author-stated). 레이더 차트는 축마다 범위가 달라 차이를 과장해 보이게 할 수 있으므로 수치는 표로 확인하는 편이 낫다(analyst-inference).
확인 상태: viewed

Figure 2 — 고급 추론 벤치마크

무엇을 보여주는가: Ouro-1.4B/2.6B-Thinking(빗금)과 Qwen3-1.7B/4B/8B, DeepSeek-Distill-1.5B/7B의 AIME24·AIME25(pass@1 막대, pass@10 점선 막대), OlympiadBench, BeyondAIME, HLE, SuperGPQA, GPQA 점수.
읽는 법: y = 점수(%). 패널마다 y 범위가 다르다(HLE는 0–7).
핵심 관찰: BeyondAIME에서 Ouro-2.6B 39.0이 최고, Qwen3-8B 38.0. HLE는 Ouro-2.6B 5.58이 최고이지만 전체 범위가 2.22–5.58로 매우 낮다. GPQA는 Qwen3-8B 59.10이 최고.
의미와 주의: 수치는 Table 9와 같다. HLE의 작은 차이는 문항 수 대비 의미가 크지 않을 수 있다(analyst-inference). LLM-as-judge 평가다.
확인 상태: viewed

Figure 3 — LoopLM 학습·추론 구조

무엇을 보여주는가: (Training) 같은 Layer 1…N 묶음을 $t = 1, 2, \dots, T_{ma x}$ 반복하며 단계마다 exit gate가 $p_{t}$ , head가 $L^{(t)}$ 를 낸다. 전체 loss = 기대 task loss − β·entropy. (Inference) 누적 CDF가 threshold보다 작으면 계속, 넘으면 그 단계에서 early exit 후 head로 출력.
읽는 법: 왼쪽 상자는 학습, 오른쪽은 추론. 흐린 마지막 블록은 실행되지 않은 단계.
핵심 관찰: 학습 때는 모든 단계의 loss를 확률 가중으로 합치고, 추론 때는 한 단계만 출력에 쓴다.
의미와 주의: 식 3–4와 Section 3.2의 Q-exit 규칙을 그림으로 옮긴 것이다(author-stated).
확인 상태: viewed

Figure 4 — 학습 파이프라인

무엇을 보여주는가: Warmup → Stable Training(3T) → 1.4B 유지 / 2.6B upcycle로 분기 → 각각 Stable Training 3T → CT Annealing 1.4T → LongCT 20B → Mid-Training 300B → Ouro-1.4B/2.6B → Reasoning SFT → Ouro-Thinking.
읽는 법: 왼쪽에서 오른쪽으로 시간 순서.
핵심 관찰: 분기는 첫 3T 이후에 일어나, 두 모델이 첫 3T를 공유한다.
의미와 주의: 2.6B는 처음부터 48층으로 학습된 모델이 아니라 24층 체크포인트를 복제해 키운 모델이다(author-stated, Section 4.3.1). 그림에는 반복 횟수 8→4 변경이 표시되지 않는다(Table 1에 있음).
확인 상태: viewed

Table 1 — 학습 레시피

무엇을 보여주는가: Stage 1a·1b·2·3·4별 학습률, 스케줄러, weight decay, optimizer, batch, 시퀀스 길이, 토큰 수, 반복 횟수, β, RoPE base, 데이터 초점.
읽는 법: 열 = 단계, 행 = 하이퍼파라미터. 가운데 정렬된 값은 여러 단계 공통.
핵심 관찰: 반복 8(1a) → 4(이후), β 0.1 → 0.05, 길이 4K → 16K → 64K → 32K, RoPE base 10K → 40K → 1M.
의미와 주의: 반복 수와 β를 학습 중간에 바꿨으므로, 최종 모델의 성질이 “처음부터 4회 학습”과 같은지는 알 수 없다(analyst-inference).
확인 상태: viewed

Table 2 — 모델 구성

무엇을 보여주는가: Ouro 1.4B(24층)와 2.6B(48층)의 구성. 둘 다 hidden 2048, MHA, SwiGLU, RoPE, 어휘 49,152.
읽는 법: 행 = 모델, 열 = 구성 요소.
핵심 관찰: 두 모델은 층 수만 다르다.
의미와 주의: 표에 반복 횟수는 없고 본문에서 4회로 고정된다(author-stated, Section 4.3).
확인 상태: viewed

Table 3 — 학습 코퍼스 통계

무엇을 보여주는가: 데이터 출처별 단계, 전체 토큰(B), 실제 사용 토큰(B).
읽는 법: 무작위 샘플링 때문에 데이터셋 크기와 실제 본 토큰 수가 다르다(캡션).
핵심 관찰: Nemotron-CC 6386B 중 4404B 사용, Mid-training SFT Mix 182B 중 90B 사용.
의미와 주의: 전부 공개 데이터셋이라 재현 가능성을 높인다고 저자는 말한다(author-stated, Section 4.2).
확인 상태: viewed

Table 4 — Stage 1 데이터 구성

무엇을 보여주는가: Stage 1(6T 규모) 데이터 비율. Nemotron-CC 73.4%, MAP-CC 13.0%, Ultra-FineWeb-zh 2.0%, OpenCoder-pretrain 7.5%, MegaMath-web 4.1%.
읽는 법: 비율 합 100%.
핵심 관찰: 웹 데이터가 대부분이고 중국어 데이터는 Stage 2부터 제외된다(토크나이저에 중국어 어휘가 없어서, Section 4.2).
의미와 주의: 단순 구성표다.
확인 상태: viewed

Table 5 — Stage 2(CT Annealing) 데이터 구성

무엇을 보여주는가: 1.4T 규모 annealing 데이터 비율. Nemotron-CC 고품질 66.5%, Nemotron-CC-Math-v1 15.0%, MegaMath 고품질 4.6%, SFT-General 6.2% 등.
읽는 법: 출처별 비율(%).
핵심 관찰: 수학·코드·SFT 형식 데이터 비중이 Stage 1보다 커진다.
의미와 주의: Annealing 단계에 SFT 형식 데이터가 이미 들어간다는 점은 base 모델 비교 해석에 영향을 줄 수 있다(analyst-inference).
확인 상태: viewed

Table 6 — SFT 데이터 구성

무엇을 보여주는가: 약 8.3M 예시: Math 3.5M(OpenThoughts3, AceReason-1.1-SFT), Code 3.2M, Science 808K, Chat 767K.
읽는 법: 주제별 출처와 예시 수.
핵심 관찰: 수학·코드가 대부분이다.
의미와 주의: Ouro-Thinking의 추론 성능은 이 SFT 데이터의 영향을 함께 받는다(analyst-inference).
확인 상태: viewed

Table 7 — Ouro 1.4B R4 vs 1–4B base 모델

무엇을 보여주는가: Gemma3 1B부터 Gemma3 4B까지 8개 dense base 모델과 Ouro 1.4B R4의 12개 벤치마크 점수, 파라미터 수, 학습 토큰 수.
읽는 법: 굵게 = 최고, 밑줄 = 두 번째. 회색 열 = Ouro.
핵심 관찰: Ouro가 최고인 항목: BBH 71.02, Winogrande 72.30, GSM8K 78.92, MATH500 82.40. Qwen3-4B가 최고인 항목: MMLU 73.19, MMLU-Pro 51.40, ARC-C 63.65, HellaSwag 75.66, HumanEval 77.40, HumanEval+ 70.70, MBPP 78.80, MBPP+ 65.90.
의미와 주의: 저자는 “대부분 벤치마크에서 Qwen3-4B와 비슷”이라 요약한다(author-stated). 12개 중 Ouro가 1위인 것은 4개이고, 지식·코드 과제에서는 Qwen3-4B가 앞선다(analyst-inference). 학습 토큰도 7.7T vs 36T로 다르다.
확인 상태: viewed

Table 8 — Ouro 2.6B R4 vs 3–12B base 모델

무엇을 보여주는가: Qwen2.5 3B부터 Gemma3 12B까지 8개 dense 모델과 Ouro 2.6B R4 비교.
읽는 법: Table 7과 같음.
핵심 관찰: Ouro가 최고: MMLU-Pro 55.73, BBH 80.46, MATH500 90.85, MBPP 80.40. Qwen3-8B 최고: MMLU 76.63, GSM8K 83.09, HumanEval 84.80, HumanEval+ 75.30, MBPP+ 67.90. Gemma3-12B 최고: ARC-C 72.44, HellaSwag 83.68, Winogrande 77.74.
의미와 주의: Table 7과 겹치는 외부 모델(Qwen3-4B, Gemma3-4B)의 일부 점수가 두 표에서 다르게 적혀 있다(analyst-inference, 예: Qwen3-4B BBH 70.95 vs 71.14).
확인 상태: viewed

Table 9 — 추론 벤치마크 (Ouro-Thinking)

무엇을 보여주는가: Ouro-Thinking R4 두 모델과 Qwen3·DeepSeek-Distill 5개 모델의 AIME24/25(pass@1, pass@10), OlympiadBench, BeyondAIME, HLE, SuperGPQA, GPQA.
읽는 법: 굵게 = 최고, 밑줄 = 두 번째.
핵심 관찰: Ouro-2.6B가 AIME24 pass@10 90.0, OlympiadBench 76.4, BeyondAIME 39.0, HLE 5.58, SuperGPQA 53.7에서 최고. Qwen3-8B가 AIME24 pass@1 73.0, AIME25 pass@1 66.7, pass@10 81.3, GPQA 59.1에서 최고.
의미와 주의: AIME25 pass@1에서 Ouro-2.6B(50.3)는 Qwen3-4B(51.3)보다도 낮다(analyst-inference). 모든 모델을 같은 in-house harness·프롬프트·decoding으로 평가했다고 밝힌다(author-stated).
확인 상태: viewed

Table 10 — Ouro 1.4B base, 반복 단계별

무엇을 보여주는가: T=1–8에서 ARC-C(25-shot), ARC-E(8-shot), CommonsenseQA(10-shot), HellaSwag(10-shot), MMLU(5-shot), Winogrande(5-shot). T=5–8은 외삽.
읽는 법: 행 = 반복 단계, 굵게 = 최고.
핵심 관찰: 모든 열에서 T=4가 최고. MMLU 41.21(T=1) → 60.43(T=2) → 67.45(T=4) → 64.49(T=8). T=1→2의 증가가 가장 크다.
의미와 주의: 외삽 시 하락은 완만하다(author-stated). T=1이 일반 24층 모델과 같은 계산이므로, 1회 반복만으로는 성능이 크게 낮다는 점도 함께 보여 준다(analyst-inference).
확인 상태: viewed

Table 11 — Ouro 2.6B base, 반복 단계별

무엇을 보여주는가: Table 10과 같은 구성의 2.6B 결과.
읽는 법: Table 10과 같음.
핵심 관찰: 대부분 T=4가 최고이지만 Winogrande는 T=5에서 75.93으로 최고, HellaSwag는 T=4–8이 79.50–79.63으로 거의 같다.
의미와 주의: 저자도 “외삽 시 다양한 하락 패턴”이라고 쓴다(author-stated). 큰 모델이 외삽에 조금 더 견고해 보인다(analyst-inference).
확인 상태: viewed

Table 12 — Ouro-1.4B-Thinking, 반복 단계별

무엇을 보여주는가: T=1–8에서 OlympiadBench, SuperGPQA, AIME 2024, AIME 2025.
읽는 법: 굵게 = 최고, 점수는 %.
핵심 관찰: T=1에서 0.00–2.22로 사실상 실패. AIME24는 T=4(65.00), 나머지 셋은 T=5가 최고(OlympiadBench 72.30, SuperGPQA 48.73, AIME25 47.00).
의미와 주의: 저자는 긴 디코딩이 여러 깊이를 더 탐색하게 해 정점이 T=4에 고정되지 않는다고 추측한다(author-stated, 추측임을 “may suggest”로 표현).
확인 상태: viewed

Table 13 — Ouro-2.6B-Thinking, 반복 단계별

무엇을 보여주는가: Table 12와 같은 구성의 2.6B 결과.
읽는 법: Table 12와 같음.
핵심 관찰: SuperGPQA 56.70, AIME24 70.33, AIME25 50.67은 T=3이 최고이고 OlympiadBench는 T=4(76.44). T=8에서 OlympiadBench 39.26, AIME25 24.33으로 크게 떨어진다.
의미와 주의: Table 9의 R4 수치(AIME24 64.7)는 이 모델의 최고점(T=3 70.33)이 아니다. 깊이 선택에 따라 성능이 크게 달라진다(analyst-inference).
확인 상태: viewed

Figure 5 — 조기 종료 전략 비교 (MMLU)

무엇을 보여주는가: 고정 깊이(빨간 삼각형), hidden state 차이 임계값(초록 사각형), 사전학습 gate(파란 원, untrained), Stage II 학습 gate(주황 마름모)의 평균 exit 횟수 대비 MMLU 정확도.
읽는 법: x = 평균 exit round(1–4), y = 정확도(0.40–0.68).
핵심 관찰: 고정 깊이는 1회 0.40, 2회 약 0.60, 3회 약 0.66, 4회 약 0.675. 적응 방법 셋은 2–4회 구간에서 고정 깊이보다 위에 있고, 서로는 거의 겹친다(그래프 판독, analyst-inference).
의미와 주의: 저자는 trained gate가 모든 예산에서 최고이고 untrained와 2–3% 차이라고 쓴다(author-stated). 그래프에서 읽히는 차이는 그보다 작다(analyst-inference). MMLU 하나로만 비교했다.
확인 상태: viewed

Table 14 — 디코딩 KV 캐시 공유

무엇을 보여주는가: 4단계 전체 캐시, 첫 단계만, 마지막 단계만, 평균의 GSM8K·MATH-500 점수와 메모리 절감.
읽는 법: 행 = 전략, 열 = 점수와 절감 배수.
핵심 관찰: Last-step 78.85/80.40, Averaged 78.73/78.52로 Full 78.92/82.40에 가깝고 메모리 4.00× 절감. First-step은 18.73/8.43으로 붕괴.
의미와 주의: 디코딩에서만 해당하며 prefill에서는 단계별 캐시가 모두 필요하다(author-stated). MATH-500에서는 Last-step도 2.00점 떨어진다(analyst-inference).
확인 상태: viewed

Figure 6 — 지식 용량(Capo)과 지식 조작(Mano)

무엇을 보여주는가: (왼쪽) 파라미터 수(로그) 대비 기억한 bits(로그). 색 = 인물 수 N(20k–500k), 모양 = loop-1/loop-4, 빨간 점선 = 2 bit/param, 검은 선 = 1 bit/param. (오른쪽) Mano 정확도 표: Baseline(12⊗1), 2·3·6층 모델의 Base(k⊗1)와 Loop(k⊗12/k), L=10·16·24.
읽는 법: (왼쪽) 점들이 2 bit/param 선에 닿으면 용량 한계에 도달. (오른쪽) “k⊗r”는 k층을 r번 반복. 12⊗1은 같은 FLOPs의 비반복 모델.
핵심 관찰: (왼쪽) loop-1과 loop-4 점이 거의 같은 위치에 있고, 큰 N에서 2 bit/param 선 근처에서 포화한다. (오른쪽) L=24: Base(2⊗1) 7.5 → Loop(2⊗6) 78.0, Base(3⊗1) 11.0 → Loop(3⊗4) 92.2, Base(6⊗1) 20.0 → Loop(6⊗2) 35.1, iso-FLOP Base(12⊗1) 34.8.
의미와 주의: 저자 결론은 “반복은 용량을 늘리지 않지만 조작을 돕는다”(author-stated). 반례: Loop(6⊗2)는 L=10·16에서 iso-FLOP Base보다 낮다. Mano 결과는 3 seed 중 최고값이다(Appendix B.2). 같은 FLOPs라도 층 수가 적고 반복이 많은 모델(2⊗6, 3⊗4)이 더 잘한다는 점이 흥미롭다(analyst-inference).
확인 상태: viewed

Figure 7 — 다단계 QA 표본 효율

무엇을 보여주는가: (왼쪽) 고유 학습 샘플 수 대비 3-hop QA 정확도, Loop1/2/4 평균. (오른쪽) 전체 QA 쌍의 15%(12000개)로 20000 step 학습할 때의 학습 곡선.
읽는 법: (왼쪽) x = 고유 학습 샘플 수(축 표기 ×10^4), y = 정확도(%). (오른쪽) x = 학습 step(×10^3).
핵심 관찰: (왼쪽) Loop4는 x=14에서 100%, Loop2는 x=16에서 100%, Loop1은 x=20에서도 약 86%. (오른쪽) 20000 step에서 Loop4 약 62%, Loop2 약 33%, Loop1 약 14%(그래프 판독).
의미와 주의: 저자 해석은 “반복할수록 더 적은 샘플로 배운다”(author-stated). 캡션은 샘플 범위를 “전체의 2.5%–25%“라 하고 오른쪽에서 15% = 12000개라 하므로, 왼쪽 x축 값(2–20)은 천 단위로 읽히는데 축 표기는 ×10^4이다. 축 표기와 캡션이 맞지 않아 보인다(analyst-inference). 본문이 언급한 iso-FLOP 모델(24⊗1)은 이 그림에 없다.
확인 상태: viewed

Figure 8 — 안전성 (HEx-PHI)과 PCA

무엇을 보여주는가: (a) 반복 단계 1–8에서 Ouro 1.4B, 1.4B Thinking, 2.6B, 2.6B Thinking의 harmfulness score(1–5)와 harmful rate. (b) Ouro 1.4B의 최상층 마지막 입력 토큰 hidden state PCA(단계 1–4). 초록 사각형 = 무해 프롬프트, ×/원 = 유해 프롬프트, 색 = 응답 해로움 점수.
읽는 법: (a) 낮을수록 안전. 5–8단계는 외삽. (b) PC1·PC2 평면에서 무해·유해 군집이 얼마나 갈리는지.
핵심 관찰: (a) Ouro 1.4B harmful rate는 1단계 약 0.57 → 8단계 약 0.27, 2.6B는 약 0.41 → 약 0.18(그래프 판독). Thinking 모델은 1단계부터 낮다. 4단계 harmful rate는 1.4B Thinking 0.009, 2.6B Thinking 0.003(본문). (b) 1단계에서는 두 군집이 겹치고 빨간(해로운 응답) 점이 많으나, 4단계에서는 무해 군집(오른쪽)과 유해 군집(왼쪽)이 갈리고 빨간 점이 줄어든다.
의미와 주의: 저자는 반복이 해로움 판별을 도와 안전성이 외삽 구간까지 좋아진다고 해석한다(author-stated). 2.6B base는 6→8단계에서 harmful rate가 조금 다시 오르는 것으로 보인다(그래프 판독, analyst-inference). PCA는 “How to”로 시작하는 100+100 문항의 통제 분석이다.
확인 상태: viewed

Figure 9 — 충실성: probe와 단계 간 일치

무엇을 보여주는가: (왼쪽) Quora Question Pairs에서 층 위치별 linear probe ROC AUC. Qwen3-4B-Instruct/Thinking과 Ouro 1.4B의 R2·R3·R4. 세로 점선 = 반복 경계(층 24i). (오른쪽) 단계 R2–R8 사이 같은 답 개수 행렬(1,000문항).
읽는 법: (왼쪽) 높을수록 그 위치 hidden state로 그 단계의 답을 잘 예측. (오른쪽) 대각선은 1000, 값이 작을수록 두 단계 답이 다르다.
핵심 관찰: (왼쪽) Ouro 곡선은 각 반복 안에서 빠르게 오르고 다음 반복 시작에서 일부 내려간다. (오른쪽) A[2,3]=551, A[2,4]=361, A[3,4]=788, A[4,5]=922, A[5,6]=932.
의미와 주의: 저자는 단계마다 답이 실제로 바뀌므로 latent 과정이 사후 합리화가 아니라고 해석한다(author-stated). 이는 관찰적 대리 지표이며 인과 개입은 아니다(저자 인정). Qwen3-4B-Thinking 곡선의 최고점은 그래프에서 약 0.97–0.98로 보여 본문의 0.99와 약간 다르다(그래프 판독, analyst-inference). “답이 바뀐다”는 것이 “답이 좋아진다”를 뜻하지는 않는다(analyst-inference).
확인 상태: viewed

Wiki 연결

Mixture-of-Recursions - Learning Dynamic Recursive Depths for Adaptive Token-Level Computation — Related Work [22]. 토큰별 router로 반복 깊이를 정하는 쪽(MoR) vs 시퀀스 단위 exit gate로 정하는 쪽(Ouro).
Reasoning with Latent Thoughts - On the Power of Looped Transformers — Saunshi et al.[7], looping과 latent thought의 형식적 연결. Ouro는 이를 7.7T 규모로 확장.
Training Large Language Models to Reason in a Continuous Latent Space — Coconut[27], 명시적 hidden state 피드백 latent 추론. Theorem 1의 continuous CoT $O (D)$ 비교 대상.
Looped Transformers as Programmable Computers — looped Transformer 표현력 이론 계보(analyst-inference 연결).
Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — 적응적 반복·고정점 수렴. Figure 9의 “i≥4에서 답이 고정점으로 수렴” 관찰과 연결(analyst-inference).

BibTeX

@article{zhu2025scaling,
  title   = {Scaling Latent Reasoning via Looped Language Models},
  author  = {Zhu, Rui-Jie and Wang, Zixuan and Hua, Kai and Zhang, Tianyu and Li, Ziniu and Que, Haoran and Wei, Boyi and Wen, Zixin and Yin, Fan and Xing, He and others and Zhang, Ge and Huang, Wenhao and Bengio, Yoshua and Eshraghian, Jason},
  journal = {arXiv preprint arXiv:2510.25741},
  year    = {2025}
}