루프 모델 제대로 만들기 2부: 고정점에서 다시 생각하기

개요

루프 언어 모델(looped language model: 같은 층 묶음을 여러 번 반복 적용해 깊이를 늘리는 모델)은 반복(recurrence) 한 번마다 비용이 붙는다. 학습 때는 저장할 활성값이, 디코딩 때는 캐시할 KV(key-value: 앞 토큰을 다시 보기 위해 저장해 두는 attention 값)가, prefill(프롬프트를 처음 읽어 들이는 단계) 때는 계산이, RL(강화학습) 때는 rollout을 다시 재생하는 비용이 반복 횟수만큼 늘어난다. 이 논문의 통찰은 고정점(fixed point: 한 번 더 반복해도 상태가 변하지 않는 지점) 방정식 z⋆ = Fθ(z⋆; x)가 끝점만 담고 거기까지 가는 경로는 담지 않는다는 데 있다. 상태가 고정점 가까이 와 있으면 “어떻게 왔는지”는 중요하지 않으니, 끝점 하나가 궤적 전체를 대신할 수 있다. 이 관점에서 기존 지름길 두 개가 설명되고 새 지름길 두 개가 나온다. 마지막 b번만 역전파하는 truncated BPTT는 평형 그래디언트의 근사가 되고, **terminal KV sharing(각 앞 토큰의 마지막 반복 KV만 남겨 모든 반복이 함께 읽게 하는 캐시 절약법)**은 거의 손실 없이 KV 캐시를 3배 줄인다. 새로 나온 것은 끝점만 예측하는 비반복 student로 prefill을 대신하는 distilled prefill과, rollout 때 저장한 끝점에서 바로 그래디언트를 계산하는 rollout-state reuse다. 단, 이 지름길들은 학습이 실제로 고정점을 잘 만들어야 통한다. 그래서 저자들은 고정점을 빚는 두 부품을 고친다. 하나는 학습 반복 깊이를 뽑는 분포인 **depth prior(깊이 사전분포)**를 예측 성능 피드백으로 학습하고 엔트로피 항으로 넓게 유지하는 것이고, 다른 하나는 반복마다 넣는 입력에서 이전 상태가 입력 방향으로 증폭·상쇄하는 성분을 투영으로 지우는 **OrthoInj(직교 입력 주입)**다. 비교가 선명하다. 고정 깊이(R=5)로 full BPTT 학습한 1.6B 모델은 KV를 공유하면 GSM8K가 50.64에서 21.23으로 무너지지만, 학습된 prior 모델은 3배 작은 KV 캐시로 고정 깊이 모델의 full-cache 하류 평균(59.90)과 같은 수준(60.00)을 낸다. 100M~1.6B 전 규모에서 학습된 prior는 Huginn의 고정 PLN prior보다, OrthoInj는 Parcae 주입보다 validation PPL이 낮았다. RL 업데이트의 scoring+backward 시간은 full BPTT 대비 1.99×(GSM8K)·2.02×(MBPP+) 빨라졌고 pass@1 차이는 run 간 변동 범위 안이었다.

Implication: 루프 모델에서 “고정점을 만들 것인가”는 이론 취향의 문제가 아니라 비용 구조의 문제다. 고정점을 잘 빚도록 학습하면 깊이를 늘려도 학습·서빙·후학습 비용이 깊이에 비례해 커지지 않는다. 다만 1.6B까지, 설정당 seed 1개로 확인된 결과다.

📎 https://arxiv.org/abs/2610.06833

배경과 문제

루프 모델과 고정점 논쟁. 루프 언어 모델은 공유된 층 블록을 반복 적용한다(Universal Transformer [1], Huginn [2]; Section 1). 저자들은 이 분야가 두 진영으로 갈려 있다고 정리한다(Section 1, author-stated). 한쪽은 고정점을 포기하고 반복 횟수를 작고 고정되게 둔다(Ouro [5] 등 [3–5]). 다른 쪽은 고정점을 빚고 훨씬 깊게 반복한다([6–8]). 어느 쪽이든 일반적인 구현에서는 반복이 하나 늘 때마다 학습 활성값, 디코딩 KV, prefill 계산, RL 재생 비용이 함께 는다.

왜 고정점이 비용 문제와 연결되는가. 저자들이 드는 증거는 이렇다(Section 1, author-stated). 반복 사이에 마지막 KV 캐시를 재사용하면 Huginn의 zero-shot GSM8K 정확도는 거의 변하지 않지만 Ouro는 4회 반복에서 무너진다는 선행 보고 [9]가 있다. 저자들은 이 차이가 수렴 여부와 맞물린다고 본다. Huginn의 상태는 고정점에 다가가고 Ouro는 그렇지 않다는 분석 [10]이 있기 때문이다.

학술적 계보 (Section 6, author-stated):

DEQ(Deep Equilibrium Model: 반복을 끝까지 돌리는 대신 고정점을 직접 푸는 모델) [14]와 implicit differentiation, 그리고 Neumann 급수로 그 그래디언트를 근사하는 연구 [11, 12].
고정점을 안정화하거나 [6, 7, 43], 지도받은 상태를 attractor로 학습하거나 [8], 수렴 시 멈추는 연구 [44].
truncated backpropagation을 쓰는 루프 모델 [2, 13]. [13]은 HRM(Hierarchical Reasoning Model)이다.
반복 사이 KV 공유 방식 [2, 5, 46], prompt-KV 예측기 [21, 47].
깊이 분포: 고정 분포(Huginn [2]), 추론 시 주변화 [48], exit 학습 [49, 50], 상태에서 엔트로피 정규화 깊이 분포를 배우는 Ouro [5]·RL-Halting [51].
입력 주입: [2, 14, 52], 그리고 수축성(contractiveness)을 강제한 Parcae [15]. 저자들의 1부(블로그 글 [16])도 입력 주입을 다룬다.

저자들이 말하는 기존 방법의 한계 (Section 1, 4, 6, author-stated):

고정 깊이 학습은 그 깊이에서는 예측을 잘하지만 KV 공유를 깨뜨린다.
Huginn의 넓은 고정 prior(PLN)는 공유를 지원하지만, 공유에 필요한 것보다 목표 깊이의 지도 신호를 더 많이 희석한다.
Ouro·RL-Halting은 매 학습 스텝을 최대 깊이까지 펼치고 고정점 shaping을 목표로 하지 않는다.
Huginn·Parcae의 입력 주입은 상태가 입력 방향으로 가진 성분을 제약하지 않아, 부호에 따라 주입을 증폭하거나 상쇄한다.

지표

지표	무엇을 세는가	단위·범위	방향	분모·정규화	측정 조건	위치
Val. PPL (MixVal)	다음 토큰 예측의 perplexity(헷갈림 정도: 평균 교차엔트로피의 지수)	≥1	낮을수록 좋음	토큰 평균. Table 2·3·5에서는 8,192 토큰 시퀀스의 앞 절반을 prefill하고 뒤 절반만 채점	TxT360 출처에서 뽑은 held-out set, R=5, terminal KV sharing	Section 5.1, Appendix D.1, D.3
Wiki PPL	WikiText-103에서의 perplexity	≥1	낮을수록 좋음	위와 같음	WikiText-103	Section 5.1, Appendix D.2
Downstream AVG	LAMBADA, HellaSwag, PIQA, ARC-Easy/Challenge, OpenBookQA, SciQ 7개 정확도의 평균	%	높을수록 좋음	7개 과제 평균	zero-shot, 선택지 log-likelihood 채점(정규화 방식은 Table 27), R=5 + terminal KV sharing	Section 5.1, Appendix D.2
Generation	GSM8K 정확도, DROP F1, MBPP+ pass@1	%	높을수록 좋음	과제별	R=5 + terminal KV sharing	Section 5.1, Appendix D.5
RL pass@1 / pass@8	GSM8K·MATH500·MBPP+에서 1개/8개 샘플 중 정답 비율	%	높을수록 좋음	문항당 8 샘플	L 모델, Dr. GRPO, R=6	Table 4, Appendix C.8
Update time	RL 업데이트 한 번의 scoring + backward 시간 중앙값	초	낮을수록 좋음	rollout과 optimizer step 제외	같은 체크포인트, R=6	Table 4
Prefill latency	8K 프롬프트 prefill 시간	ms	낮을수록 좋음	배치 8, 6회 평균 ± 표준편차	하드웨어 상세는 확보한 본문에서 확인하지 못했다(부록 미독)	Table 5
Training FLOPs	학습 연산량	10^19 FLOPs	낮을수록 효율적	—	Table 2	Table 2
ρ_{r,t} (수렴 측정)	토큰 t의 은닉 상태가 반복 r에서 바뀐 상대 크기	비율	작을수록 수렴	‖h_t^r − h_t^{r−1}‖₂ / (‖h_t^{r−1}‖₂ + ε), ε=10⁻⁸	임계값 τ=2% 아래로 관측 끝까지 유지되면 수렴	Section 2

방법과 벤치마크 구성

기본 구조 (Section 2, 5.1)

입력 x를 비공유 블록인 prelude가 e = Pθ(x)로 임베딩한다.
공유 블록인 recurrent core가 랜덤 초기 상태 z⁰에서 시작해 z^r = Fθ(z^{r−1}; x)를 r=1…R 반복한다. 매 반복마다 e를 주입한다.
비공유 블록인 coda가 마지막 상태를 다음 토큰 logit으로 바꾼다.
실험 모델은 Huginn을 따라 prelude 1블록, 2블록 recurrent core, coda 1블록인 1+2×R+1 구조다. R회 반복이면 논리적 깊이(logical depth)가 2+2R 블록이다. R=5이면 12블록이고, 물리적 블록은 4개다.
상태 z^r = (H^r, C^r)는 은닉 상태와 그 반복에서 쓴 KV bank(물리 attention 층 하나당 하나)를 함께 묶은 것이다.

고정점이 주는 네 가지 지름길 (Section 3)

Truncated BPTT (학습): 식 (1). 고정점에서의 정확한 민감도 D⋆ = (I − J⋆)⁻¹B⋆는 Neumann 급수로 펼칠 수 있고, b항까지 자른 D_b의 오차는 b에 대해 기하급수적으로 줄어든다(J⋆의 spectral radius < 1 가정). TBPTT는 마지막 b번만 역전파하며, 그 그래디언트 D̃_b는 실제로 지나온 상태에서 Jacobian을 평가한다. 따라서 고정점이 아직 없을 때도 “앞 상태를 고정한 채 마지막 b회를 통과한 정확한 그래디언트”이고, 상태가 수렴하면 D_b에 가까워진다. implicit gradient와 달리 warm-up이나 전환 단계가 필요 없다는 것이 저자들의 논지다.
Terminal KV sharing (디코딩): 앞 토큰은 마지막 반복의 KV만 남기고, 현재 토큰의 모든 반복이 그것을 읽는다(Figure 3b). 문제는 teacher-forced 학습에서는 반복 r이 앞 토큰의 반복 r KV를 읽는다는 점이다(Figure 3a). Lemma 1은 이 차이가 극한에서 사라짐을 보인다. 앞 토큰 맥락이 C⋆로 수렴하고, 현재 토큰 갱신이 κ<1로 수축(contractive)하며 맥락에 대해 β-Lipschitz이면, 같이 반복하는 경우와 앞 토큰을 고정한 경우가 같은 고정점으로 간다(증명 Appendix A.1). 이 Lemma가 다루는 것은 앞 토큰 bank가 수렴하는 극한 경우다(author-stated).
Distilled prefill (prefill): 디코딩이 마지막 bank만 읽으므로, prefill은 끝점만 예측하는 가벼운 student Sψ로 대체할 수 있다. student 출력에 teacher 반복을 한 번 적용하고 coda를 거쳐 각 물리 층의 KV bank를 얻는다(Figure 3c). 손실 식 (4)는 teacher 상태 에너지로 정규화한 은닉 상태 회귀와 다음 토큰 KL의 합이다. student는 teacher의 recurrent core로 초기화한다.
Rollout-state reuse (RL): on-policy이므로 rollout 때 저장한 끝점 z^R은 새로 forward해도 같은 값이 나온다. 그래서 recurrent block을 z^R에서 한 번만 적용하고, 기록한 그래프로 v ← g + J_R^⊤ v를 b−1번 돌린다(Neumann-(b−1), 식 (2), Algorithm 1). 업데이트 비용과 메모리가 R과 무관해진다.

고정점을 빚는 두 부품 개선 (Section 4)

학습된 depth prior (Section 4.1, 식 (6), Algorithm 2): Huginn의 shifted Poisson–log-normal(PLN) prior(식 (5), σ_ξ=1/2, E[R]=R̄)를 깊이 {1…R_max}에 대한 categorical prior p_ϕ = softmax(ϕ)로 바꾼다. 목적함수는 세 항이다. ① 예측 품질: 그 깊이에서의 CE를 보상 u = exp(−ℓ)로 바꾸고, EMA 기준선으로 중심화한 뒤 PopArt 방식으로 CE 척도에 맞춘 advantage를 쓰는 REINFORCE 꼴. ② 엔트로피 λ_H·H(p_ϕ): 분포를 넓게 유지한다. ③ 예산: λ_m(E[R] − R̄)²로 평균 깊이를 목표에 묶는다. 엔트로피 항이 없으면 피드백이 이미 잘 맞히는 좁은 깊이 대역으로 지도 신호를 몰아 고정점 shaping이 약해질 수 있다고 저자들은 설명한다. λ_H는 성능과 메모리 효율 사이의 조절 손잡이다.
OrthoInj (Section 4.2, 식 (7)–(8)): 흔한 덧셈 주입은 ζ_t^r = M h_t^r + q_t다. Parcae는 M = Λ = diag(exp(−Δ⊙α))로 ‖Λ‖₂<1을 보장한다. OrthoInj는 이전 상태 carryover에서 q_t 방향 성분을 투영 Q_{q_t} = I − q_t q_tᵀ/(‖q_t‖² + ε)로 지운다. 그러면(ε=0, q_t≠0일 때) ζ의 q_t 방향 성분은 고정점에서도 매 반복 정확히 q_t이고, ‖Q Λ‖₂ ≤ ‖Λ‖₂ < 1이라 수축성도 유지된다. 각주 4: Parcae는 주입 전 e_t에 RMSNorm을 적용하지만 OrthoInj는 이를 뺀다.

실험 설정 (Section 5.1, Table 1)

규모: S(100M, 21.5B 토큰), M(400M, 85.9B), L(1.6B, 343.6B). dense Llama 블록.
비교 baseline: Untied 4(서로 다른 4블록. 물리 깊이·파라미터 수 일치)와 Untied 12(서로 다른 12블록. R=5의 논리 깊이 일치, 파라미터 3배).
데이터: TxT360을 포함한 가중 다국어 혼합, Jais64k tokenizer. AdamW, warmup–stable–decay(5% 선형 warmup, 마지막 10% cosine decay로 최대 LR의 1/10). 규모별 최대 LR sweep(Appendix B.1).
평가 기본값: R=5, terminal KV sharing(4개 bank만 캐시, 12개가 아님).
depth prior 비교(Section 5.2): Fixed R=5, Fixed PLN-5, Learned λ_H=0, Learned λ_H=0.01. 모두 평균 깊이 5. 학습 prior는 PLN-5에서 시작하고 R_max=64.
입력 주입 비교(Section 5.3): DEQ-QKV [14], Huginn-Linear [2], Parcae-Decay [15], OrthoInj. 모두 PLN-5로 학습. DEQ-QKV는 S에서만, Huginn-Linear는 S·M에서만 있다(Table 3).
RL(Section 5.4): L 학습 prior 모델(λ_H=0.01), Dr. GRPO, R=6. 수학 run은 GSM8K train 400문항 학습, GSM8K test 500문항과 MATH500 평가. 코드 run은 MBPP+ 272 과제 학습, held-out 100 과제 평가. 프롬프트당 16 응답.
Distilled prefill(Section 5.5): S/M/L 학습 prior 모델을 teacher core로 초기화한 2블록 student로 증류. teacher 사전학습 토큰의 1/4 사용. 이후 디코딩은 모두 teacher가 R=5로 수행.

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
Huginn의 토큰 수렴은 이질적이다	Figure 2, Section 2	토큰마다 수렴 깊이가 다르고 인과 순서도 아니다. 수렴 깊이와 위치의 Spearman 상관 0.14	Huginn 한 모델, τ=2%	author-stated
truncation만으로 고정점이 빚어진다	Section 3.1, Appendix C.3	고정 R=5 full BPTT: R=64로 외삽 시 PPL 25% 넘게 상승, KV 공유 시 21% 상승. TBPTT(b=2): 각각 최대 2%, 3%	고정 깊이 학습 조건	author-stated
깊이 샘플링 하에서 b≥4이면 full BPTT와 같다	Section 3.1, Table 17	400M에서 PPL 차이 1% 이내	부록 표, 본 노트에서는 캡션만 확인	author-stated
R=5에서 terminal KV sharing 비용은 작다	Section 3.2, Appendix C.5	12개 중 4개 bank 유지, full cache 대비 PPL 상승 최대 0.85%	훈련 깊이 R=5	author-stated
고정 깊이 학습은 KV 공유를 깨뜨린다	Table 2, Table 8, Section 1	L: GSM8K full cache 50.64 → shared 21.23. M·L에서 공유 시 GSM8K 절반 이하	full cache 수치는 부록 Table 8	author-stated
학습된 prior는 공유 하에서 PLN-5보다 PPL이 낮다	Table 2, Section 5.2	Val. PPL 0.7–1.8% 감소, 학습 FLOPs 최대 1.6% 증가. 예: L 3.10 → 3.07	terminal KV sharing, R=5	author-stated
학습된 prior(λ_H=0.01)는 3배 작은 캐시로 고정 깊이 full cache 평균과 같다	Table 2 vs Table 8 (L)	shared AVG 60.00 vs Fixed R=5 full-cache AVG 59.90	두 표의 PPL은 채점 방식이 달라 직접 비교 불가, 과제 열만 비교 가능(Table 8 캡션)	author-stated
엔트로피 항은 L에서 필수적이다	Table 2	GSM8K λ_H=0.01: 47.92 vs λ_H=0: 36.47	반례: M에서는 λ_H=0이 AVG 49.72로 λ_H=0.01(49.07)보다 높다. “필수”는 L의 GSM8K 근거	author-stated + analyst-inference(반례)
학습 prior는 Untied 4를 앞서고 Untied 12에 다가간다	Table 2, Section 5.2	Untied 4 대비 AVG 우위 2.2(S) → 5.0(M) → 8.9(L). Untied 12 대비 Val. PPL 격차 13.6% → 8.9% → 6.3%. L에서 Untied 12보다 AVG 1.5, GSM8K 0.9 낮음	Untied 12는 파라미터·KV 3배	author-stated
OrthoInj는 모든 규모에서 Val. PPL이 가장 낮고 AVG가 가장 높다	Table 3	S 5.67 vs Parcae 5.75, M 3.94 vs 3.96, L 3.08 vs 3.09. AVG 41.65/49.16/59.26	반례: Wiki PPL은 S에서 Parcae가 낮고(19.90 vs 20.02) L은 동률(8.72). 생성 과제는 M의 GSM8K(13.95 vs Huginn-Linear 16.68), L의 GSM8K·MBPP+(51.71/27.75 vs Parcae 52.92/30.88)에서 뒤진다	author-stated + analyst-inference(반례)
OrthoInj는 학습 손실이 가장 낮다	Figure 5, Section 5.3	세 규모 모두 마지막 학습 구간 CE 최저	본문은 “validation and WikiText PPL”도 모든 규모 최저라 쓰지만, Table 3의 S Wiki는 그렇지 않다(불일치)	author-stated + analyst-inference(불일치 표시)
rollout-state reuse는 업데이트를 2배 빠르게 한다	Table 4	Reuse+Neumann-4: GSM8K 1.39s vs Full BPTT 2.77s(1.99×), MBPP+ 0.51s vs 1.03s(2.02×)	rollout 생성 시간은 제외. 저자들도 rollout이 학습 시간 대부분이라고 밝힌다(Table 25)	author-stated
reuse는 full BPTT의 pass@1을 run 간 변동 이내로 따라간다	Table 4, Section 5.4	GSM8K 61.65 vs 63.20, MATH500 17.82 vs 18.27, MBPP+ 39.38 vs 40.88. 변동 추정치 1.6/0.5/2.3점	변동 추정은 reuse와 recompute control의 차이(같은 그래디언트, cosine 0.997–0.999)로 잡았다. seed 반복이 아니다	author-stated
RL 이득은 MATH500으로 전이된다	Table 4	모든 방법이 pass@1을 3.9–5.4점 올림(13.40 → 17.32–18.77)	MATH500은 RL 학습에 쓰지 않음	author-stated
distilled prefill은 1.5–1.8× 빠르지만 정확도를 잃는다	Table 5, Section 5.5	teacher 대비 AVG −1.0(S), −2.3(M), −4.5(L). L latency 830.3 vs 1482.1 ms	격차는 규모가 클수록 커진다	author-stated
같은 지연시간이면 distilled prefill이 조기 중단보다 낫다	Table 5	teacher R=2보다 1–4% 빠르고 AVG 0.5–0.9점 높음	반례: M·L의 GSM8K는 R=2가 더 높다(9.17 vs 8.95, 33.06 vs 32.90)	author-stated + analyst-inference(반례)
teacher 초기화와 KL 항이 student 품질을 좌우한다	Section 5.5, Table 22	teacher init으로 AVG +0.7(S)·+1.1(M), M MBPP+ 2.50 → 6.12. KL 추가로 랜덤 init student의 M MBPP+ 0.25 → 2.50	부록 표	author-stated

결과들은 하나의 사슬로 이어진다. Figure 2는 토큰마다 수렴 깊이가 다르다는 사실을 보이고, 그래서 학습 때 어떤 깊이를 뽑느냐가 “앞 토큰이 수렴한 맥락”을 학습이 보게 되는지를 결정한다. Table 2는 그 결정이 실제로 terminal KV sharing의 성패를 가른다는 것을 보인다. 고정 깊이 학습만 공유에서 무너진다. Table 3과 Figure 5는 같은 PLN-5 조건에서 주입 방식만 바꿔도 PPL이 개선됨을 보인다. Table 4와 Table 5는 고정점이 잘 형성된 학습 prior 모델 위에서 새 지름길 두 개가 작동함을 보인다. 이 두 지름길의 근거는 모두 L 학습 prior 모델 하나(RL)나 학습 prior 모델(prefill) 위에서 나온 것이다. 다른 학습 방식의 모델에 같은 지름길을 적용했을 때의 결과는 본문에 없다(analyst-inference).

Take-home

핵심 메시지: 루프 모델의 상태가 고정점 근처에 있으면 끝점이 궤적을 대신한다. 그러므로 고정점을 잘 빚는 학습(넓되 학습되는 depth prior + 직교 입력 주입)이 학습·디코딩·prefill·RL 비용을 깊이에서 떼어 낸다.
성립 범위: Huginn 구조(1+2×R+1)의 dense Llama 블록, 100M/400M/1.6B, TxT360 계열 혼합 데이터, 평균 깊이 5. RL은 L 모델 한 개, GSM8K와 MBPP+만.
저자가 인정한 한계 (Section 7, author-stated): 최대 1.6B, 설정당 seed 1개, ablation이 설계 공간을 다 덮지 못함, 더 큰 규모와 다른 모델 구성은 미검증, 실제 응용 가능성은 추가 연구가 필요. distilled prefill은 규모가 커질수록 teacher와의 격차가 커진다.
작성자가 보는 우려 (analyst-inference):
- 많은 비교가 PPL 1% 안팎 또는 AVG 1점 미만 차이다(예: M에서 학습 prior AVG 49.07 vs PLN-5 49.06). seed 1개로는 이런 차이의 신뢰구간을 알 수 없다. 부록의 PPL 불확실성은 평가 불확실성이지 학습 seed 분산이 아니라고 저자들도 밝힌다(Appendix C.1 캡션).
- OrthoInj의 이득은 PPL과 7개 과제 평균에서는 일관되지만 생성 과제에서는 규모에 따라 뒤집힌다.
- Lemma 1은 수축성과 Lipschitz 가정 아래의 극한 결과다. 실제 모델이 그 가정을 만족하는지는 직접 검증되지 않았고, 근거는 경험적 PPL 비교다.
- Section 5.3 본문의 “모든 규모에서 WikiText PPL 최저” 문장은 Table 3과 맞지 않는다.
재현성: 코드 저장소 https://github.com/ifm-ai/xllm-loop (1쪽에 명시). seed는 설정당 1개(Section 7).
읽지 못한 범위: 47쪽 PDF 전체 텍스트를 확보했고 본문(1–14쪽)은 정독했다. 부록(A–E)은 표·그림 캡션과 본문이 인용한 일부(Table 8)만 확인했다.

본문 도표

Figure 1 — 무엇이 고정점을 빚고, 고정점이 무엇을 가능하게 하나

무엇을 보여주는가: 논문 전체 구조를 한 장에 담은 그림이다. 왼쪽은 고정점을 빚는 두 부품(학습된 depth prior, 직교 주입), 가운데는 고정점 z⋆ 근처의 궤적과 마지막 b스텝 역전파 창, 오른쪽은 궤적 대비 끝점 사용 시의 비용 절감 막대다.
읽는 법: 왼쪽 위 곡선들은 고정 prior에서 학습 prior로 깊이 분포가 바뀌는 모습(x축 R=1, 5, 10)이다. 가운데 타원은 z¹에서 z^R을 거쳐 z⋆로 다가가는 등고선 위의 궤적이다. 오른쪽 막대는 회색이 궤적, 보라색이 끝점이다.
핵심 관찰: 오른쪽 막대에 적힌 절감 폭은 사전학습 활성값 최대 2.6× 감소, 디코딩 KV 캐시 3× 감소, prefill 1.79× 가속, RL scoring+backward 2× 가속이다.
의미와 주의: 저자들은 고정점 근처에서는 궤적을 건너뛸 수 있다고 해석한다(author-stated). “2.6× less” 활성값 수치의 측정 조건은 본문(1–14쪽)에서 찾지 못했다. 부록에 있을 수 있다(확보한 범위에서 확인하지 못했다). 막대 길이는 개념도이며 정밀한 척도로 읽지 않는다(analyst-inference).
확인 상태: viewed

Figure 2 — Huginn의 이질적 토큰 수렴

무엇을 보여주는가: Huginn에서 토큰마다 고정점에 다가가는 깊이가 다르다는 것.
읽는 법: (a) x축 토큰 위치(0–1000), y축 반복 횟수(1–32), 색은 상대 변화 ρ_{r,t}(로그 척도, 10⁻⁴~~1, 2%가 수렴 임계값)이고 검은 선은 수렴 깊이다. (b) (a)의 일부 구간 확대. 위치 59 근처에서 수렴 깊이가 13까지 튀고 주변은 7~~10이다. (c) x축 문서 내 위치(0–1024), y축 수렴 깊이, 점은 토큰, 보라 선은 128위치 구간별 중앙값.
핵심 관찰: 수렴 깊이와 위치의 Spearman 상관은 0.14다(그림 주석, Section 2). (c)에서 대부분 토큰은 8 근처 아래에 몰려 있고, 일부가 16·24 근처까지 흩어진다(analyst-inference, 그래프 판독).
의미와 주의: 뒤 토큰이 앞 토큰보다 먼저 수렴할 수 있어 수렴이 인과 순서를 따르지 않는다(author-stated). 그래서 학습 시 뽑는 깊이가 “수렴한 앞 맥락”을 보게 되는지를 결정한다는 Section 3.2의 논리로 이어진다. Huginn 한 모델의 관찰이다.
확인 상태: viewed

Figure 3 — 끝점이 궤적을 대신한다

무엇을 보여주는가: 세 가지 사용 장면에서 어떤 상태·KV를 쓰고 버리는지.
읽는 법: 아래에서 위로 반복이 진행되고, 가로축은 토큰 위치 i…t다. (a) 병렬 학습: 각 갱신이 이전 깊이의 앞 토큰 상태를 읽는다. 보라색 띠가 역전파 창이고 sg에서 그래디언트를 멈춘다. 진할수록 수렴에 가깝다. (b) KV 공유: 앞 토큰은 마지막 bank C⋆만 남고(나머지는 흐리게 버림), 현재 토큰의 모든 반복이 그것을 읽는다. (c) Distilled prefill: 앞 토큰 x_i…x_k를 student가 받아 근사 bank Ĉ를 만들고, 현재 토큰은 teacher가 디코딩한다.
핵심 관찰: 수치 없는 개념도다.
의미와 주의: (a)와 (b)의 차이, 즉 학습에서는 깊이 r의 앞 bank를 읽고 추론에서는 마지막 bank를 읽는 차이가 Lemma 1이 메우려는 간극이다(author-stated, Section 3.2).
확인 상태: viewed

Figure 4 — 학습된 prior가 고정 깊이와 PLN 사이의 trade-off를 좁힌다

무엇을 보여주는가: 테스트 시 반복 깊이를 바꿀 때의 WikiText-103 PPL. 학습 예산은 같다.
읽는 법: (a) S(100M, 21.5B 토큰), (b) M(400M, 85.9B 토큰). x축 테스트 깊이 R(1–64, 로그 간격), y축 native WikiText PPL. 파란 실선 R~PLN(5), 주황 점선 Fixed R=5, 보라 점선 Learned(λ_H=0.01). 안쪽 상자는 R=4–8 확대.
핵심 관찰: Fixed R=5는 R=1에서 PPL이 S 약 140, M 약 115로 크게 높고, R=5에서만 최저이며 그 뒤로 다시 오른다(analyst-inference, 그래프 판독). PLN과 학습 prior는 깊이 전 범위에서 낮고 안정적이다. 확대 상자에서 학습 prior가 R=5 이후 PLN보다 낮다. S에서 대략 21.0 대 21.3 수준이다(analyst-inference, 그래프 판독).
의미와 주의: 저자들은 고정 깊이가 훈련 깊이에서만 좋고, PLN은 전 깊이에서 좋지만 R=5에서 뒤처지며, 학습 prior가 그 사이에서 R=5 격차를 줄인다고 해석한다(author-stated, 캡션). 이 그림은 native PPL이라 terminal KV sharing을 쓴 Table 2와는 측정 방식이 다르다(analyst-inference). L 규모는 그림에 없다.
확인 상태: viewed

Figure 5 — OrthoInj가 모든 규모에서 가장 낮은 학습 손실로 끝난다

무엇을 보여주는가: Table 3 run들의 마지막 20% 구간 학습 CE.
읽는 법: (a) S, (b) M, (c) L. x축 학습 토큰(B), y축 Training CE. 5% 구간 중앙 rolling median이다. 회색 띠는 learning-rate decay 구간(마지막 10% 업데이트). 선은 DEQ-QKV(점선), Huginn-Linear(일점쇄선), Parcae-Decay(파선), OrthoInj(실선, 주황).
핵심 관찰: 세 규모 모두 OrthoInj 곡선이 가장 아래에서 끝난다. S에서 DEQ-QKV가 다른 셋보다 뚜렷이 높고(약 2.01 vs 1.95 부근), M·L에서는 Parcae-Decay와 OrthoInj의 차이가 작다(analyst-inference, 그래프 판독).
의미와 주의: 같은 규모 안에서는 모든 run이 같은 깊이 샘플을 본다(캡션). 따라서 깊이 샘플링 차이가 비교를 오염시키지 않는다(author-stated). L에서는 Parcae-Decay와 OrthoInj 두 개만 비교한다. 학습 손실 차이가 생성 과제 우위로 이어지지는 않는다(Table 3, analyst-inference).
확인 상태: viewed

Table 1 — 학습 규모

무엇을 보여주는가: 세 모델 규모의 파라미터 수와 학습 토큰 수.
읽는 법: 행은 규모, 열은 Parameters와 Tokens(B).
핵심 관찰: S 100M/21.5B, M 400M/85.9B, L 1.6B/343.6B. 파라미터당 토큰 비율은 세 규모에서 약 215로 같다(analyst-inference, 계산).
의미와 주의: 모든 본문 비교는 이 세 규모에서만 이루어진다. 1.6B 위는 미검증이다(Section 7).
확인 상태: viewed

Table 2 — depth prior 비교와 Untied baseline

무엇을 보여주는가: 네 가지 depth prior와 두 Untied baseline의 학습 FLOPs, PPL, 7개 하류 과제, 3개 생성 과제.
읽는 법: 루프 모델은 R=5(논리 깊이 12블록)로 평가하고 terminal KV sharing으로 4개 bank만 캐시한다. FLOPs 단위는 10^19. Untied 4·12는 자체 full KV로 디코딩한다. 굵은 글씨는 각 규모의 최고값이다.
핵심 관찰:
- 고정 깊이 학습은 공유 하에서 가장 나쁘다. L GSM8K 21.23 vs PLN-5 47.61 vs 학습 prior(λ_H=0.01) 47.92.
- L 학습 prior(λ_H=0.01)는 Val. 3.07, Wiki 8.68, AVG 60.00으로 루프 모델 중 모든 지표 최고이고 생성 3개도 최고다.
- L에서 엔트로피 항을 빼면(λ_H=0) GSM8K 36.47, AVG 58.44로 PLN-5(59.30)보다도 낮다.
- S Untied 4는 FLOPs 3.259로 루프 모델(약 7.3)의 절반 이하다.
의미와 주의: 저자들은 학습 prior가 같은 파라미터·캐시의 Untied 4를 크게 앞서고 3배 큰 Untied 12에 다가간다고 해석한다(author-stated, 캡션). 반례: M에서는 λ_H=0이 AVG(49.72)·PPL에서 λ_H=0.01보다 낫고, S의 MBPP+는 PLN-5·λ_H=0이 더 높다. 엔트로피 항의 효과는 규모에 따라 다르다(analyst-inference).
확인 상태: viewed

Table 3 — 입력 주입 방식 비교

무엇을 보여주는가: DEQ-QKV, Huginn-Linear, Parcae-Decay, OrthoInj의 PPL·하류·생성 성능. 모두 PLN-5로 학습했고 R=5 + terminal KV sharing으로 평가했다.
읽는 법: 열 구성은 Table 2와 같다. S는 네 방식, M은 세 방식, L은 Parcae-Decay와 OrthoInj 두 방식만 있다.
핵심 관찰: Val. PPL은 OrthoInj가 S 5.67, M 3.94, L 3.08로 모든 규모 최저이고, AVG도 41.65/49.16/59.26으로 최고다. 다만 차이는 작다. L AVG 59.26 vs Parcae 59.22.
의미와 주의: 저자들은 OrthoInj가 가장 강한 baseline인 Parcae를 개선한다고 본다(author-stated). 반례: S의 Wiki PPL은 Parcae(19.90)가 낮다. GSM8K는 M에서 Huginn-Linear(16.68)·Parcae(15.01)가, L에서 Parcae(52.92)가 높다. MBPP+도 M·L에서 Parcae가 높다. 이득은 PPL과 선택형 과제 평균에 한정된다(analyst-inference).
확인 상태: viewed

Table 4 — RL에서 rollout 상태 재사용

무엇을 보여주는가: L 학습 prior 모델을 Dr. GRPO(R=6)로 GSM8K 또는 MBPP+에서 미세조정할 때 업데이트 방식별 성능과 업데이트 시간.
읽는 법: 행은 Before RL, Full BPTT, Recompute + Neumann-4(같은 Neumann 그래디언트를 쓰되 끝점을 재생으로 다시 만드는 control), Reuse + Neumann-4, Reuse + Neumann-3. 열은 GSM8K·MATH500·MBPP+의 Pass@1/Pass@8(문항당 8샘플)과 업데이트 시간(scoring+backward 중앙값, rollout·optimizer 제외).
핵심 관찰: 업데이트 시간은 GSM8K에서 Full BPTT 2.77s, Recompute 2.09s, Reuse-4 1.39s, Reuse-3 1.30s다. MBPP+에서는 1.03 / 0.65 / 0.51 / 0.48s. GSM8K Pass@1은 40.63에서 60.05–63.20으로, MBPP+ Pass@1은 30.88에서 37.12–40.88로 오른다.
의미와 주의: 저자들은 reuse가 full BPTT의 pass@1을 run 간 변동 이내로 맞춘다고 해석한다(author-stated). 반례: MBPP+ Pass@8은 Reuse-4가 64.00으로 Full BPTT(69.00)보다 5점 낮고 Before RL(63.00)과 비슷하다. MATH500 Pass@8도 Reuse-4가 49.60으로 Full BPTT 52.00보다 낮다. “run 간 변동”은 seed 반복이 아니라 두 방법의 차이로 추정한 값이다(analyst-inference).
확인 상태: viewed

Table 5 — Distilled prefill의 정확도·지연시간 trade-off

무엇을 보여주는가: prefill 경로별 PPL, 하류·생성 성능, 8K 프롬프트 prefill 지연시간. 이후 디코딩은 모두 teacher가 R=5로 4개 마지막 bank에서 수행한다(Untied 4만 자체 디코딩).
읽는 법: 행은 Untied 4, Teacher(R=5), R=3, R=2, R=1 조기 중단, Distilled(teacher init). 마지막 열은 6회 평균 ± 표준편차(ms, 배치 8).
핵심 관찰: L에서 teacher는 1482.1ms·AVG 60.00, distilled는 830.3ms·AVG 55.53, R=2는 848.6ms·AVG 54.96, R=1은 642.0ms·AVG 47.98이다. distilled의 GSM8K는 32.90으로 teacher(47.92)보다 15점 낮다.
의미와 주의: 저자들은 같은 지연시간에서 distilled가 조기 중단보다 낫다고 본다(author-stated). 그러나 생성 과제는 S를 빼면 크게 손실되고, 규모가 클수록 teacher와의 격차가 커진다(AVG −1.0 → −2.3 → −4.5). Untied 4가 모든 규모에서 가장 빠르다(S 100.7ms)(analyst-inference).
확인 상태: viewed

Wiki 연결

Hierarchical Reasoning Model — 이 논문이 truncated backpropagation을 쓰는 루프 모델의 예로 인용하는 [13]. HRM의 1-step 그래디언트를 이 논문의 TBPTT·Neumann 틀로 다시 읽을 수 있다.
Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — 루프 트랜스포머의 고정점 안정화라는 같은 문제.
Reasoning with Latent Thoughts - On the Power of Looped Transformers — 루프 트랜스포머의 표현력 쪽 근거.
Looped Transformers as Programmable Computers — 공유 블록 반복 구조의 계보.
Less is More - Recursive Reasoning with Tiny Networks — HRM의 고정점 1-step 근사를 버리고 재귀 전체를 역전파해 성능이 올랐다는 반대 방향의 결과. 이 논문의 “TBPTT가 평형 그래디언트를 근사한다” 논지와 대조된다.

BibTeX

@misc{huang2026loopeddoneright2,
  title         = {Towards Looped Models Done Right Part II: Rethinking at Fixed Points},
  author        = {Huang, Benhao and Shi, Chufan and Chen, Junlin and Wen, Shicheng and Liu, Zhengzhong and Xing, Eric and Ma, Xuezhe},
  year          = {2026},
  eprint        = {2610.06833},
  archivePrefix = {arXiv},
  primaryClass  = {cs.LG},
  url           = {https://arxiv.org/abs/2610.06833}
}