looped 언어 모델의 반복 동역학 안정화로 test-time 확장 가능한 잠재 추론 (STARS)
개요
Looped Language Model(LoopLM, 같은 Transformer 블록을 여러 번 돌려 “속으로 더 생각하는” 언어 모델)의 약속은 파라미터를 늘리지 않고 반복 횟수만 늘리면 점점 더 잘 추론한다는 것이다. 그런데 실제로는 그렇지 않다. Ouro-1.4B는 GSM8K에서 5번 반복할 때 정점을 찍고, 그 뒤로는 반복을 늘릴수록 성능이 떨어져 9번째에는 50% 아래로 내려간다. 이 논문의 통찰은 이 실패를 dynamical system(같은 규칙을 반복 적용할 때 상태가 어디로 흘러가는지 보는 수학적 관점)으로 보면 원인이 정규화(LayerNorm 등) “위치”에 있다는 것이다. Pre-Norm처럼 잔차 경로 밖에서 정규화하면 정보는 잘 흐르지만 은닉 상태의 크기가 끝없이 커져 궤적이 발산한다(effective but unstable). Post-Norm처럼 잔차까지 감싸 정규화하면 상태는 묶여 있지만 쓸모없는 지점에 갇힌다(stable but ineffective). Prelude/Coda 층 추가, 인접 상태 간 L2 정규화, 무작위 반복 횟수 학습 같은 기존 처방은 이 딜레마를 풀지 못했다. 저자들은 추론을 “불확실성을 줄여 가는 반복”으로 보고, 은닉 상태가 효과적이면서 asymptotically stable fixed point(조금 흔들려도 다시 돌아오는 평형점)로 수렴해야 한다고 주장한다. 리아푸노프 선형화 정리에 따르면 이 안정성은 반복 블록 Jacobian의 spectral radius(가장 큰 고유값의 크기)가 1보다 작으면 보장된다. 그래서 STARS는 이 반경을 학습 손실로 직접 누르는 JSRR(Jacobian Spectral Radius Regularization)을, 거대한 Jacobian을 만들지 않고 Jacobian-vector product 한 번 + power iteration 한 단계로 근사해 구현한다. 그리고 반복 횟수를 매 배치 무작위로 뽑아 궤적 전체에 이 제약이 걸리게 한다. 결과적으로 4자리 덧셈에서는 반복을 4000번 가까이 늘려도 정확도가 100%로 유지됐다. Ouro-1.4B를 NuminaMath 40만 샘플로 미세조정하면 5개 수학 벤치마크 평균이 4 반복에서 74.18%(SFT 70.46%), 8 반복에서 65.55%(SFT는 52.97%로 붕괴)였다.
Implication: looped 모델의 test-time scaling 실패는 “더 많이 학습하면 해결되는 용량 문제”가 아니라 반복 사상의 안정성 문제이며, 학습 목표에 “고정점이 안정적일 것”을 명시적으로 넣는 것이 반복 깊이를 늘려도 무너지지 않는 잠재 추론의 한 조건이다. 다만 수학 과제에서 성능이 반복에 따라 단조 증가하게 되지는 않았다.
📎 https://arxiv.org/abs/2605.26733
배경과 문제
test-time scaling과 잠재 추론(Section 2, author-stated). 추론 시 계산을 더 쓰는 주된 방법은 chain-of-thought(Wei et al. 2022), 다수결(Wang et al. 2022), Tree-of-Thoughts, MCTS처럼 출력을 길게 만드는 것이다. 이들은 자연어 생성의 대역폭과 효율에 묶인다. 잠재 추론은 계산을 이산 토큰에서 잠재 표현으로 옮긴다. Coconut(Hao et al. 2024)과 SIM-CoT 등은 연속 사고 토큰을 쓰지만, 저자는 이들도 결국 “시퀀스 방향” 확장이라고 본다.
recurrent Transformer와 LoopLM(Section 2). Universal Transformer(Dehghani et al. 2018)가 층 간 동적 반복을 시작했고, Giannou et al. 2023 등이 이론·소규모 실험으로 잠재력을 보였다. Huginn(Geiping et al. 2025)은 3.5B 모델을 처음부터 학습했고, Ouro(Zhu et al. 2025b)는 주류 오픈소스 LLM과 경쟁하는 LoopLM을 내놓았다. DEQ(Bai et al. 2019, 2021)는 looped 네트워크의 동역학을 다뤘지만 구조와 학습 알고리즘이 표준 언어 모델과 다르다.
안 풀린 문제. 반복을 늘리면 성능이 정점 뒤에 급락하거나 붕괴한다. 이 현상은 Ouro에서 특히 두드러진다(Figure 1, Section 2). 저자는 이것이 “직접 SFT가 깊이 반복을 통한 test-time 확장 능력을 주지 못하고, 학습 때의 특정 반복 횟수에 과적합한다”는 뜻이라고 해석한다(Section 1, author-stated). 기존 LoopLM 연구에는 잠재 동역학 관점의 학습 설계 분석이 부족했다고 지적한다.
이 논문의 차이. (1) 정규화 종류와 위치 12조합, Prelude/Coda, L2, random loop를 통제 실험으로 진단해 “안정성–효과성 trade-off”를 밝혔다(Section 4). (2) 해결책을 안정성 이론(Lyapunov)에 묶은 정규화항으로 낸다(Section 5). (3) DEQ류가 쓰던 Jacobian Frobenius norm(‖J‖_F) 정규화 대신 스펙트럼 반경을 쓴다. 이유는 ρ(J) ≤ ‖J‖이므로 norm 제약은 너무 강해 표현력을 깎기 때문이다(Section 5).
계보 연결(analyst-inference). vault의 Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers도 pre-norm 신호 전파 문제와 고정점 수렴을 다룬다. 그쪽은 잔차 스케일링 구조로, 이쪽은 Jacobian 정규화 손실로 안정성을 얻는다는 점이 다르다. random loop sampling은 Huginn에서 가져왔다고 저자가 밝힌다(Section 4.3.1).
지표
| 지표 | 뜻 | 단위·범위 | 방향 | 분모·정규화 | 측정 조건 | 위치 |
|---|---|---|---|---|---|---|
| Accuracy (덧셈) | 4자리+4자리 덧셈 정답 비율 | % | 높을수록 좋음 | 평가 샘플 | 테스트 반복 횟수 T_test를 넓게 sweep(학습 T_train=4 또는 random loop) | Section 4.1, Figure 2, 3, 5 |
| PCA trajectory | 반복마다의 은닉 상태를 주성분 2개로 투영한 궤적 | 좌표(축 스케일 자체가 발산 여부의 단서) | 작은 범위로 모여 한 점에 수렴할수록 안정 | — | 덧셈 모델 | Section 4.1 |
| Accuracy (수학) | GSM8K, MATH500, ASDiv, SVAMP, AMC23 정답률과 5개 평균(AVG) | % | 높을수록 좋음 | 벤치마크별, AVG는 5개 단순 평균 | lm_eval harness, zero-shot, 반복 2/4/8(Table 2), 1–9(Figure 4) | Section 6.1, Table 2 |
| 정점 대비 하락폭 | 최고 성능 반복에서 8 반복으로 갈 때의 하락 | %(저자 표기, 실제로는 %p로 보임 — 주요 결과 참조) | 작을수록 안정 | — | GSM8K | Section 1 |
| Spectral radius ρ(J) | 반복 사상 Jacobian의 최대 고유값 크기. 지표라기보다 학습 손실 대상 | ≥ 0. 1 미만이면 국소 점근 안정 | 작을수록 빠른 수렴 | power iteration 한 단계 추정 ‖Jv‖₂ | 학습 중 | Section 5 |
| 학습 비용 상대값 | Ouro-SFT 대비 학습 단계 효율(상대값) | 배수 | 낮을수록 저렴 | Ouro-SFT = 1 | Appendix Table 4 | Appendix C |
추론 지연 시간이나 FLOPs는 보고되지 않았다(원문 전체 확인).
방법과 벤치마크 구성
LoopLM 정식화(Section 3.1–3.2). F^(t) = lmhead ∘ coda ∘ M_L ∘ … ∘ M_L(t번) ∘ prelude. 반복 블록 M_L은 L개 causal Transformer 층이다. 은닉 상태 진화 h^(t+1) = Φ_θ(h^(t))를 이산시간 동역학계로 본다. test-time scaling은 이 궤적을 더 길게 돌리는 것이다. 고정점 h는 Φ_θ(h) = h인 상태이고, 그 근처에서 시작한 궤적이 h로 돌아오면 국소 점근 안정이다.
진단 실험 설정(Section 4.1). 4자리+4자리 덧셈(예: “1234 + 5678 = 6912”), 무작위 생성 10만 학습 샘플. 반복 단위는 GPT식 Transformer 블록 1개(L=1), d_model=512, n_heads=8, d_ff=1024, 처음부터 학습. 정적 구조 분석은 T_train=4로 학습하고 T_test를 크게 늘려 평가한다. 은닉 상태 궤적은 PCA로 2차원에 그린다.
진단 축(Section 4.2–4.3).
- 정규화 종류 3개(LayerNorm, RMSNorm, SimpleNorm = affine 파라미터 없는 정규화) × 위치 4개(Pre, Post, Pre-Sandwich, Post-Sandwich) = 12 조합(Figure 2).
- 시스템 분류: internal normalization(잔차가 정규화 밖, Pre/Pre-Sandwich)과 external normalization(잔차가 마지막 정규화 안, Post/Post-Sandwich).
- Prelude/Coda 층 추가 4구성(only-recurrent, with-prelude, with-coda, with-both). 인접 반복 은닉 상태 차이의 L2 정규화(weight 0.2, 1.0, ± random loop). random loop 분포 3종 × 설정 2개(Table 1). 모두 Figure 3.
STARS(Section 5, Algorithm 1).
- 매 배치 반복 깊이 t ~ P(log-normal 등)를 뽑아 t번 반복한다.
- 그 상태 h^(t)에서 무작위 단위 벡터 v를 잡고, JVP(Jacobian-vector product, Jacobian 전체를 만들지 않고 J·v만 계산하는 자동미분 기법)로 Jv를 구한다. power iteration 한 단계로 ρ(J) ≈ ‖Jv‖₂를 추정한다.
- 손실은 L_STARS = E_{t~P}[(1−λ)·L_SFT^(t) + λ·L_JSRR^(t)], 여기서 L_JSRR = 배치 평균 ‖J v‖₂²(식 3, 4).
- 고정점 위치를 학습 중에 찾기 어려워, 고정점 대신 “현재 반복 상태”의 Jacobian을 대리로 정규화한다(Section 5,
author-stated). - power iteration을 한 단계만 쓰는 이유는 두 가지다. 여러 단계는 복잡한 gradient 의존으로 비정상 gradient를 만들 수 있고, 한 단계가 가볍고 실험상 충분한 신호를 주기 때문이다. 표본별로는 잡음이 있어도 배치 평균 방향은 통계적으로 정확하다고 주장한다(Section 5).
실험 설정(Section 6.1).
- 덧셈: Post-Sandwich LayerNorm(진단 결과로 선택). random loop는 log-normal(μ=2, σ=0.7, 범위 [1,100]), λ=0.1, lr 1×10⁻⁴.
- 수학: Ouro-1.4B를 NuminaMath-1.5의 40만 샘플 무작위 부분집합으로 1 epoch 미세조정. random loop는 log-normal(μ=1.7, σ=0.4, 범위 [1,16]), λ=0.1. A800 4장, AdamW, cosine schedule 시작 lr 1×10⁻⁶. 평가는 lm_eval harness zero-shot 5개 벤치마크.
- 비교 대상: 표준 LM(Gemma3-1b-it, Llama-3.2-3B-Instruct, Qwen2.5-3B-Instruct, Qwen3-1.7B, Qwen3-4B), LoopLM(Recurrent-Llama-3.2, Recurrent-OLMo-2-0425 — McLeish et al. 2025, Ouro-1.4B), 같은 데이터로 SFT한 Ouro-1.4B-SFT. Ablation은 Ouro-Random Loop(random loop만), Ouro-JSRR(JSRR만), Ouro-STARS(Section 6.3).
주요 결과
| 주장 | 근거 위치 | 관찰/수치 | 조건·주의 | 출처 라벨 |
|---|---|---|---|---|
| Ouro는 반복을 늘리면 정점 뒤 성능이 떨어진다 | Figure 1 | GSM8K가 5 반복 근처에서 정점(약 78%) 뒤 9 반복에 50% 아래 | Ouro-1.4B, 그래프 판독 | author-stated(수치 판독은 analyst-inference) |
| Finding 1: 정규화 종류는 거의 영향 없고 위치가 동역학을 정한다 | Figure 2, Section 4.2.1 | 같은 위치 행에서 LayerNorm·RMSNorm·SimpleNorm 패턴이 비슷 | 덧셈, T_train=4 | author-stated |
| Finding 2: internal은 발산, external은 쓸모없는 상태에 정착 | Figure 2, Section 4.2.1 | Pre/Pre-Sandwich는 약 20 반복까지 100% 유지 후 붕괴, PCA 좌표가 ±10⁴ 규모로 커짐. Post/Post-Sandwich는 학습 깊이 근처 몇 반복만 100%, 이후 0%, PCA는 ±수십 규모로 묶임 | 그래프 판독 수치는 analyst-inference | author-stated |
| Finding 3: Prelude/Coda는 동역학 경향을 바꾸지 않는다 | Figure 3 왼쪽 위, Section 4.2.2 | prelude는 internal 계열의 하락을 약간 늦출 뿐, coda는 external 계열의 끌개를 더 모으지만 성능 이득 없음 | LayerNorm 고정 | author-stated |
| Finding 4: random loop는 성능 유지를 크게 돕지만 안정성의 본질은 못 바꾸고 범위에 민감하다 | Figure 3 오른쪽, Table 1, Section 4.3.1 | Pre-Sandwich는 학습 범위를 훨씬 넘어 성능 유지, 상태 drift는 지속. Post-Sandwich는 끌개가 더 모이지만 학습이 불안정하고 때로 과제 학습 실패 | 넓은 범위·큰 평균이 꼭 좋지 않음 | author-stated |
| Finding 5: 인접 상태 L2 정규화는 이득이 거의 없고 random loop와 함께 쓰면 오히려 나쁘다 | Figure 3 왼쪽 아래, Section 4.3.2 | Post-Sandwich + L2 + random loop는 판독상 전 구간 정확도 0 | author-stated(판독은 analyst-inference) | |
| STARS는 덧셈에서 반복 수와 무관하게 100% | Figure 5, Section 6.2 | 약 4000 반복까지 100%, PCA 궤적이 한 점으로 빠르게 수렴 | Post-Sandwich LN, 단일 과제 | author-stated |
| 수학: STARS가 LoopLM 중 최고 정점과 덜한 붕괴 | Table 2, Section 6.2 | AVG 2/4/8 반복: Ouro 64.52 / 67.41 / 55.09, SFT 65.25 / 70.46 / 52.97, STARS 66.90 / 74.18 / 65.55 | Ouro-1.4B 미세조정, zero-shot | author-stated |
| 8 반복에서도 대부분 벤치마크 유지 | Table 2 | STARS 8 반복 GSM8K 74.45, MATH500 54.80, ASDiv 82.52, SVAMP 81.00 (SFT 60.05 / 39.20 / 75.10 / 68.00) | 반례: AMC23 8 반복 STARS 35.00 < Ouro 40.00, 4→8 하락폭 17.5 | author-stated(반례 지적은 analyst-inference) |
| GSM8K 정점 대비 하락 20.47% → 8.26%, 정점 +4.01% | Section 1 | 본문 수치 | Table 2의 2/4/8 반복 값으로는 재현되지 않는다. Figure 1·4의 전 반복 최고점(Ouro 약 5 반복) 기준 %p 차이로 보인다 | author-stated(재현 불가 지적은 analyst-inference) |
| 표준 LM과의 위치 | Table 2 | STARS 4 반복 AVG 74.18은 Qwen2.5-3B-Instruct 67.76, Qwen3-4B 66.29보다 높음. 다만 Qwen3-4B GSM8K 80.36, SVAMP 89.00 등 개별 지표에서는 앞서는 모델이 있음 | 비교 모델은 그대로 평가, NuminaMath 미세조정 없음 | author-stated(비교 해석은 analyst-inference) |
| Ablation: 두 부품 모두 하락을 늦춘다 | Figure 4 오른쪽, Section 6.3 | STARS가 “대체로” 더 느리게 하락 | 판독상 9 반복에서 GSM8K·MATH500은 Random Loop 단독이 STARS보다 높아 보임 | author-stated(반례 판독은 analyst-inference) |
| λ가 크면 덧셈 학습 자체가 실패 | Appendix C, Figure 7 | λ = 0.15, 0.20에서 정확도 크게 하락 | 부록 | author-stated |
| 학습 비용 | Appendix Table 4 | SFT 1, Random Loop 1.4976, JSRR 1.5317, STARS 2.0439 | 단위(시간인지)는 명시 안 됨 | author-stated |
결과의 흐름. Section 4의 다섯 Finding은 하나씩 대안을 지운다. 정규화 종류는 원인이 아니고(F1), 위치가 만드는 두 실패 모드가 있으며(F2), 비반복 층(F3)과 L2(F5)로는 안 되고, random loop(F4)만 부분적으로 효과가 있다. STARS는 남은 random loop에 “고정점 안정성”이라는 빠진 조건을 더한 형태다. 진단 결과 “external 계열은 끌개로 수렴하는 경향이 있으니, 그 끌개를 효과적인 곳으로 이끌면 된다”(Section 4.3.1)는 판단에 따라 덧셈 실험은 Post-Sandwich로 했다. Figure 3의 Post-Sandwich + log-normal-para2(μ=2.00, σ=0.70, [1,100])는 STARS 덧셈 설정과 random loop 분포가 같은데, 판독상 정확도 약 85%에서 유지된다. STARS는 100%다. 이 차이가 덧셈에서 JSRR의 기여를 가장 직접 보여 주는 비교다(analyst-inference).
원문 내부 불일치(analyst-inference). (1) 식 4는 (1−λ)·L_SFT + λ·L_JSRR인데, Algorithm 1은 L_SFT + λ·L_JSRR이다. (2) 본문은 power iteration “한 단계”라 하고 Algorithm 1은 K단계 일반형이다(K=1이면 일치). (3) Section 1의 하락폭·정점 개선 수치는 Table 2에서 직접 계산되지 않는다(위 표).
Take-home
- 한 줄 요약: looped 모델이 반복을 늘릴수록 무너지는 것은 반복 사상의 불안정성 때문이며, 스펙트럼 반경 정규화와 무작위 반복 학습을 함께 쓰면 붕괴를 크게 늦추고 정점도 올릴 수 있다.
- 성립 범위: 처음부터 학습한 1블록 덧셈 모델과, Ouro-1.4B를 수학 데이터 40만 샘플로 1 epoch 미세조정한 설정. 평가는 수학 5종 zero-shot, 반복 2/4/8(Figure 4는 1–9).
- 저자가 인정한 한계(
author-stated, Appendix A): 계산 자원 제약으로 수학 추론에 집중해 상식·전략 계획 등 다른 영역으로의 일반화는 열린 문제다. STARS는 붕괴를 막고 학습 범위 너머로 확장하게 하지만, 성능이 반복 수에 따라 항상 단조 증가하지는 않는다. 가장 어려운 문제에서 완전히 예측 가능한 test-time scaling은 여전히 과제다. λ가 너무 크면 학습을 방해한다(Appendix C). - 작성자 우려(
analyst-inference): (1) seed·반복 실행 수가 보고되지 않았다. AMC23(값이 2.5 단위로 움직임)처럼 작은 벤치마크의 차이는 특히 조심해야 한다. (2) Figure 4 ablation에서 9 반복의 GSM8K·MATH500은 random loop 단독이 STARS보다 나아 보인다. 수학 과제에서 JSRR의 추가 기여는 덧셈만큼 분명하지 않다. (3) SFT baseline은 같은 데이터·고정 반복으로 학습한 것으로 보여, random loop를 쓴 SFT(=Ouro-Random Loop)가 더 공정한 비교 대상이다. 그 수치는 Figure 4 막대로만 있고 표로는 없다. (4) 수학에서 “안정적 고정점으로 수렴한다”는 동역학 증거(PCA, 스펙트럼 반경 값)는 제시되지 않았다. 덧셈에서만 궤적을 보여 준다. (5) 학습 비용이 SFT 대비 약 2.04배다(Appendix Table 4). - 재현성: 코드 공개(https://github.com/njuyxw/STARS, 초록). seed·실행 횟수는 보고되지 않았다(원문 전체 확인). 하이퍼파라미터는 Section 6.1, 진단 설정은 Section 4.1·Table 1에 있다.
- HW2 관점(
analyst-inference): Topic 1의 “반복을 늘리면 더 깊이 생각한다”는 전제가 실제 LoopLM(Ouro)에서 깨지는 사례이자, 그 원인을 동역학(발산 대 갇힘)으로 설명하는 자료다. 같은 묶음의 Adaptive Depth in Looped Transformers - Diagnosing Learned Halting Gates and Trajectory Readouts가 “언제 멈출지”를 다룬다면, 이 논문은 “더 돌려도 망가지지 않게”를 다룬다.
본문 도표
Figure 1 — Ouro-1.4B의 GSM8K 성능 대 반복 수
- 무엇을 보여주는가: 사전학습 LoopLM Ouro-1.4B가 반복을 1–9로 바꿀 때의 GSM8K 정확도.
- 읽는 법: x축 Recurrent Steps(1–9), y축 Accuracy(%, 약 40–80). 5 반복에 “Performance Peak” 점선, 그 뒤 “Performance Deterioration” 표시.
- 핵심 관찰: 그래프 판독으로(
analyst-inference) 1 반복 약 42%, 2 반복 약 77%, 3–4 반복 약 75–76%, 5 반복 약 78%(정점), 이후 약 72, 64, 58, 그리고 9 반복 약 47%. - 의미와 주의: 저자는 이를 “직접 SFT가 test-time 확장 능력을 주지 못하고 특정 반복 수에 과적합한다”는 증거로 쓴다(Section 1,
author-stated). Ouro의 학습 반복 수는 원문에 명시되지 않았다. Section 6.2는 “nominal training depth를 넘으면” 하락한다고만 쓴다(예: 4 → 8). - 확인 상태: viewed
Figure 2 — 정규화 구조 도식과 12조합의 성능·궤적
- 무엇을 보여주는가: 왼쪽은 Pre-Norm, Post-Norm, Pre-Sandwich, Post-Sandwich 블록 도식(LayerNorm, Multi-head Attention, FFN의 배치와 잔차 연결 위치). 오른쪽은 행(정규화 위치 4개) × 열(LayerNorm, RMSNorm, SimpleNorm)마다 “Performance”(반복 수 대 정확도)와 “Trajectory”(PCA 2D 궤적) 쌍.
- 읽는 법: Performance 패널은 x축 Recurrent Steps(0–약 32), y축 Accuracy(%). Trajectory 패널의 초록 사각형과 별은 궤적의 양 끝점 표시로 보이며(범례 없음,
analyst-inference), 축 눈금의 크기가 상태 규모를 말해 준다. - 핵심 관찰: 확대 판독으로(
analyst-inference) Pre-Norm은 세 정규화 모두 약 20–25 반복까지 100% 뒤 0 근처로 떨어지고, 궤적은 x축 ±10⁴ 규모의 포물선 모양으로 멀리 뻗는다. Pre-Sandwich는 약 12–15 반복부터 서서히 하락하고 궤적 규모는 ±4×10⁴다. Post-Norm은 약 3–5 반복에만 100%이고 이후 0이며, 궤적은 ±수십 규모로 고리를 돌거나 한 점으로 모인다. Post-Sandwich도 비슷하게 짧게만 100%이고, 궤적은 ±수십 범위에서 얽힌 고리 모양이다. - 의미와 주의: 행끼리는 크게 다르고 열끼리는 비슷하다. 이것이 Finding 1(종류보다 위치)과 Finding 2(internal 발산 / external 갇힘)의 근거다(
author-stated). 모두 T_train=4로 학습한 모델이다. - 확인 상태: viewed
Figure 3 — Prelude/Coda, L2 정규화, random loop의 효과
- 무엇을 보여주는가: 왼쪽 위는 Pre-Sandwich·Post-Sandwich에 only-recurrent / with-prelude / with-coda / with-both. 왼쪽 아래는 L2 정규화 weight=0.2, 1.0, 각각 + RandomLoop. 오른쪽은 random loop 분포 log-normal·Poisson·uniform × para1·para2(Table 1 설정). 각 칸이 Performance와 Trajectory 쌍이다.
- 읽는 법: 축 범위가 칸마다 다르다. 왼쪽 위는 x축 0–100, 왼쪽 아래는 0–2000, 오른쪽은 패널마다 100–8000 반복이다. 행은 Pre-Sandwich와 Post-Sandwich.
- 핵심 관찰: 확대 판독으로(
analyst-inference) 다음과 같다.- 왼쪽 위: Pre-Sandwich는 네 구성 모두 약 10–20 반복 뒤 0으로 떨어지고, 궤적 규모는 ±10⁴ 수준이다. Post-Sandwich는 몇 반복만 100%다.
- 왼쪽 아래: L2 weight 0.2/1.0의 Pre-Sandwich는 약 200–500 반복까지 유지 후 0이다. Post-Sandwich + L2 + RandomLoop 두 칸은 정확도가 전 구간 0이다.
- 오른쪽: Pre-Sandwich log-normal-para1은 약 2000 반복까지 거의 100%, 4000 반복 약 85%. log-normal-para2는 8000 반복에서도 90% 이상이다. Poisson-para1은 2000 반복에 약 48%, Poisson-para2는 약 500 반복에 0이다. Post-Sandwich log-normal-para2는 약 85% 수준에서 4000 반복까지 유지되고, uniform-para2는 학습 실패(전 구간 0)다. Pre-Sandwich의 궤적 규모는 random loop에서도 ±3–4×10⁴로 여전히 크다.
- 의미와 주의: 저자 결론은 Finding 3–5다(
author-stated). random loop가 성능 유지에는 가장 효과적이지만, internal 계열의 상태 drift는 그대로이고 external 계열은 학습이 불안정하다. 분포 선택에 따라 결과가 크게 갈려, “어떤 범위가 좋은가”에 대한 일반 규칙은 원문에 없다(analyst-inference). - 확인 상태: viewed
Table 1 — random loop 분포 하이퍼파라미터
- 무엇을 보여주는가: Figure 3 오른쪽에 쓴 세 분포의 두 설정.
- 읽는 법: 범위는 뽑힌 반복 수를 자르는 [min, max]다.
- 핵심 관찰: Log-Normal Set 1 μ=2.62, σ=0.60, [1,40] / Set 2 μ=2.00, σ=0.70, [1,100]. Poisson Set 1 λ=5, [1,30] / Set 2 λ=10, [1,30]. Uniform Set 1 [1,10] / Set 2 [1,40].
- 의미와 주의: Log-Normal Set 2는 STARS 덧셈 실험의 random loop 설정(Section 6.1)과 같다(
analyst-inference). 부록 Table 3은 Pre/PostNorm용으로 Set 2 값이 다르다(log-normal μ=3.2, σ=0.45, [1,80], uniform [1,30]). - 확인 상태: viewed
Table 2 — 수학 벤치마크 정확도
- 무엇을 보여주는가: 표준 LM 5개, LoopLM(Recurrent-Llama-3.2, Recurrent-OLMo-2-0425, Ouro-1.4B, Ouro-1.4B-SFT, Ouro-1.4B-STARS)의 반복 2/4/8에서 GSM8K, MATH500, ASDiv, SVAMP, AMC23, AVG.
- 읽는 법: 값은 정확도(%). 표준 LM은 반복 개념이 없어 ”-“. LoopLM 최고값은 굵게 표시했다(캡션).
- 핵심 관찰:
- Ouro-1.4B AVG는 64.52 / 67.41 / 55.09, SFT는 65.25 / 70.46 / 52.97, STARS는 66.90 / 74.18 / 65.55다.
- STARS 4 반복: GSM8K 81.96, MATH500 67.40, ASDiv 84.73, SVAMP 84.33, AMC23 52.50.
- STARS 8 반복: 74.45, 54.80, 82.52, 81.00, 35.00.
- Recurrent-Llama-3.2·Recurrent-OLMo-2는 AVG 15.76–21.57로 매우 낮다.
- 표준 LM 최고 AVG는 Qwen2.5-3B-Instruct 67.76이다.
- 의미와 주의: 결론을 지지하는 비교는 8 반복 AVG(SFT 52.97 대 STARS 65.55)다. 결론을 제한하는 예외는 다음과 같다. 2 반복 GSM8K·SVAMP에서는 STARS가 SFT보다 낮다(75.89 대 76.04, 79.67 대 82.33). 8 반복 AMC23에서는 STARS가 미세조정 안 한 Ouro보다 낮다(35.00 대 40.00). STARS도 4 → 8 반복에서 AVG가 8.63%p 떨어진다(
analyst-inference). - 확인 상태: viewed
Figure 4 — 반복 1–9의 비교(왼쪽)와 ablation(오른쪽)
- 무엇을 보여주는가: 왼쪽은 GSM8K, MATH500, ASDiv, SVAMP에서 Ouro, Ouro-SFT, Ouro-STARS의 반복 1–9 정확도 선그래프. 오른쪽은 같은 네 벤치마크에서 반복 2–9의 Ouro, Ouro-Random Loop, Ouro-JSRR, Ouro-STARS 막대그래프.
- 읽는 법: x축 Recurrent Steps, y축 Accuracy(%). MATH500은 20–80, 나머지는 약 30–100 범위다.
- 핵심 관찰: 확대 판독으로(
analyst-inference) 다음과 같다.- 왼쪽 9 반복: GSM8K Ouro 약 46, SFT 약 23, STARS 약 64. MATH500 약 29 / 20 / 43. SVAMP 약 58 / 30 / 73. SFT가 9 반복에서 가장 크게 붕괴한다. STARS는 GSM8K에서 약 3–6 반복 사이 80% 전후를 유지한다.
- 오른쪽: 7–9 반복에서 미세조정 세 변형이 모두 Ouro보다 높다. 9 반복 GSM8K는 Random Loop 약 65, JSRR 약 62, STARS 약 64이고, MATH500은 약 48 / 43 / 43이다. ASDiv·SVAMP 9 반복에서는 STARS가 가장 높아 보인다.
- 의미와 주의: 저자는 “STARS가 대체로 더 느리게 하락하며 두 부품 모두 기여한다”고 쓴다(
author-stated). 판독상 GSM8K·MATH500의 깊은 반복에서는 random loop 단독이 STARS와 같거나 높아, JSRR의 추가 기여는 벤치마크에 따라 갈린다(analyst-inference). 막대 수치는 원문에 표로 없다. - 확인 상태: viewed
Figure 5 — STARS 덧셈 모델의 성능과 궤적
- 무엇을 보여주는가: 왼쪽은 반복 수 대 정확도, 오른쪽은 PCA 투영 은닉 상태 궤적.
- 읽는 법: 왼쪽 x축 Recurrent Steps(0–약 4000), y축 Accuracy(%). 오른쪽 축은 PCA 좌표(대략 x −60–0, y −12–15).
- 핵심 관찰: 정확도는 약 4000 반복까지 모든 측정점에서 100%다. 궤적은 초록 사각형 쪽 시작점에서 출발해 몇 단계 만에 한 점으로 모인다(그래프 판독,
analyst-inference). Figure 2의 Pre 계열(±10⁴ 규모 발산)과 비교하면 규모가 작다. - 의미와 주의: 저자 해석은 “잠재 상태가 비교적 빠른 수렴 속도로 안정 고정점에 성공적으로 수렴한다”(Section 6.2,
author-stated). 덧셈은 학습 분포 안(4자리)의 평가이며, 자릿수 외삽은 다루지 않는다(analyst-inference). - 확인 상태: viewed
Wiki 연결
- Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — looped Transformer의 pre-norm 신호 전파와 고정점 수렴을 잔차 스케일링 구조로 다룬다. 이 논문은 같은 문제를 Jacobian 스펙트럼 반경 정규화 손실로 접근한다.
- Adaptive Depth in Looped Transformers - Diagnosing Learned Halting Gates and Trajectory Readouts — 같은 HW2 묶음. Ouro의 반복 궤적과 정지 규칙을 진단한다. 이 논문은 Ouro의 반복을 늘릴 때의 붕괴를 다룬다.
- Understanding Dynamic Compute Allocation in Recurrent Transformers — 같은 묶음. 반복 깊이를 토큰마다 다르게 둘 때의 행동을 분석한다.
- Reasoning with Latent Thoughts - On the Power of Looped Transformers — looped 모델 = 잠재 사고라는 관점의 이론적 배경.
- Training Large Language Models to Reason in a Continuous Latent Space — Coconut. Section 2에서 “시퀀스 방향” 잠재 추론의 대표로 대비된다.
BibTeX
@inproceedings{yang2026stabilizing,
title = {Stabilizing Recurrent Dynamics for Test-Time Scalable Latent Reasoning in Looped Language Models},
author = {Yang, Xiao-Wen and Han, Zi-Yu and Zhang, Xi-Hua and Wei, Wen-Da and Shao, Jie-Jing and Guo, Lan-Zhe and Li, Yu-Feng},
booktitle = {Proceedings of the 43rd International Conference on Machine Learning},
series = {PMLR},
volume = {306},
year = {2026},
eprint = {2605.26733},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2605.26733}
}