루프형 Mixture of Experts의 스케일링 법칙

개요

언어모델을 효율적으로 키우는 길은 모델 크기와 데이터 말고도 둘이 더 있다. 하나는 같은 층을 여러 번 다시 돌려 “생각할 깊이”를 늘리는 looped transformer(루프 트랜스포머)이고, 다른 하나는 토큰마다 전문가 몇 개만 골라 써서 저장 용량은 크게, 계산은 작게 유지하는 Mixture-of-Experts(MoE)다. 그런데 기존 스케일링 법칙은 둘 중 하나만 다뤘고, 루프 쪽 법칙(Parcae, Iso-Depth)은 루프를 돌릴수록 효과 파라미터가 끝없이 늘어난다고 가정했다. 이 논문의 통찰은 두 가지다. 첫째, 같은 가중치를 다시 쓰는 루프는 새 파라미터를 들여오지 않으므로 이득이 **유한한 상한(bounded asymptote)**에 수렴해야 한다. 둘째, dense 모델은 매 루프마다 똑같은 FFN을 다시 지나가지만 MoE에서는 router가 루프마다 다른 전문가로 토큰을 보낼 수 있어서, 희소할수록 루프 한 번이 “새 파라미터”에 닿는 효과가 커진다. 그래서 저자들은 효과 파라미터 수를 $N_{a c t} + κ_{1} (m) N_{l oo p} (1 - e^{- (R - 1) / κ_{2} (m)})$ 로 두고 활성 비율 m이 작을수록 상한과 포화 속도를 함께 늘리는 sparsity-conditional recurrence mapping을 MoE 스케일링 법칙에 끼워 넣은 Loop Scaling Laws를 만들었다. 1,000개가 넘는 학습 run(활성 0.3–1.0B, 100–500B 토큰, 전문가 1–16개, 루프 1–8회)으로 맞춘 결과, 처음 보는 R=16에서 held-out RMSE가 선형 매핑 0.2847, power-law 0.0480에 비해 0.0100으로 가장 낮았다. 이 법칙으로 고른 설계는 실제로도 통했다. 같은 학습 계산량(≈1.5×10²²) 아래 활성 0.3B/총 1.3B LoopMoE(R=5)는 2배 큰 활성 0.6B/총 2.9B MoE와 BBH·GSM8K 추론 평균이 비슷했다. 다만 14개 벤치마크 전체 평균은 46.9 대 50.2로 뒤졌고 추론 계산은 1.8배 더 썼다.

Implication: 루프는 “계산을 더 써서 파라미터를 아끼는” 축, MoE는 “메모리를 더 써서 계산을 아끼는” 축이며, 둘은 서로의 이득을 키운다. 그래서 메모리가 빠듯하면 루프를, 메모리가 넉넉하면 전문가 수를 늘리는 식으로 예산에 맞춰 두 축을 함께 설계해야 한다.

📎 https://arxiv.org/abs/2609.40316

배경과 문제

왜 어려운 문제인가. 스케일링 법칙(scaling law, 모델 크기·데이터·계산량과 loss 사이의 예측 가능한 거듭제곱 관계)은 “주어진 예산에서 어떤 크기의 모델을 얼마나 학습할지”를 정하는 근거다(Kaplan et al., 2020; Hoffmann et al., 2022 인용, Section 2). 그런데 루프 모델은 저장 파라미터는 그대로인데 계산량이 R배 가까이 늘고, MoE는 계산량은 그대로인데 저장 파라미터가 늘어난다. 두 축이 동시에 움직이는 looped MoE에서는 “파라미터 N”이라는 하나의 숫자로 모델 용량을 나타낼 수 없다(author-stated, Section 3.1).

학술적 계보 (Section 2, Table 1).

루프 트랜스포머: Universal Transformer(Dehghani et al., 2018)의 한 층 재귀에서 전체 모델 재귀(Zhu et al., 2025; Giannou et al., 2023), 가운데 블록 재사용(Saunshi et al., 2025; Geiping et al., 2025; McLeish et al., 2025)으로 발전했다. 학습 목표는 마지막 루프의 next-token loss, 중간 루프 감독(Bae et al., 2024), self-distillation, shortcut consistency 등이 있다. 선행 연구는 재귀 깊이가 특히 추론 과제에서 파라미터 효율적인 학습·테스트 시간 스케일링을 준다고 보고했다(author-stated, Section 2).
MoE: 토큰을 일부 전문가에게만 보내 총 용량을 늘리는 방식(Shazeer et al., 2017; Fedus et al., 2022). looped MoE가 non-looped dense를 이긴다는 MoEUT(Csordás et al., 2024), MoE가 루프 성능을 높인다는 연구(Lee et al., 2026)와 그 반대(Wang et al., 2026)가 있다(author-stated, Section 2).
스케일링 법칙: MoE 법칙은 전문가 수(Clark et al., 2022), granularity, sparsity(Abnar et al., 2025), 메모리 제약(Ludziejewski et al., 2025)을 넣었다. 루프 법칙은 Parcae(Prairie et al., 2026, 선형)와 Iso-Depth(Schwethelm et al., 2026, power-law)가 있다(author-stated, Section 2).

기존 방법의 한계와 이 논문의 차이 (Table 1, Section 1).

루프 법칙은 루프 이득을 선형 또는 power-law로 모델링해 $R \to \infty$ 에서 효과 파라미터가 무한히 커진다(unbounded). MoE 법칙은 재귀가 없다(author-stated).
동시대 looped MoE 연구(Sparse Layers, SMELT)는 주된 스케일링 분석에서 루프를 R=2로 고정해 두 축의 상호작용을 모델링하지 않았다(author-stated).
이 논문은 N/F, D, R, S/E를 모두 넣고 계산·메모리 최적화를 둘 다 다루는 첫 법칙이라고 주장한다(author-stated, Table 1). “첫 번째”라는 주장은 저자 주장이며 이 노트에서 독립 검증하지 않았다(analyst-inference).

두 연구 질문 (Section 1). (Q1) 루프 한 번이 효과 용량을 얼마나 더하고, 그 이득이 끝없이 커지는가? (Q2) MoE 희소성이 이 이득을 키우고 더 많은 루프까지 유지시키는가?

지표

지표	무엇을 세는가	단위·범위	방향	분모·정규화	측정 조건	위치
Held-out loss / 예측 loss	학습에 안 쓴 검증 데이터에서의 언어모델링 loss. 스케일링 법칙이 예측하는 대상	nats로 추정(단위 명시 없음, `unknown`). 그림 축 약 2.0–3.0	낮을수록 좋음	토큰 평균으로 추정(`unknown`)	각 run 최종 체크포인트. 검증 세트 구성은 확보 범위에서 명시를 찾지 못함	Fig. 1b, 2b, 3b, 4c–d
Held-out prediction RMSE	법칙을 일부 run으로 맞춘 뒤, 빼 둔 run의 실제 loss와 예측 loss 사이 root-mean-square error(평균 제곱 오차의 제곱근)	loss 단위	낮을수록 좋음	빼 둔 slice의 run 평균	빼 둔 slice: R=16, E=16, Nact=1.0B, D∈(400,500]B. 각 slice를 빼고 나머지로 맞춤	Fig. 2c, 3c, Appendix C.3
Fit RMSE	전체 sweep에 맞춘 최종 법칙의 적합 오차	loss 단위	낮을수록 좋음	1,000개 이상 관측	모든 run 사용	Table C.2 (0.0037)
Effective-parameter gain $g_{e ff}$	루프가 더해 준 효과 파라미터를 루프 블록 크기로 나눈 값 $(N_{e ff} - N_{a c t}) / N_{l oo p}$	무차원, 0 이상	클수록 루프 이득이 큼	$N_{l oo p}$	맞춘 법칙에서 계산	Fig. 1c, 2a, 3a
Effective-parameter multiplier $ρ_{e ff}$	효과 파라미터를 활성 파라미터로 나눈 배수 (식 10)	무차원, 1 이상	클수록 좋음	$N_{a c t}$	Nact=1.0B에서 계산	Fig. 4a–b
Expert-path diversity Ψ	루프 R번 동안 한 토큰이 거친 서로 다른 전문가 수(합집합)를 top-k의 k로 나눈 값 (식 18)	1 이상	클수록 루프마다 다른 전문가에 닿음	k, 토큰·루프 층 평균	수학·코드·지식 등 800개 프롬프트 검증 세트	Appendix B, Table B.1
Overall	14개 벤치마크 점수 평균	%	높을수록 좋음	14개 단순 평균	lm-eval, vLLM, bf16, 생성 과제는 greedy. 벤치마크별 shot 수·metric은 Table D.1	Section 4.3, Fig. 7, Table 2
Reasoning	GSM8K와 BBH 점수 평균	%	높을수록 좋음	2개 평균	BBH 3-shot acc_norm, GSM8K 8-shot CoT exact_match(flexible-extract)	Section 4.3, Table D.1
상대 추론 계산 $F_{in f}^{0.3 B} (R) / F_{in f}^{0.6 B} (1)$	토큰당 추론 FLOPs를 0.6B MoE 기준으로 나눈 비	배수	낮을수록 저렴	$F_{in f} = 2 N_{u n ro ll} (R)$	Table 2	Table 2, Appendix D.2

계산량 정의 (Section 3.1). 루프 모델의 펼친 파라미터 수 $N_{u n ro ll} (R) = N_{a c t} + (R - 1) N_{l oo p}$ . 학습 계산 $F_{t r ain} = 6 N_{u n ro ll} (R) D$ , 토큰당 추론 계산 $F_{in f} = 2 N_{u n ro ll} (R)$ . 효과 파라미터 $N_{e ff}$ (용량 모델링용)와 $N_{u n ro ll}$ (계산량 결정용)은 다른 양이다(author-stated, Section 3.2).

방법과 벤치마크 구성

1. 출발점: Chinchilla형 법칙 (식 1)

$L (N, D) = A N^{α} + B D^{β} + c$ . A, B, α, β, c는 맞춤 계수, c는 줄일 수 없는 loss다(Section 3.1).

2. Dense 루프 법칙: N을 효과 파라미터로 바꾼다 (식 3–6)

기존 매핑: 선형 $N + (R - 1) N_{l oo p}$ (Parcae), power-law $N + (R^{φ} - 1) N_{l oo p}$ (Iso-Depth). 둘 다 $R \to \infty$ 에서 무한대(author-stated, 식 3).
제안 매핑(bounded): $N + κ_{1} N_{l oo p} (1 - e^{- (R - 1) / κ_{2}})$ . κ₁은 루프가 줄 수 있는 최대 이득(상한 $κ_{1} N_{l oo p}$ ), κ₂는 그 상한에 얼마나 빨리 다가가는지를 정한다. R=1이면 정확히 N이 되어 non-looped 법칙으로 돌아간다(식 4–5, Proposition A.1).
근거: loss가 처음 몇 루프에서 크게 떨어지고 관찰 범위 안에서 점점 평평해진다(Fig. 2b). 가중치를 공유하므로 루프는 깊이만 늘리고 새 학습 파라미터는 없다는 것이 저자의 설명이다(author-stated, Section 3.2).
저자 단서: 상한은 매핑의 점근 성질이지 관찰 범위 밖에서의 보장이 아니다(author-stated, Section 3.2).

3. MoE 루프 법칙: 희소성이 루프 이득을 조절한다 (식 7–9)

활성 비율 $m = N_{a c t} / N_{t o t a l} \in (0, 1]$ . 작을수록 희소, m=1이 dense. top-k 라우팅이면 $m \approx k / E_{ro u t e}$ .
$κ_{j} (m) = κ_{j} m^{- θ}$ (j=1,2). θ≥0이 클수록 희소성이 루프 이득을 크게 키운다. 희소할수록 곡선이 위로(κ₁) 올라가고 옆으로(κ₂) 늘어나, 상한이 높아지고 더 많은 루프에 걸쳐 다가간다(Fig. 3a).
경계 성질(식 8): R=1이면 $N_{a c t}$ , m=1이면 dense bounded 매핑, $m \to 0$ (전문가 무한대)이면 R에 선형. 저자는 이것도 관찰 범위 밖의 보장이 아니라고 적는다(author-stated).
전체 법칙(식 9)은 Clark et al.(2022)의 MoE 법칙에서 $N_{a c t}$ 자리에 $N_{e ff} (R, m)$ 를 넣은 것이다. E=1이면 dense 루프 법칙, R=1이면 표준 MoE 법칙, 둘 다 1이면 식 1로 줄어든다(Proposition A.2). top-k는 $E = E_{ro u t e} / k$ 로 정의한다.
동기: router가 루프마다 다른 전문가를 고르는 expert-path diversity. Table B.1에서 R=8일 때 Ψ는 E=2에서 1.5088, E=8에서 1.7035로 전문가가 많을수록 크다. 저자는 Ψ가 경험적 라우팅 통계일 뿐이라 법칙에 직접 넣지 않고 m을 조건으로 썼다고 밝힌다(author-stated, Appendix B).

4. 실험 설정

스윕: $N_{a c t}$ ∈ {0.3, 0.6, 1.0}B, D ∈ {100, 200, 300, 400, 500}B 토큰, E ∈ {1, 2, 4, 8, 16}, R ∈ {1, 2, 3, 4, 6, 8}. 법칙 맞춤에는 1,000개가 넘는 loss 관측을 썼다(Section 4.1, Appendix C.2–C.3).
루프 방식: middle-cycle looping(Geiping et al., 2025). 앞 2개 prelude 층과 뒤 2개 coda 층은 공유하지 않고 가운데 블록만 반복한다. 다른 루프 방식은 향후 과제로 남겼다(author-stated, Section 4.1).
학습: context 2,048, tied embedding, RoPE base 500,000, llama tokenizer(어휘 202k), AdamW(β₁=0.9, β₂=0.95, weight decay 0.1, clip 1.0), BF16 가중치. 64장 H100 96GB, 전역 batch 3,072 시퀀스(≈6.29M 토큰). MoE는 sigmoid gating, auxiliary-loss-free 부하 균형, router z-loss, capacity factor 1.5(Appendix C.1).
학습 목표: 스케일링 스윕은 마지막 루프 출력에만 next-token loss. Table 2의 LoopMoE는 같은 체크포인트를 여러 R로 평가하려고 per-loop supervision(Bae et al., 2024)을 추가했다(author-stated, Appendix C.1). 즉 Table 2 모델과 법칙을 맞춘 모델은 학습 목표가 다르다(analyst-inference).
맞춤 절차: R=1 데이터로 기본 계수를 먼저 맞추고, 그다음 전체 스윕으로 모든 계수를 함께 추정하는 단계적 방식. curve_fit으로 초기화 후 L-BFGS-B와 log-Huber 목표로 다듬는다(Appendix C.3). 최종 계수 κ₁=0.3682, κ₂=1.4037, θ=0.3286, 적합 RMSE 0.0037(Table C.2). 100회 90% 부분표본 bootstrap에서 κ₁, κ₂, θ의 90% CI가 좁다(Table C.3a).
설계 최적화 (Section 4.2): 계산 최적 R*(식 11), 메모리 최적 E*(식 12), 둘의 결합 최적(식 13). 루프 한 번 더 돌려 얻는 예측 loss 감소가 허용치 ε(적합 RMSE로 설정)보다 작으면 그 루프는 선택하지 않는다. 메모리는 가중치 메모리 $M_{w e i g h t} = b_{w} N_{t o t a l} /8$ 만 고려하고 KV cache 등은 범위 밖이다(author-stated, Section 4.2). 결합 최적 탐색 후보 300개 중 Nact∈{1.6, 2.4}B, E>16, R>8은 법칙의 외삽 범위다(author-stated, Appendix C.2).
하류 평가: 14개 벤치마크(BBH, GSM8K, ARC-C/E, OpenBookQA, HellaSwag, PIQA, SIQA, WinoGrande, BoolQ, DROP, MMLU, NQ, TriviaQA). 이유: 재귀 깊이가 잠재 추론을 특히 개선한다는 선행 결과(Saunshi et al., 2025 등) 때문에 Reasoning 평균을 따로 보고한다(Section 4.3).
조 단위 사례: 0.6B 활성/2.9B 총 MoE(E=8, R=1)를 기준으로, 법칙과 Algorithm D.1로 0.3B 활성/1.3B 총 LoopMoE(E=8)의 R*=5를 골랐다. 각각 약 3T, 약 6T 토큰으로 학습해 학습 계산량을 ≈1.5×10²² FLOPs로 맞췄다(Appendix D.2).

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
루프 이득은 체감하며 포화한다. dense가 MoE보다 일찍 포화한다	Fig. 1b, Section 1	같은 활성 파라미터·토큰에서 R을 늘리면 loss 하락 폭이 줄어든다	관찰 범위 R≤8	author-stated
dense 루프 법칙에서 bounded 매핑이 held-out 예측이 가장 정확하다	Fig. 2c	held-out R RMSE: 선형 0.2566, power 0.0313, bounded 0.0092. held-out N: 0.1106 / 0.0211 / 0.0128. held-out D: 0.0882 / 0.0073 / 0.0049	R≤8로 맞추고 R=16 예측	author-stated
MoE 법칙에서 sparsity-conditional 매핑이 네 축 모두 가장 정확하다	Fig. 3c	held-out R: 선형 0.2847, power 0.0480, bounded 0.0190, sparsity-conditional 0.0100. held-out E: 0.0896 / 0.0113 / 0.0075 / 0.0047. held-out N: 0.0656 / 0.0077 / 0.0065 / 0.0050. held-out D: 0.0824 / 0.0074 / 0.0058 / 0.0043	빼 둔 slice R=16, E=16, Nact=1.0B, D∈(400,500]B	author-stated
희소성 지수를 κ₁, κ₂에 따로 두어도 나아지지 않는다 (ablation)	Appendix C.3	분리 지수 변형도 RMSE 0.0037로 동일	그래서 공유 θ 채택	author-stated
맞춘 계수는 bootstrap에서 안정적이다	Table C.3a	κ₁ 0.3682 [0.3658, 0.3723], κ₂ 1.4037 [1.3896, 1.4243], θ 0.3286 [0.3183, 0.3350]	90% 부분표본 100회. 이것은 맞춤 안정성이지 학습 seed 변동이 아니다	author-stated / analyst-inference(뒷 문장)
희소할수록 루프 이득의 상한이 높고 더 늦게 포화한다	Fig. 4a–b, Section 4.1	Nact=1.0B에서 E가 클수록 $ρ_{e ff}$ 상한이 커진다	상한 수치는 그림에서만 읽을 수 있음(아래 Figure 4)	author-stated
같은 계산이면 희소성이 frontier를 낮추고, 루프는 계산을 더 줄 때 같은 크기에서 더 낮은 loss를 낸다	Fig. 4c–d	R=2 @10²¹ FLOPs가 R=1 @5×10²⁰ FLOPs보다 loss가 낮다 (E=1, E=8 모두)	맞춘 법칙의 예측이며 실측 곡선이 아님	author-stated
계산 예산이 크고 희소할수록 최적 R가 크다. 작은 활성 모델일수록 R가 크다	Fig. 5, Section 4.2	그림 경향	ε=적합 RMSE 기준	author-stated
메모리가 크고 R이 클수록 최적 E*가 크다	Fig. 6a–b	그림 경향	가중치 메모리만 고려	author-stated
계산 고정 시 메모리가 빠듯하면 루프, 넉넉하면 희소성	Fig. 6c, Table C.3b	5×10²¹ FLOPs에서 1GB → (1.0B, E=2, R=2), 3GB → (1.0B, E=8, R=2), 10GB → (1.6B, E=16, R=1) (INT4). bootstrap 100회에서 선택이 바뀌지 않음	1.6B·E>16·R>8은 외삽 범위	author-stated
희소성은 약 3배 활성 파라미터 효율	Fig. 7a–b, Section 4.3	5×10²⁰ FLOPs에서 E≥8인 0.3B MoE가 1.0B dense를 Overall과 Reasoning 둘 다 앞선다	R=1	author-stated
루프는 추론에서 약 2배 총 파라미터 효율	Fig. 7c–d, Section 4.3	10²¹ FLOPs에서 R≥4인 0.3B가 R=1인 0.6B와 같거나 앞서고, R≥3인 0.6B가 R=1인 1.0B와 맞먹는다 (Reasoning)	E=8. Overall이 아니라 Reasoning 기준	author-stated
희소성+루프(E=8, R>1)는 같은 학습 계산에서 dense 기준(E=1, R=1)을 항상 앞선다	Fig. 7c–d, Section 4.3	그림 경향	—	author-stated
3T 토큰 LoopMoE가 2배 큰 MoE와 추론 점수를 맞춘다	Table 2	A0.6B-2.9B MoE: BBH 29.8, GSM8K 42.9. LoopMoE R=4: 31.5, 41.5. R=5: 31.8, 41.2	학습 계산 ≈1.5×10²². BBH는 앞서지만 GSM8K는 모든 R에서 기준보다 낮다. 추론 계산 R=4 1.5×, R=5 1.8×	author-stated (수치) / analyst-inference (BBH·GSM8K 분리 관찰)
하지만 전체 평균은 뒤진다	Table 2	Overall: MoE 50.2, LoopMoE R=5 46.9	지식 과제 격차가 크다: TQA 39.8 vs 27.0, NQ 13.8 vs 9.9, MMLU 46.9 vs 42.2 (R=5)	author-stated (뒤진다는 진술) / analyst-inference (지식 과제 격차)
테스트 시간 루프 조절로 성능을 주문형으로 올릴 수 있다	Table 2, Section 4.3	R=1→5에서 Overall 36.6→46.9 (+10.3). R=4→5 증가는 46.7→46.9로 작다	per-loop supervision으로 학습한 체크포인트	author-stated / analyst-inference (체감 관찰)

결과가 이어지는 방식. 논문의 논리는 세 층이다. 먼저 Fig. 1b의 관찰(포화, MoE가 더 늦게 포화)에서 법칙의 모양을 정하고, Fig. 2–3에서 그 모양이 외삽 예측을 가장 잘한다는 것을 보인다. 다음으로 맞춘 법칙을 “설계 도구”로 써서 R*, E*, 결합 최적을 예측한다(Fig. 4–6). 이 단계의 결과는 모두 법칙의 예측이지 새 실측이 아니다(analyst-inference). 마지막으로 하류 과제(Fig. 7)와 3T 토큰 사례(Table 2)로 예측된 경향이 실제 벤치마크 점수로 이어지는지 확인한다.

주의할 연결. “루프가 약 2배 총 파라미터 효율”은 Reasoning(BBH·GSM8K 평균) 기준이고, Overall에서는 Table 2의 LoopMoE가 3.3점 뒤진다. 저자도 이를 “Overall에서는 뒤진다”고 명시한다(Section 4.3). 또 LoopMoE는 같은 학습 계산을 쓰려고 기준 모델의 절반인 약 3T 토큰만 봤고, 추론 계산은 더 쓴다. 지식형 과제의 격차가 큰 것은 저장 파라미터와 학습 토큰이 모두 적은 탓일 수 있다(analyst-inference, 논문은 원인을 분석하지 않음).

Take-home

한 줄 요약. 루프 이득은 유한한 상한으로 포화하며, MoE 희소성은 루프마다 다른 전문가에 닿게 해서 그 상한을 높인다. 이 모양을 넣은 Loop Scaling Laws는 외삽 예측이 기존 매핑보다 정확하고, 계산·메모리 예산에 맞는 R과 E를 고르는 데 쓸 수 있다.

결론이 성립하는 범위.

법칙은 활성 0.3–1.0B, 100–500B 토큰, E 1–16, R 1–8에서 맞췄다. 그 밖(R=16, E=32, Nact 1.6–2.4B 등)은 외삽이다(Appendix C.2).
middle-cycle looping 한 가지 방식만 썼다(Section 4.1).
법칙의 맞춤 대상은 마지막 루프 loss로 학습한 모델이고, Table 2의 LoopMoE는 per-loop supervision을 더한 모델이다(Appendix C.1).
하류 결과는 Meta 내부 web 중심 혼합 데이터로 학습한 모델에서 나왔다(Appendix C.1, MobileMoE와 같은 데이터).

저자가 인정한 한계 (author-stated).

상한과 $m \to 0$ 극한은 매핑의 수학적 성질이지 관찰 범위 밖의 보장이 아니다(Section 3.2–3.3).
메모리 최적화는 가중치 메모리만 다루고 KV cache와 런타임 상태는 범위 밖이다(Section 4.2).
다른 루프 방식, 더 넓은 규모, 추론 시 메모리·지연 개선(재귀 상태 최적화, early-exit)은 향후 과제다(Section 5).

작성자가 보는 우려 (analyst-inference).

루프 모델은 루프마다 KV cache를 쓰므로 R이 커지면 실제 배포 메모리가 늘 수 있는데, 메모리 최적 분석에서 이것이 빠져 있다. “메모리가 빠듯하면 루프”라는 결론은 가중치 메모리 기준에 한정해 읽어야 한다. 이 문제를 직접 다룬 것이 The Surprising Effectiveness of Shared Memory in Looped Transformers다.
법칙 선택 근거(RMSE 비교)는 held-out slice 하나씩에서 나온 수치라, slice 선택에 따라 순위가 바뀌는지는 보고되지 않았다.
별도의 Limitations 절은 없다.

재현성. 학습 seed 반복 수와 seed 간 분산은 보고되지 않았다. 불확실성은 법칙 맞춤의 bootstrap(Table C.3)으로만 제시된다. 코드·데이터·체크포인트 공개 여부는 원문에 언급이 없다.

본문 도표

Figure 1 — 루프 MoE 구조와 경험적 포화

무엇을 보여주는가: (a) dense 루프 트랜스포머는 루프 1…R에서 같은 FFN을 다시 쓰고, looped MoE는 루프마다 다른 전문가 FFN을 쓸 수 있다는 구조 그림. (b) 활성 파라미터와 학습 토큰을 고정하고 R을 1–8로 늘린 실측 loss. (c) 맞춘 법칙이 그리는 효과 파라미터 이득 곡선과 선형·power-law 매핑의 비교.
읽는 법: (b) x축 recurrence R(1, 2, 3, 4, 6, 8), y축 loss(약 2.15–2.45), 선은 전문가 수 E=1, 2, 4, 8. (c) x축 R, y축 effective-parameter gain $(N_{e ff} - N) / N_{l oo p}$ , 점선=선형, 파선=power, 실선=법칙(E=1–8).
핵심 관찰: (b) 모든 E에서 처음 몇 루프에서 loss가 크게 떨어지고 이후 평평해진다. 그래프 판독으로 E=1은 약 2.47에서 약 2.42, E=8은 약 2.23에서 약 2.16 부근으로 내려간다(analyst-inference, 그래프 판독). (c) 선형·power 매핑은 R=2–3 근처에서 이미 축 상단을 넘고, 법칙 곡선은 R=8에서 E=1 약 0.36, E=8 약 0.65 부근으로 평평해진다(analyst-inference, 그래프 판독).
의미와 주의: 저자는 dense(E=1)가 MoE보다 일찍 포화한다는 것을 이 그림의 핵심 관찰로 든다(author-stated, 캡션). (b)는 실측, (c)는 맞춘 법칙의 곡선이므로 성격이 다르다(analyst-inference).
확인 상태: viewed

Table 1 — 스케일링 법칙 비교

무엇을 보여주는가: Chinchilla, Unified routed, Joint MoE, Parcae, Iso-Depth, Sparse Layers, SMELT, 그리고 이 논문의 법칙이 어떤 축(N/F, D, R, S/E)을 모델링하는지, 재귀 매핑 모양, 계산·메모리 최적화 지원 여부.
읽는 법: ✓는 그 변수를 명시적으로 모델링함, ×는 아님. “Recurrence mapping” 열은 루프 이득의 함수 모양.
핵심 관찰: 루프 법칙(Parcae, Iso-Depth)은 R을 넣지만 S/E가 없고 매핑이 unbounded다. looped MoE 법칙(Sparse Layers, SMELT)은 R=2로 고정했다. 네 축과 계산·메모리 최적을 모두 ✓로 가진 행은 이 논문뿐이다. 각주: Parcae는 학습 재귀 분석에서 완전히 펼친 파라미터 수를 쓰고, 테스트 시간 깊이에는 따로 포화 법칙을 맞춘다.
의미와 주의: 저자가 직접 만든 비교표이므로 다른 법칙의 특성 분류는 저자의 해석이다(analyst-inference). Parcae도 테스트 시간 쪽에서는 포화 법칙을 썼다는 각주는 “기존 법칙은 모두 unbounded”라는 요약을 조금 제한한다(analyst-inference).
확인 상태: viewed

Figure 2 — dense 루프 매핑 비교

무엇을 보여주는가: (a) 선형·power-law·bounded 매핑의 이득 곡선 예시. (b) 세 매핑으로 R≤8에서 맞춘 법칙이 R=16까지 예측한 loss 곡선과 실측점. (c) 매핑 공식표와 held-out RMSE.
읽는 법: (a) x축 R(0–16), y축 효과 파라미터 이득, bounded 예시는 κ₁=0.5(점근 이득). (b) x축 R, y축 loss, 흰 원=관찰된 R, 빨간 점=held-out R=16. (c) 아래 표의 행은 빼 둔 축(R, N, D), 열은 매핑.
핵심 관찰: (b) 선형 매핑은 R=16에서 loss를 약 2.16까지 내려 크게 과대 예측하고, power-law는 약 2.40, bounded는 약 2.42로 평평하게 유지된다. held-out 실측점은 약 2.43 부근이다(analyst-inference, 그래프 판독). (c) held-out R RMSE 0.2566 / 0.0313 / 0.0092, held-out N 0.1106 / 0.0211 / 0.0128, held-out D 0.0882 / 0.0073 / 0.0049(선형 / power / bounded).
의미와 주의: 저자는 선형이 이득을 크게 과대평가하고 power-law도 맞춘 범위 밖에서 낙관적이며 bounded만 plateau를 잡는다고 해석한다(author-stated, Section 3.2). 외삽 점검은 R=16 한 지점이다(analyst-inference).
확인 상태: viewed

Figure 3 — MoE 루프 매핑 비교

무엇을 보여주는가: (a) sparsity-conditional 매핑에서 m(활성 비율)이 작을수록 이득 상한이 올라가는 모습. (b) 네 매핑으로 R≤8에서 맞춘 법칙의 예측 loss를 E=1, 2, 4, 8별로 그린 것. (c) 매핑 공식표와 held-out RMSE.
읽는 법: (a) 곡선은 m=1.00, 0.55, 0.29, 0.15. m=1이 dense의 상한 κ₁, 작은 m일수록 $κ_{1} m^{- θ}$ 로 높아진다. (b) 점은 맞춤에 쓴 관측, 점선=선형, 일점쇄선=power, 실선= $N_{e ff} (R, m)$ . (c) 아래 표 열은 선형, power, bounded $N_{e ff} (R)$ , sparsity-conditional $N_{e ff} (R, m)$ .
핵심 관찰: (b) 선형·power 곡선은 모든 E에서 루프가 늘수록 실측점 아래로 내려가 낙관적이다. 실선은 E별 plateau 높이를 따라간다(그래프 판독, analyst-inference). (c) 네 축 모두 sparsity-conditional이 가장 낮다: R 0.0100, E 0.0047, N 0.0050, D 0.0043. sparsity-independent bounded(0.0190, 0.0075, 0.0065, 0.0058)보다도 낮다.
의미와 주의: 저자는 선형·power가 “희소성에 따라 포화가 어떻게 달라지는지”를 담지 못한다는 점을 강조한다(author-stated, Section 3.3). sparsity-independent bounded와의 차이는 held-out R에서 가장 크고(0.0190→0.0100), D에서는 작다(0.0058→0.0043)(analyst-inference).
확인 상태: viewed

Figure 4 — 효과 파라미터 배수와 IsoFLOP 프로필

무엇을 보여주는가: (a) Nact=1.0B에서 R에 따른 효과 파라미터 배수 $ρ_{e ff}$ . (b) 그 상한( $R \to \infty$ )을 전문가 수 E에 대해 그린 것. (c, d) 학습 계산 5×10²⁰과 10²¹ FLOPs에서 활성 파라미터에 따른 예측 loss(IsoFLOP 곡선), E=1(c)과 E=8(d), R=1, 2, 4, 8.
읽는 법: (a) x축 R(1–16), y축 배수(1.0–2.0), 선은 E=1, 2, 4, 8, 16, 32. (b) x축 E(로그), y축 상한. (c, d) x축 Nact(B, 로그), y축 loss, 일점쇄선=5×10²⁰, 실선=10²¹, 표식=각 곡선 최소점.
핵심 관찰: (a, b) 상한은 E=1에서 약 1.33, E=32에서 약 1.95로 E가 커질수록 단조 증가한다(analyst-inference, 그래프 판독). E가 클수록 곡선이 늦게 평평해진다. (c, d) E=8의 곡선 최소 loss가 E=1보다 낮다. 같은 Nact에서 R=2 @10²¹이 R=1 @5×10²⁰보다 낮다(author-stated, Section 4.1).
의미와 주의: 모두 맞춘 법칙에서 계산한 예측이다. E=32는 스윕(E≤16) 밖의 외삽이다(analyst-inference, Appendix C.2 근거).
확인 상태: viewed

Figure 5 — 계산 최적 재귀 수 R*

무엇을 보여주는가: (a) 학습 계산 예산에 따른 계산 최적 loss와 그때의 R*(선 색). (b) 5×10²¹ FLOPs에서 R=1–10의 IsoFLOP 프로필, 별=R*. (c) 학습 계산–활성 크기 평면에서 R* 영역 지도, 위 E=8, 아래 E=1.
읽는 법: (a) x축 학습 FLOPs(10²⁰–10²³), y축 계산 최적 loss, 파선 E=1, 실선 E=8, 색은 R*=1–6. (b) x축 토큰당 추론 FLOPs(GFLOP, 로그), y축 loss, 점 라벨 R1…R10. (c) 색 막대가 R*(1–8), 점선은 0.3B, 1.0B.
핵심 관찰: (a) 예산이 커질수록 R가 커지고, 0.3B가 1.0B보다 R가 크다. (b) R는 각 프로필의 최소점에 있거나 가깝고, 그 이후 루프의 이득은 미미하다. (c) E=8 지도가 E=1보다 높은 R 영역이 넓다(author-stated, Section 4.2).
의미와 주의: “R*“은 ε(적합 RMSE) 이상 loss가 줄어야 루프를 추가한다는 규칙으로 정해지므로, ε 선택에 따라 달라진다(analyst-inference). 구체적인 별 위치의 R 값은 그림이 작아 이 노트에서 옮기지 않는다(원문 그림 참조).
확인 상태: viewed

Figure 6 — 메모리 최적 전문가 수 E*와 결합 최적

무엇을 보여주는가: 학습 계산 5×10²¹ FLOPs에서 (a) bf16 가중치 메모리 예산에 따른 E*(위 R=4, 아래 R=1). (b) INT4 가중치 메모리와 R 평면의 E* 지도. (c) INT4 메모리 예산별 결합 최적 (Nact*, E*, R*).
읽는 법: (a) x축 가중치 메모리(GB, bf16, 로그), y축 loss, 선은 E=1–32, 배경 색이 E*. (b) x축 INT4 메모리, y축 R(1–8), 색=E*. (c) x축 토큰당 추론 GFLOP, y축 loss, 선은 E별, 표식 모양은 Nact, 별=선택된 최적, 라벨 “1GB·1B·E2·R2” 등.
핵심 관찰: (a, b) 메모리가 클수록, R이 클수록 E*가 커진다. (c) 1GB에서 1.0B·E=2·R=2, 3GB에서 1.0B·E=8·R=2, 10GB에서 1.6B·E=16·R=1이 선택된다(author-stated, Section 4.2 및 그림 라벨).
의미와 주의: 저자 결론은 “계산 고정 시 메모리가 빠듯하면 루프, 넉넉하면 희소성”이다(author-stated). 메모리는 가중치만 세며 KV cache는 빠져 있다(author-stated, Section 4.2). 1.6B와 E>16, R>8은 외삽이다(author-stated, Appendix C.2). bootstrap 100회에서 세 선택 모두 바뀌지 않았다(Table C.3b).
확인 상태: viewed

Figure 7 — 하류 과제에서의 희소성·루프 스케일링

무엇을 보여주는가: 학습 계산에 따른 하류 점수. (a, b) R=1에서 E를 1–16으로 늘릴 때. (c, d) E=8에서 R을 1–8로 늘릴 때, 회색 기준은 dense(E=1, R=1). (a, c)는 Overall(14개 평균), (b, d)는 Reasoning(GSM8K·BBH 평균).
읽는 법: x축 학습 FLOPs(로그), y축 평균 점수(%). 선 모양은 모델 크기 0.3B(실선)·0.6B(파선)·1.0B(점선), 색은 E 또는 R. 세로 파선은 계산을 맞춘 비교 지점(5×10²⁰ 또는 10²¹).
핵심 관찰: (a, b) 같은 크기에서 E가 클수록 점수가 높고, 5×10²⁰ FLOPs에서 E≥8인 0.3B가 1.0B dense를 Overall과 Reasoning 모두 앞선다. (c, d) 10²¹ FLOPs Reasoning에서 R≥4인 0.3B가 R=1인 0.6B와 같거나 앞서고, R≥3인 0.6B가 R=1인 1.0B와 맞먹는다. E=8, R>1 모델은 같은 계산의 dense 기준선보다 높다(author-stated, Section 4.3).
의미와 주의: “희소성 약 3배 활성 파라미터 효율”은 Overall과 Reasoning 모두에서, “루프 약 2배 총 파라미터 효율”은 Reasoning에서 나온 주장이다(author-stated). 그래프의 개별 점이 많고 겹쳐 있어, 각 점의 정확한 점수는 이 노트에서 옮기지 않는다.
확인 상태: viewed

Table 2 — 조 단위 토큰 학습: LoopMoE vs 2배 큰 MoE

무엇을 보여주는가: 학습 계산 ≈1.5×10²² FLOPs로 맞춘 A0.6B-2.9B MoE(R=1)와 A0.3B-1.3B LoopMoE를 테스트 시간 R=1–5로 평가한 14개 벤치마크 점수와 상대 추론 계산.
읽는 법: 열은 Reasoning(BBH 3-shot, GSM8K 8-shot), Science, Commonsense, Reading, Knowledge 그룹과 Overall(괄호 안 Δ=LoopMoE R=1 대비 향상). 두 번째 열은 0.6B MoE 대비 토큰당 추론 계산 비.
핵심 관찰:
- 기준 MoE: BBH 29.8, GSM8K 42.9, Overall 50.2, 추론 계산 1.0×.
- LoopMoE R=1: BBH 18.6, GSM8K 10.5, Overall 36.6, 0.4×.
- LoopMoE R=4: BBH 31.5, GSM8K 41.5, Overall 46.7(+10.1), 1.5×.
- LoopMoE R=5: BBH 31.8, GSM8K 41.2, Overall 46.9(+10.3), 1.8×.
- 결론을 제한하는 예외: GSM8K는 R=1–5 어느 것도 기준(42.9)에 닿지 않는다. 지식 과제는 R=5에서도 MMLU 42.2 vs 46.9, NQ 9.9 vs 13.8, TQA 27.0 vs 39.8로 격차가 크다.
의미와 주의: 저자는 R∈{4, 5}에서 BBH·GSM8K로 기준과 “맞먹는다”고 하고 Overall은 뒤진다고 명시한다(author-stated, Section 4.3). “맞먹는다”는 BBH 우위와 GSM8K 열위가 상쇄된 평균 기준이다(analyst-inference). R=4→5의 Overall 증가가 0.2점이라 법칙이 고른 R*=5의 추가 이득은 작다(analyst-inference). LoopMoE는 per-loop supervision으로 학습되어 모든 R에서 출력을 낼 수 있다(Appendix C.1, D.2).
확인 상태: viewed

Wiki 연결

Training Compute-Optimal Large Language Models — 이 논문 식 1의 출발점인 Chinchilla 법칙(Hoffmann et al., 2022).
Scaling Laws for Neural Language Models — 임베딩 제외 파라미터 수 관행과 스케일링 법칙의 원형(Kaplan et al., 2020).
Reasoning with Latent Thoughts - On the Power of Looped Transformers — 루프가 특히 추론을 개선한다는 근거로 인용된 Saunshi et al.(2025). Reasoning 평균을 따로 보고한 이유.
The Surprising Effectiveness of Shared Memory in Looped Transformers — 이 논문이 범위 밖으로 둔 루프별 KV cache 메모리 증가를 직접 다룬다.
A Survey on Mixture of Experts in Large Language Models — MoE 라우팅·희소성 배경.

BibTeX

@article{chen2026loopscaling,
  title   = {Scaling Laws for Looped Mixture of Experts},
  author  = {Chen, Yanbei and Goyal, Anirudh and Krishnamoorthi, Raghuraman},
  journal = {arXiv preprint arXiv:2609.40316},
  year    = {2026}
}