Mixture-of-Recursions: 토큰마다 재귀 깊이를 다르게 배우는 순환 Transformer (MoR)

개요

큰 언어모델은 똑똑하지만 비싸다. 효율화 연구는 크게 두 갈래였다. 하나는 **파라미터 공유(parameter sharing: 같은 층 가중치를 여러 번 재사용해 모델 크기를 줄이는 것)**이고, 다른 하나는 **적응적 계산(adaptive computation: 쉬운 토큰엔 계산을 덜, 어려운 토큰엔 더 쓰는 것)**이다. 그런데 둘을 한 모델에서 동시에 얻는 구조는 없었다. 같은 블록을 반복하는 Recursive Transformer는 파라미터는 아끼지만 모든 토큰을 같은 횟수만큼 돌리고, early-exit은 따로 학습 단계를 붙여야 하며 먼저 빠져나간 토큰의 깊은 층 KV(key-value, attention이 참조하는 과거 정보) 캐시가 비는 문제가 생긴다. 이 논문의 통찰은, 재귀 구조에서는 “몇 번 반복할지”가 곧 “얼마나 깊이 생각할지”이므로 Mixture-of-Depths처럼 **router(토큰마다 계속 진행할지 정하는 작은 선형층)**를 재귀 단계마다 붙이면 두 효율을 한 구조 안에서 얻을 수 있다는 것이다. 예를 들어 “defensively”를 “def”+“ensively”로 쪼갰을 때 뒷조각은 앞조각만 보면 거의 확실하므로 한 번만 돌리고, 문맥상 다음 내용이 불확실한 토큰은 세 번 돌린다(Figure 1). 이렇게 하면 깊은 재귀 단계에는 살아남은 토큰만 남으므로, 그 단계의 attention과 **recursion-wise KV caching(그 단계에 남은 토큰의 KV만 저장)**도 자연히 작아져 메모리 이동량이 줄어든다. 실험에서 같은 학습 예산(16.5e18 FLOPs)에서 재귀 2회 MoR은 비공유 파라미터 167M으로 315M vanilla보다 낮은 검증 NLL(2.7511 vs 2.7824)과 높은 few-shot 평균 정확도(43.1% vs 42.3%)를 냈고(Table 3), 같은 재귀 횟수의 고정 깊이 Recursive 모델은 모두 vanilla보다 나빴다. 추론에서는 재귀 4회 MoR이 최대 2.06배 처리량을 냈다(Figure 4a).

Implication: 재귀 Transformer의 반복 횟수를 토큰 단위로 학습시키면 “작은 모델 + 필요한 곳에만 더 깊은 계산”이 가능해진다. 다만 이 이득은 1.7B 이하 사전학습·언어모델링 지표에서 확인된 것이며, 실제 추론(reasoning) 과제에서 router가 “어려운 생각”에 깊이를 배분하는지는 저자도 향후 과제로 남겼다.

📎 https://arxiv.org/abs/2507.10524

배경과 문제

왜 어려운가. 수천억 파라미터로 키운 Transformer는 few-shot 일반화·추론을 보여 주지만, 메모리와 계산 요구 때문에 대형 데이터센터 밖에서 학습·배포하기 어렵다(author-stated, Section 1). 효율화 축 가운데 파라미터 효율과 적응적 계산은 각각 활발히 연구됐지만, 둘을 효과적으로 합친 구조는 없다고 저자들은 본다(author-stated, Section 1).

학술적 계보 (저자가 직접 언급한 것).

• 층 묶기(layer tying) / Recursive Transformer: Universal Transformer(Dehghani et al., 2018)가 한 블록을 반복 적용해도 깊은 비공유 스택의 표현력에 맞먹을 수 있음을 보였다. ALBERT(Lan et al., 2019), Relaxed Recursive Transformer(Bae et al., 2024; 루프마다 LoRA를 붙여 가중치 공유의 손실을 줄임)가 이어진다(author-stated, Section 1, 6).
• Looped Transformer 이론·응용: 프로그래머블 컴퓨터로 동작(Giannou et al., 2023 → Looped Transformers as Programmable Computers), 반복적 데이터 적합 알고리즘 학습(Yang et al., 2023), 알고리즘 과제의 길이 일반화(Fan et al., 2024), latent 추론(Saunshi et al., 2025 → Reasoning with Latent Thoughts - On the Power of Looped Transformers; Geiping et al., 2025)(author-stated, Section 6).
• 적응적 계산: early-exit(Schuster et al., 2022; Elbayad et al., 2020), ACT(Graves, 2016), 그리고 이 논문의 직접 조상인 Mixture-of-Depths(MoD, Raposo et al., 2024) — 층마다 router가 일부 토큰만 골라 전체 계산을 받게 한다. MoR은 이 routing 발상을 “서로 다른 층”이 아니라 “같은 가중치 블록의 반복 호출”에 적용한다(author-stated, Section 6).
• MoE routing: token-choice(토큰이 expert를 고름, 부하 불균형) vs expert-choice(expert가 토큰을 고름, 완전 균형)(Zhou et al., 2022 등)(author-stated, Section 6).
• Latent reasoning: pause token(Goyal et al., 2023), 마지막 hidden state를 다시 입력으로 넣는 연속 사고(Hao et al., 2024 → Training Large Language Models to Reason in a Continuous Latent Space). 저자들은 이런 방법이 고정된 사고 깊이를 써서 쉬운 입력엔 낭비, 어려운 입력엔 부족하다고 본다(author-stated, Section 6).

기존 방법의 한계 (Section 2.1 “Limitations in prior works”).

1. 파라미터를 묶어도 깊이마다 별도 KV 캐시를 쓰면 캐시 크기가 줄지 않아 조회 지연이 그대로 병목이다.
2. 대부분 재귀 모델은 모든 토큰에 같은 재귀 깊이를 쓴다.
3. early-exit 같은 사후(post-hoc) 적응 방법은 별도 학습 단계가 필요하고 성능을 떨어뜨릴 수 있다.
4. 동적 경로를 쓰면 먼저 빠져나간 토큰의 깊은 층 KV가 비어, 병렬 디코딩 같은 복잡한 엔지니어링이 필요하다.

이 논문의 차이. router를 사전학습 단계부터 끝까지(end-to-end) 함께 학습해 학습과 추론의 동작을 맞추고, 재귀 단계별 KV 캐시 전략을 구조에 내장해 위 1–4를 한 구조로 다룬다(author-stated, Section 1 Contributions).

지표

지표	무엇을 세는가	단위·범위	방향	분모·정규화	측정 조건	원문 위치
Validation NLL (negative log-likelihood, 음의 로그우도)	다음 토큰 정답 확률의 음의 로그 평균. 낮을수록 모델이 정답을 더 확신	nats로 추정(원문에 단위 명시 없음 → unknown), 값 2.7–5.1 범위	↓	토큰 평균으로 추정(analyst-inference)	FineWeb-Edu 검증 세트	Table 3, Figure 3·4b·4c
Log likelihood	NLL의 부호 반대	음수	↑	위와 같음	Figure 4a·5c. Figure 5c는 500 샘플	Figure 4a, 5c
Few-shot accuracy	6개 벤치마크 정답률: LAMBADA(LD), HellaSwag(HS), PIQA(PQ), WinoGrande(WG), ARC(Easy·Challenge), MMLU	%	↑	LAMBADA·WinoGrande·MMLU 외에는 정답 문자열 바이트 길이로 정규화한 정확도. Avg는 6개 평균	LM Evaluation Harness, 표준 shot 수, MMLU는 continuation task	Appendix B, Table 3
Throughput	초당 생성 토큰 수, vanilla 대비 배수(×)	배수	↑	vanilla = 1.0	360M 기반, 16.5e18 FLOPs 학습, 샘플당 토큰 수 평균 256 정규분포, 입력 prefix 없음, 배치 32 또는 Max	Section 3.3, Figure 4a, Appendix E
Dead token ratio	expert-choice에서 마지막 재귀 단계에서 한 번도 선택되지 않는 토큰 비율	%	↓	검증 세트 500 샘플 × 2K 길이	360M, 재귀 3회	Table 4
MaxVio	token-choice의 부하 불균형 정도(Wang et al., 2024)	0 이상 실수	↓	원문 정의는 인용으로 대체(unknown)	360M, 재귀 3회	Table 4
학습 FLOPs·학습 시간·peak memory	학습 비용	×10^18 FLOPs, 상대 %	↓	vanilla 대비	20B 토큰 고정	Table 3, Section 3.1

방법과 벤치마크 구성

전체 구조 (Figure 1, Table 1, Section 2.1). 입력 → 첫 층(Layer 0, 고유 가중치) → **재귀 블록(recursion block: 공유 가중치 층 몇 개의 묶음)**을 최대 $N_r$번 반복 → 마지막 층(Layer $L-1$, 고유 가중치) → 출력. 첫·마지막 층만 고유하게 두고 가운데를 순환 공유하는 이 방식이 Middle-Cycle이다. 저자들은 Cycle·Sequence·Middle-Cycle·Middle-Sequence 네 가지를 비교해 Middle-Cycle을 모든 후속 실험에 채택했다(Section 4.1, Figure 4b). 공유 덕분에 고유 파라미터는 약 $1/N_r$로 줄고, FSDP 학습에서 한 번 all-gather한 파라미터를 $N_r$번 재사용하며, 서로 다른 단계의 토큰을 한 배치로 묶는 continuous depth-wise batching이 가능해진다(author-stated, Section 2.1).

부품 1 — Routing (Section 2.2.1, Figure 2a·2b).

• Expert-choice: 재귀 단계 $r$마다 router가 hidden state로 점수 $g_t^r$를 내고, 상위 $\beta$-백분위(top-$k$) 토큰만 블록을 통과시킨다(식 2.1). 통과한 토큰은 $g_t^{r}f(\cdot )+{\mathcal{H}}_t^r$로 갱신되고, 아니면 그대로 남는다. hierarchical filtering: 단계 $r$에서 선택된 토큰만 $r+1$에서 다시 평가받는다. 즉 학습 중에 early-exit을 흉내 낸다. 장점은 계산 예산이 고정된다는 것, 단점은 top-$k$가 같은 시퀀스의 미래 토큰 점수까지 보고 정해지므로 **인과성 위반(causality violation, 정보 누출)**이 생긴다는 것이다. 이를 막으려고 auxiliary router 또는 auxiliary loss를 쓴다(Table 2 왼쪽).
• Token-choice: 첫 재귀 직전에 한 번만 router가 토큰을 expert $i$(= $i$번 반복)에 배정한다(식 2.2, top-1). 누출은 없지만 부하 불균형이 생겨 balancing loss 또는 loss-free(router bias) 방식이 필요하다.
• 공정 비교를 위해 expert-choice의 용량을 완전 균형 token-choice와 맞춘다. $N_r=3$이면 단계 1·2·3이 토큰의 3/3, 2/3, 1/3을 처리한다(author-stated, Section 2.2.1).

부품 2 — KV caching (Section 2.2.2, Figure 2c, Table 2 오른쪽).

• Recursion-wise KV caching: 그 단계로 라우팅된 토큰만 KV를 저장하고 attention도 그 토큰들 사이로 제한. vanilla 대비 KV 메모리·IO가 약 $(N_r+1)/2N_r$, 층당 attention FLOPs가 $(k/N_{ctx}{)}^2$배.
• Recursive KV sharing: 모든 토큰이 최소 첫 재귀는 통과하므로, 첫 재귀의 KV만 저장해 이후 단계에서 재사용. KV 메모리는 $1/N_r$로 가장 작지만 KV IO는 1(그대로), attention FLOPs는 $k/N_{ctx}$로 덜 준다. 첫 재귀만 prefill하면 되는 이점은 Cycle 전략에서만 호환된다.

실험 설정 (Section 3, Appendix B). Llama 기반 구조, SmolLM 설정을 참조해 135M·360M·730M·1.7B 네 크기(비임베딩 기준)를 처음부터 사전학습. 데이터는 SmolLM-Corpus의 FineWeb-Edu 중복 제거 부분집합(220B 토큰 규모). 어휘 49K, 최대 길이 2K. GPU 4장(H100 또는 A100). 주실험과 isoFLOP 분석은 Trapezoid 학습률 스케줄(warmup 약 5%, cooldown 20%), 그 밖은 cosine. 비교 대상은 (1) 같은 크기의 Vanilla Transformer, (2) 같은 Middle-Cycle 공유에 모든 토큰이 $N_r$번 고정 반복하는 Recursive Transformer. isoFLOP 분석은 2e18·5e18·16.5e18 FLOPs 세 예산, 재귀 3회 고정(Section 3.2).

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
같은 학습 FLOPs에서 MoR이 더 적은 파라미터로 vanilla를 이긴다	Table 3, Section 3.1	MoR(Expert, Cache, $N_r$=2, 167M): NLL 2.7511, Avg 43.1 vs Vanilla(315M): 2.7824, 42.3	16.5e18 FLOPs. MoR은 같은 FLOPs로 27B 토큰을 봄(vanilla 20B). 즉 이득 일부는 “더 많은 데이터”에서 온다고 저자도 설명	author-stated
$N_r$=3·4에서도 MoR은 고정 깊이 Recursive보다 낫다	Table 3	$N_r$=3: MoR 2.7925/42.6 vs Recursive 2.8466/41.5. $N_r$=4: 2.8204/41.6 vs 2.8781/41.0	같은 FLOPs. $N_r$=3 MoR의 NLL은 vanilla(2.7824)보다 높다(정확도 평균만 앞섬)	author-stated
같은 데이터(20B 토큰)에서 MoR은 더 적은 FLOPs로 더 좋다	Table 3, Section 3.1	$N_r$=2: FLOPs 12.3 vs 16.5, NLL 2.7749 vs 2.7824, Avg 42.9 vs 42.3. 학습 시간 −19%, peak memory −25%	학습 시간·메모리 수치는 본문 문장에만 있고 측정 조건은 본문에 적혀 있지 않다	author-stated
같은 데이터에서 $N_r$=3·4 MoR은 vanilla보다 NLL·정확도 모두 낮다	Table 3	$N_r$=3: 2.8246/41.8, $N_r$=4: 2.8519/41.5 (FLOPs 11.0)	결론을 제한하는 예외	analyst-inference
Token-choice routing은 expert-choice보다 크게 나쁘다	Table 3, Section 3.1	$N_r$=3: Token 2.9163/40.0 vs Expert 2.7925/42.6	Token-choice MoR은 같은 $N_r$의 고정 깊이 Recursive(2.8466/41.5)보다도 나쁘다	author-stated(수치) / analyst-inference(Recursive와의 비교)
KV sharing은 성능을 약간 떨어뜨리고 메모리를 아낀다	Table 3	Expert $N_r$=3: Share 2.7983/41.9 vs Cache 2.7925/42.6	16.5e18 FLOPs, Share는 31B 토큰	author-stated
MoR은 규모가 커질수록 vanilla와의 격차를 좁히거나 역전한다	Figure 3, Section 3.2	135M에서는 vanilla보다 나쁘고, 360M 이상에서는 특히 저·중예산에서 vanilla와 같거나 낫다. 모든 크기·예산에서 Recursive보다 낫다	재귀 3회, 고유 파라미터 약 1/3. 135M 열세는 “recursive capacity bottleneck” 때문일 것이라는 저자 추정	author-stated
추론 처리량이 vanilla보다 높다	Figure 4a, Section 3.3	B=32: ×1.23(MoR-2), ×1.33(MoR-3), ×1.42(MoR-4). B=Max: ×1.60, ×1.95, ×2.06	360M, vanilla도 continuous sequence-wise batching 사용. $N_r$가 클수록 log-likelihood는 약간 떨어짐	author-stated
Middle-Cycle이 가장 좋은 공유 전략	Figure 4b, Section 4.1	135M·360M 모두 M-Cyc의 NLL이 가장 낮다	Recursive Transformer, $N_r$=3, 10B 토큰	author-stated
Expert-choice는 auxiliary loss + sigmoid + Linear router가 최선	Table 4 왼쪽	Aux Loss·σ·Linear: Dead 0.1, NLL 2.8667, Few-shot 40.1. Aux Rout·tanh: Dead 66.7, Few-shot 36.2	360M, $N_r$=3. z-loss 추가 시 dead 0.0, NLL 2.8824로 정확도 차이는 작음	author-stated
Token-choice는 balancing loss가 loss-free보다 MaxVio가 낮다	Table 4 오른쪽, Section 4.2	Loss(0.1)·soft·MLP: M-Vio 0.200 vs Loss-free·soft·MLP: 0.852. 최종 선택(Loss(0.1)·soft·Linear·z-loss ✗): 0.266/2.9358/39.1	학습 단계의 거의 절반 동안 부하 균형에 어려움을 겪는다고 저자 스스로 밝힘. 본문은 “softmax+MLP가 최선”이라 쓰지만 표에서 강조된 최종 행은 Linear다(불일치 표시)	author-stated / analyst-inference(불일치)
KV sharing은 expert-choice MoR을 해치고 token-choice MoR을 돕는다	Figure 4c, Section 4.3	그래프 판독: MoR-E는 sharing 시 NLL 상승, MoR-T는 하락. Vanilla·Recursive는 차이가 작다	360M, 10B 토큰. 그래프 값은 판독치	author-stated(방향) / analyst-inference(판독)
MoR의 compute-optimal 경로는 데이터보다 모델 크기를 늘리는 쪽을 선호	Figure 5a, Section 5.1	최적점을 잇는 선의 기울기가 더 평평	Figure 3 결과에 다항식 적합으로 얻은 추정	author-stated
auxiliary loss를 쓴 expert-choice router는 선택/비선택 토큰 점수를 거의 완전히 분리한다	Figure 5b, Section 5.2	선택 토큰은 1.0 근처, 비선택은 0.0 근처	이 때문에 학습 후 top-$k$를 바꾸기 어렵다는 한계로 이어짐(Section 7.1)	author-stated
재귀를 더 돌리면 log-likelihood가 계속 오른다(test-time scaling)	Figure 5c, Section 5.3	각 모델에서 최대 재귀 깊이를 늘릴수록 누적 개선	500 샘플. $N_r$을 키우면 고유 파라미터가 줄어 전체 성능은 떨어짐	author-stated

결과의 연결. 효율 이득의 중심은 “더 적게 계산해 같은 FLOPs로 더 많은 토큰을 학습”하는 데 있다(Table 3의 $N_{tok}$ 27B·30B). 같은 데이터로 묶으면 $N_r$=2만 vanilla를 앞서고 $N_r$=3·4는 뒤진다. 따라서 “파라미터 1/3로 vanilla 수준”이라는 말은 isoFLOP 비교에서 성립하는 문장이고, isotoken 비교에서는 $N_r$=2까지만 성립한다(analyst-inference). Routing 방식의 선택이 결과를 크게 좌우한다는 점도 중요하다. token-choice는 고정 깊이 Recursive보다 나빴다.

Take-home

• 핵심 메시지: 재귀 블록 + 토큰별 router + 단계별 KV 캐시를 한 구조로 묶으면, 1.7B 이하 규모의 사전학습에서 같은 학습 FLOPs 기준 더 작은 모델로 vanilla 수준 이상의 NLL·few-shot 정확도와 더 높은 추론 처리량을 얻는다.
• 성립 범위: FineWeb-Edu 사전학습, 135M–1.7B, 최대 길이 2K, 언어모델링 NLL과 6개 few-shot 벤치마크. 수학·코드 같은 추론 과제나 post-training은 다루지 않았다.
• 저자가 인정한 한계 (author-stated, Section 7.1):
  • 계산 자원 제약으로 1.7B까지만 실험. 3B 이상과 더 큰 코퍼스는 향후 과제.
  • Router가 실제 추론 데이터에서 CoT 필요성에 맞춰 깊이를 조절하는지는 미검증.
  • auxiliary loss를 쓰면 선택/비선택 점수가 거의 완전히 분리돼 추론 시 top-$k$ 용량을 조정하기 어렵다.
  • Token-choice는 학습 단계의 거의 절반 동안 부하 균형에 어려움을 겪는다(Section 4.2).
• 작성자 우려 (analyst-inference):
  • isoFLOP 비교에서 MoR이 vanilla보다 35–55% 많은 토큰을 학습했다. 구조적 우월성과 데이터 양 효과가 섞여 있으며, 같은 데이터 비교에서는 $N_r$=2만 앞선다.
  • expert-choice는 학습 중 미래 토큰 정보를 쓰는 인과성 위반이 있다. auxiliary loss로 완화했다고 하지만, 추론 시 자기회귀 디코딩에서의 정확한 동작 차이는 본문 수치로 따로 보고되지 않았다.
  • Figure 1의 토큰별 깊이 예시와 “다음 토큰 예측 난이도를 반영한다”는 해석(Section 5.2)은 정성적 예시이며 정량 분석은 본문에 없다.
• 반복 횟수·공개: seed 수나 반복 실행 횟수는 보고되지 않았다(전문 확인). 코드는 공개됐다(https://github.com/raymin0223/mixture_of_recursions, p.1 각주). Google 공저자는 자문 역할만 했다고 명시(p.1).
• 읽지 못한 범위: 없음(전문 확보). 부록 도표는 캡션만 확인했다.

본문 도표

Figure 1 — MoR 개요

• 무엇을 보여주는가: (왼쪽) 재귀 단계 하나 = 공유 층 묶음(Layer 1…$L-2$) + router. router 점수(예: $g=0.7$)로 토큰이 블록을 통과할지 빠져나갈지 정한다. (가운데) 전체 구조: Layer 0 → 재귀 블록 최대 $N_r$회 → Layer $L-1$. (오른쪽) 토큰별 재귀 깊이 예시. 진한 칸은 계산, 연한 칸은 건너뜀. 아래 문장은 각 subword가 다음 토큰 예측을 위해 1·2·3회 중 몇 번 돌았는지를 색으로 표시.
• 읽는 법: 오른쪽 격자의 x축은 시퀀스 위치, y축은 층(재귀 깊이). 색 범례 1(보라)·2(파랑)·3(분홍).
• 핵심 관찰: “def|ensively”처럼 단어의 두 번째 조각은 적은 재귀를 받는다(Section 5.2에서 같은 예로 설명).
• 의미와 주의: 저자는 깊이 배분이 다음 토큰의 맥락상 예측 가능성을 반영한다고 해석한다(author-stated, Section 5.2). 한 문장 예시이므로 일반화의 근거로는 약하다(analyst-inference).
• 확인 상태: viewed

Table 1 — 파라미터 공유 전략

• 무엇을 보여주는가: Cycle과 Middle-Cycle 두 전략의 식과 그림. Cycle은 모든 층을 $\ell \mathrm{mod}(L/N_r)$로 순환 재사용하고, Middle-Cycle은 첫 층(${\Phi }_0$)과 마지막 층(${\Phi }_{L-1}$)을 고유하게 두고 가운데만 순환 공유한다.
• 읽는 법: 행은 First/Recursion/Last 층, 열은 각 전략의 식과 도식.
• 핵심 관찰: Sequence·Middle-Sequence를 포함한 네 전략 전체는 부록 Table 5에 있다.
• 의미와 주의: 이 표 자체는 정의이며 성능 비교는 Figure 4b에 있다(author-stated).
• 확인 상태: viewed

Figure 2 — Routing과 KV caching 구성 요소

• 무엇을 보여주는가: (a) Expert-choice: Loop 1→2→3을 지날 때마다 router가 top-$k$ 토큰만 남겨 활성 토큰이 점점 줄어든다. (b) Token-choice: router가 처음에 한 번 토큰마다 Loop 1개/2개/3개 경로를 정한다. (c) 캐시: 위는 recursion-wise caching(현재 단계에서 선택된 토큰의 key만 파랑으로 저장·참조), 아래는 recursive KV sharing(첫 재귀에서 모든 토큰의 key를 보라색으로 저장해 이후 단계에서 공유).
• 읽는 법: (c)의 행은 query 토큰, 열은 key 토큰, 칠해진 칸은 attention이 허용된 쌍.
• 핵심 관찰: sharing에서는 query 수만 줄고 key 길이는 전체 시퀀스를 유지한다.
• 의미와 주의: 두 캐시 전략의 비용 차이는 Table 2 오른쪽, 성능 차이는 Table 3·Figure 4c에서 확인된다(author-stated).
• 확인 상태: viewed

Table 2 — Routing·caching 전략 비교

• 무엇을 보여주는가: (왼쪽) expert-choice는 고정 계산 예산이 장점·인과성 위반이 단점(해결: Aux Router, Aux Loss). token-choice는 누출 없음이 장점·부하 불균형이 단점(해결: Balancing Loss, Loss-free). (오른쪽) vanilla를 1로 둔 상대 비용.
• 읽는 법: $N_r$ = 재귀 수, $k$ = 층당 선택 토큰 수($k<N_{ctx}$). 공유되지 않는 층은 제외. KV 메모리·IO는 모델 전체, attention FLOPs는 층당.
• 핵심 관찰: Recursion-wise caching: KV Memory·KV Cache IO $(N_r+1)/2N_r$, Attn FLOPs $k^2/N_{ctx}^2$. Recursive sharing: KV Memory $1/N_r$, KV Cache IO 1, Attn FLOPs $k/N_{ctx}$.
• 의미와 주의: 메모리는 sharing이 더 아끼지만 IO와 attention 계산은 recursion-wise가 더 아낀다. 디코딩 병목은 IO이므로 sharing은 디코딩 속도 이득이 제한된다(author-stated, Section 2.2.2). 용량이 $N_r/N_r,\dots ,1/N_r$를 따른다는 가정하의 이론값이다.
• 확인 상태: viewed

Table 3 — 주 비교 (isoFLOP·isotoken)

• 무엇을 보여주는가: Vanilla, Recursive($N_r$=2·3·4), MoR 여러 변형을 16.5e18 FLOPs 고정(위 MoR 블록)과 20B 토큰 고정(아래 MoR 블록) 두 조건에서 비교.
• 읽는 법: 열 = MoR Type/KV(Cache=recursion-wise, Share=sharing), 공유 방식(M-Cyc), $N_r$, 비임베딩 파라미터, FLOPs(×1e18), 학습 토큰 $N_{tok}$, FineWeb NLL(↓), 6개 few-shot 정확도와 평균(↑). †Recursive는 모든 토큰이 고정 깊이.
• 핵심 관찰: isoFLOP에서 MoR $N_r$=2(167M, 27B 토큰)가 NLL 2.7511, Avg 43.1로 Vanilla(315M, 2.7824, 42.3)를 앞선다. isotoken에서 $N_r$=2는 12.3 FLOPs로 2.7749/42.9. 반례: isotoken $N_r$=3·4(2.8246/41.8, 2.8519/41.5)는 vanilla보다 나쁘고, Token-choice(2.9163/40.0)는 같은 $N_r$의 Recursive(2.8466/41.5)보다 나쁘다.
• 의미와 주의: isoFLOP 우위의 일부는 MoR이 같은 FLOPs로 더 많은 토큰을 본 데서 온다(저자도 “process more training tokens”로 설명, Section 3.1). 개별 벤치마크 차이는 대개 1–2%p 안이며, seed 반복이 보고되지 않아 작은 차이의 유의성은 판단할 수 없다(analyst-inference).
• 확인 상태: viewed

Figure 3 — 네 모델 크기의 isoFLOP 곡선

• 무엇을 보여주는가: 135M·360M·730M·1.7B 기반 모델에서 계산 예산(2.0, 5.0, 16.5 ×1e18 FLOPs)에 따른 검증 loss. Vanilla(초록), Recursive(파랑), MoR(주황).
• 읽는 법: x축 = 계산 예산(×1e18), y축 = 검증 loss(낮을수록 좋음). 패널마다 y축 범위가 다르다. MoR·Recursive는 재귀 3회로 고유 파라미터가 약 1/3.
• 핵심 관찰: (a) 135M에서는 Vanilla가 세 예산 모두 가장 낮고, MoR과 Recursive는 16.5에서 거의 겹친다(그래프 판독, analyst-inference). (b)–(d) 360M 이상에서는 2.0 예산에서 MoR이 다른 둘보다 뚜렷이 낮고, 16.5에서는 세 모델이 가까워진다(그래프 판독).
• 의미와 주의: 저자는 MoR이 모든 크기·예산에서 Recursive보다 낫고 큰 규모에서 vanilla와 같거나 낫다고 해석한다(author-stated). 큰 예산에서 vanilla와의 격차가 거의 사라지는 점은, 이득이 저예산 영역에 집중돼 있을 가능성을 시사한다(analyst-inference). 세부 수치는 부록 Table 9.
• 확인 상태: viewed

Figure 4 — 처리량, 공유 전략, KV sharing

• 무엇을 보여주는가: (a) 추론 처리량(vanilla 대비 배수)과 log-likelihood의 Pareto frontier. B=32(파랑)와 B=Max(주황) 두 배치 설정. (b) $N_r$=3 Recursive Transformer의 네 공유 전략(Seq, M-Seq, Cyc, M-Cyc) NLL, 135M·360M, 10B 토큰 학습. (c) Vanilla, Rec, MoR-E(expert-choice), MoR-T(token-choice)의 KV sharing 끔(초록)/켬(파랑) NLL, 360M, 10B 토큰.
• 읽는 법: (a) x = 처리량 배수, y = log-likelihood(높을수록 좋음), 별 = Vanilla, 마름모·원·사각 = MoR-2·3·4. (b)(c) y = NLL(낮을수록 좋음). (b)의 빨간 점선 = 전체 크기 Vanilla, 검은 점선 = 파라미터를 맞춘(약 1/3) Vanilla.
• 핵심 관찰: (a) B=32에서 ×1.23·×1.33·×1.42, B=Max에서 ×1.60·×1.95·×2.06. MoR-2만 vanilla보다 log-likelihood가 높고 MoR-3·4는 약간 낮다(그래프 판독). (b) 두 크기 모두 M-Cyc가 가장 낮다. 360M에서 M-Cyc는 파라미터를 맞춘 vanilla(검은 점선)보다 낮지만 전체 크기 vanilla(빨간 점선)보다는 높다(그래프 판독). (c) MoR-E는 sharing을 켜면 NLL이 오르고, MoR-T는 내려간다.
• 의미와 주의: 저자는 token-choice의 약한 routing을 공유 KV의 추가 문맥이 보완한다고 해석한다(author-stated, Section 4.3). 처리량은 360M 한 크기에서만 측정했고, vanilla 쪽 배치 크기 설정 등 세부는 Appendix E에 있다.
• 확인 상태: viewed

Table 4 — Router 설계 ablation

• 무엇을 보여주는가: 360M, 재귀 3회, recursion-wise caching에서 expert-choice(왼쪽)와 token-choice(오른쪽) router 설계 선택별 성능. 회색 행이 최종 선택.
• 읽는 법: 왼쪽 열 = 누출 대책(Aux Rout/Aux Loss), 정규화 함수(σ/tanh), router 구조(MLP/Linear/W-MLP), z-loss 유무, Dead 비율(↓), NLL(↓), Few-shot(↑). 오른쪽 = 균형 방식(Loss 계수/Loss-free), 함수, 구조, z-loss, M-Vio(↓), NLL, Few-shot.
• 핵심 관찰: Expert 최종(Aux Loss·σ·Linear·z ✗): 0.1/2.8667/40.1. Aux Rout·tanh는 dead 66.7%, few-shot 36.2로 가장 나쁨. Token 최종(Loss(0.1)·soft·Linear·z ✗): 0.266/2.9358/39.1. Loss(0.01)·soft·MLP는 NLL 2.9118로 더 낮지만 M-Vio 0.682로 불균형이 크다.
• 의미와 주의: 본문은 token-choice에서 “softmax + MLP router가 최선”이라고 쓰지만 표의 최종 강조 행은 Linear이고, MLP 행(3.0239)보다 Linear 행(2.9974)의 NLL이 낮다. 본문 문장과 표가 맞지 않는다(analyst-inference). 단일 실행 결과로 보이며 반복은 보고되지 않았다.
• 확인 상태: viewed

Figure 5 — Compute-optimal scaling, router 점수, test-time scaling

• 무엇을 보여주는가: (a) 세 구조의 모델 크기(로그 축) 대 검증 loss 곡선. 별은 예산별 최적 크기. (b) $N_r$=3, expert-choice + aux loss MoR(360M)의 재귀 단계별(Rec #1–3) router 점수 분포, 선택(파랑)·비선택(주황). (c) MoR-2·3·4에서 최대 재귀 깊이를 Loop 1→4로 늘릴 때의 누적 log-likelihood(500 샘플).
• 읽는 법: (a) 곡선은 예산별 다항식 적합. (b) x = router 점수(0–1), y = 정규화 빈도. (c) 막대를 겹쳐 그려 각 loop까지 쓴 성능을 보인다.
• 핵심 관찰: (a) MoR의 최적점 연결선이 더 평평하다(저자 서술). (b) 선택 토큰은 1.0, 비선택 토큰은 0.0에 몰려 있다. 선택 비율은 Rec #1 전체, #2 약 2/3, #3 약 1/3(그래프 판독, 설계된 용량과 일치). (c) 각 모델에서 Loop 1→2의 개선이 가장 크고, 이후 loop는 작게 더해진다(그래프 판독). MoR-4의 전체 log-likelihood는 MoR-2보다 낮다.
• 의미와 주의: 저자는 (a)를 “MoR은 데이터보다 모델 크기를 늘리는 편이 낫다(less data-hungry)“로, (c)를 “MoR이 test-time scaling을 가능하게 한다”로 해석한다(author-stated). (c)는 학습 때 정한 최대 재귀 깊이 안에서 loop를 더 쓰는 비교이며, 학습 범위를 넘어 재귀를 늘린 실험은 아니다(analyst-inference). (b)의 완전 분리는 Section 7.1에서 추론 시 용량 조절이 어렵다는 한계로 이어진다.
• 확인 상태: viewed

Wiki 연결

• Looped Transformers as Programmable Computers — MoR이 Related Work에서 인용하는 looped Transformer 표현력 이론(Giannou et al., 2023).
• Reasoning with Latent Thoughts - On the Power of Looped Transformers — 고정 깊이 looping으로 latent 추론을 설명한 Saunshi et al.(2025). MoR은 이 깊이를 토큰별로 적응시킨다.
• Training Large Language Models to Reason in a Continuous Latent Space — Coconut(Hao et al., 2024). 가로(시퀀스) 축 연속 사고 vs MoR의 세로(깊이) 축 사고 비교 대상.
• Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — 적응적 반복 깊이를 다룬 looped Transformer 계열 노트(analyst-inference 연결).
• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters — 추론 시 계산 배분이라는 공통 질문(analyst-inference 연결).
• Scaling Latent Reasoning via Looped Language Models — 후속 Ouro가 MoR을 Related Work [22]로 인용. 토큰별 router(MoR) vs exit gate(Ouro)의 깊이 배분 비교.
• Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence — 후속 연구가 MoR을 적응적 exit 계열로 인용. 처음부터 학습(MoR) vs 사전학습 모델 개조의 대비.

BibTeX

@article{bae2025mixture,
  title   = {Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation},
  author  = {Bae, Sangmin and Kim, Yujin and Bayat, Reza and Kim, Sungnyun and Ha, Jiyoun and Schuster, Tal and Fisch, Adam and Harutyunyan, Hrayr and Ji, Ziwei and Courville, Aaron and Yun, Se-Young},
  journal = {arXiv preprint arXiv:2507.10524},
  year    = {2025}
}