루프 트랜스포머에서 공유 메모리의 놀라운 효과

개요

루프 트랜스포머(looped Transformer, LT)는 같은 층 묶음을 토큰마다 여러 번 다시 돌려, 파라미터를 늘리지 않고 계산을 더 써서 품질을 올린다. 그런데 루프 한 번마다 자기 몫의 KV cache(앞 토큰들의 key·value를 저장해 두는 메모)를 따로 쓰기 때문에, 루프를 5번 돌리면 문맥 메모리도 5배가 된다. “파라미터 대신 시간을 쓴다”는 루프의 장점이 긴 문맥에서는 메모리 때문에 무너진다. 기존에는 추론할 때만 cache를 재사용해 메모리를 아꼈는데, 학습 때 공유하지 않은 모델에 공유를 강요하니 품질이 떨어졌다. 이 논문의 통찰은 공유를 “비용을 감수하는 절약 기법”이 아니라 **귀납 편향(inductive bias, 모델이 특정 방식으로 배우도록 구조에 심어 둔 성향)**으로 보고 처음부터 학습시키자는 것이다. 그래서 만든 **Looped Prediction Transformer(LPT)**에서는 첫 루프(state recursion)만 전체 문맥 cache를 쓰고, 뒤 루프(prediction recursion)는 그 cache를 읽으면서 자기 cache는 최근 64개 위치만 남긴다. 결과는 예상과 반대였다. 같은 크기·같은 루프 수에서 LPT는 LT보다 검증 perplexity가 낮고(Table 1에서 0.37–1.09), 하류 정확도가 0.4–4.8%p 높았으며, KV 메모리는 2.0–4.7배 작았다. LT는 3루프 이후 좋아지지 않았지만 LPT는 5루프까지 계속 좋아졌다. 선형 attention 혼합형에 같은 규칙을 넣은 H-LPT는 5루프에서 같은 크기 표준 트랜스포머보다 perplexity가 1.12–1.82 낮으면서 문맥 메모리를 76–79% 덜 썼다. 왜 그럴까? 뒤 루프는 attention의 57–80%를 공유 cache에 쓰고, 공유 key와 자기 key는 서로 다른 표현으로 갈라진다. 또 공유 cache를 읽는 경로가 마지막 loss에서 첫 루프로 곧장 가는 **gradient 고속도로(gradient highway)**가 된다. 이 경로의 gradient만 끊어 학습하면 품질이 떨어지고 깊은 모델은 학습에 실패했다.

Implication: 루프 모델에서 “메모리를 쓰는 루프”와 “예측하는 루프”를 나누면 메모리 절약과 품질 향상이 동시에 온다. 첫 루프가 메모리 만들기에 전념하고 뒤 루프가 그것을 읽어 다듬는 분업이 생기기 때문이며, 공유는 학습할 때부터 넣어야 효과가 난다.

📎 https://arxiv.org/abs/2610.02383

배경과 문제

왜 어려운 문제인가. LT는 원리상 시간과 메모리를 맞바꾼다. 더 큰 모델의 계산량을 훨씬 적은 파라미터로 낸다. 하지만 표준 구성에서는 루프마다 별도의 KV cache를 두므로 문맥 메모리가 루프 깊이에 비례해 커진다. 긴 문맥에서는 이 메모리가 가중치 메모리보다 커질 수 있어, 루프 모델을 쓰는 이유 자체를 무너뜨린다(author-stated, Section 1). 식으로는 full-attention 층 L개, 문맥 길이 T, 루프 R이면 LT의 cache는 $L R T$ 위치다(식 4).

학술적 계보 (Section 2, 7).

루프 트랜스포머: Universal Transformer(Dehghani et al., 2019), Huginn(Geiping et al., 2025), Ouro(Zhu et al., 2025). 이 논문은 Ouro의 full-stack 형식(L층 묶음 전체를 R번 반복, 루프 사이 RMSNorm $N_{rec}$ , 출력용 RMSNorm $N_{o u t}$ )을 쓴다(식 1).
혼합형(hybrid): 대부분의 full-attention 층을 linear attention(문맥 길이와 무관한 고정 크기 상태를 쓰는 attention)으로 바꿔 메모리를 줄인다. LT2(Deng et al., 2026)는 Gated DeltaNet 층과 5층당 1개 full-attention 층을 루프로 돌린다. 그래도 남은 full-attention 층은 루프마다 전체 cache가 필요하다(author-stated, Section 2).
루프 간 cache 공유: 학습 없이 Huginn은 cache를 순환 재사용하고 Ouro는 마지막 또는 평균 cache만 남길 수 있다. 하지만 Ouro에서 첫 루프의 cache만 남기면 품질이 크게 떨어지는데, 저자는 이를 “공유 메모리는 학습되어야 한다”는 신호로 읽는다. 학습된 변형으로는 첫 루프 KV를 재사용하는 Mixture-of-Recursions(Bae et al., 2025, 약간의 품질 손실), 별도 prelude에서 한 번 계산(Capps, 2026), 게이트·압축 cache가 있다. 가장 가까운 설계는 PLT(Wu et al., 2025)로, 첫 루프 cache를 게이트 달린 지역 cache와 함께 쓰되 루프를 병렬로 돌린다(author-stated, Section 7).
메모리와 예측의 분리: XLNet의 two-stream attention, 같은 1저자의 State-Prediction Separation Transformer(Monea et al., 2026, 잔차 스트림을 둘로 나눔), 앞쪽 층이 cache를 한 번 쓰고 뒤쪽 층은 읽기만 하는 층 간 분리(Sun et al., 2024 등). LPT는 이 분리를 “루프 사이”라는 세 번째 자리에 둔다(author-stated, Section 7).

이 논문이 다르다고 말하는 점. 기존 연구는 모두 공유를 “억제해야 할 비용”으로 다뤘다. 이 논문은 공유를 메모리와 예측을 분리하는 귀납 편향으로 보고, 품질까지 올린다는 것을 보인다(author-stated, Section 7). PLT와 달리 루프를 순차적으로 두고, 공유 cache와 지역 cache를 하나의 softmax로 함께 읽는다(Section 3, 7).

지표

지표	무엇을 세는가	단위·범위	방향	분모·정규화	측정 조건	위치
Validation perplexity (PPL)	언어모델링 perplexity(다음 토큰 예측의 평균 불확실성을 지수로 바꾼 값)	1 이상. 본문 값 약 10–18, 붕괴 run은 2,000 이상(unigram 수준)	낮을수록 좋음	토큰 평균	FineWeb-Edu held-out 10M 토큰	Section 4, Table 1
Acc. (mean five-task accuracy)	ARC-Easy, HellaSwag, PIQA, SciQ, LAMBADA 5개 zero-shot 정확도의 평균	%	높을수록 좋음	5개 단순 평균	LM Evaluation Harness	Section 4, Table 1
KV (context memory)	4,096토큰 문맥에서의 문맥 메모리. KV cache와 Gated DeltaNet 재귀 상태 포함	같은 크기 STD 대비 배수	낮을수록 좋음	같은 크기 STD	해석적 계산(analytic)	Section 4, Table 1
FLOPs	생성 토큰 하나당 디코딩 FLOPs	같은 크기 STD 대비 배수	낮을수록 좋음	같은 크기 STD	4,096토큰 문맥, 해석적 계산	Section 4, Table 1
Attention to shared memory	뒤 루프의 attention 질량 중 공유 KV 항목에 간 비율	0–1	해석용(방향 없음)	query·head 평균	같은 4,096토큰 검증 시퀀스 1개	Section 6, Fig. 5
Gradient norm (L2)	각 루프가 Transformer 블록 가중치 gradient에 기여한 크기. 첫 루프는 hidden-state 경로와 공유 KV 경로로 나눔	무차원 L2 norm	해석용	시퀀스 평균	4,096토큰 검증 시퀀스 32개, 고정 위치 32개에서 final loss 역전파. 95% sequence-bootstrap 구간	Section 6, Fig. 7
최대 batch, 처리량	H100 80GB 한 장에서 메모리 부족 없이 돌아가는 최대 시퀀스 수와 그때의 초당 토큰 수	시퀀스 수, tokens/s	높을수록 좋음	—	bf16, 4,096 문맥, 연구용 구현(최적화된 서빙 엔진 아님)	Appendix F

주의. Section 1은 perplexity 차이를 “up to 1.09 nats”라고 적지만 Table 1의 값은 perplexity이고 nats(로그 단위)가 아니다(analyst-inference, 단위 표기 불일치). 메모리·FLOPs의 주 수치는 해석적 계산이며, GPU 실측은 Appendix F에서 따로 확인한다(author-stated, Section 4).

방법과 벤치마크 구성

1. 기준선: Looped Transformer (식 1–2)

입력 임베딩이 L층 묶음 $M_{L}$ 을 R번 통과한다. 루프 사이에는 $N_{rec}$ (다음 루프 입력용 RMSNorm)을, 출력에는 $N_{o u t}$ (LM head용 RMSNorm)을 둔다. 유효 깊이는 $L \cdot R$ , 파라미터는 L층 하나 분량이다. 각 층은 현재 루프의 hidden state로 key·value를 만들고, LT에서는 위치 i의 query가 자기 루프 cache의 앞부분 $C_{\leq i}^{(t)}$ 만 읽는다(author-stated, Section 2).

2. 제안: Memory Sharing과 LPT (식 3)

첫 루프(state recursion)는 LT와 똑같이 전체 문맥 cache $C^{(1)}$ 을 쓴다.
뒤 루프(prediction recursion, t=2…R)는 $C_{\leq i}^{(1)} \cup C_{[i - ω, i]}^{(t)}$ 를 하나의 softmax로 읽는다. 즉 공유 메모리 전체와 자기 루프의 최근 ω개 위치(현재 위치 포함)만 본다.
기본 ω=64. ω=T로 두면 뒤 루프도 전체 cache를 가지므로, LT와의 차이는 “공유 메모리 접근” 하나만 남는다. Section 6은 이 설정으로 공유의 효과와 짧은 창의 효과를 분리한다(author-stated, Section 3).
H-LPT: LT2에 같은 규칙을 넣은 것. 뒤 루프에서 linear attention 층은 자기 재귀 상태(작고 고정 크기)를 그대로 쓰고, full-attention 층만 식 3을 따른다(Section 3).

3. 비용 (식 4)

KV cache 크기: LT $L R T$ , LPT $L [T + (R - 1) ω]$ .
T=4,096, ω=64, R=5에서 생성 토큰당 읽는 KV 항목은 $(R - 1) ω / (RT)$ =1.25%만 늘고, full-attention cache는 LT 대비 4.7배 줄어든다(author-stated, Section 3).
학습에서는 공유·지역 항목을 이어 붙이고 FlexAttention block mask로 식 3을 구현한다(Appendix A).

4. 실험 설정 (Section 4, Appendix A)

기준선: STD(표준 트랜스포머), DEEPSTD(가중치 공유 없이 루프 모델과 유효 깊이·대략적 파라미터를 맞춘 더 깊고 좁은 모델), LOOPIE(각 층을 반복한 뒤 다음 층으로, Gao et al., 2026), LT, PLT, LT2.
크기: S 151.9M(12층, d=768), M 454.2M(24층, d=1,024), L 1.01B(36층, d=1,280)(Table 2). 문맥 4,096. 루프 2, 3, 5회.
데이터: FineWeb-Edu. S·M은 20B 토큰, L은 50B 토큰(Chinchilla 최적의 대략 2–7배). GPT-2 tokenizer.
최적화: nanoGPT 기본값(AdamW, lr 6×10⁻⁴, batch 96×4,096). 어느 모델도 lr·warmup을 튜닝하지 않았다(author-stated, Appendix A).
학습 목표: final loss(마지막 루프에서만 next-token NLL)와 adaptive loss(Ouro 방식, 학습된 토큰별 halting 분포로 루프별 NLL에 가중, KL 정규화 0.1). 특별한 말이 없으면 LT는 adaptive loss, 나머지는 모두 final loss다(author-stated, Section 4). 주 비교에서 LT와 LPT의 학습 목표가 다르다는 점은 읽을 때 기억해야 한다(analyst-inference). 저자는 LT가 final loss에서 깊이에 따라 망가지기 때문이라고 설명한다(Section 6, Appendix C).
Seed: 주 표는 설정당 run 1개(같은 초기화 seed·데이터 순서). S에서만 seed 3개를 추가로 돌렸다(Appendix B).
정규화: LT와 LPT 모두 Ouro의 정규화(sandwich norm + $N_{rec}$ )를 쓴다. Appendix C에서 LT에 다른 정규화 5가지를 시험했다.

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
LPT가 같은 크기·루프 수의 LT보다 품질이 좋고 메모리가 작다	Table 1, Section 5	PPL 0.38–1.09 낮고, 정확도 0.4–4.8%p 높고, KV 2.0–4.7배 작고, FLOPs 1% 미만 증가	LT는 adaptive loss, LPT는 final loss	author-stated
(위 범위의 하한 점검)	Table 1	M, R=2: LT 13.28, LPT 12.91 → 차이 0.37	본문 하한 0.38과 0.01 차이	analyst-inference
LT는 3루프 이후 개선이 멈추고 LPT는 5루프까지 개선된다	Table 1	L: LT 11.20 → 11.11 → 11.39, LPT 10.75 → 10.45 → 10.32 (R=2→3→5)	모든 크기에서 같은 경향	author-stated
H-LPT는 LT2와 품질이 같거나 낫고 메모리가 2–4배 작다	Table 1, Section 5	R=5에서 PPL 0.09–0.15 낮고, 정확도 0.8–1.2 높고, 메모리 4.1–4.2배 작다. H-LPT KV는 STD의 0.18–0.24배	예외: R=2 정확도는 M 58.5 vs 59.1, L 65.6 vs 66.5로 LT2가 높다	author-stated / analyst-inference (예외)
공유 메모리 모델이 같은 파라미터의 STD를 앞선다	Section 5, Fig. 2	R=5: LPT는 PPL 1.03–1.92 낮고 정확도 3.4–5.7 높으며 문맥 메모리 6.25% 증가. H-LPT는 PPL 1.12–1.82 낮고 정확도 3.1–5.6 높으며 메모리 76–79% 감소	파라미터 매칭 비교. 디코딩 FLOPs는 STD의 수 배	author-stated
LPT는 LOOPIE와 DEEPSTD도 앞선다	Table 1, Section 5	두 기준선은 깊이에 따라 일관되게 좋아지지 않는다	—	author-stated
seed 변동보다 이득이 훨씬 크다	Appendix B, Table 3–4	seed 간 PPL 최대 표준편차 0.08. LPT vs LT 차이 −0.40, −0.71, −1.05 (R=2, 3, 5), p ≤ 6.5×10⁻⁵	S 크기에서만, seed 4개	author-stated
PLT 대비 우위는 2루프에서 약하다	Table 4	LPT vs PLT, R=2: −0.07 ± 0.09, p=4.8×10⁻²	R=3, 5에서는 −0.27, −0.52	author-stated (수치) / analyst-inference (해석)
공유 메모리가 깊은 루프를 안정화한다	Fig. 3, Section 6	LT는 final loss로 루프를 늘리면 나빠지고 5루프에서 unigram 수준으로 붕괴(S 2,040, M 2,090). LPT는 안정적이고 final loss가 adaptive보다 PPL 0.16–0.50 낮다	Ouro 정규화 기준	author-stated
정규화를 바꿔 LT를 강화해도 LPT가 앞선다	Appendix C, Table 5	최선 정규화(update norm 또는 KEEL)는 LT PPL을 0.13–0.76 낮추지만, LPT가 여전히 S에서 0.31–0.37, M에서 0.06–0.43 앞선다	최소 격차 0.06(M, R=2)은 S의 seed 변동 범위 안	author-stated
짧은 창으로 충분하고, 공유 접근이 핵심이다	Fig. 4, Section 6	ω=0(자기 이력 없음)에서도 LPT가 LT를 앞선다. ω=4,096(공유 접근만 다름)에서 PPL 0.24–1.15 낮아, ω=64의 0.32–1.09와 비슷하다	LT는 깊이별 더 좋은 목표로 비교	author-stated
뒤 루프는 주로 공유 메모리를 본다	Fig. 5, Section 6	앞쪽 prediction recursion 57–71%, 마지막 루프 73–80%	뒤 루프가 전체 cache를 가져도 공유 쪽이 다수(Fig. 11)	author-stated
공유 key와 지역 key는 다른 표현으로 갈라진다	Fig. 6, Section 6	LPT에서는 첫 루프 key와 뒤 루프 key가 뚜렷한 군집으로 분리, LT는 더 겹친다	S, 3루프, 둘 다 final loss. 정성적 PCA	author-stated
공유 cache는 첫 루프로 가는 gradient 고속도로다	Fig. 7, Section 6	LT에서는 첫 루프 gradient norm이 깊이에 따라 급감. LPT는 STD 대비 상당 부분을 회복하며, 5루프에서 대부분이 공유 KV 경로로 온다	LT는 adaptive loss	author-stated
이 gradient를 끊으면 학습이 나빠진다 (ablation)	Fig. 8, Table 6	detached KV LPT: S 16.34 / 16.14 / 33.21, M 13.87 / 1,995 / 1,527 vs LPT S 15.73 / 15.28 / 14.91, M 12.91 / 12.55 / 12.33 (R=2/3/5)	경로 길이 단축 효과와 gradient 크기·방향 변화를 구분하지 못한다고 저자가 명시(Appendix D)	author-stated
9루프에서는 LPT의 이득이 줄거나 뒤집힌다	Appendix E	5→9루프에서 LPT 정확도 S +0.7, M +0.2, L −1.7. PPL은 S만 개선. H-LPT는 계속 개선되고 모든 크기에서 최저 PPL	9루프에서도 LPT > LT, H-LPT > LT2	author-stated
메모리 절약이 실제 GPU에서도 유지된다	Appendix F, Table 8	LPT는 LT보다 2.0 / 2.9 / 4.7–4.8배 많은 시퀀스를 담는다(R=2/3/5). 같은 batch에서는 LPT가 LT보다 3–8% 느리다. H-LPT는 STD의 3.6–5.0배 시퀀스, 최대 batch 처리량은 STD 대비 2.1–2.2배(R=2), 1.4–1.5배(R=3), 0.8–0.9배(R=5)	연구용 구현 1개	author-stated

결과가 이어지는 방식. Section 5는 “공유해도 손해가 없고 오히려 이득”이라는 현상을 보이고, Section 6은 그 이유를 네 갈래로 쪼갠다. (1) 안정성: 공유가 있으면 final loss로도 깊은 루프가 학습된다(Fig. 3). (2) 창 크기와 무관: 이득의 원천은 짧은 창이 아니라 공유 접근이다(Fig. 4). (3) 분업: 뒤 루프는 공유 메모리를 주로 읽고, 공유·지역 key가 다른 표현을 갖는다(Fig. 5–6). (4) 학습 신호: 공유 경로가 gradient를 첫 루프로 직접 보내고, 이를 끊으면 학습이 무너진다(Fig. 7–8). 저자는 이를 “첫 루프는 메모리 만들기, 뒤 루프는 예측 다듬기”라는 역할 분화로 정리하지만, 분화의 근거는 주로 상관적 분석(attention 비율, PCA)이고 인과 검증은 detach ablation 하나다(analyst-inference, 저자도 Section 8에서 “only the detach ablation looks at training dynamics”라고 인정).

Take-home

한 줄 요약. 루프 트랜스포머의 뒤 루프가 첫 루프의 KV cache를 공유해 읽도록 처음부터 학습하면, 문맥 메모리는 표준 트랜스포머 수준으로 줄고 품질은 오히려 좋아진다.

결론이 성립하는 범위.

150M–1B 파라미터, FineWeb-Edu 한 코퍼스, 4,096토큰 문맥, 루프 2·3·5회(Section 4, 8). 9루프에서는 LPT의 이득이 크기에 따라 줄거나 뒤집힌다(Appendix E).
주 비교에서 LT는 adaptive loss, LPT는 final loss를 쓴다. 정규화를 바꾼 LT(Appendix C)와 ω=4,096 비교(Fig. 4)가 이 혼입을 일부 통제한다(analyst-inference).
원인 분석(Section 6)은 S와 M 크기에서만 했다(Section 8).

저자가 인정한 한계 (author-stated, Section 8).

LPT는 계산 최적이 아니다. 5루프에서 디코딩 FLOPs가 STD의 4.3–4.8배로 LT와 비슷하고, 모든 토큰에 같은 루프 수를 쓴다. 토큰별 루프 수 선택은 향후 과제다.
모든 비교는 파라미터 매칭이며, 디코딩 FLOPs를 맞춘(즉 몇 배 큰) 표준 트랜스포머와는 비교하지 않았다.
1B까지, 한 코퍼스, 4,096 문맥이며 long-context 과제와 고난도 과제는 시험하지 않았다.
공유 cache는 메모리를 아낄 뿐 읽는 시간은 아끼지 않는다. 같은 batch에서 LPT는 LT보다 느리다(Appendix F).
detach 실험은 짧은 gradient 경로의 효과와 gradient 크기·방향 변화를 구분하지 못한다(Appendix D).
lr·warmup을 튜닝하지 않았고, 다른 lr이 final-loss LT의 깊이 문제를 바꾸는지 시험하지 않았다(Appendix A).

작성자가 보는 우려 (analyst-inference).

하류 정확도 5과제는 모두 비교적 쉬운 zero-shot 과제라, 루프가 특히 돕는다고 알려진 다단계 추론(GSM8K 등)에서 같은 이득이 나는지는 이 논문에서 확인되지 않는다.
“놀라운” 품질 향상의 크기는 LT 기준선이 Ouro 정규화에서 불안정하다는 점에 일부 기대고 있다. 정규화를 개선한 LT와의 격차(Appendix C)는 주 표의 격차보다 작다.

재현성. 주 표는 설정당 1 run. S에서만 seed 4개(Appendix B). 코드 공개 여부는 원문에서 언급되지 않았다.

본문 도표

Figure 1 — LPT 구조와 1B 모델 요약 결과

무엇을 보여주는가: 왼쪽은 LPT 구조 그림. 맨 아래 State 루프가 모든 위치의 KV를 새로 쓰고(파란 블록), 위의 Predict 1·2 루프는 공유 KV(파란 원)를 읽되 자기 KV는 최근 위치만 남기고 나머지를 지운다(흰 블록). 오른쪽은 1B 모델의 perplexity와 문맥 메모리(STD 대비 배수)를 루프 2·3·5회로 비교한 막대그래프.
읽는 법: 위 묶음은 full attention(STD, LT, LPT), 아래 묶음은 hybrid(LT2, H-LPT). 막대 색의 진하기가 루프 수(2, 3, 5). 메모리 축은 로그.
핵심 관찰: STD 11.35, 1×. LT 11.20(2.0×), 11.39(5.0×). LPT 10.75(1.0×), 10.32(1.1×). LT2 10.59(0.40×), 10.32(1.0×). H-LPT 10.58(0.21×), 10.23(0.24×). 막대 라벨은 2루프와 5루프 값이며 Table 1의 L행과 같다.
의미와 주의: 각 제안 모델은 바로 위 기준선에 공유 메모리만 더한 것이다(author-stated, 캡션). LT는 루프를 늘리면 메모리 5배에 PPL이 오히려 나빠지는 반면 LPT는 메모리 1.1×에 가장 좋은 full-attention PPL을 낸다(analyst-inference, 그림 대조).
확인 상태: viewed

Table 1 — 세 크기의 주 결과

무엇을 보여주는가: S, M, L 크기별로 STD, LOOPIE, LT, PLT, LT2, LPT, H-LPT의 PPL, 5과제 평균 정확도, KV 메모리, FLOPs(모두 같은 크기 STD 대비)를 R=1, 2, 3, 5에서 비교.
읽는 법: STD 행의 R=1은 표준 트랜스포머, R>1은 DEEPSTD. 나머지 행의 R은 모델 통과 횟수. 굵게=크기·열 묶음 내 최고, 밑줄=두 번째. 음영 행이 제안 모델.
핵심 관찰:
- S, R=5: LT 16.00 / 52.4 / KV 5.00, LPT 14.91 / 54.9 / 1.06, LT2 15.16 / 53.7 / 0.87, H-LPT 15.01 / 54.6 / 0.21.
- M, R=5: LT 13.34 / 57.9, LPT 12.33 / 61.6, H-LPT 12.31 / 61.4 (KV 0.21).
- L, R=5: STD(R=1) 11.35 / 62.5, LT 11.39 / 63.4, LPT 10.32 / 68.2, H-LPT 10.23 / 68.1 (KV 0.24, FLOPs 3.75).
- 결론을 제한하는 예외: H-LPT의 R=2 정확도는 M(58.5 vs 59.1), L(65.6 vs 66.5)에서 LT2보다 낮다. L, R=5 PPL은 LPT와 LT2가 10.32로 같다.
- DEEPSTD(STD 행 R>1)는 깊어질수록 PPL이 나빠진다(S 17.07 → 17.69).
의미와 주의: 저자는 S 결과를 seed 3개로 더 반복해 공유 메모리의 이득이 통계적으로 유의(p<0.01)하다고 적는다(author-stated, 캡션, Appendix B). M, L은 run 1개다(author-stated, Section 4).
확인 상태: viewed

Figure 2 — 정확도 대 문맥 메모리

무엇을 보여주는가: S, M, L 각각에서 5과제 평균 정확도를 문맥 메모리(STD 대비, 로그축)에 대해 그린 품질–메모리 그림.
읽는 법: 곡선은 루프 2, 3, 5회를 잇고 5회가 큰 표식. 가로 점선은 단일 패스 STD 정확도, 세로 점선은 1× 메모리. 색: LT 빨강, LPT 분홍, LT2 초록, H-LPT 보라.
핵심 관찰: LPT는 1× 근처에서 수직으로 올라간다(메모리 거의 그대로, 정확도 상승). H-LPT는 0.25× 근처에서 수직으로 올라간다. LT는 3×–5× 쪽으로 오른쪽으로 이동하면서 L에서는 정확도가 오히려 내려간다(64.2 → 63.8 → 63.4, Table 1). LT2는 오른쪽 위로 이동한다.
의미와 주의: 저자는 두 공유 모델이 루프 모델의 품질–메모리 frontier를 옮긴다고 해석한다(author-stated, Takeaway 1). 정확도 차이가 수 %p 수준이고 M, L은 단일 run이라는 점을 함께 고려해야 한다(analyst-inference).
확인 상태: viewed

Figure 3 — final loss vs adaptive loss

무엇을 보여주는가: S, M에서 LT와 LPT를 final loss(채운 표식)와 adaptive loss(빈 표식)로 학습했을 때 루프 수(2, 3, 5)에 따른 검증 PPL.
읽는 법: y축 PPL(낮을수록 좋음). 위쪽 띠는 붕괴 run을 로그 스케일로 표시, 점선은 unigram perplexity.
핵심 관찰: LT(final loss)는 S에서 16.05 → 16.32 → 붕괴(2,040), M에서 17.10 → 31.74 → 붕괴(2,090)(값은 Table 5–6). LT(adaptive)는 대략 평평하다. LPT(final)는 두 크기 모두 루프가 늘수록 단조 감소하며 가장 낮고, LPT(adaptive)보다 0.16–0.50 낮다(author-stated, Section 6).
의미와 주의: 저자는 LPT의 중간 루프가 일찍 예측할 필요 없이 hidden state를 다듬을 수 있어 final loss가 잘 맞는다고 해석한다(author-stated). LT의 붕괴는 Ouro 정규화와 미튜닝 lr에서의 결과다(Appendix A, C).
확인 상태: viewed

Figure 4 — prediction window 크기

무엇을 보여주는가: ω를 0, 4, 16, 64, 256, 1k, 4k로 바꾸며 학습한 LPT의 PPL에서 LT PPL을 뺀 값(음수일수록 LPT가 좋음), S와 M, R=2, 3, 5.
읽는 법: x축 ω(로그), y축 PPL 차이. 점선은 ω=64. LT는 깊이별로 더 좋은 학습 목표의 값.
핵심 관찰: 모든 점이 0 아래다. ω=0에서도 음수다. S, R=5 곡선은 ω=0에서 약 −0.6, ω=64 이후 약 −1.1로 평평하다(analyst-inference, 그래프 판독). ω=4,096에서 0.24–1.15, ω=64에서 0.32–1.09 낮다(author-stated, Section 6).
의미와 주의: 창 크기의 효과는 작고 공유 접근이 핵심이라는 것이 저자 해석이다(author-stated, Takeaway 3). ω=0과 ω=64 사이에는 눈에 보이는 차이가 있어(S, R=5), “창이 전혀 필요 없다”까지는 아니다(analyst-inference).
확인 상태: viewed

Figure 5 — 공유 메모리에 가는 attention 비율

무엇을 보여주는가: LPT의 prediction recursion에서 각 층의 attention 질량 중 공유 KV에 가는 비율 히트맵. S(층 0–11 중 6개 표시)와 M(층 0–23 중 6개), R3·R5. 맨 아래 행은 전 층 평균.
읽는 법: 색이 파랄수록 공유 메모리 비율이 높고(0.9), 분홍일수록 낮다(0.1). 열은 루프 번호(2, 3 또는 2–5).
핵심 관찰: 대부분 칸이 0.5 이상(파랑 계열)이다. 평균 행은 마지막 루프 열이 가장 진하다. M, R3의 층 8, 루프 2 칸(검은 테두리)은 분홍으로 공유 비율이 낮은 예외다(analyst-inference, 그래프 판독). 수치로는 앞쪽 루프 57–71%, 마지막 루프 73–80%(author-stated, Section 6).
의미와 주의: 뒤 루프가 예측에 가까울수록 공유 메모리를 더 본다는 것이 저자 결론이다(Takeaway 4). 측정은 4,096토큰 검증 시퀀스 1개에서 했다(author-stated).
확인 상태: viewed

Figure 6 — 공유 key와 지역 key의 표현 분리

무엇을 보여주는가: S, 3루프 LPT와 LT(둘 다 final loss)의 층 0, 2, 4, 7, 9, 11에서 query·key를 함께 PCA한 2차원 산점도.
읽는 법: 파랑=첫 루프 key, 분홍=뒤 루프 key, 노랑=query. 작은 점은 토큰, 큰 원은 평균. 진할수록 뒤 루프. 패널마다 PCA를 따로 맞췄다.
핵심 관찰: LPT 줄에서는 파랑과 분홍 군집이 대부분 층에서 떨어져 있다. LT 줄에서는 파랑·분홍이 한 덩어리로 겹치고 query만 따로 있다(층 0 제외).
의미와 주의: 저자는 이를 “루프 간 표현 유사성이 효과적 메모리 공유의 필요조건이 아니다”라는 근거로 쓴다. 기존 연구(Bae et al., 2025)가 cache 재사용 비용이 작은 이유를 루프 간 KV 유사성으로 설명한 것과 대비된다(author-stated, Section 6). PCA 2차원 투영은 정성 증거이며 분리 정도를 수치로 재지는 않았다(analyst-inference).
확인 상태: viewed

Figure 7 — 루프별 gradient 기여

무엇을 보여주는가: STD(단일 패스 기준), LT, LPT(R2, R3, R5)에서 각 루프가 블록 가중치 gradient에 기여한 평균 L2 norm. S와 M.
읽는 법: 파란 막대=첫 루프(hidden-state 경로), 빗금=첫 루프의 공유 KV 경로(LPT만), 분홍 막대=루프 2–5. 수염은 95% sequence-bootstrap 구간. LT는 adaptive loss, 나머지는 final loss.
핵심 관찰: S에서 STD는 약 14, LT의 첫 루프는 R2 약 6 → R5 약 3으로 줄어든다. LPT의 첫 루프는 R5에서도 약 8을 유지하고 그 대부분이 빗금(공유 KV) 부분이다(analyst-inference, 그래프 판독). M에서도 같은 경향이다.
의미와 주의: 저자는 공유 메모리가 중간 루프를 건너뛰는 gradient 경로를 만든다고 해석한다(author-stated, Section 6). LT와 LPT의 학습 목표가 달라 첫 루프 gradient 비교에 목표 차이가 섞인다(analyst-inference). adaptive loss·full cache LPT에서도 같은 결과라고 Fig. 12에서 보인다(author-stated).
확인 상태: viewed

Figure 8 — 공유 cache gradient를 끊은 ablation

무엇을 보여주는가: final loss로 학습한 LT, LPT, 그리고 공유 KV를 뒤 루프에서 읽을 때 gradient를 끊은(detached) LPT의 검증 PPL. S와 M, 루프 2, 3, 5.
읽는 법: y축 PPL, 위쪽 띠는 붕괴 run(로그 스케일), 점선은 unigram.
핵심 관찰: detached LPT는 모든 깊이에서 LPT보다 나쁘다. S에서 16.34 / 16.14 / 33.21, M에서 13.87 / 1,995 / 1,527(Table 6). M의 3·5루프는 학습 실패. 순전파 계산과 hidden-state gradient 경로는 그대로다(author-stated, Section 6).
의미와 주의: 저자는 이를 gradient 고속도로가 학습을 돕는다는 근거로 든다(Takeaway 6). 동시에 이 실험은 짧은 gradient 경로 때문인지 gradient 크기·방향의 변화 때문인지 구분하지 못한다고 밝힌다(author-stated, Appendix D).
확인 상태: viewed

Wiki 연결

Mixture-of-Recursions - Learning Dynamic Recursive Depths for Adaptive Token-Level Computation — 첫 루프 KV 재사용을 “약간의 품질 손실”로 보고한 Bae et al.(2025). 이 논문이 표현 유사성 설명과 대비한다.
Scaling Laws for Looped Mixture of Experts — 루프 모델 설계를 가중치 메모리로만 최적화하고 KV cache를 범위 밖에 둔 논문. 이 논문의 문맥 메모리 분석이 그 빈칸을 채운다.
Reasoning with Latent Thoughts - On the Power of Looped Transformers — 루프 트랜스포머의 추론 귀납 편향.
Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — 깊은 루프의 안정성 문제. Fig. 3의 LT 붕괴와 연결.
GQA - Training Generalized Multi-Query Transformer Models — KV cache를 줄이는 다른 축(head 공유).

BibTeX

@article{monea2026sharedmemory,
  title   = {The Surprising Effectiveness of Shared Memory in Looped Transformers},
  author  = {Monea, Giovanni and Ramji, Keshav and El-Kurdi, Yousef and Lastras, Luis A. and Artzi, Yoav and Godey, Nathan and Fernandez Astudillo, Ram{\'o}n},
  journal = {arXiv preprint arXiv:2610.02383},
  year    = {2026}
}