사전학습 언어모델에 반복 깊이(recurrent depth) 이식하기 — 설치·외삽·전이·유지, 두 가지 파라미터 예산에서

개요

같은 블록을 여러 번 돌려 “더 깊이 생각하는” 반복 깊이(recurrent depth) 모델은 보통 처음부터 그렇게 설계해 학습한다(Huginn, HRM, TRM 등). 이 논문은 반대로 묻는다: 이미 다 학습된 평범한 LM을 수술해서 반복 모델로 바꿀 수 있을까? 단순히 가운데 층을 여러 번 돌리면 안 된다—그 층들은 사전학습 때 한 번만 지나가도록 배웠기 때문에, 두 번째 반복부터는 처음 보는 분포의 입력을 받고 상태가 “학습된 다양체 밖으로” 표류한다. 저자의 해법은 Qwen2.5-0.5B-Instruct를 Prelude(0–5층)·반복 블록(Recurrent Block, 6–17층, 가중치 공유)·Coda(18–23층)로 나누고, 두 번째 루프부터는 Prelude 출력 $p$ 를 다시 섞어 넣는 split re-entry bridge를 다는 것이다. 루프 1번이면 브리지를 건너뛰어 원래 모델과 정확히 같은 계산이 되므로, 일반 능력 보존을 깔끔하게 잴 수 있다. 그리고 “Ben→Max→Eve→Kai” 같은 규칙 표를 $d$ 번 따라가는 합성 과제에서, 루프 $t$ 의 상태가 $t$ 번째 중간 답을 담도록 **중간 상태 감독(intermediate-state supervision)**으로 가르친다. 결과: (1) 중간 감독을 떼고 최종 답만 채점해도 단계별 계산이 유지되고(중간 상태 625/640 정답), 목표 깊이를 넘겨 더 돌리면 멈추지 않고 규칙을 한 번 더 적용한다(93.0%)—“답을 외운 것”이 아니라 “규칙 한 번 적용”이라는 절차가 설치된 것이다. (2) 그 절차는 학습한 깊이의 약 1.44–1.50배까지 외삽한다(깊이 12까지 학습 → 깊이 18에서 70.3%). (3) 생각을 토큰으로 써 내려가도록 미세조정한 같은 크기의 dense 모델(스크래치패드)은 학습한 범위 안에서는 비슷하지만 깊이 11부터 무너져, 깊이 11–14에서 2.5% 대 53.1%, 전체 72.1% 대 84.0%였고, 깊이 14 응답은 7.6배 빨랐다. 놀랍게도 사전학습 가중치를 얼려 둔 6.01M 파라미터 rank-16 LoRA 어댑터(전체 블록 학습 180.6M의 3.3%)로도 같은 메커니즘이 설치되어 전체 정확도가 거의 같았다(83.8% vs 84.0%). 하지만 한계도 뚜렷하다: 규칙을 거꾸로 따라가는 두 번째 연산을 추가로 가르치면 따로는 배울 수 있는데(63/64), 기존 연산과 일반 능력을 동시에 지키는 체크포인트는 두 예산 모두에서 하나도 없었다(acquisition-retention boundary). 또한 몇 번 돌릴지(깊이)는 모든 실험에서 문제에 적힌 정답 깊이로 강제했고, 학습된 정지 헤드는 9.11%만 맞혔다.

Implication: 반복 깊이는 처음부터 학습해야만 얻는 성질이 아니라, 올바른 재주입 경로와 단계별 감독만 있으면 기존 LM에 작은 어댑터로도 “설치”할 수 있는 절차다—다만 지금은 깊이를 외부에서 알려 줘야 하고, 한 어댑터에 여러 절차를 함께 담지 못한다.

📎 https://arxiv.org/abs/2608.11233

배경과 문제

동기와 계보 (author-stated, §1–2)

Transformer가 계산을 늘리는 방법은 보통 층 추가(설계 시)나 토큰 추가(생성 시)다. 반복 깊이 모델은 공유 변환을 은닉 상태에 반복 적용하는 세 번째 축이다(§1).
직접적 동기: 수백만 파라미터로 큰 모델이 못 푸는 결정적 추론 과제를 푼 처음부터 학습한 재귀 추론기 HRM(Wang et al., 2025)과 TRM(Jolicoeur-Martineau, 2025)(§1).
반복 깊이·적응적 계산: ACT(Graves, 2016), Universal Transformer(Dehghani et al., 2018), PonderNet(Banino et al., 2021), Deep Equilibrium Models(Bai et al., 2019), 사전학습 단계부터 반복을 넣은 Huginn(Geiping et al., 2025)(§2.1).
가장 가까운 선행 연구: McLeish et al.(2025)는 사전학습된 비반복 LM을 반복 커리큘럼으로 반복 실행 모델로 바꾼다. 이 논문의 차이는 split-bridge 재진입 설계, 정확한 중간 상태 감독 목표, 동결 가중치 위 어댑터 예산에서도 설치된다는 시연이다(§2.1).
사전학습 모델 개조: Kasai et al.(2021)의 RNN 변환은 효율적 어텐션이 목적이었고, Bae et al.(2024)는 층별 저랭크 어댑터로 재귀 공유 블록을 만든다. 여기서는 반복 실행 전체가 rank-16 어댑터 하나를 공유한다(§2.2).
잠재 추론의 다른 방향: Coconut(시퀀스 축으로 은닉 상태를 되먹임), CODI, CCOT. 이 논문은 수직(깊이) 반복, 단계별 잠재 감독, 강제 깊이 평가, 외삽 한계 측정이라는 네 축에서 다르다고 저자가 정리한다(§2.3).

풀려는 질문 (author-stated, §1 박스 문장)

사전학습·instruction tuning된 dense LM을 수술로 반복 깊이 시스템으로 바꾸고, 안정된 반복 메커니즘을 되찾고, 깊이를 요구하는 과제에서 등록된 dense 레시피보다 낫게 만들 수 있는가? 일반 능력을 해치지 않고, 어떤 파라미터 비용으로?

왜 어려운가 (author-stated, §1)

반복 블록은 사전학습 때와 다른 분포의 상태를 받는다 → 루프만 돌리면 활성값이 다양체 밖으로 나간다. 입력 문맥을 매 반복 다시 넣어야 하고, 그 경로가 옵티마이저 아래서 실제로 학습 신호를 받는지 확인해야 한다.
평가 시 예측을 루프의 올바른 지점에서, 학습한 출력 형식으로 읽어야 한다.
반복 구조 특성상 맞는 상태도 더 돌리면 답을 지나쳐 버린다(overshoot).
굳어진 메커니즘이 추가 학습으로 지워질 수 있다.
저자는 그래서 이 문제를 “포렌식 공학·측정 문제”로 다루며, 항등성 검사, 유한차분 경사 감사, 강제 깊이 평가, 고정 행 manifest, 쌍대 통계 검정, 체크포인트 해시, 가드레일 hard stop을 쓰고 실패 결과도 경계를 보여 주면 보고한다(§1).

지표

지표	무엇을 세는가	단위·방향	분모·정규화	측정 조건	원문 위치
Active-label accuracy (루프별 정확도)	루프 $t$ 의 디코딩된 상태가 그 루프의 정답 중간 기호(예: 루프 1=Max)와 일치하는 비율	%, 높을수록 좋음	깊이별 행 수(예: 64 또는 128)	같은 reader로 모든 루프를 강제 판독. reader는 완벽 실행기 시뮬레이션이 만점을 받도록 사전 보정	§4.1–4.2, §6.1, Table 2
Final / overall accuracy	목표 깊이에서 최종 답이 맞은 비율	%, 높을수록 좋음	Phase A: 깊이 1–14 각 128행, 총 1,792행	고정된 합성 행, 모든 arm 동일 행 ID. 최종 기호 정확도와 내부 사슬 정확도가 1,506/1,792로 정확히 일치(무손실 판독)	§4.2, Table 6
Tail accuracy	깊이 11–14 정확도	%, 높을수록 좋음	512행	학습 범위(깊이 1–8) 밖	Table 6
Threshold-crossing frontier	루프별 정확도가 임계값 아래로 처음 떨어지는 깊이(인접 깊이 사이 선형 보간)	깊이 단위, 높을수록 멀리 외삽	—	임계값 ≈0.71 = $(1/4)^{1/4}$ : 4지선다 한 단계 정확도가 이보다 낮으면 4단계 연쇄가 한 번 찍기보다 못함. 0.60·0.80 민감도 검사 병행	§8.1, Table 3, Figure 3
Frontier / Support	외삽 한계 ÷ 학습 시 감독한 최대 깊이	배수, 높을수록 좋음	—	support 4, 6, 8(N16 기호 집합), 12(N24)	Table 3
Persistence 지표	(a) 최종 답만 채점한 뒤에도 중간 상태가 맞는 비율, (b) 목표 깊이보다 더 돌렸을 때 다음 단계로 계속 진행한 비율, (c) 답에 멈춰 머문 비율	%	(a) 640, (b)(c) 384	outcome-only 1,000스텝 anneal 후, 깊이 1–4 문제를 루프 4–8까지 강제	§5.2, Table 1
ARC 보존 (non-inferiority)	루프 1에서 ARC-Easy·ARC-Challenge 정확도가 기준 모델보다 3점 이상 떨어지지 않는가	정답 수, 판정	ARC-E 5,197행, ARC-C 2,590행(체크포인트당 쌍대)	승격된 체크포인트 4개 × 2 벤치 = 8개 비교, 정확 쌍대 검정 + Bonferroni	§7
Tier-1 arithmetic check	사전 지정 64행 산술 과제 정답 수	/64, 가드레일	64	3점(약 2행) 넘게 떨어지면 hard stop	§6.2, §10.1, §11.4
Natural-surface accuracy	같은 계산을 자연어 문장(relay, pointer)으로 렌더링했을 때 정확도	%	1,536행(표면당)	템플릿 기반, 방해 요소 없음	§10, Table 9
Latency	행당 동기화된 모델 호출 시간 중앙값	ms, 낮을수록 좋음	행	A100-80GB, bf16, batch 1, greedy, 각 arm의 등록된 평가 경로	§9.5, Table 8
쌍대 검정	같은 행에서 한 arm만 맞힌 수(helped/hurt)의 비대칭	p값	행	exact sign/McNemar, 주 비교는 사전 등록된 count 기반 Fisher gate	§4.2, Table 7

방법과 벤치마크 구성

수술: Prelude / Recurrent Block / Coda (§3.1, Figure 1)

기반: Qwen2.5-0.5B-Instruct, 24 decoder 층(hidden 896, GQA 14 query/2 KV heads, SwiGLU 4864, RoPE, RMSNorm, tied embedding). $a = 6$ , $b = 18$ 에서 분할: Prelude 0–5층, 반복 블록 6–17층(12층, 가중치 공유), Coda 18–23층.
루프 1: 원래 층을 순서대로 한 번씩만 실행, 반복용 추가 부품은 꺼짐 → 원 모델과 정확히 같은 계산(identity route). 그래서 루프 1 평가는 “보존” 측정이 된다.
루프 $T$ 의 계산량: Prelude·Coda 한 번 + 블록 $T$ 번 = 기반 forward의 $(1 + T) /2$ 배(T=1, 4, 8, 12에서 1.00×, 2.50×, 4.50×, 6.50×)(§3.5).

재진입 브리지 (§3.2, Figure 2, Listing 1)

$u_{t} = Reentry (p, h_{t})$ , $h_{t + 1} = RecurrentBlock (u_{t})$ . $p$ 는 Prelude 출력, $h_{t}$ 는 $t$ 번째 블록 출력.
Split bridge: $p$ 에 LayerNorm 후 $P_{p}$ (896×896, bias 없음), $h_{t}$ 에 $P_{h}$ (896×896 + bias)를 따로 곱해 더한 $z (t)$ 를, 항등 편향 게이트로 $u (t) = h (t) + g [z (t) - h (t)]$ . 초기값 $g = 1$ , $P_{p} = 0$ , $P_{h} = I$ , $b = 0$ . 활성 파라미터 1,608,321개.
재주입이 필수인 이유: Prelude 표현을 새로 받지 않으면 몇 루프 만에 상태가 사전학습 다양체를 벗어난다(§3.2). 브리지는 반복 간 유일한 통로다—루프 $t$ 와 $t - 1$ 사이에 어텐션은 없고, KV cache·문맥 길이도 늘지 않는다(§3.3).
두 projection을 나눈 이유는 Prelude 쪽에 별도 학습률을 주기 위해서다(§5.1 참고).

두 학습 예산 (§3.5, §6, Table 2)

Full-block: 12층 블록 전체(178.9M) + 브리지(1.61M) = 180.6M forward-active(옵티마이저 표시 기준 182.2M, 차이는 우회되는 옛 projection). Prelude·Coda는 고정.
Adapter: 모든 사전학습 가중치 고정, 블록의 84개 projection에 rank-16 LoRA(≈4.40M, 모든 루프에서 공유) + 브리지 = 6.01M forward-active(3.3%). 어댑터를 떼면 기반 모델이 그대로 복구된다.

과제와 감독 (§4.1)

뒤섞인 규칙 표(“Ben passes to Max. Max passes to Eve. …“)와 “Ben에서 시작해 규칙을 $d$ 번 적용하면?” 질문. 정답 경로 Ben→Max→Eve→Kai.
루프 $t$ 의 상태를 같은 reader로 읽어 $t$ 번째 중간 답과 cross-entropy. 학습은 단계적으로: 중간 라벨로 전이를 설치 → 라벨(scaffold)을 떼고 최종 답만 채점해 메커니즘이 남는지 확인.
깊이(루프 수)는 문제에 적힌 깊이로 강제한다(Figure 1 “forced depth: loops = task depth (no learned halting)”). 정지 헤드는 따로 시험했고(§12) 메커니즘 결과에는 쓰지 않았다(§3.4).

측정 장치 (§4.2–4.4)

같은 reader 원칙: 프롬프트 형식, 출력 기호 어휘, 행 ID, 디코더 상수를 모든 루프·시스템에서 고정. reader는 완벽 실행기 시뮬레이션이 만점을 받는지로 먼저 보정.
계보 관리: 모든 승격 체크포인트에 SHA-256 기록, 유지 하한 미달 체크포인트에서는 이어 학습 불가, 탐색용 실행은 후속 계보를 만들 수 없음. 주장마다 기계 판독 가능한 증거 ledger에 연결(§4.3).
비교 한계: recurrent arm과 dense arm은 모델 계열·고정 행·reader는 같지만 학습 이력, 토큰 수, 옵티마이저 궤적, FLOPs, 추론 계산량은 맞추지 않았다 → “등록된 시스템 비교”이지 구조만의 인과 추정이 아니다(§4.4).

비교 대상 (Phase A, §9, Table 5)

Arm	시스템	레시피
A	반복 Qwen2.5-0.5B	full-block, 강제 깊이, 같은 reader
E	반복 0.5B 어댑터	rank-16 LoRA + 브리지(6.0M), A와 같은 단계적 프로토콜 10,500스텝
B	Dense 0.5B	정답 직접 출력 SFT (사전 등록된 주 대조군)
C	Dense 0.5B	추론을 토큰으로 써 내려가는 scratchpad SFT (가장 강한 대조군)
D	Dense 1.5B	정답 직접 출력 SFT (규모가 깊이를 대신하는지)

Dense arm의 답 판독은 완성된 답 뒤에 무엇을 더 써도 받아 준다(EOS를 학습하지 않아 답 뒤에 계속 생성하는 문제 때문에 사후 감사로 수정, 저자는 dense에 관대한 판독이라고 함)(§9.2, Appendix C).

추가 실험

일반 능력 보존 배터리(§7), support 스케일링(§8), 자연어 표면 전이와 어댑터 예산의 매칭 언어 학습(§10), 역연산 학습과 유지 경계(§11), 정지 헤드·다채널 재진입·루프 위치 전이·폭(width) 기반 검사(§12).
실행 환경: Google Colab GPU. 총 GPU 시간은 기록이 일관되지 않아 보고하지 않는다(§15).

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
Full-block 예산에서 메커니즘이 설치된다	§6.1, Table 2	6,000스텝 후 깊이 1–4 active-label 64, 63, 63, 59 /64 (1.000, 0.984, 0.984, 0.922)	설치 게이트는 깊이 1–4	author-stated
6.01M 어댑터로도 설치된다	§6.2, Table 2	4,000스텝에 게이트 통과, 64, 64, 60, 53 /64. 기반 가중치 해시 불변, 루프 1 항등 차이 정확히 0.0, Tier-1 60/64→61/64	full-block과 깊이별 차이 비유의(깊이 4: 53 vs 59, 단측 Fisher p=0.090)지만 동등성 주장엔 검정력 부족	author-stated
최종 답만 채점해도 단계별 계산이 남는다	§5.2, Table 1	중간 상태 625/640(97.7%) 정답	outcome-only 1,000스텝 후, 보류 행	author-stated
답을 외운 것이 아니라 “규칙 한 번 적용”을 배웠다	§5.2, Table 1	목표보다 더 돌렸을 때 357/384(93.0%)가 다음 단계로 진행, 1/384(0.3%)만 답에 머묾	그래서 너무 많이 돌리면 답을 지나친다 → 깊이 선택은 별도 문제	author-stated
어댑터에서 지속성이 더 강하다	§9.4	636/640(99.4%), 380/384(99.0%) 진행, 0 머묾	단일 seed	author-stated
외삽 한계는 학습 깊이의 약 1.5배	§8.1, Table 3, Figure 3	support 4→5.75(1.44), 6→9.01(1.50), 8→11.61(1.45), 12(N24)→17.93(1.49)	학습량을 support에 맞춰 늘려야 함(support 8을 support 6 예산으로 학습하면 9.75). 임계값 0.60·0.80에서도 비율 분산 0.09 미만	author-stated
seed에 따라 굳는 속도가 크게 다르다	§8.1	support 6, 같은 스텝에서 6.95~9.01; 학습량 프로토콜로는 9.50, 10.00	N24 점은 단일 seed	author-stated
외삽은 무한하지 않다	§8.2, Table 4	N24 support 12: 깊이 14 91.4%, 16 85.9%, 18 70.3%, 20 46.1%, 22 10.9%	step 2,000에서는 깊이 14 69.5%, 18 10.2% → 학습량 효과가 한 실행 안에서도 관찰됨	author-stated
반복 모델이 dense 대조군 전체를 이긴다	Table 6, Table 7, §9.2	정답/1,792: A 1,506(84.04%), E 1,501(83.76%), C 1,292(72.10%), D 656(36.61%), B 496(27.68%). A vs B: helped 1,048 / hurt 38, p=5.72e-257; A vs C: 262 / 48, p=7.81e-37	학습 이력·계산량 비매칭(§4.4). 주 비교 A vs B는 깊이 2–14 연속 13개에서 gate 통과, 깊이 1은 128/128 동률	author-stated
스크래치패드는 학습 범위 안에서는 비슷하지만 넘으면 무너진다	§9.2, Table 6, Figure 4A	C는 깊이 9까지 거의 만점, 깊이 10 127/128, 깊이 11 13/128, 12–14 0. 깊이 11–14: C 2.54% vs A 53.13%	저자 가설(측정 아님): 직렬화 길이가 0.5B 모델이 일관성을 유지할 수 있는 범위를 넘는다	author-stated
크기를 키워도 깊이를 대신하지 못한다	Table 6, §9.3	D(1.5B direct) 36.61%, 깊이 11–14 11.33%	dense arm을 4,000스텝까지 더 학습해도 변화 작음(B +1행 p=1.000, C +1 p=1.000, D +13 p=0.512) — 수렴했다는 증거도 없음	author-stated
어댑터 vs full-block: 깊이에 따른 교차	§9.4, Figure 4A	전체 1,501 vs 1,506(p=0.813). 깊이 1–8: 1,021 vs 1,005/1,024(p=0.000855), 9–11: 344 vs 326/384(p=0.0693), 12–14: 136 vs 175/384(p=0.00394). 교차점 깊이 11.54. 어댑터 frontier 11.56 vs 11.61	깊이별 gate(모든 깊이에서 8행 이내)는 깊이 12–14에서 실패. 그룹 p값은 사후·다중검정 미보정. rank sweep 없음	author-stated
반복 모델이 가장 빠르다 (batch 1)	§9.5, Table 8	깊이 1: A 28.8ms, E 42.1ms; 깊이 14: A 301.8ms, E 488.4ms. 스크래치패드 약 2,280ms(96토큰), direct 0.5B 약 770ms, 1.5B 약 905ms. 깊이 14에서 A가 스크래치패드보다 7.6배 빠름	A100 한 대, batch 1, 기술적 비교. 배치 처리량 주장 없음. 루프당 A 약 21ms, E 약 34ms	author-stated
루프 1에서 일반 능력이 보존된다	§7	ARC-E·ARC-C 8개 비교 모두 3점 비열등 마진 통과. 유일한 명목상 하락(N24 체크포인트 ARC-E 3,962 vs 3,976/5,197, 비보정 p=0.0385)은 보정 후 p=0.308	평가 배터리 범위 한정, 보편적 보존 주장 아님. 어댑터는 배터리 미포함(구조상 보존)	author-stated
루프를 더 돌리면 일반 과제가 망가진다	§7	이전 체크포인트에서 ARC-C 루프 1은 기반과 동등(155 vs 155 순열 채점), 루프 8에서 71 vs 155(p=3.8e-14)	과제 밖에서 여분 루프는 공짜가 아님 → 깊이 선택 문제	author-stated (부정 결과)
자연어 표면에서도 동작하지만 언어 학습이 필요하다	§10, Table 9	언어 학습한 full-block: relay 86.0%, pointer 79.0%. 언어 학습 없이(zero-shot): 어댑터 16.2%/17.2%, full-block 17.4%/20.3%	템플릿 기반·방해 요소 없는 통제된 표면. 깊이 11–12에서 크게 하락(relay 57.0%, 32.0%)	author-stated
언어 학습을 더 하면 평균은 오르지만 깊은 꼬리는 나빠진다	§10	최악 깊은 꼬리 최소값 54.69%(step 2,000) → 38.28%(4,000) → 19.53%(6,000), relay 평균은 90.12%→94.28%	합성 과제의 학습량 패턴과 반대. 그래서 step 2,000을 natural keeper로 고정	author-stated
설치된 메커니즘은 언어 과제 학습을 가속한다 (어댑터)	§10.1, Table 10	같은 예산, 설치된 쪽 vs 새 수술: 차이 +13.90, +14.36, +34.38, +18.55pp(step 0–3,000), 모두 p≤3.76e-56. step 3,000에서 설치된 쪽만 맞힌 행 763 vs 193. 보류된 pointer 표면에서도 917 vs 617/1,536	새 수술 arm이 step 3,000에서 Tier-1 가드레일(60→58/64)로 정지 → 계획한 6,000스텝 비교 미완. 설치된 arm은 이후 71.45%(4,000)→64.68%(6,000)로 full-block 언어 기준보다 낮음. 단일 seed	author-stated
역연산은 따로는 배울 수 있지만 기존 것과 함께 유지되지 않는다	§11.2–11.3, Table 11	명시적 역표 단독 학습 63/64. 원 과제 rehearsal과 함께 학습: 새 연산 64/64, 합성 유지 0.96875(≥0.93)지만 자연어 표면 −5.86점(3점 hard stop 초과). 역렌더 continuation: calibration 276→208/384, 합성 유지 최소 0.8125→0.125, 자연어 227→171/256	이전 초안이 gate 값을 달성값으로 잘못 보고했다고 저자가 정정 명시(§11.3)	author-stated (부정 결과)
어려움은 반복이 아니라 조회 방향에 있다	§11 도입, §11.1–11.2	정방향 표를 거꾸로 검색해야 하는 경우 여러 커리큘럼에서 정체(루프 2–3만 부분 상승), 역관계를 명시하면 거의 만점	in-context 표이므로 reversal curse 자체에 대한 주장은 아님	author-stated
어댑터 예산에서도 같은 경계	§11.4	step 100에 hard stop: 역연산 2/64(요구 46/64), 정방향 가드레일 최소 0.09375(<0.93), 자연어 60→49/256(−4.30점). Tier-1만 59/64로 통과	단일 seed, 단일 rehearsal 설정, 일정 비매칭이라 속도 비교 없음. 저자 제안: 연산별 모듈 어댑터	author-stated (부정 결과)
학습된 깊이 선택은 실패	§12	강제 깊이 정확도 759/768(98.83%)인 N24 메커니즘 위에서, 감독된 정지 헤드 70/768(9.11%), 원래 PonderNet 목표는 항상 최대 깊이 선택(64/768 = 1/12, Spearman 0)	저자 해석: mean-pooled 정보 경로가 전체 깊이를 담지 못했을 가능성(plausibly)	author-stated (부정 결과)
슬라이스 단위 학습률 조절은 조용히 실패한다	§5.1, Appendix E	AdamW: 스케일한 슬라이스와 안 한 슬라이스의 실현 차이 1.3e-9(epsilon 잔차). Muon: 10× 배수에도 Prelude 가중치 7.36e-4 RMS만 이동(통제 실험 아닌 증상적 증거). 별도 텐서·파라미터 그룹으로 분리 후 1.82e-3 RMS 이동 확인	Adam은 원소별 모멘트 정규화가 상수 배를 상쇄, Muon은 직교화가 전역 스케일을 버림(Appendix E 유도)	author-stated

결과들이 이어지는 방식. 논리는 “설치된다(§6) → 무엇이 설치됐는지는 지속성 실험이 보여 준다: 답 조회가 아니라 규칙 한 번 적용(§5.2) → 그 절차는 학습 깊이의 약 1.5배까지 외삽하고 끝이 있다(§8) → 그래서 토큰으로 직렬화하는 대조군이 무너지는 깊이 11 이후에서 크게 앞선다(§9) → 설치는 작은 어댑터로 충분하지만 먼 외삽은 큰 예산이 유리하다(§9.4) → 그러나 두 번째 절차는 함께 담지 못한다(§11)“로 이어진다. 저자는 이를 “절차를 가르치는 것이 아니라 여러 절차를 동시에 유지하는 것이 어려웠다”로 요약한다(§13, author-stated).

초록·결론 문장과 본문 사이 주의할 점 (analyst-inference)

초록의 “an iterative transformer can perform deeper reasoning in latent space faster than comparable or larger models fine-tuned on the same task”는 §4.4·§13이 스스로 밝히듯 학습 이력·계산량이 맞춰지지 않은 시스템 비교에서 나온 문장이다.
반복 모델은 모든 평가에서 정답 깊이만큼 루프를 강제받는다. 질문에 깊이가 명시된 과제(“apply the rule three times”)이므로 깊이를 아는 것 자체는 공정하지만, 반복 모델이 “언제 멈출지”를 스스로 정하지 않는다는 점에서 dense 대조군과 조건이 다르다. 학습된 정지는 9.11%에 그쳤다(§12).
지연시간 비교에서 dense arm은 생성 길이 상한이 고정되어(스크래치패드 96토큰, direct 32토큰) 깊이와 무관하게 평평하다. dense arm이 EOS를 학습하지 않아 답 뒤에도 생성을 계속한다는 점(Appendix C)을 고려하면, 지연시간 격차의 일부는 생성 종료 처리에서 올 수 있다.
“70% accuracy through depth 18”(초록)은 Table 4의 70.3%와 맞고, 등록 임계값 0.71보다 약간 낮아 frontier가 17.93이 된다. 서로 모순은 아니지만 “18까지 유지”는 임계값 경계에 걸친 표현이다.

Take-home

한 줄 요약. 사전학습 LM의 가운데 층을 Prelude 재주입 브리지와 함께 반복 블록으로 바꾸고 루프마다 중간 답을 감독하면, “규칙 한 번 적용 = 루프 한 번”인 재사용 가능한 잠재 절차가 6M 어댑터로도 설치되며 학습 깊이의 약 1.5배까지 외삽한다.

결론이 성립하는 범위.

기반 모델은 Qwen2.5-0.5B-Instruct 하나(dense 대조군에 1.5B 포함)(§14).
과제는 통제된 합성 규칙 추적과 템플릿 자연어 표면뿐이다. GPQA, ARC-AGI, 수학, 코딩 같은 외부 벤치에서의 우위는 주장하지 않는다(§14).
모든 메커니즘 결과는 강제(외부 지정) 깊이에서 나왔다(§3.4).
일반 능력 보존은 루프 1, ARC-E/ARC-C 배터리 범위에서의 비열등성이다(§7).

저자가 인정한 한계 (author-stated, §14)

Phase A는 학습 토큰, 옵티마이저 이력, FLOPs, 지연시간, 추론 계산량을 맞추지 않았다.
N24 frontier, 어댑터 arm, 어댑터 언어 학습, 어댑터 유지 프로브는 모두 단일 seed. seed 분산은 support 6에서만 측정.
어댑터의 먼 꼬리 열세가 rank, 동결 기반 기하, 브리지 용량, 최적화 중 무엇 때문인지 가르지 않았다(rank sweep 없음).
Zero-shot 언어 전이는 두 예산 모두 미미. 보류된 pointer 표면도 같은 생성기 계열에서 나왔다.
설치 순서(정방향 먼저)만 시험, 역방향 먼저는 미시험. 연산별 모듈 어댑터 미시험.
학습된 깊이 선택은 현재 컨트롤러로는 부정 결과.
Full-block은 182M 파라미터를 학습하는 큰 예산이다.
유지 경계는 규모·라우팅·모듈 어댑터·다른 커리큘럼으로 움직일 수 있다.

작성자가 보는 우려 (analyst-inference)

반복 모델이 정답 깊이를 외부에서 받는 반면 스크래치패드는 몇 단계를 쓸지 스스로 생성해야 한다. 깊이 11 이후 스크래치패드 붕괴는 학습한 출력 길이(최대 깊이 8) 밖으로 나가는 문제일 수 있으며, 저자도 이를 가설로만 둔다.
기반 모델이 0.5B로 작아서, 반복 이식이 큰 모델에서도 같은 비율의 외삽을 주는지는 알 수 없다.
단일 저자·자체 자금 연구로, 사전 등록·증거 ledger·공개 저장소 등 투명성 장치는 강하지만 독립 재현은 아직 없다.

재현성. 공개 저장소 https://github.com/mshapiro123/recurrent-qwen-svgd 에 결과별 summary.json(행 단위 예측, RNG manifest), 주장-증거 ledger, 사전 등록 문서를 공개한다고 밝힌다(§15). 총 GPU 시간은 기록 불일치로 보고하지 않는다(§15). seed 반복은 support 6(3 seed)에서만 있다(§8.1).

읽지 못한 범위. 없음(본문 24쪽과 부록 A–E 확인).

본문 도표

Figure 1 — 기반 모델과 두 가지 개조 예산, 다섯 비교 arm

무엇을 보여주는가: 왼쪽 dense 기반 모델, 가운데 full-block 개조, 오른쪽 어댑터 개조, 아래 띠에 §9의 다섯 비교 arm.
읽는 법: 상자 색으로 구분 — 회색은 사전학습 그대로, 파랑은 full-block 예산에서 학습(180.6M), 주황은 어댑터 예산에서 학습(6.01M, 기반 동결). 오른쪽 위 “p, re-injected” 화살표는 Prelude 출력이 브리지로 다시 들어가는 경로.
핵심 관찰: 기반은 24층 × 14.91M = 357.9M 층 파라미터 + tied embedding·head·norm 136.1M = 494.0M 고유 파라미터, 깊이 고정이라 “더 많은 계산은 더 많은 토큰”을 요구. Full-block: Prelude 0–5(6층, 89.5M, 불변) → 반복 블록 6–17(12 × 14.91M = 178.9M, 모두 학습) + split re-entry bridge(1.61M) → Coda 18–23(6층, 89.5M, 불변). 어댑터: 같은 수술, 블록은 동결, ΔW = A·B rank 16(≈4.40M, 84 projection, 모든 루프에 적용) + 브리지 1.61M = 6.01M(3.3%). 두 개조 모두 T=1이면 브리지와 반복 부품을 건너뛰어 기반 계산을 정확히 재현. 아래 띠: Arm A(주 시스템), E(파라미터 효율 대조), B(주 사전등록 대조), C(가장 강한 dense 대조), D(규모 대조).
의미와 주의: 이 그림 하나로 수술 구조, 예산 비교, 대조군 설계를 모두 읽을 수 있다(analyst-inference). 그림 상단의 “forced depth: loops = task depth (no learned halting)“은 모든 결과의 전제 조건이다.
확인 상태: viewed

Figure 2 — Split bridge의 텐서 구조

무엇을 보여주는가: 재주입 브리지의 내부. Prelude $p$ 와 상태 $h (t)$ 를 각각 투영해 더하고, 항등 편향 게이트로 섞는다.
읽는 법: 위 경로 Prelude $p$ […, 896] → LayerNorm(1,792 파라미터) → Prelude projection(896×896, bias 없음) $P_{p} LN (p)$ . 아래 경로 State $h (t)$ […, 896] → State projection(896×896 + bias) $P_{h} h (t) + b$ . 둘을 더한 뒤 Identity-gated mix $u (t) = h (t) + g [z (t) - h (t)]$ .
핵심 관찰: 초기값 $g = 1$ , $P_{p} = 0$ , $P_{h} = I$ , $b = 0$ → 처음에는 $u (t) = h (t)$ . 활성 브리지 파라미터 1,608,321 = LayerNorm 1,792 + Prelude 802,816 + state 803,712 + scalar gate 1. 루프 1은 브리지를 우회.
의미와 주의: 이 브리지가 반복 간 유일한 통로다(캡션). 부록 A.2에 따르면 이전 설계는 게이트를 0으로 초기화해 브리지가 기여도 경사도 0인 채 “자기 잠금”됐고, 여기서는 게이트를 1로 두어 처음부터 살아 있게 했다(author-stated). Prelude projection을 별도 텐서로 둔 것은 §5.1의 학습률 문제 때문이다.
확인 상태: viewed

Table 1 — Scaffold 제거 후 단계별 메커니즘의 유지 (full-block)

무엇을 보여주는가: 중간 라벨 없이 최종 답만으로 1,000스텝 anneal한 뒤에도 단계별 계산이 남는지.
읽는 법: 첫 행은 깊이 1–4 문제의 중간 상태 정답률, 둘째·셋째 행은 목표 깊이보다 더 돌린(목표 위쪽, above-diagonal) 상태들이 다음 단계로 계속 진행했는지/답에 머물렀는지.
핵심 관찰: 625/640 = 97.7%, 357/384 = 93.0% 진행, 1/384 = 0.3% 머묾.
의미와 주의: “답을 내고 멈추는” 모델이라면 머물렀을 것이고, 지름길 모델이라면 무관한 상태가 나왔을 것이다. 다음 단계 기호가 나왔다는 것은 블록에 “규칙 한 번 적용”이 설치됐다는 저자 해석의 핵심 근거(§5.2, author-stated). 같은 성질 때문에 깊이를 넘기면 답을 지나친다.
확인 상태: viewed

Table 2 — 같은 수술, 두 학습 예산

무엇을 보여주는가: Full-block과 어댑터(rank 16)의 예산·설치 속도·결과·보존 방식 비교.
읽는 법: 열은 forward-active 파라미터, 게이트 통과까지 스텝, 끝났을 때 깊이 1–4 정답(/64), 보존 방식.
핵심 관찰: Full-block 180.6M, 6,000스텝, 64/63/63/59, 배터리 비열등성(§7)으로 보존 확인. 어댑터 6.01M, 4,000스텝, 64/64/60/53, 기반 가중치 불변으로 구조상 보존.
의미와 주의: 30배 작은 예산이 더 적은 스텝에 게이트를 통과했다. 깊이 4에서 53 vs 59 차이는 유의하지 않지만(p=0.090) 표본이 작아 동등성도 말할 수 없다(§6.2, author-stated).
확인 상태: viewed

Table 3 — 감독 깊이(support)별 외삽 한계

무엇을 보여주는가: 학습 시 감독한 최대 깊이와 정확도가 0.71 아래로 떨어지는 깊이(frontier)의 관계.
읽는 법: Support(학습 최대 깊이), Alphabet(기호 집합 크기 N16/N24), Frontier(보간 깊이), 비율.
핵심 관찰: 4/N16 → 5.75(1.44), 6/N16 → 9.01(1.50), 8/N16(consolidated) → 11.61(1.45), 12/N24 → 17.93(1.49).
의미와 주의: support가 3배 변하고 기호 집합이 바뀌어도 비율이 1.44–1.50으로 거의 일정 → “깊이 $d$ 까지 가르치면 약 $1.5 d$ 까지 믿을 만하다”(§8.1, author-stated). 단 학습량을 support에 비례해 늘려야 하고, N24 점은 단일 seed다.
확인 상태: viewed

Figure 3 — Frontier vs support

무엇을 보여주는가: Table 3을 그래프로, support 6의 seed 범위를 함께 표시.
읽는 법: 가로축 학습 시 지원한 최대 전이 깊이(4, 6, 8, 12), 세로축 threshold-crossing frontier. 점 옆 라벨은 기호 집합. 오른쪽 상자는 support 6 seed 정보.
핵심 관찰: 네 점이 거의 직선(5.75 → 9.01 → 11.61 → 17.93). support 6에는 세로 띠(raw 6.95–9.01)와 학습량 프로토콜 복제점(9.50, 10.00)이 붙어 있다.
의미와 주의: 띠는 경로 의존성(같은 스텝에서도 seed에 따라 굳는 속도가 다름)을 보여 준다(그림 범례, author-stated). 직선 관계는 4개 점에 근거한다(analyst-inference).
확인 상태: viewed

Table 4 — N24 support-12의 깊이별 정확도

무엇을 보여주는가: 깊이 12까지 학습한 모델이 그 너머 깊이에서 얼마나 버티는지(step 6,000).
읽는 법: 깊이 10–22, 짝수 깊이만 표시.
핵심 관찰: 10: 97.7%, 12: 97.7%, 14: 91.4%, 16: 85.9%, 18: 70.3%, 20: 46.1%, 22: 10.9%.
의미와 주의: 외삽은 있지만 무한하지 않고 깊이 20 이후 급락한다 → “support 의존 외삽 frontier + 측정 가능한 꼬리 천장”(§8.2, author-stated). 같은 실행의 step 2,000에서는 깊이 14 69.5%, 18 10.2%였다.
확인 상태: viewed

Table 5 — Phase A 다섯 시스템

무엇을 보여주는가: 사전 등록된 비교의 arm 정의.
읽는 법: Arm, 시스템, 레시피.
핵심 관찰: A 반복 0.5B(강제 깊이, 같은 reader), B dense 0.5B direct SFT, C dense 0.5B scratchpad SFT, D dense 1.5B direct, E 반복 어댑터 0.5B(rank-16 LoRA + 브리지 6.0M, A의 학습 프로토콜).
의미와 주의: B는 “순차 계산 없이 배울 수 있나”, C는 “토큰 축 대안”, D는 “규모가 깊이를 대신하나”, E는 “180M이 필요한가”를 각각 시험한다(§9). 학습 이력·추론 계산량은 맞추지 않았다(§4.4).
확인 상태: viewed

Table 6 — Phase A 전체·꼬리 결과

무엇을 보여주는가: 1,792행 고정 집합에서 다섯 arm의 정답 수와 깊이 11–14 꼬리 정확도.
읽는 법: 정답/1,792, 정확도, 깊이 11–14 정답/512, 꼬리 정확도.
핵심 관찰: A 1,506(84.04%), 272/512(53.13%); E 1,501(83.76%), 247/512(48.24%); B 496(27.68%), 60/512(11.72%); C 1,292(72.10%), 13/512(2.54%); D 656(36.61%), 58/512(11.33%).
의미와 주의: 스크래치패드(C)는 전체로는 72%로 꽤 높지만 꼬리에서 거의 0이 된다. 1.5B direct(D)는 0.5B direct(B)보다 낫지만 반복 모델에는 크게 못 미친다(author-stated). D·B의 꼬리가 비슷한 것은 우연 수준(4지선다 25%)보다도 낮다는 점에서, 두 모델이 깊은 문제를 사실상 못 푼다는 뜻으로 읽힌다(analyst-inference).
확인 상태: viewed

Table 7 — 행 단위 쌍대 비교

무엇을 보여주는가: 같은 행에서 A만 맞힌 수(helped), 대조군만 맞힌 수(hurt), 동률, 순이득, 정확 검정 p.
읽는 법: 두 행, A vs B(주 비교), A vs C(가장 강한 대조군).
핵심 관찰: A vs B: 1,048 / 38 / 706, 순 +1,010, p=5.72e-257. A vs C: 262 / 48 / 1,482, 순 +214, p=7.81e-37.
의미와 주의: A vs C에서 동률이 1,482행으로 대부분이고, 차이는 주로 깊이 11 이후에서 나온다(Table 6과 대조, analyst-inference).
확인 상태: viewed

Figure 4 — 깊이별 정확도와 정확도-지연 관계

무엇을 보여주는가: (A) 다섯 arm의 깊이별 정확도, (B) 같은 정확도를 행당 지연시간 중앙값(로그축)에 대해 그린 것.
읽는 법: (A) 가로축 합성 깊이 1–14, 초록 음영은 학습 범위(깊이 1–8), 세로 점선은 A/E 교차점(깊이 11.54). (B) 가로축 지연시간(ms, 로그), 점 옆 숫자는 깊이. 범례: full-block recurrent(초록), adapter recurrent(주황), dense scratchpad 0.5B(파랑), dense direct 0.5B(빨강), dense direct 1.5B(보라 점선).
핵심 관찰: (A) 반복 두 arm은 깊이 8–11까지 높게 유지되다 하락, 깊이 14에서 full-block이 어댑터보다 위. 스크래치패드는 깊이 10까지 거의 100%였다가 11에서 급락. Direct 두 arm은 깊이 2–4부터 급락(그래프 판독, analyst-inference). (B) 반복 arm은 깊이가 커질수록 오른쪽(느림)·아래(정확도 하락)로 이동하지만 모두 약 30–500ms 범위, dense arm은 깊이와 무관하게 각자 고정 위치(약 770, 905, 2,280ms)에 세로로 늘어선다.
의미와 주의: 반복 arm이 정확도-지연 frontier를 이룬다는 저자 주장(캡션, author-stated). 지연 비교는 batch 1, A100 한 대의 기술적 측정이다(§9.5).
확인 상태: viewed

Table 8 — 행당 지연시간 중앙값

무엇을 보여주는가: 깊이별 동기화된 모델 호출 시간(ms)과 생성 토큰 수 중앙값.
읽는 법: 행은 깊이 1, 2, 4, 8, 11, 14와 토큰 수, 열은 다섯 시스템.
핵심 관찰: Full-block 28.8 → 301.8ms, 어댑터 42.1 → 488.4ms(깊이 1 → 14). Scratchpad 약 2,277–2,290ms(96토큰), direct 0.5B 약 768–772ms(32토큰), direct 1.5B 약 904–907ms(32토큰).
의미와 주의: 반복 arm은 깊이에 선형(루프당 약 21ms, 34ms), dense arm은 생성 상한이 고정이라 평평하다. 어댑터가 더 느린 것은 LoRA 계산이 매 루프 추가되기 때문으로 보인다(analyst-inference, 원문 미설명). 반복 arm은 1토큰(디코딩된 상태 하나)만 낸다.
확인 상태: viewed

Table 9 — 자연어 표면 정확도 (full-block, step 6,000)

무엇을 보여주는가: 같은 계산을 문장으로 렌더링한 relay·pointer 표면에서의 정확도.
읽는 법: 표면, 정답/1,536, 정확도.
핵심 관찰: Relay 1,321(86.0%), Pointer 1,213(79.0%).
의미와 주의: 이 keeper는 언어 학습을 받았다. 언어 학습 없이는 17.4%/20.3%였으므로, 언어 능력은 언어 학습에서 온다(§10, author-stated). 템플릿 기반·방해 요소 없는 통제된 표면이지 일반 자연어 추론 벤치가 아니다.
확인 상태: viewed

Table 10 — 어댑터 예산의 매칭 언어 학습: 설치된 쪽 vs 새로 시작

무엇을 보여주는가: 같은 rank-16 + 브리지 예산에서, 설치된 어댑터 체크포인트에서 시작한 arm과 새 수술에서 시작한 arm의 언어 학습 진행.
읽는 법: 스텝별 정답/3,072(%), 차이(pp), 정확 McNemar p.
핵심 관찰: step 0: 16.70% vs 2.80%(+13.90pp); 1,000: 32.94% vs 18.59%(+14.36); 2,000: 57.06% vs 22.69%(+34.38); 3,000: 60.29% vs 41.73%(+18.55, p=9.74e-81).
의미와 주의: 설치된 메커니즘이 관련 언어 과제 학습을 가속하며, 학습에서 뺀 pointer 표면에서도 이점이 나타났다(§10.1, author-stated). 다만 새 수술 arm이 step 3,000에 Tier-1 가드레일로 멈춰 계획한 종점 비교가 없고, 이점이 끝까지 유지됐을지는 보여 주지 못한다(저자 명시).
확인 상태: viewed

Table 11 — 역렌더 continuation이 모든 지표를 악화시킴

무엇을 보여주는가: 역연산을 추가로 학습한 continuation 전후 비교(full-block).
읽는 법: Measure, Before, After.
핵심 관찰: Calibration 276/384 → 208/384, 합성 유지 최소 0.8125 → 0.125, 자연어 표면 check 227/256(reference) → 171/256.
의미와 주의: 새 연산을 배우려는 시도가 기존 연산(합성 유지)과 일반 능력(자연어 표면)을 함께 무너뜨린 사례로, acquisition-retention boundary의 근거(§11.3, author-stated). 같은 계측 도구가 여기서 손상을 잡아내므로 §7의 보존 결과가 공허하지 않다는 저자 논증과 연결된다.
확인 상태: viewed

Wiki 연결

A Survey on Latent Reasoning — 수직 재귀(Prelude/Loop/Coda 구조)와 학습 유도 재귀를 정리한 서베이. 이 논문은 그 구조를 사전학습 모델에 사후 이식한 사례.
Scaling up Test-Time Compute with Latent Reasoning - A Recurrent Depth Approach — §2.1에서 인용하는 Huginn(Geiping et al., 2025), 처음부터 반복 깊이로 사전학습한 대조점.
Hierarchical Reasoning Model — §1의 직접적 동기인 처음부터 학습한 재귀 추론기 HRM.
Less is More - Recursive Reasoning with Tiny Networks — §1에서 함께 언급되는 TRM.
Training Large Language Models to Reason in a Continuous Latent Space — §2.3에서 대비하는 수평(시퀀스 축) 잠재 추론 Coconut.

BibTeX

@article{shapiro2026retrofitting,
  title   = {Retrofitting Recurrent Depth into a Pretrained Language Model: Installation, Extrapolation, Transfer, and Retention at Two Parameter Budgets},
  author  = {Shapiro, Mark},
  journal = {arXiv preprint arXiv:2608.11233},
  year    = {2026}
}