재귀 추론 모델의 한계는 어디서 오는가: 최적화, 구조, 테스트 시점 확장

개요

HRM, TRM, URM 같은 **recursive reasoning model(작은 Transformer 블록 하나를 여러 번 반복 적용해 잠재 상태를 다듬는 모델)**은 수백만 파라미터만으로 Sudoku, 미로, ARC-AGI 퍼즐을 풀어 주목받았다. 문제는 이 모델들이 서로 구조, gradient 전파 범위, 옵티마이저, 정규화, 평가 방식을 한꺼번에 바꿨다는 점이다. 그래서 무엇이 성능을 만들었는지 알 수 없었다. 요리사 세 명이 재료와 불 세기와 조리 시간을 동시에 바꿔 놓고 “내 레시피가 낫다”고 하는 상황과 같다. 이 논문은 같은 코드베이스와 같은 데이터에서 한 번에 한 요인만 바꿔 본다. 그 결과 성능을 가른 것은 구조보다 최적화였다. 첫째, 반복 궤적 중 마지막 몇 단계만 미분하는 **gradient horizon(역전파를 흘려 보내는 반복 구간의 길이)**은 짧지도 길지도 않은 중간값이 가장 잘 일반화했다. Arithmetic에서 (K_L, K_H) = (2, 2)의 OOD 정확도는 71.16%였다. 같은 수의 반복을 미분하는 (1, 3)은 17.88%에 그쳤다. 둘째, 실효 배치 8192가 같아도 **physical batch(한 번에 실제로 GPU에 올리는 배치)**를 gradient accumulation(작은 배치 여러 번의 gradient를 모아 큰 배치를 흉내 내는 것)으로 대신하면 Game of Life OOD가 63.16%에서 37.71%로 떨어졌다. 셋째, 상태 갱신 크기를 묶고 게이트와 정규화를 거는 장치를 쓰면 seed 간 표준편차가 3.32에서 0.11로 줄었다. 반대로 HRM의 상징인 상위/하위 모듈 분리는 도메인에 따라 득실이 갈렸고, 층을 늘리거나 테스트 때 반복을 더 돌리는 것도 일부 도메인에서만 도움이 됐다. 이 처방을 합친 13.6M 모델은 Arithmetic OOD 71.16%(최강 baseline TRM 36.20%), Sudoku 98.41%, ARC-AGI-1 pass@2 59.50%를 기록했다.

Implication: 재귀 추론의 성능은 “몇 번 반복하는가”나 “계층이 있는가”보다 “반복을 어떻게 학습시키고 안정화하는가”에 크게 좌우된다. 따라서 HRM·TRM 계열 논문끼리의 숫자 비교는 학습 레시피가 다르면 구조의 우열을 말해 주지 못한다. 다만 ARC는 transductive 프로토콜(평가 과제의 시연 쌍으로 학습)을 따르고, 대부분의 ablation은 Arithmetic이나 Game of Life 한 도메인에서만 했다.

📎 https://arxiv.org/abs/2609.39967

배경과 문제

문제. 재귀 추론 모델은 파라미터 수를 계산 깊이와 맞바꾼다. HRM, TRM, URM은 몇 백만 파라미터로 상징적 알고리즘 과제를 푼다는 것을 보였다. 그러나 셋은 반복 구조, gradient 전파, 최적화, 정규화를 동시에 바꿔서 개선 원인을 특정하기 어렵다. 또 같은 파라미터를 반복 적용하면 일반 feed-forward Transformer와 다른 최적화 문제가 생긴다(author-stated, Section 1).

계보 (Section 2).

잠재 반복 계산: Looped Transformer의 알고리즘 추론·길이 일반화(Saunshi et al. 2025, Fan et al. 2025), 대형 언어 모델의 recurrent-depth 테스트 시점 계산(Geiping et al. 2025), 토큰별 적응형 반복(Mixture-of-Recursions, Bae et al. 2025), 연속 잠재 프로그램 공간 탐색(Macfarlane & Bonnet 2025). 저자들은 이 연구들이 “반복을 어떻게 최적화·안정화할지”는 열어 두었다고 본다.
작은 재귀 추론기: HRM은 빠른/느린 두 모듈, 잘린 credit assignment, 적응형 계산을 도입했다(Wang et al. 2025). TRM은 계층 간 파라미터를 공유하고 미분 구간을 늘리고 가중치 평균(EMA)을 썼다(Jolicoeur-Martineau 2025). URM은 공유 모듈에 국소 convolution 혼합과 다른 truncated backprop을 더했다(Gao et al. 2025). 이어 계층 구조나 학습된 halting이 꼭 필요한지 의문을 제기한 분석(Ge et al. 2025, Movahedi et al. 2026)과 반복 갱신을 policy improvement로 보는 해석(Asadulaev et al. 2026)이 있다.

이 논문의 차이. 새 구조를 내놓는 대신 기존 선택지를 공통 실험 틀에 놓고 하나씩 바꾼다(author-stated, Section 2). 또 Game of Life와 Arithmetic을 새로 만들어 분포 밖(OOD) 일반화를 통제된 방식으로 잰다(Section 3).

관련 vault 노트: [Less is More - Recursive Reasoning with Tiny Networks], Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers(Movahedi et al. 2026로 인용), Reasoning with Latent Thoughts - On the Power of Looped Transformers(Saunshi et al. 2025로 인용).

지표

지표	뜻	단위·방향	분모·조건	위치
Exact accuracy	출력 전체(격자, 연산자 열)가 정답과 완전히 같은 비율	%, 높을수록 좋음	EMA 가중치로 평가. 적응형 halting을 끄고 ACT 예산 전체를 실행	Section 4.6, Table 2
Arithmetic ID / OOD	처음 보는 피연산자 조합에서 결과값이 0, 101인 식과 102, 201인 식의 exact accuracy	%, 높을수록 좋음	피연산자 multiset 기준 80/20 분할	Section 3, Appendix A.5
Game of Life ID / OOD	학습 범위 안 단계(in-range)와 OOD 세트들의 평균	%, 높을수록 좋음	OOD = 학습에서 뺀 초기 패턴 15% + 학습 최대 단계보다 1, 2, 3, 10단계 뒤. 세트별 10,000개 표본	Section 3, Appendix A.4, Table 2 캡션
ARC-AGI pass@1 / pass@2	증강별 예측을 원래 좌표·색으로 되돌려 투표한 상위 k개 안에 모든 테스트 입력의 정답이 있으면 풀이로 셈	%, 높을수록 좋음	동점은 halting-head 확신도로 결정. ARC-AGI-1은 ConceptARC와 합쳐 학습	Appendix C.1
Relative inference compute	한 답에 드는 층 적용 횟수를 dense 모델 한 번 통과와 비교	배수, 낮을수록 쌈	한 ACT 단계 = H_cycles(L_cycles·L_layers + H_layers) 층. T 단계면 T배	Appendix C.2, Table 7
Mean pre-clipping gradient norm	clipping 전 gradient 크기의 평균	낮을수록 안정	Figure 5 배치 실험에서만 사용	Section 5.2
평균 ± 표준편차	세 seed에 걸친 평균과 표준편차	%p	Table 3에서만	Section 5.4

Figure 1 왼쪽의 “Mean headline score”는 본문에 정의가 없다(unknown).

방법과 벤치마크 구성

데이터 (Section 3, Appendix A). 여섯 도메인 모두 패딩된 토큰열을 입력으로 받아 정답 전체를 한 번에 예측한다. 중간 감독이나 chain-of-thought는 없다.

Sudoku: sudoku-extreme(HRM과 동일), 81토큰, 대칭 증강 없음.
Maze: maze-30x30-hard(HRM과 동일), 900토큰, 최단 경로를 표시한 격자가 정답.
Game of Life(신규): 2–17 크기 무작위 격자 200,000개에서 B3/S23 규칙으로 k단계 뒤 상태를 맞힌다. k를 늘리면 필요한 순차 계산 수가 늘어난다.
Arithmetic(신규): 피연산자 3–8개(1–9)와 +, −, ×, ÷로 만든 역폴란드 표기 식이다. 연산자를 가리고 최종값만 주면 연산자 열을 복원해야 한다. 탐색 공간은 최대 4^7이다.
ARC-AGI-1/2: HRM 데이터 파이프라인을 재사용한다. 30×30 캔버스, 900토큰, 퍼즐당 증강 1000개(8가지 회전·반사 × 색 치환). Transductive 프로토콜: 평가 과제의 시연 쌍도 학습 예제로 쓰고, 과제별로 학습되는 puzzle embedding만이 시연과 테스트 입력을 잇는다(Appendix A.6). 테스트 입력 자체는 학습에 쓰지 않는다.

반복 구조 (Section 4.1). HRM의 중첩 반복을 따른다. 상위 cycle 하나 안에서 하위 상태를 L_cycles번 z_L ← L(z_L + z_H + x)로 갱신한 뒤 z_H ← H(z_H + z_L)로 상위 상태를 갱신한다. 이것을 H_cycles번 반복한다. 기본 설정은 HRM과 달리 L과 H가 파라미터를 공유한다.

제어된 상태 갱신 (Section 4.2). 반복하면 작은 오차가 깊이를 따라 쌓인다. 그래서 세 장치를 둔다.

update bounding: 후보 갱신 Δ_L의 크기를 현재 상태 크기에 대한 비율 τ 이하로 자른다.
learned gating: 시그모이드 게이트 α가 잘린 갱신 중 얼마를 적용할지 정한다. 토큰 위치마다 다른 속도로 다듬을 수 있다.
post-cycle normalization: 갱신 뒤 정규화한다.

반복 일관 정규화 (Section 4.3). dropout mask 하나를 모든 반복 cycle과 ACT 단계에 똑같이 쓴다. 입력 embedding과 반복 상태에는 크기에 비례한 작은 Gaussian noise를 더한다.

학습 (Section 4.4–4.5). 순방향은 반복 궤적 전체를 돌리고, gradient는 마지막 K_H개 상위 cycle과 그 안의 마지막 K_L개 하위 cycle로만 흐른다(기본 (2, 2)). Adam-atan2, global gradient clipping 1, EMA 평가 가중치를 쓴다. 최종 설정은 ACT 단계마다 (H_cycles, L_cycles) = (4, 2)이고, ACT는 최대 16단계다(Figure 3, Appendix B).

비교 레시피 (Table 1). HRM 27M(두 모듈, 4+4층, (2, 2), 배치 768), TRM 7M(공유, 2층, (3, 6), EMA), URM 7M(공유, 2층, (3, 6), depthwise conv, EMA), Ours 13.6M(공유, 4층, (4, 2), 배치 도메인별 최대 8192). 모두 hidden 512다. ARC 실험에서만 Ours에 convolution 변형을 쓴다(Table 1 각주 **).

Baseline (Section 4.6, Table 2). HRM, TRM, URM, 반복 없는 Dense control은 저자 코드베이스에서 같은 데이터 표현·토큰화·평가로 다시 학습했다. 각 baseline은 자기 고유의 구조와 학습 레시피를 유지하므로, Table 2는 구조만이 아니라 레시피 전체를 비교한다(author-stated). 범용 LLM(Qwen3-30B-A3B, Qwen3.6-27B)은 공개 체크포인트를 미세조정 없이 평가했다. Dense control은 연산량을 맞춘 baseline이 아니라 반복 여부를 보는 대조군이다(Appendix C.2).

연산량 (Appendix C.2, Table 7). dense 한 번 통과 대비 HRM 3T, TRM·URM 5.25T, Ours 6T(T = ACT 단계 수). 파라미터 공유는 파라미터 수를 줄일 뿐 순차 계산량은 줄이지 않는다(author-stated).

하드웨어: 원문에 보고되지 않았다.

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
최종 모델이 거의 모든 지표에서 재귀 baseline보다 높다	Table 2	Ours: Arith OOD 71.16, GoL ID/OOD 66.08/65.80, Maze 84.70, Sudoku 98.41, ARC-1 pass@2 59.50, ARC-2 pass@2 11.67	예외: Arithmetic ID는 TRM 98.80 > Ours 96.34	author-stated
가장 큰 개선은 Arithmetic OOD	Table 2, Section 4.6	36.20(TRM) → 71.16	초록은 71.2%로 반올림	author-stated
재귀의 효과는 도메인마다 다르다	Table 2, Section 4.6	Sudoku: Dense 18.30 vs 재귀 50.00–98.41. ARC-1 pass@2: Dense 33.50, HRM 40.30	ARC-1에서는 Dense도 경쟁적이고, ARC-2는 모두 낮다(최고 11.67)	author-stated
Game of Life가 baseline을 갈라놓는다	Table 2	TRM 7.11/7.14(Dense 8.17/7.54 수준), URM 55.42/55.26, Ours 66.08/65.80	재학습한 TRM의 수치	author-stated
범용 LLM은 이 과제들을 거의 못 푼다	Table 2	Qwen 두 모델: Sudoku·Maze·GoL·Arith OOD 0.00–0.20. ARC-1 pass@2 31.50/36.25	미세조정 없음. 연산 패턴이 달라 Table 7에서 제외	author-stated
gradient horizon은 중간값이 최적이다	Figure 4, Section 5.1	(2, 2): ID 96.34 / OOD 71.16. (1, 3): ID 99.60 / OOD 17.88. (1, 4): OOD 68.54. (2, 4): ID 91.11 / OOD 60.88	Arithmetic 한 도메인, 한 seed, 8개 run	author-stated
미분 길이만이 아니라 미분 위치도 중요하다	Section 5.1	(1, 3)과 (2, 2)는 미분하는 반복 횟수가 같지만 OOD가 17.88 대 71.16	저자 해석	author-stated
물리 배치는 accumulation과 다르다	Figure 5, Section 5.2	실효 8192 고정: (8192, 1) ID/OOD 72.39/63.16 → (4096, 2) 58.18/49.41 → (2048, 4) 45.71/37.71. gradient norm 0.38 → 4.54 → 65.46	Game of Life 한 도메인. seed 수는 캡션에 없음	author-stated
명시적 계층(모듈 분리)은 보편적 이득이 아니다	Figure 6a, Section 5.3	공유/분리: Maze 84.7/75.4, ARC-1 35.6/25.3, Arith 98.8/98.4, Sudoku 97.8/98.4, GoL 63.8/67.9	파라미터 수를 맞춤. GoL에서는 분리가 4.1%p 높다(반례)	author-stated (수치), analyst-inference (반례 강조)
안정화 레시피는 정확도보다 재현성을 크게 바꾼다	Table 3, Section 5.4	GoL ID: Base 61.95±3.32 → final 66.08±0.11. GoL OOD: 63.87±2.90 → 65.80±0.13. Sudoku: 97.29±1.06 → 98.41±0.21	seed 3개. 단계 중간(+grad clip, +dropout)에서는 GoL 평균이 내려가기도 한다	author-stated
용량을 키워도 일관된 이득이 없다	Section 5.5	4→8층, hidden 증가, head 추가 모두 일관된 이득 없음	수치 표는 본문에 없다	author-stated
테스트 시점 반복 증가는 일부 도메인에서만 돕는다	Figure 6b, Section 5.5	Δ: Arith OOD +3.02, Sudoku +2.00, Arith ID +0.65, Maze +0.26, ARC-1 +0.12, GoL·ARC-2 +0.03	예산을 얼마나 늘렸는지는 보고되지 않았다	author-stated
네 도메인 공동 학습은 실패했다(부정 결과)	Appendix F, Table 10	Arithmetic exact 28.22, GoL 0.09 이하, Maze·Sudoku 0.00(Maze token 정확도는 87.50)	seed 1개, 300 epoch에서 중단. 저자도 원인을 특정하지 못한다고 밝힌다	author-stated

결과끼리의 연결. Table 2는 레시피 전체를 비교한 결과다. Section 5는 그 차이를 요인별로 나눈다. Figure 4와 5는 최적화 요인(gradient 경로, 배치)이 OOD를 크게 흔든다는 것을 보인다. Table 3은 상태 안정화가 주로 재현성을 높인다는 것을 보인다. Figure 6은 구조나 테스트 시점 계산이 도메인 의존적이라는 것을 보인다. 이 순서가 “최적화가 구조만큼 중요하다”는 결론으로 이어진다(analyst-inference).

주의할 점 (analyst-inference):

Figure 6a의 ARC-1 값(공유 35.6)은 Table 2의 ARC-1(53.00/59.50)과 크게 다르다. 지표(pass@k 여부)나 설정(convolution 변형 여부)이 다를 수 있으나 원문은 설명하지 않는다.
Table 2의 HRM ARC-1 40.30, TRM ARC-1 44.60·Sudoku 87.40은 vault의 Less is More - Recursive Reasoning with Tiny Networks 노트에 적힌 TRM 논문 보고값(HRM 40.3, TRM 44.6, Sudoku 87.4)과 같은 숫자다. 캡션은 “재학습”이라고 하지만, 재학습 결과가 원 보고값과 우연히 같은 것인지는 이 논문에서 확인되지 않는다.
Table 2의 Ours GoL 66.08/65.80과 Sudoku 98.41은 Table 3의 3-seed 평균과 같다. 따라서 Table 2의 일부 값은 seed 평균일 수 있지만 Table 2 캡션에는 seed 정보가 없다.

Take-home

한 줄 요약: 작은 재귀 추론기의 성능 차이는 상당 부분 학습 레시피(gradient 경로, 물리 배치, 상태 안정화)에서 오며, HRM식 명시적 계층은 필요하지 않았다.
성립 범위: 저자가 만든 공통 파이프라인, 여섯 알고리즘 도메인, 1D 토큰열 입력, transductive ARC 프로토콜에서 확인되었다. ablation은 대부분 대표 도메인 한두 개에서 했다(Arithmetic: gradient 경로, Game of Life: 배치, GoL+Sudoku: 안정화).
저자가 밝힌 한계 (author-stated):
- 결론은 “여기서 연구한 재귀 구조 안에서”라는 단서를 단다(초록).
- 공동 학습 실험은 seed 1개이고 일정 전에 중단되어 원인을 가리지 못한다(Appendix F).
- 단일 seed 학습 궤적은 인과 비교 근거가 아니다(Appendix E).
- Dense control은 연산량을 맞춘 baseline이 아니다(Appendix C.2).
작성자가 보는 우려 (analyst-inference):
- gradient horizon 결론은 Arithmetic 한 도메인·한 seed의 8개 설정에서 나왔다. 다른 도메인에서 (2, 2)가 최적인지는 보이지 않았다.
- 모듈 분리 비교에서 GoL은 분리 쪽이 4.1%p 높은데, 저자는 이를 “small gains”로 묶는다.
- ARC는 평가 과제의 시연을 학습에 쓰는 transductive 설정이라 LLM 수치와 직접 비교하기 어렵다.
반복·공개: Table 3만 seed 3개 평균±표준편차다. 그 밖의 결과는 seed 정보가 캡션에 있을 때만 집계라고 저자는 밝힌다(Reproducibility Statement). 코드, 실험 설정, Arithmetic·Game of Life 생성 스크립트는 “submission에 포함”되었다고 적혀 있다. 공개 URL은 원문에서 확인하지 못했다.
읽지 못한 범위: 부록 표(Tables 5, 6, 8, 9)의 세부 수치는 텍스트로만 훑었고 이 노트에 옮기지 않았다.
수업 토론 메모 (analyst-inference): ARC-AGI 토론에서 “TRM이 HRM을 이긴 이유가 구조인가 학습법인가”를 물을 때 이 논문이 근거가 된다. 같은 파이프라인에서도 ARC-1은 Dense가 33.50으로 경쟁적이고 ARC-2는 모두 낮다는 점은, 재귀가 ARC에서 주는 이득이 Sudoku·Maze보다 작다는 반례로 쓸 수 있다.

본문 도표

Figure 1 — 연산량 대비 성능 요약과 도메인별 비교

무엇을 보여주는가: (왼쪽) 모델별 상대 추론 연산량 대비 “Mean headline score”. (오른쪽) 여섯 지표에서 Dense, Best LLM, Best prior recursive, Ours의 막대 비교.
읽는 법: 왼쪽 x축은 상대 추론 연산(1×, 3×, 5.25×, 6×, 800×), y축은 평균 headline 점수(%)다. 파란 띠는 Dense와 “Best prior recursive” 사이 구간이다. 오른쪽 y축은 Accuracy / pass@2(%)다.
핵심 관찰: 왼쪽에서 Ours가 6× 근처에서 약 65로 가장 높고, URM 약 50, TRM 약 43, HRM 약 30, Dense 약 12, Qwen 두 모델은 800× 근처에서 약 5다(그래프 판독, analyst-inference). 오른쪽 막대 값은 Table 2와 일치한다(예: Arith OOD 7.5/0.0/36.2/71.2, ARC-AGI-1 pass@2 33.5/36.2/53.2/59.5).
의미와 주의: 저자들은 성능이 반복 계산과 그 최적화 둘 다로 결정된다는 요약으로 쓴다(author-stated). “Mean headline score”를 어떤 지표들의 평균으로 계산했는지와 LLM의 800×가 어떻게 산출됐는지는 원문에 없다(unknown).
확인 상태: viewed

Figure 2 — 여섯 평가 도메인

무엇을 보여주는가: Sudoku, Maze, Game of Life, Arithmetic, ARC-AGI-1, ARC-AGI-2의 예시. 파란 테두리는 기존 벤치마크, 주황 테두리는 새로 만든 OOD 도메인이다.
읽는 법: 각 칸이 한 도메인의 입력→출력 예시다.
핵심 관찰: Game of Life 예시는 Generation 0 → Generation 10으로 바뀌는 패턴이다. Arithmetic 예시는 가려진 연산자를 복원하는 흐름이다.
의미와 주의: 예시 그림이며 수치는 없다. 테두리 색 구분은 캡션의 “established vs controlled OOD” 구분과 맞는다(analyst-inference).
확인 상태: viewed

Figure 3 — 최종 재귀 추론 구조

무엇을 보여주는가: Input → Embedding → (공유 모듈 L(x) → Weighted update → Normalization)을 ×2, 그 바깥에서 공유 모듈 H(x)를 거치는 묶음을 ×4, 다시 그 바깥에서 ACT를 ×N(max 16) 반복한 뒤 Head → Output.
읽는 법: 파란 상자(×2)가 하위 cycle, 빨간 상자(×4)가 상위 cycle, 주황 선(×N)이 ACT 단계다.
핵심 관찰: L과 H 모두 같은 “Shared module”로 그려져 파라미터 공유를 나타낸다. 가중 갱신과 정규화는 하위 갱신 경로에 놓여 있다.
의미와 주의: gradient가 마지막 (2, 2) cycle로만 흐른다는 점은 그림에 표시되지 않고 본문(Section 4.4)에 있다(analyst-inference).
확인 상태: viewed

Table 1 — 재귀 추론 레시피 비교

무엇을 보여주는가: HRM, TRM, URM, Ours의 파라미터, 모듈, 층, hidden, cycle, gradient 경로, 상태 안정화, convolution, 물리 배치, 학습 안정화.
읽는 법: 열 = 모델, 행 = 설계 요소.
핵심 관찰: gradient 경로는 HRM “Last H + last L”, TRM·URM “Last H + all L”, Ours (K_L, K_H) = (2, 2)다. 상태 안정화(bounded + gated + norm.)는 Ours에만 있다. 물리 배치는 baseline 768, Ours 도메인별 최대 8192다.
의미와 주의: 각주에 따르면 URM은 저자 실험에서 고른 2층 설정이고, Ours의 convolution 변형은 ARC 실험에만 쓰였다. 따라서 Table 2의 ARC 행은 기본 레시피와 다른 모델이다(analyst-inference).
확인 상태: viewed

Table 2 — 주 결과: 도메인별 exact accuracy

무엇을 보여주는가: Dense, Qwen3-30B-A3B, Qwen3.6-27B, HRM, TRM, URM, Ours의 10개 지표(%), EMA 가중치.
읽는 법: 행 = 지표(Arithmetic ID/OOD, GoL ID/OOD, Maze, Sudoku, ARC-1/2 pass@1/2), 열 = 모델. 굵은 글씨가 최고값이다.
핵심 관찰: Ours가 10개 중 9개에서 최고다. Arithmetic ID만 TRM 98.80이 Ours 96.34보다 높다. ARC-1 pass@2는 Dense 33.50, Qwen3.6-27B 36.25, HRM 40.30, TRM 44.60, URM 53.25, Ours 59.50이다. ARC-2 pass@2는 최고 11.67이다.
의미와 주의: 저자들은 가장 큰 이득이 명시적 일반화 시험(Arith OOD, GoL OOD)에서 나왔다고 해석한다(author-stated). baseline이 각자 원래 레시피를 쓰므로 구조 비교가 아니라 레시피 비교다.
확인 상태: viewed

Figure 4 — gradient horizon에 따른 Arithmetic 정확도

무엇을 보여주는가: 순방향(L_cycles = 2, H_cycles = 4)은 고정하고 미분 구간 (K_L ∈ {1, 2}, K_H ∈ {1, 2, 3, 4})만 바꾼 8개 run의 ID(왼쪽)와 OOD(오른쪽) 정확도 히트맵.
읽는 법: 행 = K_L, 열 = K_H. 칸 숫자가 exact accuracy(%)다.
핵심 관찰: ID는 K_L = 1 행이 97.35, 99.54, 99.60, 99.38이고 K_L = 2 행이 98.12, 96.34, 95.92, 91.11이다. OOD는 K_L = 1 행이 19.67, 20.91, 17.88, 68.54이고 K_L = 2 행이 28.61, 71.16, 50.98, 60.88이다.
의미와 주의: ID 최고 (1, 3)이 OOD에서는 거의 최저다. ID 정확도로 설정을 고르면 일반화를 놓친다는 반례다(analyst-inference). K_H = 4(전체 상위 cycle 미분)도 (2, 2)보다 OOD가 낮아 “full backprop이 최선은 아니다”를 지지한다(author-stated, Section 6). 한 seed다.
확인 상태: viewed

Figure 5 — 물리 배치 대 gradient accumulation

무엇을 보여주는가: 실효 배치 8192를 고정한 Game of Life에서 (물리 배치, accumulation 단계) = (8192, 1), (4096, 2), (2048, 4)의 정확도(왼쪽)와 평균 pre-clipping gradient norm(오른쪽, log 축).
읽는 법: 왼쪽 파랑 = ID, 주황 = OOD. 오른쪽 점선은 clip = 1 기준선이다.
핵심 관찰: ID/OOD는 72.39/63.16, 58.18/49.41, 45.71/37.71이다. gradient norm은 0.38, 4.54, 65.46이다.
의미와 주의: accumulation이 커질수록 gradient norm이 clipping 기준선을 크게 넘는다. 저자들은 물리 배치 자체가 최적화 변수라고 결론 내린다(author-stated). gradient norm 증가가 정확도 하락의 원인인지는 이 실험만으로 분리되지 않는다(analyst-inference).
확인 상태: viewed

Table 3 — 안정화 장치 누적 ablation

무엇을 보여주는가: Base에서 시작해 + gate, + grad clip, + dropout, + relative noise(final)를 차례로 더할 때 GoL ID, GoL OOD, Sudoku의 평균 ± 표준편차(seed 3개). post-cycle normalization과 EMA는 모든 설정에 고정이다.
읽는 법: 굵은 글씨 = 최고, 밑줄 = 2위.
핵심 관찰: GoL ID 61.95±3.32 → 64.24±2.59 → 62.41±1.56 → 61.82±0.34 → 66.08±0.11. GoL OOD 최고는 + gate의 65.89±2.77이고 final은 65.80±0.13이다. Sudoku 최고는 + grad clip의 98.50±0.20이다.
의미와 주의: 표준편차는 단계마다 꾸준히 줄지만 평균은 오르내린다. 저자들은 주된 효과를 “seed에 민감한 문제를 재현 가능한 문제로 바꾸는 것”으로 해석한다(author-stated). 최종 설정이 모든 열에서 최고는 아니다(analyst-inference).
확인 상태: viewed

Figure 6 — 구조와 테스트 시점 확장 ablation

무엇을 보여주는가: (a) 파라미터 수를 맞춘 공유 모듈 대 분리 모듈의 도메인별 점수. (b) ACT 예산을 학습 때보다 늘렸을 때의 정확도 변화(%p).
읽는 법: (a) 진한 막대 = Shared, 빗금 막대 = Separate, y축 Task score(%). (b) y축 Δ exact accuracy(p.p.).
핵심 관찰: (a) 공유/분리 = Maze 84.7/75.4, ARC-AGI-1 35.6/25.3, Arithmetic 98.8/98.4, Sudoku 97.8/98.4, Game of Life 63.8/67.9. (b) Arith ID +0.65, Arith OOD +3.02, GoL ID +0.03, GoL OOD +0.03, Sudoku +2.00, Maze +0.26, ARC-1 +0.12, ARC-2 +0.03.
의미와 주의: 저자들은 계층 분리가 보편적 개선 요인이 아니며, 테스트 시점 계산도 도메인 의존적이라고 해석한다(author-stated). (a)의 ARC-1 값과 Arithmetic 값이 Table 2의 어느 지표에 해당하는지는 명시되지 않았다. (b)에서 예산을 얼마나 늘렸는지도 원문에 없다(unknown).
확인 상태: viewed

Wiki 연결

Less is More - Recursive Reasoning with Tiny Networks — TRM 원 논문이다. 이 논문은 TRM의 이득 중 무엇이 구조이고 무엇이 학습법인지를 분리하려 한다.
Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — 계층·halting의 필요성을 의심한 선행 분석으로 인용된다(Section 2). 반복 안정화라는 같은 문제를 다룬다.
Reasoning with Latent Thoughts - On the Power of Looped Transformers — 잠재 반복 계산 흐름의 출발점으로 인용된다(Section 2).
Looped Transformers as Programmable Computers — weight-tied 반복이 알고리즘을 실행할 수 있다는 이론적 배경이다.

BibTeX

@article{shakhvalieva2026whatlimits,
  title   = {What Limits Recursive Reasoning Models: Optimization, Architecture and Test-Time Scaling},
  author  = {Shakhvalieva, Yuliana and Kharchev, Dmitrii and Bezrukov, Viacheslav and Fedorova, Inessa and Bocharov, Dmitry and Oseledets, Ivan and Ternovskii, Valerii},
  journal = {arXiv preprint arXiv:2609.39967},
  year    = {2026}
}