순환 트랜스포머의 동적 연산 할당 이해하기 (ANIRA)
개요
언어 모델은 보통 모든 토큰에 같은 양의 계산을 쓰지만, “다음 토큰 맞히기”의 난이도는 토큰마다 다르다. 그래서 같은 블록을 여러 번 돌리는 recurrent(looped) Transformer(층을 새로 쌓지 않고 한 블록을 반복 적용하는 구조)에 “이 토큰은 몇 번 돌릴지”를 스스로 정하게 하는 token-level adaptive computation(토큰별 적응 연산) 연구가 늘었다. 이 논문의 통찰은 정작 그 주장이 검증된 적이 없다는 것이다: 기존 연구는 자연어 벤치마크의 과제 단위 정확도로만 평가했는데, 자연어에서는 “이 토큰이 얼마나 어려운가”를 관측할 수 없으니, 모델이 어려운 토큰에 연산을 더 쓰는지 아니면 우연한 상관을 따르는지 판별할 방법이 없었다. 그래서 저자들은 난이도를 손잡이처럼 돌릴 수 있는 시험장, 즉 complexity-controlled evaluation(난이도 통제 평가)을 만든다 — 식 길이 L이 곧 계산량 Θ(L)인 모듈러 산술(MANO), 노드 수 N이 탐색 비용인 그래프 질의(BREVO), 입력 크기가 난이도인 CLRS 알고리즘 23종, 파서로 토큰별 모호성을 잴 수 있는 문법 생성 언어(LANO). 그리고 아키텍처 차이가 결과를 오염시키지 않도록 한 틀 ANIRA 안에서 “결정 시점”만 바꾼 두 변형을 비교한다: 반복 전에 깊이를 미리 정하는 ANIRA-E(early)와, 매 반복 뒤 “멈출까?”를 묻는 ANIRA-O(online). 결과는 둘로 갈린다. 난이도 라벨을 준 적이 없는데도 두 모델 모두 어려운 입력에 더 깊은 반복을 할당했다(MANO·BREVO·CLRS, LANO에서 parse-space expansion과 Spearman +0.666/+0.456). 그러나 연산을 더 쓰는 것이 알고리즘을 배웠다는 뜻은 아니었다 — 학습 때 보지 않은 입력 크기에서는 내삽 범위 안에서도 정확도가 급락했다. 또 BREVO 회귀 분석에서 ANIRA-E의 할당은 “허브 노드의 out-degree” 같은 정적 구조 단서로, ANIRA-O의 할당은 DFS 깊이·탐색 frontier 크기 같은 알고리즘 실행 상태로 설명되어, 성능이 비슷해도 전략은 근본적으로 달랐다. 자연어 수학(GSM-Symbolic)에서는 고정 깊이 8 대비 평균 깊이를 ANIRA-O가 약 4.1로 줄이면서 정확도 손실은 작았지만, 더 어려운 분할(P1, P2)에 깊이를 더 쓰지는 않았다.
Implication: “적응 연산이 난이도를 따른다”는 주장은 난이도가 정의된 곳에서만 검증 가능하며, 연산을 더 쓰는 것(alignment)과 알고리즘을 일반화하는 것(generalization)은 별개다 — looped 모델의 halting을 해석하려면 정지 결정이 무엇을 보고 있는지(구조 단서인가, 실행 상태인가)를 따로 측정해야 한다.
📎 https://arxiv.org/abs/2602.08864
배경과 문제
무엇이 있었나. 적응 연산의 시작은 ACT(Adaptive Computation Time, Graves 2016)로, RNN이 입력마다 반복 횟수를 스스로 정하게 했다. Universal Transformers(Dehghani et al. 2019)가 이를 Transformer의 반복 층에 적용했고, PonderNet(Banino et al. 2021)은 ACT의 안정성 문제를 고치려 매 반복마다 halting decider(정지 판정기)를 두고 조기 종료를 정규화로 유도했다(Section 2, author-stated). 저자는 이들이 “텍스트 생성의 토큰 단위 적응에는 적용되지 않았다”고 본다. 반복 없는 Transformer 쪽에는 Depth-Adaptive Transformer(Elbayad et al. 2020, 토큰별 조기 종료), Mixture-of-Depths(Raposo et al. 2024, 토큰마다 쓸 층 선택), CALM(Schuster et al. 2022, 확신도 기반 조기 종료)이 있다(Section 2).
최근 흐름. Huginn(Geiping et al. 2025)은 recurrent Transformer로 test-time 추론을 키웠지만 적응 연산으로 학습되지는 않았다. Mixture-of-Recursions(Bae et al. 2025)는 재귀 연산 위의 라우팅을, 동시기 연구 Ouro(Zhu et al. 2025)는 단계별 halting으로 recurrent Transformer를 확장했으나 평가는 주로 자연어 벤치마크였다(Section 2, author-stated).
안 풀린 문제. 토큰별 적응 연산은 “토큰 단위” 주장을 하면서도 토큰 단위 난이도가 정의된 조건에서 평가된 적이 드물다. 자연어 벤치마크에서는 토큰 난이도가 관측되지 않고, 아키텍처·라우팅·학습 휴리스틱과 뒤엉켜 있다. 그래서 학습된 할당 정책이 실제 계산 복잡도와 맞는지, 해석·검증이 어려운 우연한 상관인지 알 수 없다(Section 1, author-stated). 저자는 이를 “적응 연산은 측정·해석 문제”로 재정의한다(Section 7).
이 논문의 차이. (1) 난이도를 매개변수로 조절할 수 있는 평가 과제 묶음, (2) 결정 시점 외의 요인을 고정한 실험용 틀 ANIRA — 저자는 ANIRA를 “성능 최적화된 대안이 아니라 통제된 실험 도구”라고 명시한다(Section 1), (3) 이를 이용한 정렬·일반화·결정 시점·학습 동역학 분석.
계보(analyst-inference). Prelude–Recurrent–Coda 구조는 Huginn에서 왔고(Section 3.1에서 명시), 연구 질문은 vault의 Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers(수렴을 정지 신호로 쓰는 적응 깊이)와 같은 축 위에 있다. 이 논문은 새 정지 방법을 제안하기보다, 학습된 정지가 “무엇을 따라가는지”를 측정하는 쪽이다.
지표
| 지표 | 뜻 | 단위·범위 | 방향 | 분모·정규화 | 측정 조건 | 위치 |
|---|---|---|---|---|---|---|
| Compute allocation d̄ | 답 토큰에 할당된 평균 반복 깊이 | 반복 횟수, 1–D | 정확도가 같다면 낮을수록 효율적. “난이도와의 정렬”을 볼 때는 난이도에 따라 증가해야 함 | 답 토큰 평균, 추론 시 결정적 깊이 선택 규칙(Section 3.2.3) 사용 | MANO·BREVO·CLRS(·DEPO, GSM-Symbolic) | Section 5.3 |
| Expected depth E_q[d] | 토큰별 기대 깊이(샘플링 분산을 줄이려 기대값 사용) | 반복 횟수 | 난이도 proxy와 같은 방향이어야 함 | 토큰 위치별 | LANO | Section 5.3, 각주 5 |
| Accuracy | 정답 비율(GSM-Symbolic은 exact accuracy) | 0–1 또는 % | 높을수록 좋음 | 입력 크기·난이도별 또는 split별 | 각 과제 | Figure 3, Table 3 |
| Spearman correlation | 토큰별 기대 깊이와 parser 기반 난이도 proxy의 순위 상관 | −1–+1 | expansion·덧셈·곱셈 proxy와는 +, parse convergence와는 −가 “이상적” | 모델 생성 LANO 문자열 | LANO | Table 1, Section 5.2 |
| 회귀 계수 + R² | 답 토큰별 할당 연산을 구조·알고리즘 상태 특징으로 선형 회귀한 계수 | 계수(부호·크기), R² 0–1 | 절댓값이 클수록 강한 연관 | 그래프 크기 N 통제 | BREVO | Table 2, Appendix A.8 |
| Cost_exec(π) | Σ_d |A_d|, 각 반복에서 활성 토큰 수의 합 | 토큰·반복 수 | 낮을수록 저렴 | — | 정의용(Section 4 논증) | Section 4 |
| 연산·KV 절감 비율 | non-adaptive(최대 깊이 D) 대비 d̄/D | 비율 | 낮을수록 절감 | 길이 T 시퀀스 평균 | 이론적 근사 | Section 3.2.5 |
latency·FLOPs·wall-clock 같은 실측 효율 지표는 보고되지 않았다(원문 전체 확인, author-stated 범위).
방법과 벤치마크 구성
ANIRA 구조(Section 3.1, Figure 1). Prelude(입력을 맥락 표현으로 바꾸는 작은 causal Transformer 층 묶음) → Recurrent core(최대 D번 반복 적용하는 공유 Transformer 블록) → Coda(최종 표현을 다음 토큰 logit으로 바꾸는 층 묶음). decider(깊이 결정기)는 모델의 다른 FFN과 같은 형태의 FFN이다(각주 1). decider head는 전체 파라미터의 약 8%다(Section 4). 모델 규모는 hidden 512에서 총 약 13.7M, MANO용 hidden 256에서 약 5.1M 파라미터다(Appendix A.2). Llama 2 구현(HF Transformers)을 수정해 만들었다(A.2).
- ANIRA-E: Prelude 출력 h⁽⁰⁾만 보고 깊이 분포 q_i(d)=softmax를 한 번에 예측한다. 학습은 straight-through Gumbel–Softmax(이산 선택을 미분 가능하게 근사하는 기법) 샘플링(식 6), 추론은 최빈 깊이 argmax_d q_i(d)(Section 3.2.3).
- ANIRA-O: 매 반복 d 뒤 h⁽ᵈ⁾를 보고 정지 확률 α_i⁽ᵈ⁾를 낸다. 이것들이 남은 확률 질량 r_i⁽ᵈ⁾를 통해 깊이 분포 q_i(d)를 만든다(Section 3.1). 학습은 CDF 역변환 샘플링(식 7)+straight-through, 추론은 u_i=0.5로 두어 누적확률이 0.5를 넘는 첫 깊이(중앙값), 끝까지 안 넘으면 D(Section 3.2.3).
학습 목표(Section 3.2.1). L = L_CE + γ·L_C. L_C는 토큰별 깊이 분포와 고정 prior p(d) ∝ b^(−d)의 KL 평균이고, 식 4로 −H(q_i) + (log b)·E_q[d] + const로 분해된다. 즉 “기대 깊이를 줄이라”는 압력과 “깊이 분포가 한 점으로 쏠리지 말라”는 엔트로피 항이 함께 걸린다. b=1이면 엔트로피 항만 남는다(각주 2). L_CE는 답 토큰에만, L_C는 모든 토큰(질문 포함)에 건다.
Passthrough mechanism(Section 3.2.2, 식 5). 학습 그래프를 고정하려고 반복은 항상 D번 펼친다. 대신 활성 표시 a_i⁽ᵈ⁾=1[d ≤ d*_i]로, 종료한 토큰은 그 뒤 반복에서 표현이 그대로 복사된다. 그래서 (i) Coda는 각 토큰의 종료 깊이 표현을 받고, (ii) 다른 토큰은 종료 토큰의 고정된 key·value를 attention으로 본다.
Allocation-aware KV cache(Section 3.2.4). 추론 중 반복 d의 attention은 과거 토큰의 같은 깊이 KV가 필요한데, 일찍 끝난 토큰에는 그 깊이 KV가 없다. 그래서 깊이 min(d, d*_i)의 KV를 쓴다. 반복 블록의 연산·KV 메모리는 d̄에 비례해, 최대 깊이 모델 대비 약 d̄/D로 준다(Section 3.2.5).
E와 O를 공정하게 비교하는 조건(Section 4). Cost_dec(결정 비용)이 Cost_exec(실행 비용)보다 충분히 작아야 한다는 “compute-limitedness” 제약을 둔다. 그렇지 않으면 E의 decider가 O의 반복 계산을 미리 다 흉내 내 비교가 무의미해진다. 저자는 반복 블록이 항등 사상을 흉내 낼 수 있다는 가정 아래 O가 E의 모든 정책을 재현할 수 있지만 그 역은 아니라고 논증하고, 따라서 같은 성능에서 O가 더 적은 반복을 쓸 것으로 “기대”한다. 단 “실제로는 학습 동역학과 과제가 중요한 역할을 한다”고 덧붙인다(author-stated). 이 논증은 형식적 정리가 아니라 비형식 주장이다(analyst-inference).
평가 과제(Section 5).
| 과제 | 내용 | 난이도 손잡이 | 근거 |
|---|---|---|---|
| MANO | 전위 표기 모듈러(mod 23) 산술식, 연산자 {+,−,×}, 피연산자 0–22 | 연산자 수 L, 계산량 Θ(L) | Section 5.1 |
| BREVO | DAG와 질의 노드 → 질의가 의존하는 노드 집합을 위상 순서로 출력 | 노드 수 N(차수 ≤4라 탐색 비용 ≈ 선형) | Section 5.1 |
| CLRS-Text | 30개 알고리즘 과제. 알고리즘 trace를 빼고 질문만으로 학습해 trace만 다른 변형을 합쳐 23개 고유 과제 | 입력 크기 n(정의는 Appendix Table 4) | Section 5.1 |
| LANO | PCFG 3b(비단말 16, 단말 3, 규칙 35, 최대 유도 깊이 7)에서 생성한 합성 언어 | 단일 손잡이 없음 → 증분 PCFG parser로 토큰별 proxy(parse-space expansion, parse convergence, 덧셈·곱셈 횟수) | Section 5.2, 각주 6 |
| GSM-Symbolic | 초등 수학 문장제. MAIN < P1(+1 clause) < P2(+2 clause) | 절 수 | Section 6.6 |
설정. MANO는 L ∈ {3,…,16}, BREVO는 N ∈ {3,…,30}에서 과제별로 학습, CLRS는 전 과제 multitask 학습. 최대 반복 D=6, MANO만 D=14(Section 6.1). 하이퍼파라미터(LR, γ, b)는 ANIRA-E로 작은 grid search 후 ANIRA-O에 그대로 사용(Appendix Table 5). 자연어 실험은 McLeish et al.(2025)의 8-recurrence depth-recurrent Llama에 두 decider를 붙여 Nemotron-CC-Math-v1-4plus 약 5B 토큰으로 finetune(Section 6.6). baseline은 같은 모델의 고정 깊이 D=8(Table 3). 부록 A.4에서는 가중치 공유 없는 표준 Transformer와 non-adaptive 모델도 비교한다.
주요 결과
| 주장 | 근거 위치 | 관찰/수치 | 조건·주의 | 출처 라벨 |
|---|---|---|---|---|
| 할당 깊이가 과제 난이도를 따른다 | Figure 2, Section 6.1 | MANO에서 L, BREVO에서 N이 커질수록 두 변형 모두 d̄ 증가 | 난이도 감독 신호 없이 발생 | author-stated |
| CLRS에서도 깊이가 입력 크기를 따른다 | Figure 3, Appendix A.1(Figure 7) | 대표 4과제에서 d̄가 입력 크기와 함께 증가, 부록은 “모든 CLRS 과제에서 일반적으로 성립” | 그래프상 증가가 단조롭지 않고 들쭉날쭉한 과제도 있음 | author-stated (단조성 주의는 analyst-inference) |
| 합성 언어에서 토큰 단위 정렬 | Table 1 | parse-space expansion E +0.666 / O +0.456, convergence −0.264 / −0.111, 덧셈 +0.618 / +0.463, 곱셈 +0.645 / +0.490 | 기대 깊이 사용, 모델 생성 문자열 위 | author-stated |
| 정렬 ≠ 알고리즘 일반화 | Figure 3, Section 6.2 | 두 변형 모두 학습에 없던 입력 크기에서 정확도 급락, 내삽 범위 안에서도 | 저자 해석: 크기별 해법을 배웠다 | author-stated |
| 외삽 실패는 반복·적응으로도 크게 안 고쳐진다 | Appendix A.4, Figure 9 | MANO L>16에서 네 모델(E, O, non-adaptive, 가중치 비공유 Transformer) 모두 급락. O가 최대 L에서 상대적으로 덜 떨어짐 | 부록 결과, 외삽 영역 정확도는 전반적으로 낮음 | author-stated |
| 학습은 “학습→연산 축소” 두 단계, 쉬운 것부터 | Figure 4, Figure 5, Section 6.3 | 초기에 깊이를 최대 근처까지 올렸다가, 정확도를 유지하며 깊이를 줄임. 작은 L·N부터 먼저 풂 | MANO·BREVO 과제별 학습에서 관찰 | author-stated |
| O가 E보다 낮은 평균 깊이로 수렴하는 경향 | Section 6.4, Figure 2 | 과제별 학습(MANO, BREVO, DEPO)에서 O의 d̄가 E보다 낮음 | ”많은 과제에서” — 모든 경우 아님. CLRS multitask 그림에서는 과제마다 다름 | author-stated (CLRS 관찰은 analyst-inference) |
| E는 구조 단서, O는 실행 상태를 따른다 | Table 2, Section 6.4 | out-degree 계수 E +0.134 / O +0.168, DFS 깊이 −0.005 / +0.302, frontier +0.047 / +0.171, newly enabled −0.079 / −0.286. R² E 0.7337, O 0.7088 | N 통제 선형 회귀, BREVO 답 토큰 | author-stated |
| 질문 토큰을 읽으면서 이미 풀기 시작한다 | Figure 6, Section 6.5, Appendix A.6 | ANIRA-E에서 r_t=1 연산자 토큰이 가장 많은 깊이, 직전 완료 subtree 크기 s_t와 함께 증가. 부분 함수 모형 R² ≈ 0.63 | ANIRA-E만, 정답 맞힌 인스턴스만 사용 | author-stated |
| 자연어 수학에서는 연산 절감은 되지만 난이도 정렬은 안 보인다 | Table 3, Section 6.6 | 정확도 MAIN 46.26(baseline) / 45.70(E) / 43.68(O), P1 23.54 / 24.06 / 23.02, P2 5.80 / 5.80 / 5.08. d̄ E 6.060→6.004→5.982, O 4.108→4.105→4.001 | baseline 고정 D=8. 어려운 split에서 깊이가 오히려 약간 감소 | author-stated |
| 추론 시 깊이 선택 규칙·임계값으로 정확도–연산 trade-off | Appendix A.5, Figure 10 | mean/median 선택은 작은 차이, 누적 임계값을 바꾸면 trade-off 조절 가능 | 부록, BREVO | author-stated |
결과가 이어지는 방식. Figure 2·3·Table 1은 “연산이 난이도를 따라간다”를 보여 주지만, 같은 Figure 3의 위쪽 정확도 패널이 바로 그 해석에 제동을 건다. 연산을 더 쓰는 행동은 학습 분포 안의 크기 신호에 맞춘 것일 수 있고, 그 자체가 알고리즘을 실행한다는 증거는 아니다. Table 2가 이 둘을 가르는 결정적 분석이다. 정확도가 비슷한 두 모델 중 ANIRA-E는 입력에서 바로 보이는 구조(허브 노드)에 깊이를 맞추고, ANIRA-O는 탐색이 얼마나 진행됐는지에 맞춘다. 마지막으로 Table 3은 자연어로 옮기면 이런 해석 자체가 어려워진다는 점을 보여 준다.
원문 내부 불일치(analyst-inference). (1) Section 3.2.3은 ANIRA-O 추론에 중앙값(u=0.5)을 쓴다고 하나, Appendix A.5는 “본문에서는 오직 분포의 mode를 썼다”고 적고, 같은 절의 Figure 10 캡션은 “ANIRA-E”라고 표기한다. 어느 쪽이 맞는지 원문에서 확정할 수 없다. (2) Section 5.1은 CLRS 고유 과제를 23개라 하고, Figure 7 캡션은 “all 21 tasks”, Table 4는 24개 문제(Segment intersection 포함, 크기 고정)를 나열한다. (3) Figure 2 캡션은 “같은 과제 성능에서 O가 더 적은 반복”이라 하지만 Figure 2 자체에는 정확도가 표시되지 않는다.
Take-home
- 한 줄 요약: 학습된 토큰별 halting은 난이도 라벨 없이도 난이도를 따라가지만, 그것이 알고리즘을 일반화했다는 뜻은 아니며, 정지를 언제 결정하느냐(미리 vs 매 단계)가 모델이 보는 신호(정적 구조 vs 실행 상태)를 바꾼다.
- 성립 범위: 5.1M–13.7M 파라미터의 소형 ANIRA, 합성·알고리즘 과제(MANO, BREVO, CLRS-Text, LANO, DEPO)와 1개 자연어 수학 설정(8-recurrence Llama finetune, GSM-Symbolic). D=6 또는 14의 작은 최대 깊이.
- 저자가 인정한 한계(
author-stated): 자연어에서는 토큰 난이도 측정이 본질적으로 어렵고, ANIRA의 할당은 자연어에서 쉽게 해석되지 않으며 단순한 난이도 개념과 상관해 보이지 않는다(Section 6.6). 일반화 실패는 반복·적응 깊이로 크게 개선되지 않는다(Appendix A.4). ANIRA는 성능 최적화 모델이 아니라 실험 도구다(Section 1). - 작성자 우려(
analyst-inference): (1) seed·반복 실행 수와 오차 막대가 Figure 6을 빼면 보고되지 않아, E와 O의 d̄ 차이나 Table 3의 1–2%p 차이가 실행 간 변동보다 큰지 알 수 없다. (2) Table 2는 상관 분석이므로 “O가 알고리즘 진행을 추적한다”는 인과적 해석은 아니다. 두 모델의 R²도 0.73 대 0.71로 비슷하다. (3) 하이퍼파라미터를 ANIRA-E 기준으로 고르고 O에 재사용해 O에 불리할 수 있다(Table 5 캡션). (4) 위의 추론 규칙 불일치가 E–O 비교 수치 해석에 영향을 줄 수 있다. - 재현성: seed·실행 횟수는 보고되지 않았다. 코드·데이터 공개 언급도 보고되지 않았다(원문 전체 확인). 자연어 실험의 base model은 HF 링크로 명시되어 있다(각주 10).
- HW2(Looped Transformers & Latent Reasoning) 관점(
analyst-inference): “looped 모델이 어려운 문제에 더 많이 생각한다”는 주장을 들을 때, 그 증거가 연산량–난이도 상관인지, 아니면 외삽 정확도까지인지를 구분하라는 반례 자료로 쓸 수 있다.
본문 도표
Figure 1 — ANIRA의 두 변형
- 무엇을 보여주는가: Prelude → Recurrent ×여러 번 → Coda로 이어지는 구조에서 (a) ANIRA-E는 Prelude 출력 옆의 “Depth Decider”가 토큰마다 깊이 분포를 내고 그 분포로 깊이를 고른다. (b) ANIRA-O는 반복 블록 사이마다 “Halting Decider”가 계속/정지를 판정한다.
- 읽는 법: 세로가 층(아래 입력 → 위 출력 방향 표시가 아니라 Prelude가 위, Coda가 아래). 각 행의 색 점이 토큰 표현이고, × 표시된 점이 종료되어 고정된 토큰이다.
- 핵심 관찰: 종료한 토큰은 이후 반복에서 항등 사상처럼 표현이 그대로 유지된다(캡션). 결정 위치만 다르고 나머지 구조는 같다.
- 의미와 주의: 이 “결정 시점만 바꾼 통제 비교”가 논문 전체 비교의 바탕이다(
author-stated, Section 1·3.1). - 확인 상태: viewed
Figure 2 — 난이도 대 평균 할당 깊이 (MANO, BREVO)
- 무엇을 보여주는가: 과제 난이도가 오를 때 답 토큰 평균 깊이 d̄가 어떻게 변하는지.
- 읽는 법: (a) x축 MANO 연산자 수 L(약 3–16), y축 Compute Allocation(d̄). (b) x축 BREVO 노드 수 N(약 3–30). 파란 선 ANIRA-E, 빨간 선 ANIRA-O.
- 핵심 관찰: 두 변형 모두 난이도에 따라 단조에 가깝게 증가한다. 그래프 판독으로(
analyst-inference) MANO에서 E는 약 6에서 최대 깊이 14 근처까지 올라가 큰 L에서 포화되고, O는 약 12 근처에서 끝난다. BREVO에서는 E가 약 2에서 5 근처, O는 약 4.3 근처까지 오른다. 두 과제 모두 O가 E보다 아래에 있다. - 의미와 주의: 저자는 “같은 과제 성능에서 O가 더 적은 반복을 고른다”고 쓰지만(캡션,
author-stated), 이 그림에는 정확도가 없어 같은 성능인지는 Figure 4·5 등 다른 근거로 봐야 한다(analyst-inference). MANO의 E는 최대 깊이 D=14에 닿아 큰 L에서 더 늘 여지가 없었을 수 있다(analyst-inference). - 확인 상태: viewed
Table 1 — LANO에서 토큰별 기대 깊이와 난이도 proxy의 Spearman 상관
- 무엇을 보여주는가: 모델이 생성한 문법 문자열의 각 토큰에서, 기대 깊이가 증분 parser로 잰 난이도 proxy와 얼마나 같은 순서로 움직이는지.
- 읽는 법: 행은 proxy 4개. parse-space expansion(가능한 해석이 늘어남), parse convergence(해석이 하나로 모임), 덧셈·곱셈 연산 수(parser가 한 일의 양). 열은 E와 O.
- 핵심 관찰: E +0.666 / −0.264 / +0.618 / +0.645, O +0.456 / −0.111 / +0.463 / +0.490. 부호는 모두 저자가 “이상적”이라 한 방향(expansion·연산 +, convergence −)과 맞다.
- 의미와 주의: 상관 크기는 E가 O보다 모두 크다. 이는 “O가 실행 상태를 더 잘 따른다”는 BREVO 결과(Table 2)와 다른 방향의 신호이며, 원문은 이 차이를 따로 해석하지 않는다(
analyst-inference). - 확인 상태: viewed
Figure 3 — CLRS 대표 4과제: 입력 크기 대 정확도(위)·할당 깊이(아래)
- 무엇을 보여주는가: (a) SORT, (b) STRING MATCHING, (c) CONVEX HULL, (d) MAXIMUM SUBARRAY에서 입력 크기별 정확도와 d̄.
- 읽는 법: x축 Input Size. 위 패널 y축 Accuracy(0–1), 아래 패널 y축 Compute Allocation. 초록 점은 학습 때 본 입력 크기. 파랑 E, 빨강 O.
- 핵심 관찰: 아래 패널에서 d̄는 입력 크기와 함께 대체로 증가한다. 위 패널은 학습한 크기(초록 점)에서 정확도가 높고 그 사이·바깥 크기에서 0 근처로 떨어지는 톱니 모양이다(그래프 판독,
analyst-inference). SORT의 아래 패널은 E가 O보다 위에 있지만, MAXIMUM SUBARRAY에서는 두 선이 엉켜 순서가 일정하지 않다. - 의미와 주의: 저자 해석은 “모델이 공유 알고리즘 구조가 아니라 크기별 해법을 배운다”(Section 6.2,
author-stated). 연산량–난이도 정렬과 정확도 일반화가 같은 그림 안에서 갈라지는 것이 이 논문의 핵심 증거다. - 확인 상태: viewed
Figure 4 — MANO 학습 동역학
- 무엇을 보여주는가: 학습 step에 따른 L별 정확도와 d̄, (a)(b) ANIRA-E, (c)(d) ANIRA-O.
- 읽는 법: x축 Training Step(정확도 패널 약 10만, 깊이 패널 약 25만 step까지), 색은 L=4,6,…,16.
- 핵심 관찰: 정확도는 작은 L부터 먼저 1에 닿는다. 깊이는 학습 초기에 최대(14) 근처까지 빠르게 오른 뒤, 이후 서서히 줄어 L이 작을수록 더 낮게 내려간다. 그래프 판독으로 E의 L=4가 약 7–8, O의 L=4가 약 6–7 근처까지 내려간다(
analyst-inference). - 의미와 주의: 저자는 이를 “learning” 단계와 “compute reduction” 단계로 부르고, easy-to-hard 순서가 명시적 감독 없이 나타났다고 해석한다(
author-stated). - 확인 상태: viewed
Figure 5 — BREVO 학습 동역학
- 무엇을 보여주는가: Figure 4와 같은 구성을 BREVO의 N=5,…,30에 대해.
- 읽는 법: x축 Training Step(약 25만), 색은 N.
- 핵심 관찰: 정확도는 작은 N부터 높아진다(E의 N=30은 0.4 근처에서 시작해 0.9 이상으로, 그래프 판독
analyst-inference). 깊이는 처음 최대 D=6 근처에서 시작해 점점 줄며 N에 따라 층이 갈린다. O는 N=5 기준 약 2–3 근처까지 내려간다(analyst-inference). - 의미와 주의: MANO와 같은 두 단계 패턴이다. 다만 E의 정확도 곡선이 O보다 더 흔들린다(
analyst-inference). - 확인 상태: viewed
Table 2 — BREVO 답 토큰 할당 연산의 특징 회귀 계수
- 무엇을 보여주는가: 답 토큰별 할당 깊이를 4개 특징으로 선형 회귀한 계수(그래프 크기 N 통제).
- 읽는 법: 행은 특징. hub structure(out-degree, 정적 구조), DFS traversal depth·search frontier size·newly enabled nodes(알고리즘 실행 상태). 계수 절댓값이 클수록 연관이 강하다.
- 핵심 관찰: E는 out-degree +0.134가 가장 크고 나머지는 −0.005, +0.047, −0.079로 작다. O는 DFS 깊이 +0.302, newly enabled −0.286, frontier +0.171, out-degree +0.168. R²는 E 0.7337, O 0.7088.
- 의미와 주의: 저자 해석은 “E는 구조와 난이도의 통계적 상관을 이용하고, O의 전략은 근본 알고리즘에 더 가깝다”(
author-stated). 상관 분석이며, out-degree 계수는 O에서도 E보다 크다는 점은 표에서 확인된다(analyst-inference). 특징 선택·categorical N 분석은 Appendix A.8(Table 6–10)에 있다. - 확인 상태: viewed
Table 3 — GSM-Symbolic 결과 (Nemotron-CC-Math finetune 후)
- 무엇을 보여주는가: 자연어 수학 문제에서 고정 깊이 baseline과 두 ANIRA 변형의 정확도·평균 깊이.
- 읽는 법: 행은 split(MAIN, P1, P2 — 뒤로 갈수록 절이 1개, 2개 추가). 열은 Baseline(D=8) 정확도, ANIRA-E 정확도·d̄, ANIRA-O 정확도·d̄.
- 핵심 관찰: 정확도 MAIN 46.26 / 45.70 / 43.68, P1 23.54 / 24.06 / 23.02, P2 5.80 / 5.80 / 5.08. d̄는 E 6.060 / 6.004 / 5.982, O 4.108 / 4.105 / 4.001.
- 의미와 주의: 결론을 지지하는 비교는 O가 깊이를 약 4.1로(최대 8 대비) 줄이고도 정확도 손실이 2.6%p 이내라는 점. 결론을 제한하는 예외는 어려운 split으로 갈수록 d̄가 늘지 않고 조금 줄어든다는 점이다. 저자는 “자연어에서 ANIRA의 할당은 쉽게 해석되지 않는다”고 결론짓는다(
author-stated). - 확인 상태: viewed
Figure 6 — MANO 질문 토큰에서 ANIRA-E의 할당과 parse 상태
- 무엇을 보여주는가: 답이 아니라 질문(식)을 읽는 동안 ANIRA-E가 토큰마다 쓴 깊이가 parse 상태에 따라 달라지는지.
- 읽는 법: 왼쪽은 연산자 토큰의 깊이를 r_t(현재 연산자가 아직 필요로 하는 피연산자 수: 0 루트, 2 왼쪽 자식 맥락, 1 오른쪽 자식 맥락)별 막대로. 오른쪽은 r_t=1 연산자에서 직전에 완성된 subtree 크기 s_t(x축, 0–35)에 따른 깊이. 오차 막대는 표준편차, 정답 인스턴스만 사용.
- 핵심 관찰: 그래프 판독으로(
analyst-inference) r_t=0은 약 1, r_t=1은 약 6(오차 막대가 큼), r_t=2는 약 2. 오른쪽은 s_t가 커질수록 약 4에서 13–14 근처까지 증가한다. - 의미와 주의: 저자 해석은 “모델이 마지막 답 토큰까지 계산을 미루지 않고 질문을 읽으며 parse 상태에 맞춰 연산을 더 쓴다”(
author-stated). ANIRA-O에 대한 같은 분석은 본문에 없다. - 확인 상태: viewed
Wiki 연결
- Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — 수렴(고정점)을 정지 신호로 쓰는 적응 깊이 looped Transformer. 이 논문은 학습된 halting decider가 무엇을 따라가는지 측정한다.
- Reasoning with Latent Thoughts - On the Power of Looped Transformers — looped 모델의 반복 횟수와 추론 능력의 관계. 여기서는 그 반복 횟수를 토큰마다 다르게 둘 때의 행동을 본다.
- Looped Transformers as Programmable Computers — 반복 블록이 알고리즘을 실행할 수 있다는 표현력 측면. 이 논문의 “할당은 난이도를 따르지만 알고리즘 일반화는 안 된다”와 대비된다.
- Adaptive Depth in Looped Transformers - Diagnosing Learned Halting Gates and Trajectory Readouts — 같은 HW2 묶음. 학습된 halting gate를 진단하는 후속 성격의 논문.
- Stabilizing Recurrent Dynamics for Test-Time Scalable Latent Reasoning in Looped Language Models — 같은 HW2 묶음(STARS). 반복 횟수를 늘릴 때의 안정성 문제를 다룬다. 이 논문의 “외삽 실패”와 함께 읽을 만하다.
- Training Large Language Models to Reason in a Continuous Latent Space — 잠재 공간 추론(Coconut). 서론에서 latent computation을 늘리는 흐름으로 인용된다(Hao et al. 2025).
BibTeX
@misc{moosa2026understanding,
title = {Understanding Dynamic Compute Allocation in Recurrent Transformers},
author = {Moosa, Ibraheem Muhammad and Lohit, Suhas and Wang, Ye and Chatterjee, Moitreya and Yin, Wenpeng},
year = {2026},
eprint = {2602.08864},
archivePrefix = {arXiv},
primaryClass = {cs.CL},
url = {https://arxiv.org/abs/2602.08864}
}