39분 분량

looped Transformer의 적응 깊이: 학습된 정지 게이트와 궤적 읽기 진단

Adaptive Depth in Looped Transformers - Diagnosing Learned Halting Gates and Trajectory Readouts

저자
Andrei Cristian Popescu, Haitz Sáez de Ocáriz Borde, Pietro Liò
출처
arXiv preprint (cs.LG), 2026
분류
Architecture
읽은 깊이
시작 전
리뷰
2026-10-07
Lab
University of Cambridge
Looped TransformerAdaptive DepthLearned Halting GatePonderNetEarly ExitTrajectory ReadoutFixed-prior Depth SupervisionOuro

looped Transformer의 학습된 정지 게이트는 '언제 멈출지'뿐 아니라 '어느 반복 깊이를 얼마나 학습시킬지'까지 정해 버린다 — 입력과 무관한 고정 prior로 궤적만 만들고 entropy·margin 같은 단순 읽기로 멈추면 MANO에서 학습 게이트보다 적은 반복으로 더 높은 정확도에 닿고, Ouro-1.4B/2.6B에서도 사전학습 게이트가 균일하게 Pareto 최적은 아니다

looped Transformer의 적응 깊이: 학습된 정지 게이트와 궤적 읽기 진단

개요

looped Transformer(한 블록을 여러 번 반복 적용해 계산량을 늘리는 모델)에서 “쉬운 입력은 일찍 멈추고 어려운 입력은 더 돌리는” 적응 깊이를 만들 때, 표준 방법은 PonderNet식 learned halting gate(매 반복마다 “여기서 멈출 확률”을 내는 작은 학습 모듈)다. 이 논문의 통찰은 그 게이트가 두 가지 일을 동시에 한다는 것이다. 추론 때는 멈출 깊이를 고르는 규칙이지만, 학습 때는 같은 분포 q(t|x)가 반복 깊이별 손실의 가중치가 되어 “어느 중간 상태를 얼마나 세게 가르칠지”까지 정한다. 그러니 적응 연산 성능이 나쁠 때 범인이 정지 규칙인지, 게이트가 빚어낸 trajectory(반복마다 쌓이는 은닉 상태의 궤적)인지 구분할 수 없었다. 이 결합을 끊으려고 저자들은 입력과 무관한 고정 분포로 깊이별 손실만 가중하는 fixed-prior depth supervision으로 궤적을 만들고, 멈추기는 학습 후에 entropy·top-1 확률·logit margin 같은 신호에 임계값만 거는 post-hoc readout에 맡긴다. 모듈러 산술 MANO에서 기하 prior(λ=0.3) 궤적 + logit margin은 3 seed 평균 1.38–1.55번의 반복으로 95–99% 정확도에 닿았지만, 같은 prior로 함께 학습한 linear 게이트는 95%에 2.80번이 필요하고 98%에는 끝내 닿지 못했다. MLP처럼 더 표현력 큰 게이트도 마찬가지였다. 굳힌 궤적 위에 새 게이트를 다시 학습시키면 fixed-prior 궤적에서는 강한 조기 종료가 회복되지만 게이트와 함께 학습된 궤적에서는 그 궤적의 정확도 상한(예: 최종 반복 76.1%)에 묶였다. 그래서 실패 원인은 게이트의 표현력보다 공동 학습이 만든 궤적 쪽이라는 진단이다. 공개 Ouro-1.4B·2.6B에서도 사전학습된 ponder gate는 경쟁력이 있지만 12개 모델–벤치마크 쌍 중 5쌍에서 단순 읽기가 정확도가 더 높았고 7쌍에서 반복을 덜 썼다.

Implication: looped 모델의 적응 연산은 “더 좋은 게이트를 배우는 문제”가 아니라 “멈출 신호가 드러나는 궤적을 만드는 문제 + 그 신호를 읽는 문제”로 나누어 설계해야 한다. 게이트를 학습 목표에 넣는 순간 그것은 읽기 장치이자 궤적을 바꾸는 학습 장치가 된다.

📎 https://arxiv.org/abs/2607.20519

배경과 문제

looped Transformer의 계보(Section 2.1, author-stated). 공유 블록을 반복해 계산 깊이를 파라미터 수와 분리하는 생각은 Universal Transformer(Dehghani et al. 2019), Deep Equilibrium Models(Bai et al. 2019), ALBERT의 층 간 파라미터 공유(Lan et al. 2020)에서 시작됐다. 최근에는 반복을 “잠재 계산”으로 보는 흐름(Saunshi et al. 2025, Geiping et al. 2025, Zhu et al. 2025 Ouro, Jeddi et al. 2026)이 있다. 이는 연속 은닉 상태나 latent token으로 시퀀스를 늘리는 방식(Hao et al. 2025 등)과 달리 계산이 깊이 축에 머문다. 프로그래머블 계산·길이 일반화 같은 알고리즘 과제에서의 가능성(Giannou et al. 2023 등)도 언급된다.

적응 연산의 계보(Section 2.2). ACT(Graves)와 PonderNet(Banino et al. 2021)이 확률적 정지 정책을 학습했고, 이후 Transformer·언어 모델의 적응 깊이(Elbayad et al. 2020, Raposo et al. 2024 Mixture-of-Depths, Elhoushi et al. 2024 LayerSkip 등)로 이어졌다. 최근 looped LM은 학습된 게이트나 라우터로 반복 깊이를 정한다(Zhu et al. 2025, Song et al. 2026, Bae et al. 2025 Mixture-of-Recursions). 한편 반복 없는 Transformer의 조기 종료에서는 confidence·entropy·예측 안정성 같은 값싼 기준도 쓰였다(Schuster et al. 2022 CALM, Xin et al. 2020, Zhou et al. 2020).

안 풀린 문제(Section 1, 3.2, author-stated). 학습된 정지 목표 L = E[Σ_t q_t(x)ℓ_t + β·KL(q‖π)]에서 q는 손실 안에 들어 있다. 그래서 게이트는 추론 시 정지 규칙인 동시에 각 깊이의 학습 신호 크기를 정하는 장치이고, 학습된 궤적 자체가 게이트 파라미터에 의존한다. 적응 연산이 잘 안 될 때 원인이 정지 규칙인지, 유도된 궤적인지, 둘의 상호작용인지 구분되지 않았다.

이 논문의 차이. 기존 연구가 “반복 깊이를 어떻게 동적으로 만들까”를 물었다면, 이 논문은 “성공·실패할 때 시스템의 어느 부분이 책임인가”를 묻는 진단 연구다(Section 2.2, 6). 새 아키텍처를 제안하지 않는다.

계보 연결(analyst-inference). Ouro의 Stage-II marginal-utility 게이트(Appendix A.2)는 이 논문의 post-hoc 게이트 실험 설계의 직접 출처다. 같은 HW2 묶음의 Understanding Dynamic Compute Allocation in Recurrent Transformers도 MANO와 학습된 halting을 쓰지만, 그쪽은 “할당이 난이도를 따르는가”를, 이쪽은 “게이트와 궤적 중 무엇이 성능을 결정하는가”를 묻는다.

지표

지표뜻단위·범위방향분모·정규화측정 조건위치
Average exit depth (average loops)주어진 읽기 규칙에서 실제로 실행한 반복 횟수의 평균 E_x[d(x)]반복 수, MANO 1–6, Ouro 1–4낮을수록 계산 절약평가 예제 평균모든 실험의 x축Section 4.4
Test accuracy정답 비율%높을수록 좋음테스트 예제MANO는 seed 44로 만든 테스트셋, Ouro는 held-out splitSection 4.4
D@X테스트 정확도 X%에 도달하는 데 필요한 최소 평균 깊이. 도달 못 하면 N/A반복 수낮을수록 좋음3 seed 평균 ± 표준편차MANO, X ∈ {95, 98, 99}Table 1, 2
Compute–quality (Pareto) curve읽기 임계값을 쓸어 만든 (평균 깊이, 정확도) 점들의 곡선—왼쪽 위일수록 좋음—모든 읽기Section 5.1
Forced-exit accuracy정지 규칙 없이 각 반복 t에서 강제로 예측했을 때의 정확도 — 궤적 자체의 질%이른 반복에서 높을수록 좋은 궤적난이도(연산 수)별MANOSection 3.4, Figure 5
Latency (ms/ex.), Speedup예제당 종단 지연 시간과 최종 반복 대비 배속ms, ×ms 낮을수록, 배속 높을수록 좋음최종 반복 baseline 대비NVIDIA RTX 5070 Ti, MANO와 Ouro-1.4BTable 4, Section 5.6

임계값은 검증셋(MANO seed 43, Ouro 검증 split 또는 20% 부분집합)에서만 고르고 테스트에는 고정 grid를 적용한다(Section 4.4, Appendix B.5).

방법과 벤치마크 구성

궤적과 읽기의 분리(Section 3). looped Transformer는 h_t = F_θ(h_{t−1}), t = 1…T로 궤적 τ(x) = {h_t}를 만든다. 저자는 이를 두 부품으로 나눈다.

  1. 궤적 형성(trajectory formation) — 학습 목표가 정한다.
    • Learned gate: e_t(x) = σ(g_φ(h_t))가 “아직 안 멈췄다면 t에서 멈출 조건부 확률”이고, 이것이 깊이 분포 q_t(x)를 만든다(남은 질량은 마지막 깊이 T로). 손실은 Σ_t q_t(x)ℓ_t + β·KL(q‖π). g_φ는 linear 또는 2층 MLP(Section 3.2, 4.2).
    • Fixed-prior: 손실 Σ_t π_t ℓ_t. π_t는 입력과 무관하다. uniform(π_t = 1/T) 또는 truncated geometric(π_t = λ(1−λ)^(t−1), 남은 질량은 T로). λ가 클수록 앞쪽 반복에 무게(Section 3.3). 이 모델은 정지 분포를 배우지 않으므로 따로 읽기가 필요하다.
  2. 읽기(readout) — 궤적에서 멈출 깊이를 고르는 규칙(Section 3.4, Appendix B.6).
    • fixed-depth(모든 입력을 같은 깊이에서 종료), learned gate의 누적확률 임계값 규칙 d_α(x) = min{t : Σ q_s ≥ α}.
    • confidence readout: entropy H_t, top-1 확률 C_t, logit margin M_t(1등과 2등 logit 차)가 임계값을 넘으면 종료.
    • convergence readout: 연속 예측 간 KL, logit 변화량, 은닉 상태 이동량이 임계값 아래로 떨어지면 종료.
    • forced exit: 읽기 없이 모든 깊이에서 평가해 궤적 자체의 질을 본다.
    • 임계값 grid는 검증셋 값의 0.5–99.5 백분위 사이 51점(Appendix B.5).

MANO 통제 실험(Section 4.1, Appendix B). mod 23 전위 표기 산술식, 최대 10개 연산, 연산 수를 난이도로 사용. 기존 MANO 설정과 달리 식 길이 토큰을 넣지 않아 모델이 길이로 지름길을 못 쓰게 했다. 백본은 4층·4 head·hidden 512·최대 반복 T=6. seed 42/43/44로 50k 예제씩 학습/검증/테스트 세트를 따로 생성. AdamW, lr 5×10⁻⁴, batch 1024, 40,000 step, bf16(Appendix B.3). fixed-prior는 uniform과 λ ∈ {0.2, 0.3, 0.5, 0.7}. learned gate는 β를 sweep(Appendix B.4). 추가로 길이 1–40 비트열 parity 과제(Appendix F).

Frozen-trajectory 실험(Section 5.4). 학습된 백본과 LM head를 고정하고 새 게이트만 학습한다. 이 게이트는 궤적을 바꿀 수 없어 순수한 읽기다. 목표는 (1) 같은 PonderNet식 목표, (2) Ouro Stage-II에서 착안한 marginal-utility 목표(한 번 더 반복했을 때의 실제 손실 개선을 예측) 두 가지다.

대규모 검증(Section 4.5, Appendix A.2). ByteDance의 공개 Ouro-1.4B(24층)·2.6B(48층) base checkpoint. hidden 2048, 최대 4번 반복, 7.7T 토큰 사전학습. 2단계로 학습된 PonderNet식 게이트(Stage I 공동 학습 + 엔트로피 정규화, Stage II 백본 고정 + marginal-utility). 수정·재학습 없이 그대로 평가한다. 벤치마크는 MMLU(5-shot), ARC-Easy(8-shot), ARC-Challenge(25-shot), OpenBookQA(0-shot), HellaSwag·CommonsenseQA(10-shot).

주요 결과

주장근거 위치관찰/수치조건·주의출처 라벨
학습된 정지 정책 없이도 fixed-prior 궤적 + 단순 confidence 읽기로 효율적 조기 종료가 된다Table 1, Figure 2, Section 5.1기하 prior λ=0.3: entropy·top-1·margin의 D@95 1.38, D@98 1.50, D@99 1.50–1.55 (fixed depth는 2.50 / 3.50 / 3.50). uniform: 읽기 D@95 2.19, D@98 2.66, D@99 N/A (fixed depth 4.50 / 6.00 / N/A)3 seed 평균 ± sd, MANOauthor-stated
fixed-prior 궤적은 난이도를 반영한다Figure 3, Appendix C.2–C.4연산 수가 많을수록 entropy가 더 늦게 내려가고 은닉 상태 이동량이 더 크다. 학습 범위 밖 식도 더 오래 불확실λ=0.3 기하 priorauthor-stated
fixed-prior + 읽기가 learned gate보다 낫다Table 2, Figure 4, Section 5.2기하 λ=0.3: fixed+margin D@95 1.38 / D@98 1.50 / D@99 1.55 vs linear gate 2.80 / N/A / N/A, MLP gate 3.58 / N/A / N/A. uniform: margin 2.19 / 2.66 vs linear 4.49 / 4.49, MLP 4.30 / N/Agate 쪽은 prior·gate 종류별 최적 β를 골라 주고, fixed 쪽은 margin 하나로 고정(게이트 쪽에 유리한 비교라고 저자 명시)author-stated
MLP 게이트는 linear보다 낫지만 최고 fixed-prior frontier에는 못 미친다Figure 4, Section 5.2그림에서 MLP 곡선이 linear보다 위, fixed-prior 읽기보다는 아래author-stated
게이트 목표는 궤적 자체를 바꾼다Figure 5, Section 5.3forced-exit에서 fixed-prior는 어려운 예제도 이른 반복에 정확한 예측이 생기지만, learned gate 궤적은 깊이별 정확도 분포가 다르다. 게이트의 정지 분포는 어려운 예제에 늦은 반복 질량을 더 주지만(난이도 인식), 늦게 멈추는 것만으로는 부족하다λ=0.3author-stated
굳힌 fixed-prior 궤적 위의 새 게이트는 강한 조기 종료를 회복한다 → 게이트 클래스 자체는 충분히 표현력 있다Figure 6(a), Appendix H(Figure 21)낮은 평균 깊이에서 최종 반복 수준 정확도. 단순 읽기도 여전히 경쟁적author-stated
공동 학습된 궤적 위의 새 게이트는 개선이 없다 → 병목은 궤적Section 5.4, Appendix H(Figure 22, 23)새 게이트가 native gate와 같은 frontier를 따라가며 궤적 질에 묶임. PonderNet식 post-hoc 목표가 marginal-utility보다 나음본문 Figure 6(b) 그림은 이 서술과 맞지 않아 보임(아래 불일치 참조)author-stated
Ouro에서 사전학습 게이트는 경쟁력 있지만 균일하게 Pareto 최적은 아니다Table 3, Figure 7, Section 5.512쌍 중 post-hoc 정확도 우위 5쌍, 반복 수 우위 7쌍, 둘 다 우위 3쌍(1.4B ARC-Easy 83.2/2.69 vs 82.9/2.72, 1.4B HellaSwag 72.9/3.13 vs 72.8/3.94, 2.6B MMLU 74.7/3.30 vs 74.4/3.33). 반례: 2.6B OpenBookQA는 post-hoc이 반복을 2.63으로 줄였지만 정확도 41.6 vs 43.4저자 명시: 여러 차이가 작고 단일 실행 결과author-stated
최적 읽기는 모델·벤치마크마다 다르다Table 3hidden cosine, hidden L2, max prob., margin, entropy가 쌍마다 번갈아 선택됨author-stated
평균 깊이 감소는 실제 지연 시간 절약으로 이어진다Table 4, Section 5.6MANO fixed prior: top-1 conf. 100.0% / 1.26 loops / 1.36×, margin 1.29×, pred. KL 99.9% / 2.32 / 1.11×, hidden disp. 99.5% / 5.80 / 0.90×(오히려 느림). learned gate 75.4% / 1.59 / 1.24×(최종 반복 76.1%). Ouro-1.4B 게이트 1.24×(CommonsenseQA)–1.58×(ARC-Easy)배속은 반복 수 감소율보다 작다(작은 반복 블록이 유일한 실행 비용이 아니므로)author-stated
parity에서도 같은 패턴Appendix F, Table 7, Figure 17–18fixed-prior confidence 읽기가 낮은 평균 깊이에서 거의 상한 정확도부록author-stated

결과의 흐름. Table 1은 “학습된 정지 정책 없이도 된다”를, Table 2와 Figure 4는 “오히려 학습된 게이트가 진다”를 보여 준다. Figure 5는 왜 지는지 답한다. 게이트 목표가 궤적을 바꾸어 어려운 예제의 중간 상태가 덜 정확해진다. Table 4b의 learned-gate 모델이 최종 반복에서도 76.1%에 그친다는 점이 이를 뒷받침한다(analyst-inference). Section 5.4는 마지막 남은 대안 설명, 즉 “게이트가 표현력이 부족하거나 덜 학습됐다”를 굳힌 궤적 실험으로 배제한다. Ouro는 궤적을 바꿀 수 없는 상황에서 읽기만 바꿔 같은 방향의 증거를 준다.

원문 내부 불일치·주의(analyst-inference).

  1. Figure 6(b): 캡션은 “Frozen learned-gate trajectory (λ=0.3, β=0.1)“인데, 그림은 (a)와 거의 같은 모양이다. y축 상한이 100이고, ponder gate가 약 1.1–1.2 깊이에서 거의 100%에 닿는다. 본문은 “공동 학습 궤적에서는 새 게이트가 개선되지 않는다”고 하고, 같은 설정(λ=0.3, β=0.1)의 Table 4b learned-gate 최종 반복 정확도는 76.1%이며, Appendix Figure 22(c)의 linear-gate 궤적 상한도 약 76%다. 따라서 Figure 6(b)는 잘못 들어간 패널일 가능성이 있다. 진단 근거로는 Appendix H의 Figure 22·23을 보는 편이 안전하다.
  2. Table 3 대 Table 4a: 같은 Ouro-1.4B·같은 벤치마크의 게이트 수치가 다르다. 예를 들어 OpenBookQA 게이트는 Table 3에서 42.8% / 3.13 loops, Table 4a에서 42.0% / 2.80 loops다. ARC-Easy도 82.9 / 2.72와 82.4 / 2.53으로 다르다. 다른 operating point를 쓴 것으로 보이지만 원문은 설명하지 않는다.
  3. “measured” 대 “estimated”: Section 5.6은 처음에 “measured end-to-end latency”라고 했다가 Ouro 부분에서는 “estimated latency”라고 쓴다. Ouro 지연 시간이 실측인지 추정인지 원문만으로는 확정하기 어렵다.
  4. Table 4a는 Ouro-1.4B의 4개 벤치마크만 다룬다. MMLU, HellaSwag, 2.6B의 지연 시간은 보고되지 않았다.

Take-home

  • 한 줄 요약: 학습된 정지 게이트는 읽기 장치이면서 궤적을 빚는 학습 장치이고, MANO에서는 두 번째 역할이 성능을 망친다. 입력 무관 prior로 궤적을 만들고 단순한 confidence 신호로 멈추는 것이 더 적은 반복으로 더 정확했다.
  • 성립 범위: 4층·hidden 512·T=6의 작은 MANO 모델(최대 10 연산)과 parity, 그리고 수정 없이 평가한 Ouro-1.4B/2.6B(T=4)의 객관식 벤치마크 6개. 생성형·장문 추론 과제는 다루지 않는다. 다만 부록 I에서 Ouro-Thinking checkpoint 진단이 있다(Table 8, 이 노트에서는 캡션만 확인).
  • 저자가 인정한 한계(author-stated): 학습된 정지를 원리적으로 부정하는 증거로 해석하지 않는다(Section 1). Ouro 결과의 여러 차이는 작고 단일 실행이다(Section 5.5). 지연 시간 배속은 반복 수 감소보다 작고, hidden-displacement 읽기는 오히려 오버헤드를 더한다(Section 5.6). Ouro에서는 prior를 바꿔 재학습할 수 없어 읽기만 바꿀 수 있었다(Section 5.5).
  • 작성자 우려(analyst-inference): (1) MANO는 기하 prior + confidence 읽기가 최종 반복 정확도 100%에 이르는 쉬운 영역이다. 더 어려워 최종 깊이도 부족한 과제에서 같은 결론이 서는지는 미검증이다. (2) Figure 6(b)·Table 3/4a 불일치(위 참조). (3) Ouro 게이트는 Stage-II에서 이미 백본을 고정하고 학습된 읽기라서, MANO의 “공동 학습이 궤적을 망친다” 진단이 Ouro에 그대로 옮겨진다고 보기 어렵다. Ouro 실험이 보여 주는 것은 “읽기만 바꿔도 경쟁적”까지다. (4) post-hoc 읽기는 읽기 종류와 임계값을 검증셋으로 고르는 이점이 있다. Table 3의 “best post-hoc readout”은 6–7종 중 최적을 고른 것이라 게이트 하나와의 비교가 완전히 대칭은 아니다.
  • 재현성: MANO 결과는 3 seed(평균 ± sd), 데이터 생성 seed 42/43/44, 하이퍼파라미터는 Appendix B에 명시. Ouro 결과는 단일 실행. 코드 공개 여부는 보고되지 않았다(원문 전체 확인).
  • HW2 관점(analyst-inference): “looped 모델이 문제 난이도에 맞춰 생각을 더 한다”는 주장을 평가할 때, 학습된 halting 분포가 난이도를 반영한다는 것(Figure 5b)과 그 분포가 좋은 compute–accuracy trade-off를 낸다는 것(Table 2)은 다른 문제라는 점을 보여 주는 자료다.

본문 도표

Figure 1 — 궤적–읽기 관점과 MANO 대표 결과

  • 무엇을 보여주는가: 왼쪽은 개념도다. 입력 → h₁, h₂, …, h_T 궤적(1. Trajectory formation, 학습 목표가 정함) → 2. Readout(learned gate, confidence, convergence, top-1 confidence 중 하나가 멈출 깊이 k를 정함). 오른쪽은 MANO(uniform prior)에서 평균 종료 깊이 대 정확도.
  • 읽는 법: 오른쪽 x축은 Average exit round(1–6), y축은 Accuracy(%, 40–100). 검정 실선이 fixed exit depth, 점선들이 fixed-prior 궤적의 읽기(entropy, top-1 confidence, logit margin, predictive KL), 수평에 가까운 선들이 MLP gate(β = 0.01, 0.1, 0.2)다.
  • 핵심 관찰: confidence 읽기는 약 2.5–3 반복에서 거의 100%에 닿는다. fixed depth는 6에서야 그 근처에 닿는다. MLP gate 곡선들은 β에 따라 대략 76%, 85%, 그리고 더 높은 수준에서 평평하게 멈춘다(그래프 판독, analyst-inference).
  • 의미와 주의: 캡션은 “fixed-prior 궤적의 post-hoc 읽기가 fixed-depth보다 낮은 깊이에서 거의 상한에 닿고 MLP gate와 같거나 낫다”고 말한다(author-stated). 게이트 곡선이 수평인 것은 그 게이트 모델의 궤적 정확도 상한이 낮다는 뜻으로 읽힌다(analyst-inference).
  • 확인 상태: viewed

Figure 2 — fixed-prior 궤적의 post-hoc 읽기 곡선

  • 무엇을 보여주는가: (a) uniform prior, (b) 기하 prior λ=0.3 모델에서 각 읽기를 임계값으로 쓸어 만든 정확도–평균 깊이 곡선.
  • 읽는 법: x축 Average exit round(1–6), y축 Accuracy(%). (a)는 40–100, (b)는 80–100으로 축 범위가 다르다. 선은 entropy, top-1 confidence, logit margin, hidden-state change, predictive KL, fixed exit.
  • 핵심 관찰: (a) confidence 세 읽기는 약 2.5 반복에서 거의 100%에 이르고, fixed exit는 직선에 가깝게 6까지 오른다. hidden-state change는 크게 뒤처진다. (b) confidence 읽기는 약 1.3–1.5 반복에서 100%에 닿는다. fixed exit는 1번째 반복 약 80%, 2번째 약 96%다. hidden-state change는 약 97%에서 오래 머문다(그래프 판독, analyst-inference).
  • 의미와 주의: 기하 prior가 앞쪽 반복에 무게를 실어 유용한 예측이 더 일찍 나타난다는 것이 저자 해석이다(author-stated). convergence 계열(특히 hidden-state change)은 confidence 계열보다 일관되게 약하다.
  • 확인 상태: viewed

Table 1 — fixed-prior frontier 요약 (3 seed)

  • 무엇을 보여주는가: uniform과 기하(λ=0.3) prior 각각에서 fixed depth와 세 confidence 읽기의 D@95, D@98, D@99.
  • 읽는 법: 값은 평균 ± 표준편차. N/A는 그 정확도에 도달 불가.
  • 핵심 관찰: uniform은 fixed depth 4.50 ± 0.71 / 6.00 ± 0.00 / N/A, 읽기 셋은 모두 2.19 ± 0.51 / 2.66 ± 0.44 / N/A. 기하는 fixed depth 2.50 ± 0.71 / 3.50 ± 0.71 / 3.50 ± 0.71, entropy와 margin은 1.38 ± 0.16 / 1.50 ± 0.16 / 1.55 ± 0.24, top-1은 1.38 ± 0.17 / 1.50 ± 0.16 / 1.50 ± 0.16.
  • 의미와 주의: 세 confidence 읽기는 거의 같은 값을 내서 어떤 confidence 신호를 쓰는지는 중요하지 않아 보인다(analyst-inference). uniform에서는 99%에 어떤 방법도 닿지 못했다.
  • 확인 상태: viewed

Figure 3 — 난이도별 궤적 신호 (기하 λ=0.3)

  • 무엇을 보여주는가: 연산 수 2, 4, 6, 8, 10으로 나눈 예제 그룹별로 (a) 예측 entropy와 (b) 은닉 상태 이동량이 반복에 따라 어떻게 줄어드는지.
  • 읽는 법: x축 Recurrent loop((a) 1–6, (b) 2–6), y축 (a) Entropy, (b) Hidden-state change. 색은 난이도다.
  • 핵심 관찰: (a) 1번째 반복의 entropy는 10 연산 약 2.0, 8 연산 약 1.25, 6 연산 약 0.55, 2·4 연산은 0 근처이고, 4–5번째 반복에서 모두 0 근처로 수렴한다. (b) 2번째 반복의 이동량은 10 연산 약 8.6, 2 연산 약 4.4이고, 반복 내내 난이도 순서가 유지된다(그래프 판독, analyst-inference).
  • 의미와 주의: 어려운 입력일수록 오래 불확실하고 천천히 수렴한다. 이것이 “정지 정책을 배우지 않은 궤적도 난이도 정보를 담는다”는 근거다(author-stated). 난이도 순서의 seed 간 Spearman 요약은 Appendix Table 5–6에 있다.
  • 확인 상태: viewed

Figure 4 — fixed-prior 읽기 대 learned linear·MLP gate

  • 무엇을 보여주는가: (a) linear gate·uniform, (b) linear gate·기하 λ=0.3, (c) MLP gate·uniform, (d) MLP gate·기하 λ=0.3. 각 패널에서 fixed-prior 모델의 읽기 곡선과, 같은 prior로 학습한 게이트 모델(여러 β)의 native gate 곡선을 겹쳤다.
  • 읽는 법: x축 Average exit round, y축 Accuracy(%). 게이트 곡선은 β별 색으로 표시된다.
  • 핵심 관찰: 게이트 곡선 대부분은 특정 정확도에서 평평하다. (a) linear는 약 55–79%, (b) linear는 β에 따라 약 52–74%, (c) MLP는 약 65–85%다. (d)에서는 MLP β=0.1이 약 97–98%까지 오르지만 fixed-prior 읽기(약 1.5 반복에서 100%)보다 더 깊은 곳에 있고, β=0.05는 약 59%다(그래프 판독, analyst-inference).
  • 의미와 주의: 저자는 “fixed-prior + confidence 읽기가 linear gate를 일관되게 앞서고, 게이트 용량을 늘리면 좋아지지만 MLP도 최고 fixed-prior frontier에 못 미친다”고 쓴다(author-stated). β에 따라 결과가 크게 흔들려 게이트 학습이 하이퍼파라미터에 민감해 보인다(analyst-inference).
  • 확인 상태: viewed

Table 2 — fixed-prior 읽기 대 learned gate (3 seed)

  • 무엇을 보여주는가: 같은 prior에서 fixed-prior + logit margin과 linear·MLP native gate의 D@95/98/99.
  • 읽는 법: 게이트 쪽은 prior·게이트 종류별 최고 β를 썼고, fixed 쪽은 margin 하나로 고정했다. 저자는 이 설정이 게이트에 유리하다고 명시한다.
  • 핵심 관찰: uniform에서는 margin 2.19 ± 0.51 / 2.66 ± 0.44 / N/A, linear 4.49 ± 0.28 / 4.49 ± 0.28 / N/A, MLP 4.30 ± 0.34 / N/A / N/A다. 기하 λ=.3에서는 margin 1.38 ± 0.16 / 1.50 ± 0.16 / 1.55 ± 0.24, linear 2.80 ± 0.30 / N/A / N/A, MLP 3.58 ± 0.36 / N/A / N/A다.
  • 의미와 주의: 기하 prior에서 learned gate는 98%에 아예 도달하지 못했다. 저자는 “궤적의 질이 적응 연산 성능을 결정한다”고 해석한다(author-stated). 이 표만으로는 게이트의 읽기 실패와 궤적 실패가 아직 분리되지 않는다. 그 분리는 Figure 5·6이 맡는다(analyst-inference).
  • 확인 상태: viewed

Figure 5 — forced-exit 정확도와 학습된 정지 분포 (기하 λ=0.3)

  • 무엇을 보여주는가: (a) 연산 수 2–10 그룹별로 각 반복에서 강제 종료했을 때의 정확도. (b) 같은 그룹별 평균 학습 정지 분포.
  • 읽는 법: x축 Loop(1–6), y축 (a) Accuracy(%), (b) Exit distribution mass(%). 선은 Fixed prior(검정), Linear β=0.01/0.05/0.1, MLP β=0.05/0.1.
  • 핵심 관찰: (a) fixed prior는 10 연산에서도 1번째 반복 약 40%, 2번째 약 86%, 이후 거의 100%다. learned gate 모델들은 10 연산의 6번째 반복에서도 linear 약 20–38%, MLP β=0.05 약 20%, MLP β=0.1 약 89%다. 2 연산에서는 모두 2번째 반복 이후 100%에 가깝다. (b) 어려운 그룹일수록 게이트가 6번째 반복에 질량을 몰아준다. MLP β=0.1은 10 연산에서 약 88%를 둔다. fixed prior 곡선은 앞쪽이 높은 모양이다(그래프 판독, analyst-inference).
  • 의미와 주의: 게이트는 난이도를 “인식”해 어려운 문제를 늦게 멈추지만, 궤적의 늦은 반복 자체가 부정확하면 늦게 멈춰도 소용없다. 이것이 저자의 핵심 진단이다(author-stated). 결정적 비교는 10 연산의 forced-exit 곡선이다.
  • 확인 상태: viewed

Figure 6 — 굳힌 MANO 궤적 위에서 새 게이트 학습

  • 무엇을 보여주는가: (a) 굳힌 fixed-prior 궤적(λ=0.3), (b) 굳힌 learned-gate 궤적(λ=0.3, β=0.1) 위에 새로 학습한 Ponder gate, Marginal utility gate와 heuristic 읽기, fixed depth를 비교한다.
  • 읽는 법: x축 Average exit depth(1–6), y축 Test accuracy(%, 약 89–100).
  • 핵심 관찰: (a) Ponder gate와 confidence 읽기는 약 1.1–1.2 깊이에서 거의 100%다. marginal-utility gate는 약 2.5 깊이에서야 98%이고, fixed depth는 1에서 약 89%, 2에서 약 98%다. (b)도 판독상 거의 같은 모양으로, ponder gate가 약 1.2에서 거의 100%다(analyst-inference).
  • 의미와 주의: 저자 해석은 (a)에 대해 “게이트 클래스는 궤적 형성과 분리되면 유용한 정지 정책을 표현할 수 있다”, (b)에 대해 “새 게이트도 native gate의 frontier를 따라가며 궤적 질에 묶인다”이다(author-stated). 다만 (b)의 그림은 이 서술, 그리고 같은 설정의 최종 반복 정확도 76.1%(Table 4b)와 맞지 않는다. 부록 Figure 22(c)는 상한 약 76%를 보여 준다. 패널이 잘못 들어갔을 가능성이 있다(analyst-inference).
  • 확인 상태: viewed

Figure 7 — Ouro 대표 읽기 비교

  • 무엇을 보여주는가: (a) Ouro-1.4B HellaSwag, (b) Ouro-2.6B MMLU에서 사전학습 ponder gate와 confidence·convergence 읽기(hidden L2, hidden RMS, hidden cosine, max prob., margin, entropy), static depth의 정확도–평균 반복 곡선. (a)에는 “Oracle earliest correct” 별표가 있다.
  • 읽는 법: x축 Average exit round(1–4), y축 Accuracy(%). (a)는 약 55–78, (b)는 약 52–75.
  • 핵심 관찰: (a) 대부분 곡선이 겹쳐 4 반복에서 약 72.8%로 모인다. oracle 별표는 약 1.9 반복에서 약 78%로, 모든 곡선보다 위에 있다. (b) gate와 entropy 곡선이 위쪽에 있고, max prob.와 hidden 계열 일부는 2–3 반복 구간에서 아래로 처진다(그래프 판독, analyst-inference).
  • 의미와 주의: 저자는 “1.4B HellaSwag에서는 post-hoc이 게이트와 같거나 낫고, 2.6B MMLU에서는 게이트가 경쟁적이나 post-hoc도 비슷하거나 나은 trade-off를 회복한다”고 쓴다(author-stated). oracle과의 큰 차이는 어떤 읽기도 궤적 안의 정답 정보를 다 쓰지 못한다는 뜻으로 읽힌다(analyst-inference). 원문은 이 점을 따로 논하지 않는다.
  • 확인 상태: viewed

Table 3 — Ouro 12개 모델–벤치마크 쌍의 게이트 대 최적 post-hoc 읽기

  • 무엇을 보여주는가: 각 쌍에서 검증셋으로 고른 게이트 operating point와 최적 post-hoc 읽기의 held-out 정확도·평균 반복.
  • 읽는 법: 열은 Gate accuracy, Gate avg. loops, Post-hoc readout(선택된 신호), Post-hoc accuracy, Post-hoc avg. loops.
  • 핵심 관찰: 1.4B는 MMLU 67.6/3.75 vs hidden cosine 67.3/3.86, ARC-E 82.9/2.72 vs 83.2/2.69, ARC-C 59.8/2.65 vs max prob. 59.5/3.12, OBQA 42.8/3.13 vs 41.6/2.95, HellaSwag 72.8/3.94 vs hidden L2 72.9/3.13, CSQA 74.7/3.43 vs 74.9/3.93이다. 2.6B는 MMLU 74.4/3.33 vs max prob. 74.7/3.30, ARC-E 87.2/3.68 vs 87.2/3.92, ARC-C 66.6/3.38 vs margin 65.8/2.90, OBQA 43.4/3.78 vs 41.6/2.63, HellaSwag 77.5/2.93 vs 77.6/3.69, CSQA 81.1/2.49 vs entropy 80.5/2.37이다.
  • 의미와 주의: 지지하는 비교는 1.4B HellaSwag(정확도 비슷, 반복 3.94 → 3.13)다. 제한하는 예외는 2.6B OpenBookQA(반복은 크게 줄었지만 정확도 1.8%p 하락)와, 정확도 우위가 대부분 0.1–0.3%p라는 점이다. 저자도 단일 실행의 작은 차이라고 인정한다(author-stated).
  • 확인 상태: viewed

Table 4 — 지연 시간 측정 (a) Ouro-1.4B, (b) MANO

  • 무엇을 보여주는가: 최종 반복 baseline, 게이트, 최적 heuristic 읽기의 정확도·평균 반복·예제당 ms·배속.
  • 읽는 법: Speedup은 최종 반복 대비 배속. (b)의 fixed prior는 기하 λ=0.3, learned gate는 같은 prior에 β=0.1. NVIDIA RTX 5070 Ti.
  • 핵심 관찰: (a) OpenBookQA는 final 43.0/4.00/99.1ms, gate 42.0/2.80/1.43×, hidden cos. 39.4/2.01/1.99×다. ARC-Easy는 84.0, gate 82.4/2.53/1.58×, margin 82.8/2.98/1.34×다. ARC-Challenge는 60.2, gate 59.5/2.65/1.51×, hidden L2 59.7/2.86/1.40×다. CommonsenseQA는 75.6, gate 75.1/3.23/1.24×, margin 75.4/3.31/1.21×다. (b) fixed prior는 final 100.0/6.00/0.066ms, top-1 100.0/1.26/1.36×, margin 100.0/1.26/1.29×, pred. KL 99.9/2.32/1.11×, hidden disp. 99.5/5.80/0.90×다. learned gate는 final 76.1/6.00, gate 75.4/1.59/1.24×다.
  • 의미와 주의: 평균 깊이가 실제 시간 절약의 대리 지표로 쓸 만하다는 것이 저자 결론이다(author-stated). MANO에서 6 → 1.26 반복(약 4.8배 감소)이 1.36×에 그치는 것은 반복 블록 외의 고정 비용이 크다는 뜻이다(analyst-inference). Table 3과의 수치 불일치, “measured/estimated” 혼용은 위 주요 결과 절 참조.
  • 확인 상태: viewed

Wiki 연결

BibTeX

@misc{popescu2026adaptive,
  title         = {Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts},
  author        = {Popescu, Andrei Cristian and S{\'a}ez de Oc{\'a}riz Borde, Haitz and Li{\`o}, Pietro},
  year          = {2026},
  eprint        = {2607.20519},
  archivePrefix = {arXiv},
  primaryClass  = {cs.LG},
  url           = {https://arxiv.org/abs/2607.20519}
}