고정점 추론자: 안정적이고 적응적인 심층 루프 트랜스포머

Digest: Context: 트랜스포머가 스도쿠·미로 같은 조합적 추론(여러 단계를 거쳐 답을 좁혀가는 문제)을 풀려면, 같은 연산 블록을 여러 번 반복하는 looped 구조(층을 새로 쌓는 대신 한 블록을 재귀적으로 다시 통과시키는 방식)가 효율적이다. 하지만 루프를 깊게 돌릴수록 신호가 폭발하거나 사라지는 신호 전파 문제가 생겨, 실제로는 깊이를 충분히 활용하지 못한다. Insight: 저자들의 핵심 깨달음은 두 가지다. 첫째, 깊은 일반 트랜스포머에서 검증된 pre-norm(연산 전 정규화)+residual scaling(잔차 경로에 작은 계수를 곱해 활성값을 억제) 조합이 looped 구조에서도 활성값을 수학적으로 유계(bounded)로 묶고 수렴을 보장한다는 것(Thm1·Thm2). 둘째, 루프가 더 이상 상태를 바꾸지 않는 fixed-point(고정점, 입력=출력이 되는 평형 상태)에 도달했다는 사실 자체를 “이제 그만 멈춰라”는 종료 신호로 쓸 수 있다는 것이다. Solution: 이 통찰로부터 FPRM(Fixed-Point Reasoning Model)이 자연스럽게 따라온다 — 잔차 r=‖z−f(z)‖/‖f(z)‖ 가 임계값 τ(0.1) 아래로 떨어지면 자동으로 멈추고(난이도가 낮으면 일찍, 높으면 늦게 멈춤), damping(직전 상태와 새 출력을 η:1−η로 섞어 진동 억제, Thm3)으로 수렴을 안정화하며, 외부에 별도의 정지 정책(ACT 같은 학습된 halting 모듈)을 두지 않는다. Evidence: 단 7M 파라미터의 FPRM이 27M의 계층형 baseline을 능가한다 — 스도쿠 94.2% vs HRM(27M) 55.0%·EqR 93.0, 미로 87.0%, ARC-1 47.5% vs TRM 44.6·HRM 40.3 (Table 1). 적응성의 직접 증거로 state-tracking 과제 A₅에서 FPRM 98.1%인 반면 외부 정지 모듈을 붙인 +ACT는 65.3%로 오히려 악화됐고, 스도쿠 난이도가 올라갈수록 실제 사용 층수(effective layer)가 비례해 늘어났다(Fig5). ablation에서 pre-norm+scaling은 post-norm보다 깊이를 약 2배(~8000 vs ~4000 step) 활용했다. Implication: 적응적 연산(쉬운 문제엔 적게, 어려운 문제엔 많이 계산)을 위해 HRM처럼 명시적 계층(hierarchy)이나 별도 정지 학습기를 설계할 필요 없이, 신호 전파를 안정화하기만 하면 fixed-point 수렴이 그 자체로 난이도 적응 메커니즘이 된다 — 즉 “구조를 더하는 것”이 아니라 “동역학을 안정화하는 것”이 핵심이라는 방향 전환을 제시한다. Limitations: 검증이 스도쿠·미로·ARC 같은 알고리즘/퍼즐 과제에 한정되어 자연어 추론에서의 일반화는 미확인이고, Transformer 백본에만 적용됐으며, 더 어려운 ARC-2에서는 6.2%로 URM(14M, ≥16.0)에 열세였다. Open Questions: fixed-point halting이 자연어처럼 단일 정답·명확한 수렴점이 없는 도메인에서도 유효한가? ARC-2 같은 고난도에서 열세인 원인이 수렴 동역학의 한계인지 단순 용량 부족인지, 그리고 damping·implicit differentiation(Neumann 급수 절단으로 역전파 비용을 줄이는 기법, Prop1)이 더 큰 스케일에서도 안정적으로 작동하는지는 열려 있다.

---

섹션별 요약

Abstract

조합적 추론(compositional reasoning)이 필요한 과제에서 루프 아키텍처(looped architecture)는 단계별 절차 학습에 유리한 귀납적 편향을 제공하지만, 루프 횟수가 늘어날수록 심층 신경망과 동일한 신호 전파 문제(signal propagation problem)가 발생한다는 사실이 본 논문의 출발점이다. 이 문제를 해결하기 위해 저자들은 사후 정규화(post-norm) 대신 사전 정규화(pre-norm) 레이어와 잔차 스케일링(residual scaling) 파라미터를 도입하여 활성값을 유계(bounded) 상태로 유지하는 방법을 제안한다. 이를 기반으로 고정점 수렴(fixed-point convergence)을 종단간 정지 기제(end-to-end halting mechanism)로 삼는 트랜스포머 기반 모델 FPRM(Fixed-Point Reasoning Model)을 설계하였으며, 감쇠 반복(damped iteration)과 적응적 감쇠(adaptive damping) 알고리즘으로 진동 문제를 이론적으로 해결한다. FPRM(7M 파라미터)은 Sudoku-Extreme에서 Pass@1 94.2%, Maze-Hard에서 87.0%, ARC-1에서 Pass@2 47.5%를 달성하여 최대 27M 파라미터 규모의 계층형 베이스라인을 능가하며, 퍼즐 난이도에 비례해 연산량을 적응적으로 조절함을 입증한다.

저자 contribution

• 사전 정규화(pre-norm)와 연결된 잔차 스케일링(tied residual scaling)을 도입하여 루프 트랜스포머의 신호 전파 문제를 해결하고, Theorem 1·2를 통해 반복값의 유계성 및 수렴성을 이론적으로 보장한다.
• 고정점 수렴을 종단간 정지 기제로 활용하는 FPRM 프레임워크를 제안하고, 감쇠 반복(Theorem 3)과 FPOpt 알고리즘으로 진동을 억제하여 입력 난이도에 따른 적응적 연산 배분을 실현한다.
• 계층 구조 없이 7M 파라미터만으로 Sudoku, Maze, state-tracking, ARC-AGI 벤치마크에서 더 큰 계층형 기준 모델(최대 27M)을 능가하는 성능을 달성한다.

왜 이 연구를 하는가?

핵심 질문: post-norm(사후 정규화)을 pre-norm(사전 정규화)으로 전환하되, 활성값(activation magnitude)이 지수적으로 폭발하지 않도록 “다른 방식”으로 묶을 수 있는가?

기존 접근법의 한계

한계	설명
신호 전파 문제와 표현력 간 상충	looped 아키텍처에서 루프 횟수가 늘어나면 사실상 네트워크 깊이가 증가하고, 깊은 비-looped 네트워크에서와 동일한 신호 소실·폭발 문제가 발생한다. 기존 모델 HRM·TRM은 post-norm으로 활성값을 제한하지만, 이는 깊은 네트워크에서 오히려 피하는 방식이며 표현력을 희생한다.
할팅(halting) 기제의 비적응성 또는 실패	기존 접근법은 루프 횟수를 고정(적응 불가)하거나, 외부 모듈 ACT(Adaptive Computation Time)를 사용한다. 실험적으로 ACT는 실질적 적응성을 제공하지 못하며, HRM·TRM은 너무 일찍 멈추거나 과도하게 반복하는 경향이 있다.
pre-norm 전환 시 잔차 크기의 지수적 증가	pre-norm은 신호 전파 측면에서 우수하지만, 반복이 깊어질수록 잔차 스트림(residual stream)의 크기가 지수적으로 커져 훈련이 불안정해진다. 이 문제를 해결하는 구조적 방법이 부재했다.

핵심 통찰

• looped 아키텍처에서 루프 = 깊이임을 직시하면, pre-norm + residual scaling(잔차 스케일링)의 조합으로 활성값 폭발을 막으면서 신호 전파를 개선할 수 있다.
• 외부 ACT 모듈 없이도, 반복 자체의 fixed-point(고정점) 수렴 여부를 할팅 기제로 삼으면 입력 난이도에 자연스럽게 연산량을 비례시킬 수 있다.

Introduction

테스트타임 연산(test-time compute) 확장은 현대 추론 시스템의 핵심 과제다. 이를 위한 두 가지 주요 흐름으로 Chain-of-Thought(CoT, 사고 연쇄 방식)과 looped 아키텍처(루프 반복 구조)가 있다. Looped 아키텍처는 같은 파라미터 블록을 반복 적용하는 방식(z_{i+1} = f_θ(z_i; x))으로, 단계적 절차 학습에 유리한 귀납적 편향(inductive bias)을 제공한다. 그러나 루프를 많이 돌수록 실질적 깊이가 증가하며, 깊은 비-looped 네트워크와 동일한 신호 전파 문제(신호 소실·폭발)가 나타난다. 기존 looped 모델인 HRM과 TRM은 post-norm(사후 정규화)으로 활성값을 제한해 이 문제를 우회하지만, 이는 깊은 네트워크 연구에서 오히려 기피하는 방식으로 표현력을 손해 본다. 반면 pre-norm(사전 정규화)은 신호 전파에 유리하지만, looped 설정에서는 잔차 크기가 지수적으로 증가해 훈련이 불안정해진다. 할팅 기제에서도 기존 방법은 루프 횟수를 사전 고정하거나 외부 ACT(Adaptive Computation Time, 적응적 연산 시간 모듈)를 사용하는데, 실험적으로 ACT는 실제 적응성을 제공하지 못하는 것으로 보고된다. 이러한 배경에서 저자들은 핵심 질문을 제기한다: “post-norm을 pre-norm으로 전환하되, 활성값을 다른 방식으로 묶을 수 있는가?” 이에 대한 답으로 FPRM(Fixed-Point Reasoning Model, 고정점 추론 모델)을 제안하며, pre-norm과 학습 가능한 residual scaling(잔차 스케일링 파라미터)의 결합으로 안정성을 확보하고, fixed-point 수렴(고정점 수렴) 자체를 end-to-end 할팅 기제로 삼아 난이도 적응성을 구현한다.

관련 연구 포지셔닝: Universal Transformer/looped 모델(Dehghani 2019, Geiping 2026, Wang 2025) 대비 계층적 루핑 구조를 폐기하면서 성능을 개선한다. Deep Equilibrium Models(DEQ)가 준-뉴턴법(Broyden·Anderson 가속)으로 고정점을 찾는 것과 달리, FPRM은 직접 고정점 반복(direct fixed-point iteration)으로 최적화를 단순화한다. 동시대 연구인 Attractor Model·Equilibrium Reasoners(EqR)가 다중 초기 추정으로 넓은 탐색을 쓰는 것과 달리, FPRM은 신호 전파라는 근본 문제에 집중한다.

Methods

프레임워크 개요 — FPRM은 단일 Transformer 블록을 반복 적용하는 looped 구조에 (1) pre-norm + tied residual scaling으로 유계성(boundedness)을 보장하고, (2) 고정점(fixed-point) 수렴을 종단간(end-to-end) halting 신호로 삼으며, (3) damped 반복 + 적응적 감쇠율(adaptive damping)으로 진동을 제거하는 세 기둥으로 구성된다.

핵심 구성요소

• Pre-norm 정식화 (Eq. 2): 레이어 내 잔차 스트림(residual stream) 업데이트를 z^ℓ = α₁·z^(ℓ−1) + β₁·f^ℓ_θℓ(Norm_pre(z^(ℓ−1))) (ℓ = 1, …, 2L)로 정의한다. 정규화를 서브레이어 입력 앞에 적용(pre-norm)해 깊은 effective depth에서도 신호 전파를 유지한다. α₁(잔차 스케일)과 β₁(서브레이어 출력 스케일)은 2L개 레이어 전체에 묶여(tied) 공유되는 학습 가능 스칼라다.
• Iteration-wise 입력 혼합 + 계수 결합 (Eq. 3): 반복 사이 상태 초기화를 z^0_{i+1} = α₂·z^{2L}_i + β₂·x로 수행한다. α₂, β₂도 iteration 전체에 tied 스칼라이며, 유계성 보장을 위해 β₂ = 1 − α₂·α₁^{2L}, β₁ = β₂·(1−α₁)/(1−α₁^{2L})의 결합 조건(coupling constraint)을 만족하도록 강제된다. 0 ≤ α₁, α₂ < 1이면 Theorem 1에 의해 iterate가 유계(||z^0_∞|| ≤ ||x|| + α₂·c_f)이고, α₂·λ_f < 1 (λ_f: Lipschitz 상수)이면 Theorem 2에 의해 선형 수렴(||f_θ(z_i;x)−z_i|| ≤ (α₂·λ_f)^i · ||f_θ(z_0;x)−z_0||)이 보장된다.
• Fixed-point halting (잔차 기준 정지): 각 반복 후 상대 잔차 r_i = ||z_i − f_θ(z_i;x)||_∞ / (||f_θ(z_i;x)||_∞ + ε)를 계산하여 r_i < τ (τ = 0.1)이면 수렴으로 판정하고 반복을 중단한다. 외부 ACT 모듈 없이 모델 자체 상태로 halting을 결정한다.
• Damped 반복 맵 + Algorithm 1 (FPOpt): 진동(oscillation) 제거를 위해 damped 맵 g_{η,θ}(z;x) := η·f_θ(z;x) + (1−η)·z (η ∈ (0,1))을 사용한다. Theorem 3에 따르면 Jacobian 고유값의 실수부가 1 미만이면 damped 반복이 원래 f_θ의 고정점을 보존하면서 국소 수렴한다. FPOpt(Algorithm 1)는 초기 η₀에서 시작해, 잔차 개선 없이 P 스텝 연속 경과 시 η ← γ·η로 감쇠율을 줄이는 적응적 감쇠 전략이다(γ ∈ [0.9, 0.99+], P ∈ {5, 10}).
• 학습 알고리즘 (Algorithm 2 — Truncated-BPTT + Deep Supervision): 학습 시 k 반복 단위 창(window)으로 역전파를 자른다(truncated BPTT). 그레이디언트는 암묵적 미분(implicit differentiation)을 Neumann 급수로 근사해 dz⋆/dθ ≈ Σ_{j=0}^{k−1} J^j · P로 계산한다. Proposition 1은 이 근사 오차가 √D·σ^k/(1−σ) (σ = ||J||₂ < 1)로 지수적으로 감소함을 보인다. 각 k-스텝 창 끝마다 예측 헤드를 붙여 크로스엔트로피 손실을 계산하는 deep supervision을 적용하며, 창 사이에서 상태 z를 detach해 메모리를 제한한다. 추론 시에는 k = 1(단일 스텝)로 FPOpt가 수렴 판정을 담당한다.

입력 → 출력 흐름: 입력 x → 최초 상태 z^0_0 = β₂·x 초기화 → 매 반복 i에서 2L개 pre-norm 서브레이어 순차 계산 z^0 → … → z^{2L} → z^0_{i+1} = α₂·z^{2L}_i + β₂·x로 다음 반복 전달 → 잔차 r_i < τ면 수렴 선언 후 예측 헤드로 출력.

기존 방법과의 차별점

비교 대상	FPRM의 차이
post-norm 기반 looped 모델 (HRM, TRM)	post-norm은 활성화 크기를 제한하지만 신호 전파 문제 유발; FPRM은 pre-norm + residual scaling 결합 조건으로 두 문제를 동시 해결
외부 ACT 모듈	ACT는 실제 적응성 저하 유발(State-Tracking 성능 역전); FPRM은 내재적 잔차 기준으로 halting
DEQ (Deep Equilibrium Models)	DEQ는 준-뉴턴(Broyden/Anderson) 풀이; FPRM은 직접 고정점 반복으로 구현 단순화
계층적 looped 모델 (HRM)	HRM은 계층 구조로 성능 확보; FPRM은 계층 없이 더 높은 성능 (Sudoku 94.2% vs 55.0%, Table 1)

발견 (Findings)

• 발견 1 — Sudoku-Extreme 최우수 성능: FPRM(7M)은 Pass@1 기준 94.2%(Table 1)로, 동일 규모 TRM(7M) 74.7%·EqR(7M) 93.0%를 상회하며 4배 큰 HRM(27M) 55.0%도 크게 앞선다.
• 발견 2 — 적응적 계산량이 실제로 작동함: State-Tracking A₅(길이 128)에서 FPRM 98.1%±2.2% vs TRM+conv 91.4%±2.3%이고, 외부 적응 모듈을 붙인 TRM+conv+ACT는 오히려 **65.3%±2.2%**로 역전 악화됐다(Table 1). Sudoku 난이도(빈칸 수)에 비례해 유효 레이어 수가 증가한다(Fig 5).
• 발견 3 — ARC-2 및 Maze-Hard 에서의 한계: ARC-2 Pass@2에서 FPRM(7M) **6.2%**는 TRM(7M) 7.8%·URM(14M) ≥16.0%에 모두 뒤진다. Maze-Hard에서는 FPRM(7M) **87.0%**가 TRM(7M) 85.3%를 소폭 앞서나 Attractor Model(27M) **93.1%**에는 미치지 못한다(Table 1).

Results

추론 벤치마크 비교 (Table 1) — FPRM(7M)은 Sudoku-Extreme Pass@1 **94.2%**로 TRM(7M) 74.7%·EqR(7M) 93.0%·HRM(27M) 55.0%를 능가한다. ARC-1 Pass@2에서는 FPRM(7M) 47.5% > TRM(7M) 44.6% > HRM(27M) 40.3%. Maze-Hard Pass@1은 FPRM(7M) 87.0% > TRM(7M) 85.3%이지만 Attractor Model(27M) 93.1%에는 못 미친다.

부정 결과: ARC-2 (Table 1) — FPRM(7M) **6.2%**로 TRM(7M) 7.8%·URM(14M) ≥16.0%에 뒤져, 알고리즘 과제 밖 일반화의 한계를 시사한다.

적응적 계산량 (Table 1, Fig 5) — State-Tracking A₅(길이 128): FPRM 98.1%±2.2% vs TRM+conv 91.4%±2.3% vs TRM+conv+ACT 65.3%±2.2%(ACT가 악화). S₅: FPRM 98.8%±0.9% vs TRM+conv+ACT 96.2%±3.2%. Fig 5는 Sudoku 빈칸 수에 따라 FPRM의 중앙값 유효 레이어 수가 비례 증가하고 25~75 백분위 구간도 일관됨을 보인다.

Ablation — (Fig 2) 잔차 스케일링 없는 pre-norm은 깊은 유효 레이어에서 발산, post-norm은 유계이나 깊이가 늘어도 표현력 개선 없음, pre-norm+잔차 스케일링만이 안정성과 신호 전파를 동시에 달성. (Table 2, Sudoku) α₁=0.75/α₂=0.25 초기화가 **94.23%**로 최고, α₁=0.25/α₂=0.75는 **78.10%**로 최저(약 16%p 차). (Fig 7) pre-norm+스케일링은 유효 레이어 ~8,000에서, post-norm은 ~4,000에서 포화(2배 효율). (Fig 8) γ를 크게 하면 정확도 92%→95%, 유효 레이어 10,000→70,000으로 증가; P의 영향은 최소.

Discussion

FPRM의 핵심 기여는 계층적 루핑 구조 없이도 pre-norm + residual scaling + fixed-point halting만으로 적응적 추론을 달성할 수 있음을 보인 것이다. 기존 연구들이 HRM·TRM처럼 계층 구조에 의존하거나 ACT 모듈을 외부에 붙이는 방식을 택한 것과 달리, FPRM은 아키텍처 내부의 신호 전파 문제를 선결 과제로 삼아 단순화된 설계로 동등 이상의 성능을 실현했다. Sudoku-Extreme에서 7M 모델이 27M HRM(55.0%)을 94.2%로 압도한 결과(Table 1)는 파라미터 효율 측면에서 계층 구조보다 신호 전파 안정성이 더 중요한 병목임을 시사한다.

선행 연구와의 비교에서 가장 주목할 점은 ACT 모듈과의 관계다. 외부 ACT가 오히려 적응성을 저해할 수 있다는 것(State-Tracking A₅에서 91.4% → 65.3%)은 기존 설계 철학에 대한 반증이며, fixed-point 수렴 자체를 halting 기준으로 삼는 내재적 메커니즘의 우위를 뒷받침한다. DEQ와의 차이 역시 중요하다: DEQ는 준뉴턴 방법으로 고정점을 탐색하지만 FPRM은 직접 반복과 damped iteration map으로 구현을 단순화했다. 이론적으로 Theorem 1(유계성)·Theorem 2(수축)·Theorem 3(damping 안정화)·Proposition 1(truncated-BPTT 오차 경계)이 학습·추론 안정성에 수학적 근거를 제공하며, 특히 결합 조건(β₂ = 1−α₂·α₁^{2L})이 유계성과 수렴을 동시에 보장한다는 점은 이론 기반 설계임을 보여준다. ARC-2에서의 상대적 부진(FPRM 6.2%, TRM 7.8%, URM ≥16.0%)은 자연어나 추상적 시각 패턴으로의 일반화가 아직 미완임을 암시한다[추정].

이론적 의의

• 신호 전파 문제의 이론적 해결: looped 아키텍처에서 post-norm의 activation 억제 vs pre-norm의 residual 폭발이라는 딜레마를 residual scaling 파라미터(α₁, α₂)의 결합 조건으로 해소했다. Theorem 1·2가 각각 유계성·수축 수렴을 보장함으로써 “pre-norm looped Transformer는 발산한다”는 암묵적 통념에 이론적 반례를 제시한다.
• halting 메커니즘의 내재화: 외부 모듈로 종료를 결정하는 ACT와 달리 fixed-point 잔차(r_i)를 기준으로 입력 난이도에 비례한 계산을 모델 내부에서 자동 배분한다 — test-time compute 스케일링에서 “외부 오라클 없는 난이도 인식”의 개념 증명.
• 계층 구조의 불필요성 증명: HRM·TRM이 계층적 루핑으로 성능을 높인 반면 FPRM은 계층 없이 동등 이상 성능을 달성(Sudoku 94.2% vs TRM 74.7%) — “추론 능력 향상의 병목이 계층성이 아닌 신호 전파 안정성”이라는 설계 원칙을 제안한다[추정].

Discussion Points

• 논쟁점: ACT 추가 시 적응성 저해(A₅ 91.4%→65.3%)는 기존 adaptive computation 문헌과 충돌하며, 이 열화가 ACT 일반의 문제인지 TRM+conv라는 특정 조합의 문제인지 추가 검증이 필요하다. ARC-2에서 FPRM(6.2%)이 TRM(7.8%)에 뒤지는 이유가 fixed-point halting의 한계인지 데이터 부족(~1000 샘플)인지도 불분명하다.
• 검증할 가정: (1) “fixed-point 수렴 = 추론 완료”라는 기준이 자연어 생성·복잡한 시각 과제에서도 유효한가; (2) Theorem 2의 수축 조건(α₂·λ_f < 1)이 학습된 네트워크에서 항상 만족되는지 사후 분석 부재; (3) FPOpt의 η 적응 감소가 수렴 속도-고정점 품질 트레이드오프를 최적화한다는 가정이 이론적으로 미보장[추정].
• 후속 연구: (1) 자연어 reasoning benchmark(GSM8K, BIG-Bench)에서 적응적 halting 행동 검증; (2) state-tracking에서 O(log n) 복잡도+튜링 완전성 동시 달성 아키텍처 탐색(저자 명시 열린 과제); (3) Transformer 외 아키텍처(SSM 계열)에 동일 원칙 적용; (4) 추론 예산 제약 하 정확도-지연 Pareto frontier 분석[추정].

---

실험 결과 상세

메인 결과 (Table 1)

Model/Method	파라미터	Dataset/Task	Metric	Score	vs. TRM(7M)
FPRM	7M	Sudoku-Extreme	Pass@1	94.2%	+19.5%p
TRM	7M	Sudoku-Extreme	Pass@1	74.7%	(baseline)
EqR	7M	Sudoku-Extreme	Pass@1	93.0%	+18.3%p
HRM	27M	Sudoku-Extreme	Pass@1	55.0%	−19.7%p
FPRM	7M	Maze-Hard	Pass@1	87.0%	+1.7%p
TRM	7M	Maze-Hard	Pass@1	85.3%	(baseline)
Attractor	27M	Maze-Hard	Pass@1	93.1%	+7.8%p
FPRM	7M	ARC-1	Pass@2	47.5%	+2.9%p
TRM	7M	ARC-1	Pass@2	44.6%	(baseline)
HRM	27M	ARC-1	Pass@2	40.3%	−4.3%p
FPRM	7M	ARC-2	Pass@2	6.2%	−1.6%p
TRM	7M	ARC-2	Pass@2	7.8%	(baseline)
URM	14M	ARC-2	Pass@2	≥16.0%	+8.2%p
FPRM	7M	State-Tracking A₅ (len=128)	Acc	98.1% ± 2.2%	+6.7%p
TRM+conv	7M	State-Tracking A₅ (len=128)	Acc	91.4% ± 2.3%	(sub-baseline)
TRM+conv+ACT	7M	State-Tracking A₅ (len=128)	Acc	65.3% ± 2.2%	−26.1%p
FPRM	7M	State-Tracking S₅ (len=128)	Acc	98.8% ± 0.9%	+2.6%p
TRM+conv+ACT	7M	State-Tracking S₅ (len=128)	Acc	96.2% ± 3.2%	(sub-baseline)

어블레이션 — 잔차 스케일링 초기화 (Table 2, Sudoku-Extreme Pass@1)

α₁ (잔차 스트림 스케일)	α₂ (이터레이션 믹싱 스케일)	Sudoku Pass@1
0.75	0.25	94.23% (최고)
0.25	0.75	78.10% (−16.13%p)

어블레이션 — 심층 활용도 (Fig 7)

정규화 방식	포화 유효 레이어 수	비고
Pre-norm + Residual Scaling	~8,000	안정적 심화
Post-norm	~4,000	2배 덜 효율적

프레임워크 다이어그램

graph TB
    A["입력 x"] --> B["초기 상태 z0 설정<br/>(z0 = β₂·x)"]
    B --> C["Pre-norm 블록<br/>Norm_pre(z)"]
    C --> D["2L 레이어 순전파<br/>(α₁·z + β₁·f_θ(Norm(z)))"]
    D --> E["잔차 스케일링<br/>(Residual Scaling: α₁, β₁ 학습 가능)"]
    E --> F["이터레이션 믹싱<br/>z0_next = α₂·z2L + β₂·x"]
    F --> G["고정점 잔차 계산<br/>r_i = ||z - f(z)||_∞ / ||f(z)||_∞"]
    G --> H{"r_i < τ<br/>(τ=0.1)?"}
    H -- "Yes (수렴)" --> I["심층 감독 헤드<br/>(Deep Supervision Head)<br/>→ 예측 출력"]
    H -- "No (미수렴)" --> J["FPOpt 댐핑 조정<br/>g(z) = η·f(z) + (1-η)·z"]
    J --> K{"patience P 초과<br/>&& r > τ?"}
    K -- "Yes" --> L["η ← γ·η<br/>(감쇠율 γ 적용)"]
    K -- "No" --> C
    L --> C
    I --> M["최종 출력"]

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	✅	GitHub 공개: https://github.com/nilskiKonjIzDunava/fprm
데이터 공개	✅	Sudoku-Extreme, Maze-Hard, ARC-1/2, State-Tracking 모두 공개 벤치마크. 훈련용 augmentation 스크립트는 별도 확인 필요
하이퍼파라미터	⚠️	τ=0.1, γ∈[0.9,0.99+], P∈{5,10}, α₁=0.75/α₂=0.25(Sudoku 최적) 명시. ARC/Maze/State-tracking별 lr·batch·epoch은 부재
실험 환경	⚠️	GPU 종류·수, 훈련 시간, 소프트웨어 버전 미명시
통계적 신뢰도	⚠️	State-Tracking은 ±표준편차 보고. Sudoku/Maze/ARC는 단일 점수, 시드 반복 횟수 미명시
종합 등급	B	코드·데이터셋 공개로 재현 시도 가능하나, 일부 하이퍼파라미터·환경 정보 미비로 완전 재현에 추가 노력 필요

주장별 신뢰도

#	주장	근거	신뢰도
1	FPRM(7M)이 Sudoku에서 TRM(7M) 대비 +19.5%p, 4배 적은 파라미터로 HRM(27M) 능가	Table 1 (94.2% vs 74.7% vs 55.0%)	🟢
2	Pre-norm+잔차 스케일링이 post-norm 대비 유효 레이어 활용 2배	Fig 7 (~8,000 vs ~4,000 포화)	🟢
3	FPRM이 과제 난이도에 비례해 연산량 적응	Fig 5 + Theorem 1-3	🟢
4	ACT 기반 halting이 State-Tracking A₅ 성능을 오히려 저하	91.4%→65.3% 역전 (Table 1)	🟡 (단일 태스크)
5	FPRM이 ARC-2에서 URM(14M, ≥16%) 대비 열세(6.2%)	Table 1 (저자 한계 인정)	🟢

읽기 난이도: ⭐⭐⭐ — 고정점 이론(Banach 수축 정리), truncated BPTT, implicit differentiation, pre-norm/post-norm 트레이드오프, Lipschitz 연속성 이해가 전제. 배경: Transformer 기초, Universal Transformer, DEQ, ACT.

관련 연구 비교 매트릭스

선정 근거: TRM·HRM은 FPRM이 직접 능가를 주장하는 동일 벤치마크 상의 looped Transformer 계열 직접 비교 대상, Universal Transformer는 looped/recurrent-depth의 기반 선행, DEQ는 fixed-point를 다른 수치 방법으로 달성하는 대안 패러다임, EqR/Attractor는 fixed-point 관점을 공유하는 동시대 병렬 연구다.

축	FPRM (본 논문)	TRM (7M)	HRM (27M)	Universal Transformer	DEQ	EqR / Attractor
핵심 접근	Pre-norm + 잔차 스케일링으로 bounded looping; fixed-point 수렴 halting; adaptive damping(FPOpt)	Recursive/looped, post-norm, 외부 ACT halting	계층적 looping, post-norm, ACT halting	Looped/recurrent-depth + ACT; post-norm [추정]	준-뉴턴(Broyden/Anderson) 고정점 탐색; implicit diff	fixed-point 관점, 다중 초기 추정(broader search)
핵심 메트릭	Sudoku 94.2; Maze 87.0; ARC-1 47.5; ARC-2 6.2; A₅ 98.1	Sudoku 74.7; Maze 85.3; ARC-1 44.6; ARC-2 7.8; A₅ 91.4(+conv)	Sudoku 55.0; ARC-1 40.3	미수록 [추정]	미수록 [추정]	EqR Sudoku 93.0; Attractor Maze 93.1
계층 구조	없음 (non-hierarchical)	재귀(준계층)	명시적 계층	없음	없음(평형)	없음(평형)
halting 기제	내재적 fixed-point 잔차(r<τ)	고정 or ACT	ACT	ACT	수렴 판정	수렴 판정(넓은 탐색)
확장성	adaptive damping γ로 유효 레이어 10K→70K; 난이도 비례 자동 할당	ACT 사용 시 A₅ 성능 저하(65.3%)	27M로 더 큼; 외부 ACT 의존 [추정]	심층 확장 시 신호 전파 문제 내재 [추정]	임의 깊이 등가; 계산 비용 높음 [추정]	다중 초기값으로 오버헤드 [추정]
한계	알고리즘 과제만·Transformer 한정·log복잡도 미해결(저자 명시)	ACT halting 적응성 실패 사례	27M에도 Sudoku 55.0%로 낮음; 계층 필요	halting 적응성 제한 [추정]	준뉴턴 역전파 복잡	신호 전파 명시 해결 불명 [추정]
코드 공개	✅ (github.com/nilskiKonjIzDunava/fprm)	❌(파일 내 미기재)	❌	❌ [추정]	❌ [추정]	❌

[추정] 표기는 본 논문 추출 텍스트에 수치·정보가 명시되지 않은 항목. TRM 수치는 본 논문 Table 1 수록값.

---

원자적 인사이트 (Zettelkasten)

💡 신호 전파 안정화만으로 명시적 계층 없이 적응 추론이 가능하다

유형: 이론적

루프 트랜스포머에 깊은 트랜스포머의 안정화 레시피(pre-norm + residual scaling)를 이식해 활성값을 유계로 묶으면(Thm1·Thm2), HRM류가 도입한 명시적 계층 구조 없이도 과제 난이도에 연산량을 맞추는 적응 추론이 나타난다. 7M FPRM이 27M 계층형 baseline을 스도쿠에서 94.2% vs 55.0%로 능가한 것은, 적응성의 원천이 “구조 추가”가 아니라 “동역학 안정화”임을 시사한다.

핵심 조건/맥락: 루프가 수렴하는(수축 사상, α₂λ_f<1) 동역학을 가질 때. 검증은 알고리즘/퍼즐 과제(스도쿠·미로·ARC)에 한정.
활용 가능성: 적응적 연산이 필요한 모델 설계 시, 새 정지 모듈/계층을 추가하기 전에 백본의 신호 전파 안정성부터 점검하는 진단 우선순위.

💡 Fixed-point 수렴 잔차가 외부 학습 정지기(ACT)보다 나은 내재적 halting 신호다

유형: 실험적

루프 출력이 더 이상 변하지 않는 정도(상대 잔차 r=‖z−f(z)‖/‖f(z)‖<τ)를 종료 기준으로 쓰면, 별도 학습이 필요한 ACT(Adaptive Computation Time) 정지 정책보다 우수하다. state-tracking A₅에서 내재적 halting은 98.1%인 반면 +ACT는 65.3%로 오히려 성능을 떨어뜨렸다 — 학습된 정지 정책이 잘못된 시점에 멈추도록 과제를 왜곡할 수 있음을 보여준다.

핵심 조건/맥락: 단일 정답으로 수렴하는 평형이 존재하는 과제. 임계값 τ=0.1, damping으로 진동 억제.
활용 가능성: 적응적 깊이 모델에서 학습형 halting 게이트를 추가하기 전, 수렴 잔차 기반 무파라미터 정지를 baseline으로 먼저 시도.

💡 Pre-norm + residual scaling은 post-norm보다 루프 깊이를 약 2배 더 활용한다

유형: 방법론적

루프 트랜스포머에서 정규화 위치(pre-norm)와 잔차 스케일링은 단순 안정화 트릭이 아니라 실효 깊이를 결정하는 레버다. ablation에서 pre-norm+scaling은 약 8000 step까지 의미 있게 깊이를 활용한 반면 post-norm은 약 4000 step에서 한계에 도달했고, 초기화 α₁=0.75/α₂=0.25는 94.23%, 나쁜 초기화는 78.10%로 16%p 차이를 냈다.

핵심 조건/맥락: 잔차 계수를 β₂=1−α₂α₁^{2L}로 결합해 유계성을 강제한 설정. 초기화에 민감.
활용 가능성: 깊은/반복 구조 학습 시 정규화 위치·잔차 계수·초기화를 1차 하이퍼파라미터로 탐색하면 깊이 활용도를 크게 끌어올림.

핵심 용어 정리

용어	정의
Looped (recurrent) architecture	새 층을 쌓는 대신 동일한 연산 블록을 같은 입력에 반복적으로 다시 통과시키는 구조. 파라미터를 공유하며 “실효 깊이”를 늘려 조합적 추론에 유리하나, 깊어지면 신호 전파 문제가 생긴다.
Fixed-point convergence	반복 사상 z←f(z)가 입력과 출력이 같아지는 평형 상태(z*=f(z*))로 수렴하는 것. FPRM은 이 수렴 도달 자체를 추론 종료 신호로 사용한다.
Pre-norm vs Post-norm	정규화(LayerNorm)를 서브블록 연산 “전”에 두면 pre-norm, “후”(잔차 합산 뒤)에 두면 post-norm. pre-norm은 잔차 경로를 깨끗이 보존해 깊은/반복 구조에서 신호가 더 안정적으로 흐른다.
Residual scaling	잔차(skip) 경로의 출력에 작은 계수(예: β₁, β₂=1−α₂α₁^{2L})를 곱해 반복 누적으로 활성값이 폭발하지 않도록 유계로 묶는 기법.
Damping	새 출력 f(z)와 직전 상태 z를 η:1−η로 섞어(g=ηf+(1−η)z) 반복 중 진동을 억제하고 수렴을 부드럽게 만드는 안정화 기법(Thm3). FPOpt는 η(γ decay·patience P)를 적응적으로 조절.
Adaptive Computation Time (ACT)	입력 난이도에 따라 반복 횟수를 조절하도록 별도로 “언제 멈출지”를 학습하는 정지 메커니즘. FPRM은 fixed-point 잔차 기반의 무파라미터 정지를 쓰며, A₅에서 ACT(65.3%)보다 우수(98.1%)했다.
Deep Equilibrium Model (DEQ)	무한 깊이 네트워크의 평형점을 직접 찾아 그 고정점으로 출력을 정의하는 모델 계열. FPRM의 fixed-point 수렴·implicit differentiation 학습은 DEQ 계보와 직접 닿아 있다.
Truncated BPTT	반복/시퀀스 길이가 길 때 역전파를 전체가 아닌 마지막 일부 step에 대해서만 수행해 메모리·연산을 줄이는 학습 기법. FPRM은 여기에 implicit differentiation(Neumann 급수 절단, Prop1)과 deep supervision을 결합한다.
Effective layer / depth	루프를 명목상 몇 번 돌 수 있느냐와 별개로, 모델이 실제로 의미 있게 활용하는 반복 깊이. 스도쿠 난이도가 올라갈수록 effective layer가 비례해 증가했다(Fig5).
Implicit differentiation	고정점 방정식의 풀이 과정 전체를 펼치지 않고 평형 조건에서 직접 미분해 그래디언트를 구하는 방법. Neumann 급수를 절단해 근사한다(Prop1).

관련 연구

• Less is More - Recursive Reasoning with Tiny Networks — TRM. 본 논문의 핵심 직접 baseline(7M, post-norm 재귀). FPRM이 Sudoku 94.2 vs 74.7로 능가.
• Reasoning with Latent Thoughts - On the Power of Looped Transformers — looped Transformer의 추론력 분석. FPRM의 looped 추론 패러다임의 직접 선행.
• Looped Transformers as Programmable Computers — looped 구조의 계산 능력(programmable computer) 토대.
• ARC-AGI - Abstraction and Reasoning Corpus ⭐ — FPRM의 일반화 한계가 드러나는 벤치마크(ARC-1 우위, ARC-2 열세).
• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters — test-time compute 스케일링이라는 동일 문제의식의 대안(verbalization 기반).
• Chain-of-Thought Prompting Elicits Reasoning in Large Language Models — CoT. looped 적응 연산과 대비되는 verbalization 추론 흐름.
• Transformer — 백본 아키텍처 개념.

태그

paper #2026 deep-learning looped-transformer adaptive-computation fixed-point reasoning deq architecture

---

BibTeX

@misc{movahedi2026fprm,
  title={Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers},
  author={Movahedi, Sajad and Milovanovi{\'c}, Vera and Feigin, Shlomo Libo and Theus, Alexander and Hofmann, Thomas and Boeva, Valentina and Rusch, T. Konstantin and Orvieto, Antonio},
  year={2026},
  eprint={2606.18206},
  archivePrefix={arXiv},
  primaryClass={cs.AI},
  url={https://arxiv.org/abs/2606.18206v1}
}