36분 분량

더 적을수록 더 많이: 작은 네트워크를 이용한 재귀적 추론

Less is More - Recursive Reasoning with Tiny Networks

저자
Alexia Jolicoeur-Martineau
출처
arXiv preprint, 2025
분류
Reasoning
읽은 깊이
Unread, 시작 전
리뷰
2026-06-20
Recursive ReasoningParameter EfficiencyARC-AGI

단일 2층 7M 재귀 네트워크가 HRM·대부분 LLM을 어려운 퍼즐 추론에서 능가

더 적을수록 더 많이: 작은 네트워크를 이용한 재귀적 추론

Digest: Context — ARC-AGI(인간에겐 쉽지만 AI에겐 어려운 추상 추론 퍼즐) 같은 과제는 거대 언어 모델조차 무너지는 영역으로, Deepseek R1(671B 파라미터)은 Sudoku-Extreme에서 0%, ARC-AGI-1에서 15.8%에 그친다. 직전 대안인 HRM(Hierarchical Reasoning Model, 계층적 추론 모델)은 서로 다른 주파수로 도는 두 개의 작은 네트워크를 두고, 역전파 비용을 줄이려 IFT(Implicit Function Theorem, 음함수 정리에 기반한 고정점 1-step 근사)를 쓰며 이를 뇌의 위계 구조에 빗대어 정당화했다. Insight — 저자는 이 생물학적·고정점 서사가 실제로는 불필요하며, 두 네트워크와 고정점 근사가 오히려 성능을 갉아먹는 군더더기라고 본다. 작은 데이터에서 재귀 자체가 일종의 암묵적 정규화(implicit regularization, 과적합을 막는 부수효과)로 작동한다는 관찰이 핵심이다. Solution — TRM(Tiny Recursive Model, 작은 재귀 모델)은 단 하나의 2층 네트워크 7M 파라미터로, 답 변수 y와 잠재 추론 상태 z 둘만 들고 z를 n=6회 갱신한 뒤 y를 1회 갱신하는 묶음을 T=3회 반복하며, 고정점 근사 없이 재귀 전 구간을 그대로 역전파(full backpropagation through recursion)한다. Evidence — TRM-Att(7M)는 ARC-AGI-1 44.6% / ARC-AGI-2 7.8%로 HRM(27M)의 40.3% / 5.0%를 능가하고, Sudoku-Extreme 87.4%(vs HRM 55.0%), Maze-Hard 85.3%(vs HRM 74.5%)를 기록하며, 파라미터가 0.01%도 안 되는데도 R1·o3-mini·Gemini 2.5 Pro를 앞선다. 절제 실험이 인과를 못 박는다 — 고정점식 1-step 그래디언트로 바꾸면 Sudoku가 87.4%→56.5%로 붕괴하고, EMA(가중치 지수이동평균)를 빼면 79.9%, 두 네트워크로 분리하면 82.4%로 떨어진다. Implication — ‘더 적을수록 더 많다’는 제목처럼, 더 큰 모델·더 정교한 이론적 정당화가 아니라 전부 미분 가능하게 둔 단순한 재귀가 일반화의 열쇠일 수 있다. 다만 이 방법은 지도학습·결정론적이며 좁은 퍼즐 벤치마크에 한정되고, Grok-4(1.7T)는 여전히 ARC에서 66.7~79.6%로 더 높아, 생성형·다영역 확장과 거대 모델과의 격차는 열린 숙제다.

섹션별 요약

Abstract

HRM(Hierarchical Reasoning Model)은 서로 다른 빈도로 재귀하는 두 개의 소규모 신경망을 사용해 Sudoku, Maze, ARC-AGI 등 어려운 퍼즐 과제에서 LLM을 능가한 접근법이지만, 아직 충분히 이해되지 않았으며 최적이 아닐 수 있다. 본 논문은 단 2층으로 구성된 단일 소규모 네트워크를 사용하는 훨씬 단순한 재귀 추론 접근법인 TRM(Tiny Recursive Model)을 제안한다. TRM은 7M 파라미터만으로 ARC-AGI-1에서 45% 테스트 정확도, ARC-AGI-2에서 8% 테스트 정확도를 달성하며, 이는 Deepseek R1, o3-mini, Gemini 2.5 Pro 등 대부분의 LLM보다 높은 성능으로, 해당 LLM 파라미터 수의 0.01% 미만으로 이루어진 결과다. TRM은 HRM보다 높은 일반화를 달성함으로써, 단순한 단일 네트워크 재귀 구조가 복잡한 2-네트워크 고정점 기반 설계를 능가할 수 있음을 보인다.

저자 contribution

  • 단 2층의 단일 소규모 네트워크로 구성된 재귀 추론 모델 TRM을 제안하여, HRM보다 높은 일반화 성능을 달성한다.
  • 7M 파라미터만으로 ARC-AGI-1에서 45%, ARC-AGI-2에서 8%의 테스트 정확도를 달성하며, 파라미터 수 대비 대부분의 LLM(Deepseek R1, o3-mini, Gemini 2.5 Pro)을 능가함을 입증한다.
  • HRM의 복잡한 2-네트워크·고정점(implicit differentiation) 구조를 단순한 단일 네트워크 전체 역전파 방식으로 대체할 수 있음을 보인다.

왜 이 연구를 하는가?

핵심 질문: HRM의 생물학적 가정·고정점 수렴·복잡한 ACT를 제거하고, 단일 2층 네트워크와 완전 역전파만으로 더 높은 일반화를 달성할 수 있는가?

기존 접근법의 한계

한계설명
LLM의 취약한 순차적 추론Sudoku·Maze·ARC-AGI 같이 정답이 유일한 퍼즐에서 단 한 토큰의 오류가 전체 추론을 망치며, 이를 보완하는 chain-of-thought은 대량의 데이터와 연산을 요구한다.
HRM의 구조적 복잡성과 불투명한 가정HRM은 두 네트워크·두 주기(frequency)의 재귀 구조, Implicit Function Theorem(IFT) 기반 1-step 기울기 근사, Adaptive Computational Time(ACT) 정지 조건, 생물학적 동기 등 여러 가정에 의존하며, 고정점 수렴이 보장되지 않는 상황에서 이해·최적화가 어렵다.

핵심 통찰

  • 재귀 추론에 반드시 2개의 네트워크나 고정점 근사가 필요한 것이 아니라, 단일 2층 네트워크에 재귀 전체를 완전 역전파(full backpropagation through recursion)하는 것만으로도 충분히 강력한 추론이 가능하다.
  • 파라미터 수를 7M으로 줄이면서도(HRM 27M 대비) EMA 안정화와 단순화된 one-forward-pass ACT를 결합하면 일반화 성능을 오히려 높일 수 있다.

Introduction

대규모 언어 모델(LLM)은 다양한 과제에서 뛰어난 성능을 보이지만, Sudoku·Maze·ARC-AGI처럼 정답이 유일한 퍼즐형 추론에서는 구조적으로 취약하다. 이러한 과제에서는 단 하나의 잘못된 토큰이 이후 추론 전체를 망가뜨리며, 이를 완화하기 위한 chain-of-thought 기법은 대규모 학습 데이터와 높은 연산 비용을 수반한다.

이 한계를 극복하고자 Wang et al. (2025, Sapient Intelligence)은 HRM(Hierarchical Reasoning Model)을 제안했다. HRM은 27M 파라미터의 소형 2-네트워크 구조가 두 가지 주기(frequency)로 재귀적으로 동작하며, 불과 ~1,000개의 예시만으로 대형 LLM을 상회하는 퍼즐 추론 성능을 달성했다. 그러나 HRM은 생물학적 동기에 기반한 설계 가정, 고정점 수렴과 Implicit Function Theorem(IFT) 기반 1-step 기울기 근사에 대한 의존, 그리고 복잡한 Adaptive Computational Time(ACT) 정지 메커니즘을 포함한다. 이러한 가정들이 실제로 항상 성립한다는 보장이 없고, 결과적으로 모델의 이해·분석·최적화가 어렵다는 문제가 남는다.

본 논문은 “HRM을 단순화하면서도 성능을 개선할 수 있는가?”라는 질문에서 출발한다. 이에 대한 답으로 저자들은 TRM(Tiny Recursive Model)을 제안한다. TRM은 단일 2층 네트워크 하나로 재귀 전체를 완전 역전파(full backpropagation through recursion)하며, IFT 근사 없이 직접 기울기를 계산한다. 또한 단순화된 one-forward-pass ACT와 EMA(Exponential Moving Average) 안정화를 적용해 훈련 안정성을 확보한다. 그 결과, TRM은 HRM(27M)보다 적은 7M 파라미터로 더 높은 일반화를 달성하며, ARC-AGI 벤치마크에서 LLM 파라미터 수의 0.01% 미만으로 대부분의 LLM을 능가한다.

저자가 명시한 기여

  • 재귀 추론을 위한 단일 2층 네트워크 구조(TRM) 제안 — 2-네트워크 HRM 구조를 단일 네트워크로 단순화
  • IFT 기반 1-step 기울기 근사를 제거하고 재귀 전체에 대한 완전 역전파(full backpropagation through recursion) 적용
  • 단순화된 one-forward-pass ACT 및 EMA 안정화 도입으로 훈련 안정성 개선
  • HRM(27M) 대비 7M 파라미터로 더 높은 일반화 달성, ARC-AGI에서 대부분의 LLM을 <0.01% 파라미터로 능가

Methods

TRM(Tiny Recursive Model)은 단일 2층 네트워크가 입력 x, 잠재 추론 상태 z, 그리고 현재 답 y를 받아 재귀적으로 추론하며, 전체 재귀 경로에 완전한 역전파(full backpropagation)를 적용하는 프레임워크다.

핵심 구성요소

  • 입력 임베딩 x: 원본 문제를 벡터로 변환한 표현. 재귀 매 단계마다 네트워크에 주입되어 문제 맥락을 유지한다.
  • 잠재 추론 상태 z: 네트워크 내부의 “사고 과정” 벡터. 출력 헤드로 직접 디코딩되지 않으며, 추론의 중간 결과를 누적한다. chain-of-thought(연쇄 사고)와 유사한 역할을 한다.
  • 현재 답 y: 출력 헤드로 디코딩 가능한 벡터. 각 재귀 단계에서 z를 참조하여 점진적으로 정제(refine)된다.
  • 단일 2층 Transformer 네트워크 (net): x, y, z를 모두 받아 z와 y를 갱신하는 하나의 공유 네트워크. HRM의 4층 2개 네트워크와 달리 층 수와 네트워크 수를 모두 줄여 소규모 데이터에서의 과적합을 억제한다.
  • 출력 헤드 f_O: z가 갱신된 후 y를 최종 예측으로 변환한다.
  • ACT halting(적응형 계산 종료) 모듈: 언제 재귀를 멈출지 결정한다. HRM의 Q-learning 기반 2-pass halting 대신 단일 이진 교차 엔트로피 손실 BCE(q̂, ŷ==y_true) 하나로 단순화했다.
  • EMA(지수 이동 평균, decay=0.999): GAN·확산 모델에서 차용한 기법. 파라미터의 이동 평균을 추론 시 사용하여 소규모 데이터 학습을 안정화한다.

입력 → 출력 흐름

  1. 잠재 재귀 n회 (n=6): z ← net(x, y, z) 를 n번 반복. 매 반복마다 z가 갱신되며 x는 고정 맥락으로 주입된다. 이 n번의 반복이 “깊은 사고(latent thinking)“에 해당한다.
  2. 답 정제 1회: y ← net(y, z) 를 1회 실행. z에 누적된 추론 결과를 바탕으로 현재 답 y를 갱신한다.
  3. 1 full recursion = n+1 = 7 evals. 이를 총 T번 수행한다(T=3).
  4. 학습 시 gradient 적용 방식 (deep supervision, N_sup=16): T−1번의 재귀는 gradient 없이 실행하고, 마지막 1번의 재귀에만 전체 역전파를 적용한다. 각 supervision step 사이에서 (y, z)는 detach(계산 그래프 분리)되어 다음 단계로 전달된다.
  5. 유효 깊이(effective depth): T(n+1)·n_layers = 3 × 7 × 2 = 42층에 해당하는 표현력을 단일 2층 네트워크로 달성한다.
  6. 추론 시: ACT halting 점수 q̂를 계산해 재귀를 조기 종료할 수 있다.

아키텍처 분기

  • TRM-Att: 문맥 크기가 큰 과제(ARC, 30×30 격자)에서는 표준 self-attention을 유지한다.
  • TRM-MLP: 문맥 크기가 고정·소형인 과제(Sudoku, 9×9 격자)에서는 self-attention을 시퀀스 길이 방향 MLP(MLP-Mixer)로 대체하여 연산을 단순화한다.

기존 방법(HRM)과의 차별점

항목HRMTRM
네트워크 수2개 (f_L, f_H, 각 4층)1개 (2층)
역전파 방식고정점 가정 + IFT 1-step gradient (마지막 스텝만)전체 재귀에 완전 역전파
haltingQ-learning, 2 forward pass 필요BCE 1개, 1 forward pass
답·추론 변수 분리없음 (z_H만 디코딩)y(답), z(잠재) 명시 분리
소규모 안정화없음EMA (decay=0.999)

핵심 차별점은 고정점(fixed-point) 가정과 IFT(Implicit Function Theorem) 근사를 완전히 제거하고 재귀 전체에 역전파를 흘린다는 점이다. HRM은 수렴 가정 하에 마지막 스텝의 gradient만 사용하므로 근사 오차가 발생하지만, TRM은 이 가정 없이 정확한 gradient를 사용한다. 대신 층 수를 4→2로 줄여 과적합을 제어한다.

주요 하이퍼파라미터 / 설정: AdamW (β1=0.9, β2=0.95) · n=6(latent), T=3(supervision) · batch 768 · hidden 512 · lr 1e-4 (ARC 임베딩 1e-2) · weight decay 1.0 (Sudoku/Maze), 0.1 (ARC) · EMA decay 0.999 (TRM 전용) · 학습 60K epoch (Sudoku/Maze), 100K (ARC) · N_sup=16. 데이터: Sudoku-Extreme 1,000샘플×1,000 셔플 증강, Maze-Hard 1,000×8 dihedral, ARC-AGI 800(ARC-1)+1,120(ARC-2)+160 ConceptARC×1,000 증강.

발견 (Findings)

  • 발견 1 — TRM의 LLM 대비 압도적 우위: Sudoku-Extreme에서 Deepseek R1 (671B), Claude 3.7, o3-mini-high 모두 0.0% (Table 4)인 반면, TRM-MLP (5M)는 87.4%, TRM-Att (7M)는 **74.7%**를 기록. 파라미터 수 기준 거대 LLM을 완전히 초월.
  • 발견 2 — TRM의 HRM 대비 우위: HRM (27M)이 Sudoku-Extreme 55.0%, Maze-Hard 74.5% (Table 4)인 데 비해, TRM-Att (7M)는 각각 74.7% / 85.3% 달성. 파라미터가 약 4× 적음에도 두 태스크 모두에서 HRM 상회.
  • 발견 3 — ARC-AGI 2-tries에서의 포지셔닝: TRM-Att (7M)는 ARC-AGI에서 44.6% / 7.8% (Table 5)로, HRM (27M) 40.3%/5.0%를 상회하며 o3-mini-high (34.5%/3.0%), Gemini 2.5 Pro (37.0%/4.9%)를 초과. 단, Grok-4 계열(66.7%~79.6%)보다는 낮아 한계 존재.
  • 발견 4 — Ablation이 입증하는 각 설계 결정의 기여: 완전 역전파 제거(1-step gradient)는 정확도를 56.5%로 급락(Table 1, -30.9%p), 2변수 잠재 표현(y,z)이 multi-scale z(77.6%)·단일 z(71.9%)보다 **87.4%**로 최고 (Table 2), 2층 TRM이 T=3에서 **87.4%**로 4층 HRM 61.6%를 크게 앞섬 (Table 3).

Results

어려운 퍼즐: Sudoku-Extreme & Maze-Hard (Table 4) — TRM-MLP (5M)는 Sudoku-Extreme에서 87.4%, TRM-Att (7M)는 Maze-Hard에서 **85.3%**를 달성했다. 이에 비해 Deepseek R1 (671B), Claude 3.7 (8K context), o3-mini-high는 두 태스크 모두에서 0.0%, Direct prediction (27M) 역시 0.0%로 순전파 단독으로는 해결 불가능함을 확인했다. HRM (27M)은 Sudoku 55.0%, Maze 74.5%로 거대 LLM을 크게 상회하나, 7M TRM에는 미치지 못했다. 태스크별로는 TRM-Att가 ARC-AGI·Maze에 강하고 TRM-MLP가 Sudoku에 강하다.

ARC-AGI 2-tries (Table 5) — TRM-Att (7M)는 ARC-AGI에서 **44.6% / 7.8%**를 달성해 HRM (27M) 40.3%/5.0%, o3-mini-high 34.5%/3.0%, Gemini 2.5 Pro 32K 37.0%/4.9%를 모두 상회했다. 반면 TRM-MLP (19M)는 29.6%/2.4%로 TRM-Att에 뒤처져, 아키텍처 선택이 태스크에 따라 달라짐을 시사한다. Grok-4-thinking (1.7T) 66.7%/16.0%, Bespoke Grok-4 (1.7T) 79.6%/29.4%는 TRM-Att보다 높아, 극단적 스케일 상용 모델과의 ARC-AGI 격차는 여전하다.

Discussion

본 연구의 핵심 발견은 단일 2층 재귀 TRM(Tiny Recursive Model)이 파라미터 수가 훨씬 많은 비재귀 대형 모델보다 일반화 성능이 높다는 것이다. 이 결과는 “작은 모델도 충분하다”는 실용적 함의를 넘어, 재귀적 구조 자체가 제한된 데이터 환경에서 암묵적 정규화(implicit regularization)로 기능한다는 가설을 강하게 시사한다. 파라미터를 늘리는 대신 재귀를 통해 깊이(depth)와 연산량(compute)을 확보함으로써, 과적합을 유발할 자유 파라미터를 추가하지 않고도 표현력을 높일 수 있다는 설명이 가장 유력하다. 그러나 이 정규화 효과의 이론적 근거는 아직 해명되지 않았으며, 본 연구의 중요한 미해결 과제로 남는다.

구조적으로도 주목할 점은 추론 잠재 변수(z)와 최종 출력(y)을 분리한 설계다. 이 분리 덕분에 정답이 잠재 공간으로 붕괴(collapse)되지 않으며, 해석 가능한 추론 경로(reasoning trace)가 보존된다. 이는 대형 언어 모델의 chain-of-thought와 기능적으로 유사한 역할을 한다.

한편, HRM(Hierarchical Reasoning Model)이 제안한 생물학적 정당화나 고정점(fixed-point) 수렴 이론은 본 연구에서 필요하지 않은 것으로 드러났다. 암묵적 미분(IFT) 없이 전체 역전파(full backpropagation)를 수행하는 것이 오히려 더 나은 성능을 보였다는 사실은, HRM의 성능이 계층/주파수 분리 이론에서 비롯된 것이 아님을 시사한다.

저자가 인정한 한계

  • TRM은 순수 지도학습(supervised) 기반의 결정론적(deterministic) 방식으로, 단일 정답만을 출력한다. 생성적(generative)·확률론적(probabilistic) 설정으로의 확장은 현재 범위 밖이다.
  • 평가 범위가 Sudoku, Maze, ARC-AGI 등 좁은 하드-퍼즐 벤치마크에 국한되어, 다른 도메인으로의 일반성은 검증되지 않았다.

독자 식별 가능한 추가 한계

  • 재귀가 정규화로 기능한다는 설명이 직관적으로 설득력 있으나, 이를 뒷받침할 이론적 분석(예: PAC-Bayes 경계, 암묵적 편향 분석)이 부재하다.

향후 방향

  • 생성·확률론적 설정으로 TRM을 확장하여 다중 해(multiple solutions)나 불확실성 추정을 지원 (한계: 현재 결정론적 단일 출력에 갇힘)
  • Sudoku·Maze·ARC-AGI를 넘어 언어 추론, 수학, 과학 QA 등 다양한 도메인으로 평가 확대 (한계: 좁은 벤치마크 범위)

이론적 의의

  • 재귀 깊이의 암묵적 정규화 가설: 파라미터 수 증가 없이 재귀로 깊이와 연산량을 확보하는 방식이 제한 데이터 환경에서 일반화를 향상시킨다는 실증적 증거를 제공한다. 이는 “모델 크기 스케일링”과 “연산 구조 스케일링”을 분리하는 이론적 논의의 출발점이 된다.
  • 계층 분리 설계의 chain-of-thought 유사성: y와 z를 분리하는 설계는 대형 언어 모델의 chain-of-thought 메커니즘과 구조적으로 대응되며, 작은 결정론적 모델에서도 해석 가능한 중간 추론 경로가 성능에 기여함을 시사한다.
  • HRM 이론적 정당화의 재고: 생물학적 동기와 IFT 기반 고정점 수렴이 없어도 동등 이상의 성능을 달성함으로써, HRM류 모델의 실질적 성능 원천이 계층·주파수 분리 이론이 아닐 수 있음을 제기한다.

Discussion Points

  • 논쟁점: 재귀의 암묵적 정규화 효과가 일반화 향상의 진짜 원인인지, 아니면 재귀가 특정 퍼즐 구조(반복 탐색이 유리한 Sudoku/Maze)와 상호작용하는 귀납 편향(inductive bias) 때문인지가 명확히 구분되지 않는다.
  • 검증할 가정: “재귀가 과적합 없이 깊이와 연산량을 제공한다”는 주장은 이론적으로 증명되지 않았다. PAC-Bayes 경계 분석, sharpness-aware generalization 실험, 재귀 횟수 통제 실험으로 정규화 메커니즘을 직접 측정해야 가설이 확립된다.
  • 후속연구: (1) 생성·확률론적 TRM 변형으로 다중 해 및 불확실성 추정 지원, (2) 추론·수학·과학 QA 등 다양한 도메인 벤치마크로 평가 확대, (3) z와 y 분리가 실제로 해석 가능한 추론 경로를 형성하는지 probing 실험으로 검증.

실험 결과 상세

Model/MethodDatasetMetricScore
TRM-MLP (5M)Sudoku-ExtremeAccuracy87.4%
TRM-Att (7M)Maze-HardAccuracy85.3%
TRM-Att (7M)ARC-AGI-1 (2-try)Accuracy44.6%
TRM-Att (7M)ARC-AGI-2 (2-try)Accuracy7.8%
TRM-MLP (19M)ARC-AGI-1 (2-try)Accuracy29.6%
TRM-MLP (19M)ARC-AGI-2 (2-try)Accuracy2.4%
HRM (27M)Sudoku-ExtremeAccuracy55.0%
HRM (27M)Maze-HardAccuracy74.5%
HRM (27M)ARC-AGI-1 (2-try)Accuracy40.3%
HRM (27M)ARC-AGI-2 (2-try)Accuracy5.0%
Direct Prediction (27M)Sudoku / MazeAccuracy0.0% / 0.0%
Direct Prediction (27M)ARC-AGI-1 / -2Accuracy21.0% / 0.0%
Deepseek R1 (671B)Sudoku / MazeAccuracy0.0% / 0.0%
Deepseek R1 (671B)ARC-AGI-1 / -2Accuracy15.8% / 1.3%
Claude 3.7 (16K)ARC-AGI-1 / -2Accuracy28.6% / 0.7%
o3-mini-highARC-AGI-1 / -2Accuracy34.5% / 3.0%
Gemini 2.5 Pro (32K)ARC-AGI-1 / -2Accuracy37.0% / 4.9%
Grok-4-thinking (1.7T)ARC-AGI-1 / -2Accuracy66.7% / 16.0%
Bespoke Grok-4 (1.7T)ARC-AGI-1 / -2Accuracy79.6% / 29.4%

Ablation (Sudoku-Extreme, 기준 TRM T=3,n=6 = 87.4%, Table 1)

변형Accuracyvs. 기본
TRM (T=3, n=6) 기본87.4%—
TRM + ACT86.1%-1.3%p
f_H·f_L 분리 (10M)82.4%-5.0%p
EMA 제거79.9%-7.5%p
4-layers, n=3 (10M)79.5%-7.9%p
self-attention (Sudoku)74.7%-12.7%p
T=2, n=2 (depth 12)73.7%-13.7%p
1-step gradient56.5%-30.9%p
HRM (27M)55.0%-32.4%p

잠재 피처 구성 (Table 2): y,z(2개) 87.4% > multi-scale z(7개) 77.6% > single z(1개) 71.9%.

재귀 깊이 비교 (Table 3, HRM 4층 vs TRM 2층, Sudoku)

설정 (k,T)HRM 4LTRM 2L
(1,1)46.4%63.2%
(2,2)55.0%81.9%
(3,3)61.6%87.4%
(4,4)59.5%84.2%
(6,3)62.3%OOM

프레임워크 다이어그램

graph TB
    X["입력 x (문제)"]
    Y["현재 풀이 y (디코딩 가능)"]
    Z["잠재 추론 상태 z"]

    subgraph TRM_NETWORK["단일 2-레이어 네트워크 (7M~19M 파라미터)"]
        F_Z["잠재 업데이트<br/>z &lt;- net(x, y, z)"]
        F_Y["풀이 업데이트<br/>y &lt;- net(y, z)"]
    end

    subgraph RECURSION["재귀 루프 (n회 반복 x T 수퍼비전 스텝)"]
        INNER["내부 재귀<br/>(T-1회, 그래디언트 없음)"]
        OUTER["최종 재귀<br/>(1회, 역전파 적용)"]
    end

    subgraph TRAINING["학습 보조 요소"]
        EMA["EMA 0.999"]
        DEEP_SUP["딥 수퍼비전 N_sup=16"]
        ACT["적응형 계산 시간<br/>(ACT, BCE Halting Loss)"]
    end

    X --> F_Z
    Y --> F_Z
    Z --> F_Z
    F_Z --> |"z 갱신"| F_Y
    F_Y --> |"y 갱신"| Y
    F_Z --> INNER
    INNER --> OUTER
    OUTER --> F_Y
    EMA --> F_Z
    DEEP_SUP --> OUTER
    ACT --> INNER

재현성 및 신뢰도 평가

항목등급비고
코드 공개✅github.com/SamsungSAILMontreal/TinyRecursiveModels 공개, 논문 내 명시
데이터 공개⚠️Sudoku/Maze는 규칙 기반 생성 가능, ARC-AGI는 공개 벤치마크; 증강 파이프라인(×1000) 재현 스크립트 제공 여부 미확인
하이퍼파라미터✅AdamW, batch=768, hidden=512, T=3, n=6, EMA=0.999, N_sup=16, 60K/100K epoch 명시
실험 환경⚠️GPU 종류/수, 학습 시간, CUDA 버전 미기재; OOM(k=6,T=3) 언급으로 메모리 한계 간접 확인
통계적 신뢰도⚠️표준편차/신뢰구간 미기재; 단일 시드 추정; 일부 벤치(ConceptARC 160) 소규모
종합 등급B코드·핵심 하이퍼파라미터 공개로 진입장벽 낮음. 환경 명세 부재·통계 처리 미흡으로 완전 재현 보장은 불가

주장별 신뢰도

주장근거신뢰도
TRM(7M)이 Sudoku에서 R1(671B) 등 LLM을 크게 상회 (87.4% vs 0.0%)Table 4 + Ablation Table 1🟢
TRM이 파라미터 대비 HRM보다 효율 (5M 87.4% vs HRM 27M 55.0%)Table 1/3 직접 대조🟢
TRM-Att(7M)이 ARC-AGI-1 44.6%로 HRM(40.3%) 초과Table 5; 시드/반복 통계 없음🟡
1-step gradient·EMA 제거 시 급락 (56.5% / 79.9%)Ablation Table 1🟢
y+z(2) 분리가 single z·multi-scale z보다 우월Table 2; Sudoku 단일 태스크 기반🟡
파라미터 0.01% 미만으로 대부분 LLM 능가파라미터 직접 비교; ARC-AGI-2는 Grok-4에 미달(태스크 한정)🟡

관련 연구 비교 매트릭스

축TRM (본 논문)HRM (Wang et al. 2025, base)Mamba-2 Hybrid TRM (Wang & Reid 2026, alternative)Tab-TRM (Padayachy et al. 2026, application)ViTRM (Akazan et al. 2026, application)
핵심 접근단일 2-layer Transformer 블록을 완전 역전파(full BPTT)와 함께 재귀; y/z 두 변수, EMA 안정화저·고 주파수 두 4-layer 네트워크(f_L, f_H)의 계층적 재귀; 고정점 + IFT 1-step 근사TRM 스캐폴드 유지, Transformer 블록을 Mamba-2 상태공간 하이브리드로 교체TRM 재귀로 잠재 토큰(답+추론상태) 정제; GLM/GBM 대체 목표, 보험 표 데이터단일 k=3-layer ViT 블록을 N회 재귀, L-layer ViT 인코더 대체; 이미지 분류
문제 정의소형 네트워크 추상 추론 (ARC-AGI, Sudoku, Maze)소형 네트워크 추론; 생물학적 계층 인지 모방SSM 연산자의 재귀 호환성 검증표 형식 보험 가격 산정파라미터 효율적 이미지 분류
데이터ARC-AGI-1/2, Sudoku-Extreme, Maze-Hard동일 + 학습 ~1,000예시ARC-AGI-1 (pass@1/2/100)보험 표 데이터(미공개)CIFAR-10/100
핵심 결과ARC-1 44.6% / ARC-2 7.8% / Sudoku 87.4% / Maze 85.3%ARC-1 40.3% / ARC-2 5.0% / Sudoku 55.0% / Maze 74.5%ARC-1 pass@2 45.88% (+2.0% vs TRM 43.88%), pass@1 동등수치 미보고; GLM·GBM 대비 정성 우위 주장CNN 84× / ViT 6× 파라미터 절감, 정확도 경쟁 수준(수치 미보고)
규모7M 단일 네트워크27M (f_L+f_H)6.83M (TRM 6.86M과 동등)미보고단일 k=3 블록 재사용
한계결정론·지도학습 한정, 좁은 퍼즐 벤치IFT 근사 오차, ~1,000예시 일반화 한계pass@1 동등(개선 미달), 비교 범위 제한정량 비교 부재, 도메인 외 미검증추론 벤치 미평가
코드 공개✅✅❌❌❌

요약 내러티브: TRM은 HRM의 계층적 이중 네트워크와 IFT 의존 그래디언트를 제거하고 7M 단일 2-layer + 완전 BPTT만으로 Sudoku +32.4%p, Maze +10.8%p의 개선을 달성하면서 파라미터를 27M→7M으로 줄였다. Mamba-2 Hybrid는 동일 스캐폴드에서 SSM 연산자가 pass@2 소폭 우위를 보이나 전 지표 비교가 없어 결론이 제한적이고, Tab-TRM·ViTRM은 TRM 재귀 구조의 도메인 이식성을 실증하지만 수치 공개·코드 비공개로 재현성이 낮다.

원자적 인사이트 (Zettelkasten)

💡 재귀 전 구간 역전파가 고정점 근사를 이긴다

출처: 본 논문 (Alexia Jolicoeur-Martineau, 2025) · 유형: 실험적

재귀 추론 네트워크에서 메모리·연산을 아끼려 흔히 쓰는 IFT 기반 1-step 그래디언트 근사가, 작은 데이터 영역에서는 오히려 학습을 망친다. TRM에서 재귀 전체를 그대로 역전파하던 것을 1-step 그래디언트로 교체하자 Sudoku-Extreme 정확도가 87.4%에서 56.5%로 무너졌다. 즉 ‘근사로 아낀 비용’이 ‘잃은 일반화’를 정당화하지 못한다.
연결: Implicit Function Theorem · Hierarchical Reasoning Model

💡 작은 데이터에서 재귀는 암묵적 정규화로 작동한다

출처: 본 논문 · 유형: 이론적

같은 2층 네트워크를 깊이 늘리는 대신 여러 번 재귀시키면 유효 깊이(effective depth)는 커지지만 파라미터는 늘지 않는다. 이 구조적 제약이 과적합을 억제하는 정규화처럼 작동해, 7M짜리 TRM이 671B R1을 능가하는 역설을 만든다. 파라미터를 키워 4층으로 늘리면 Sudoku가 79.5%로 떨어져, 더 많은 용량이 곧 이득이 아님을 보여준다.
연결: Parameter Efficiency · Regularization

💡 생물학적 서사는 성능의 원인이 아니었다

출처: 본 논문 · 유형: 실패-한계

HRM은 두 네트워크의 서로 다른 주파수를 뇌의 위계적 처리에 빗대어 정당화했지만, TRM은 그 생물학적·고정점 정당화를 모두 제거하고도 더 좋은 결과를 냈다. 두 네트워크를 분리하면 Sudoku가 82.4%로 떨어지고(단일 네트워크가 더 나음), 답 y와 잠재 z 두 변수만 쓰는 구성(87.4%)이 다중 스케일 z(7개, 77.6%)보다 우수하다. 설명에 끌리는 서사와 실제로 효과를 내는 메커니즘은 분리해 검증해야 한다.
연결: Hierarchical Reasoning Model · Ablation Study

핵심 용어 정리

용어정의
TRM (Tiny Recursive Model)단일 2층 네트워크(7M)로 답 변수 y와 잠재 추론 상태 z만 두고 재귀를 반복하며 추론하는 본 논문의 모델.
HRM (Hierarchical Reasoning Model)서로 다른 주파수로 도는 두 작은 네트워크와 고정점(IFT) 근사를 쓰고 뇌 위계에 빗대 정당화한, TRM의 직전 비교 대상.
ARC-AGI인간엔 쉽지만 AI엔 어려운 추상·일반화 추론 퍼즐 벤치마크. ARC-AGI-1, ARC-AGI-2 두 버전 사용.
재귀 전 구간 역전파 (full backpropagation through recursion)재귀의 모든 단계를 펼쳐 그래디언트를 끝까지 흘려보내는 학습 방식. 고정점 1-step 근사와 달리 근사 오차가 없다.
심층 지도 (deep supervision)최종 출력뿐 아니라 재귀 중간 단계마다 정답 신호를 주는 기법. TRM은 N_sup=16 supervision step을 둔다.
ACT (Adaptive Computation Time)입력마다 재귀를 언제 멈출지 적응적으로 결정. TRM은 BCE 기반 정지 신호의 단일 1-forward-pass 형태로 단순화.
EMA (Exponential Moving Average)가중치의 지수이동평균을 유지·사용해 안정성·일반화를 높이는 기법. decay 0.999. 제거 시 Sudoku 87.4%→79.9%.
유효 깊이 (effective depth)파라미터 수가 아니라 재귀를 펼쳤을 때 실제 통과하는 연산 단계 깊이. T(n+1)·n_layers = 3×7×2 = 42.
IFT (Implicit Function Theorem)음함수 정리에 기반해 고정점 그래디언트를 1-step으로 근사하는 방법. HRM이 채택, TRM은 폐기.

관련 연구

  • Hierarchical Reasoning Model — TRM이 단순화·반박한 직전 2-네트워크/고정점 모델로, 모든 핵심 비교의 기준선
  • ARC-AGI — TRM의 주력 평가 벤치마크이자 거대 LLM이 무너지는 추상 추론 과제
  • Recursive Reasoning — 작은 네트워크를 반복 적용해 유효 깊이를 얻는 본 논문의 상위 개념
  • Chain-of-Thought — 토큰 시퀀스로 단계를 펼치는 추론 방식으로, 잠재 변수 z의 재귀와 대비
  • Parameter Efficiency — 7M으로 671B를 능가하는 ‘Less is More’ 주장의 축
  • Implicit Function Theorem — HRM의 고정점 그래디언트 근사를 떠받치던 정리이자 TRM이 폐기한 가정
  • Deep Supervision — 중간 재귀마다 정답 신호를 주는 TRM 학습의 핵심 구성요소

태그

paper #2025 recursive-reasoning parameter-efficiency ARC-AGI implicit-regularization

BibTeX

@article{jolicoeurmartineau2025lessismore,
  title={Less is More: Recursive Reasoning with Tiny Networks},
  author={Jolicoeur-Martineau, Alexia},
  journal={arXiv preprint arXiv:2510.04871},
  year={2025},
  url={https://arxiv.org/abs/2510.04871},
  eprint={2510.04871},
  archivePrefix={arXiv},
  primaryClass={cs.LG}
}