계층적 추론 모델 (HRM)
개요
이 노트는 arXiv v4(2026-09-30)를 기준으로 썼다. 24쪽이며 부록은 없다.
LLM은 어려운 추론을 CoT(Chain-of-Thought: 중간 풀이를 글로 길게 써 내려가는 방식)로 해결한다. 저자들은 이것을 “목발”이라고 부른다. 한 단계만 틀려도 전체가 무너지고, 데이터가 많이 필요하며, 토큰을 많이 써서 느리다는 이유다. 근본 원인은 트랜스포머의 깊이가 고정되어 있다는 데 있다. 층을 그냥 쌓으면 기울기가 사라지고, RNN처럼 같은 계산을 반복하면 상태가 너무 빨리 한 점에 수렴해 이후 반복이 아무 일도 하지 않는다. 이 논문의 통찰은 뇌처럼 느린 상위 모듈과 빠른 하위 모듈을 중첩하면 “빠른 수렴”을 오히려 연료로 쓸 수 있다는 것이다. 빠른 L 모듈이 T스텝 동안 국소 평형에 수렴하면, 느린 H 모듈이 그 결과를 받아 한 번 갱신하고 L에게 새 맥락을 준다. L은 새 평형을 향해 다시 출발한다. 저자들은 이것을 **hierarchical convergence(계층적 수렴: 하위가 수렴하면 상위가 맥락을 바꿔 하위를 다시 깨우는 구조)**라 부르고, N번의 상위 주기로 실효 깊이 N×T를 얻는다. 학습 쪽에서는 시간 펼침 역전파(BPTT)를 버리고, 각 모듈의 마지막 상태로만 기울기를 흘리는 **1-step gradient(고정점 이론에서 Neumann 급수의 첫 항만 남긴 근사, 메모리 O(1))**를 쓴다. 여기에 forward 묶음(segment)마다 손실을 주고 상태를 끊어 넘기는 deep supervision과, Q-learning으로 생각을 멈출 시점을 정하는 ACT(adaptive computation time)를 더한다. 결과는 사전학습도 CoT 데이터도 없는 27M 모델이 약 1000개 예제로 학습해 ARC-AGI-1에서 40.3%를 낸 것이다. o3-mini-high는 34.5%, Claude 3.7 8K는 21.2%였다. CoT 모델들이 0%였던 Sudoku-Extreme과 Maze-Hard(30×30)에서는 각각 55.0%, 74.5%였다. 같은 학습 설정에서 HRM 자리에 같은 크기의 트랜스포머를 넣은 “Direct pred”는 ARC-AGI-1에서 21.0%, 나머지 두 과제에서 0.0%에 그쳤다.
Implication: 추론에 필요한 깊이를 토큰 생성(CoT)이 아니라 잠재 공간의 중첩 반복으로 얻을 수 있다는 사례다. 다만 어떤 부품(계층, 1-step gradient, deep supervision, ACT, 테스트 시 1000개 증강 투표)이 성능을 만드는지는 이 논문 안에서 분리되지 않았다. 이후 TRM과 Ge·Liao·Poggio의 재검토가 바로 이 지점을 파고든다.
📎 https://arxiv.org/abs/2506.21734
배경과 문제
문제: 추론에는 깊이가 필요한데 표준 트랜스포머는 얕다 (Section 1, author-stated).
- 고정 깊이 트랜스포머는 AC⁰나 TC⁰ 같은 복잡도 클래스에 묶여 다항 시간이 필요한 문제를 풀지 못한다는 이론 결과를 인용한다 [4–6]. 그래서 LLM은 순수 end-to-end 방식으로는 Turing-complete가 아니라고 본다 [7, 8].
- 저자들의 Sudoku 실험에서도 깊이를 늘리면 성능이 오르지만 매우 깊은 모델도 최적과 거리가 멀다(Figure 2). 폭을 늘리는 것은 도움이 되지 않는다(각주 1).
기존 대안의 한계 (Section 1, author-stated):
- CoT: 사람이 정한 분해에 의존해 깨지기 쉽고, 데이터와 생성 토큰이 많이 들어 느리다 [12–14].
- Latent reasoning(은닉 상태 안에서 계산하기) [15, 16]: 방향은 맞지만 결국 모델의 실효 계산 깊이에 묶인다.
- 층 쌓기: 기울기 소실로 학습이 불안정하다 [1, 18].
- 순환 구조(RNN): 너무 일찍 수렴해 이후 계산이 무력해지고, BPTT는 메모리가 많이 들며 생물학적으로도 그럴듯하지 않다 [19].
학술적 계보 (Section 2, 5, author-stated):
- 뇌의 계층적 처리, 시간 척도 분리(theta 4–8 Hz, gamma 30–100 Hz), 순환 연결 [20–33]. 단, 각주 2에서 H·L 모듈은 개념적 추상이며 특정 뇌파 주파수에 대응하지 않는다고 밝힌다.
- 1-step gradient는 DEQ(Deep Equilibrium Model) [36]의 Implicit Function Theorem(IFT)과 그 근사 [37]에 근거한다. deep supervision은 DEQ 쪽 연구 [39–41]에서 왔다.
- 알고리즘 학습 계열: NTM, DNC, Neural GPU, Recurrent Relational Network, Universal Transformer, Geiping et al.의 looped transformer [86], TransNAR.
- 적응 정지: ACT for RNN [88], PonderNet [89].
- 다중 시간 척도 기억: Hierarchical Sequential Model [93], Clockwork RNN [94].
- 뇌 영감 추론 모델: Spaun, Tolman-Eichenbaum Machine, neural sampling 모델. 저자들은 이 모델들이 단순한 추론에 머물거나 손으로 설계한 규칙이 필요했다고 본다.
지표
| 지표 | 무엇을 세는가 | 단위·범위 | 방향 | 분모·정규화 | 측정 조건 | 위치 |
|---|---|---|---|---|---|---|
| ARC-AGI-1 / ARC-AGI-2 정확도 | 평가 세트 test input의 정답 격자를 맞힌 비율 | % | 높을수록 좋음 | 두 번 시도 허용(pass@2) | HRM은 1000개 증강 변형을 풀고 역변환한 뒤 최빈 2개를 제출. CoT 모델 점수는 공식 leaderboard에서 가져옴 | Section 3.1, 3.2, 각주 3 |
| Sudoku-Extreme 정확도 | 퍼즐의 유일 해와 완전히 일치한 비율 | % | 높을수록 좋음 | 테스트 퍼즐 수 | 학습 1000개. 단일 추론 패스. CoT 모델은 API로 평가 | Section 3.1, 3.2 |
| Maze-Hard 정확도 | 유효하면서 최단인 경로를 낸 비율 | % | 높을수록 좋음 | 테스트 1000개 | 30×30, 최단경로 길이 >110만 남김. 단일 추론 패스 | Section 3.1 |
| Mean compute steps | ACT가 실제로 쓴 평균 segment 수 | 개수 | 낮을수록 효율적 | 샘플 평균 | Sudoku-Extreme-Full | Figure 5(a) |
| Forward residual | 한 스텝 사이 상태 변화의 크기 | 크기(정의 식은 본문에 없음) | 해석용(클수록 계산이 활발함) | 보고되지 않았다 | Figure 3 | Figure 3 |
| Participation Ratio (PR) | 상태 궤적 공분산의 유효 차원 수 | ≥1 | 클수록 고차원 표현 | (Σλᵢ)² / Σλᵢ² | Sudoku-Extreme-Full로 학습한 HRM, Sudoku 풀이 궤적 최대 100개 | Section 4, Figure 8 |
방법과 벤치마크 구성
구조 (Section 2)
- 네 부품: 입력망 f_I, 하위 순환 모듈 f_L, 상위 순환 모듈 f_H, 출력망 f_O.
- 한 번의 forward pass는 N개의 상위 주기 × T개의 하위 스텝이다. L은 매 스텝 자기 이전 상태, 현재 H 상태(주기 동안 고정), 입력 표현을 받아 갱신한다. H는 T스텝마다 한 번, L의 마지막 상태를 받아 갱신한다. 출력은 마지막 H 상태에서 읽는다.
- 구현: f_L과 f_H는 같은 크기의 encoder-only 트랜스포머 블록이다. 여러 입력은 원소별 덧셈으로 합친다. RoPE, GLU, RMSNorm, bias 제거(Llama식)와 Post-Norm을 쓴다. 출력은 softmax지만 소표본 실험에서는 stablemax로 바꾼다. 초기 은닉 상태 z⁰는 절단 정규분포에서 뽑아 학습 내내 고정한다. 옵티마이저는 Adam-atan2이고, 선형 warm-up 뒤 상수 learning rate를 쓴다.
- 파라미터 수는 약 27M이다(Figure 1). N, T, M_max, hidden size, 학습 스텝 수 같은 주요 실험의 하이퍼파라미터는 본문에 보고되지 않았다. Figure 4 의사코드의 기본값은 N=2, T=2다(
author-stated, 의사코드 인자).
학습 장치
- 1-step gradient (Section 2, 식 (1)–(3), Figure 4): L이 고정점 z_L⋆에 수렴하고 H가 그것으로 한 번 갱신한다는 이상화 아래, IFT로 정확한 기울기 (I − J_F)⁻¹ ∂F/∂θ를 쓸 수 있다. Neumann 급수 (I − J)⁻¹ = I + J + J² + …의 첫 항 I만 남기면, 기울기 경로가 “출력 head → H 마지막 상태 → L 마지막 상태 → 입력 임베딩”이 된다. 나머지 N×T−1 스텝은
torch.no_grad()로 돈다. 메모리는 O(1)이다. - Deep supervision (Section 2): 한 샘플에 HRM forward를 여러 번(segment m=1…M) 돌린다. segment마다 손실을 계산하고 파라미터를 갱신한 뒤 상태를 detach해 다음 segment로 넘긴다. 저자들은 이것이 H 모듈에 더 잦은 피드백을 주고 정규화 역할을 한다고 설명한다.
- ACT (Section 2): H 마지막 상태에서 Q-head가 halt/continue Q값을 낸다. M_max를 넘거나, Q_halt > Q_continue이면서 M_min(확률 ε로 {2…M_max}에서 균등 추출, 아니면 1) 이상이면 멈춘다. 보상은 halt 시 정답 여부(0/1)다. 손실은 seq-to-seq 손실과 Q-head의 binary cross-entropy를 더한 것이다. replay buffer나 target network 없이도 안정적인 이유로, 저자들은 Post-Norm + AdamW가 Gallici et al. [49]의 수렴 조건을 만족한다는 점을 든다(
author-stated, 이론적 정당화이며 실험적 안정성 검증은 본문에 없다). - Inference-time scaling: 추론 때 M_max만 키운다(Figure 5c).
벤치마크 (Section 3.1, Figure 6)
- ARC-AGI-1/2: 학습 세트의 모든 demonstration·test 쌍과, 평가 세트의 demonstration 쌍 및 test input을 학습에 쓴다. 평행이동·회전·뒤집기·색 치환으로 증강하고, 퍼즐마다 학습 가능한 특수 토큰을 앞에 붙인다. 학습 예제 수는 ARC-AGI-1 960개, ARC-AGI-2 1120개다(Figure 1).
- Sudoku-Extreme: Kaggle, 17-clue, 비편향 샘플 같은 쉬운 퍼즐 1,149,158개와, Magictour 1465·Forum-Hard·Forum-Extreme 같은 어려운 퍼즐 3,104,157개를 모아 90/10으로 나눈다. 동치 변환으로 테스트 퍼즐을 만들 수 없도록 분리했다. 본 실험은 학습 1000개 subset을 쓰고, 분석 실험(Figure 2, 3, 5)은 3,831,994개의 Sudoku-Extreme-Full을 쓴다. 난이도는 tdoku solver의 backtrack 수로 재며 평균 22회다. Sudoku-Bench는 0.45회다. 증강은 band·digit 치환.
- Maze-Hard: Lehnert et al. [71]의 생성 절차를 따르고 최단경로 길이 >110만 남긴다. 학습과 테스트 각 1000개, 증강 없음.
- Baseline: CoT 사전학습 모델(Deepseek R1, Claude 3.7 8K, o3-mini-high)과 “Direct pred”(HRM 학습 설정 그대로, 구조만 같은 크기의 8층 트랜스포머로 교체).
주요 결과
| 주장 | 근거 위치 | 관찰/수치 | 조건·주의 | 출처 라벨 |
|---|---|---|---|---|
| HRM은 ARC-AGI-1에서 CoT 모델들을 앞선다 | Figure 1, Section 1 | HRM 40.3 vs o3-mini-high 34.5, Claude 3.7 8K 21.2, Direct pred 21.0, Deepseek R1 15.8 | CoT 점수는 공식 leaderboard. HRM은 1000개 증강 투표, 평가 세트 demonstration으로 학습 | author-stated |
| ARC-AGI-2에서도 가장 높다 | Figure 1 | HRM 5.0 vs o3-mini-high 3.0, R1 1.3, Claude 0.9, Direct pred 0.0 | 절대 수준은 낮다 | author-stated |
| CoT 모델이 0%인 퍼즐을 푼다 | Figure 1 | Sudoku-Extreme 55.0, Maze-Hard 74.5. 비교 모델 전부 0.0 | 학습 1000개 | author-stated |
| 계층 구조 + ACT가 같은 크기 트랜스포머의 2배를 넘는다 | Section 3.2 | ARC-AGI-1 Direct pred 21.0 → HRM 40.3 | 계층, 1-step gradient, deep supervision, ACT를 동시에 바꾼 비교다. 개별 기여는 분리되지 않았다 | author-stated + analyst-inference |
| 폭이 아니라 깊이가 중요하다 | Figure 2 왼쪽 | 8층 고정 폭 확장(27M→872M)은 약 17% 근처에 머물고, 깊이 확장은 약 66%에서 포화 | Sudoku-Extreme-Full, 수치는 그래프 판독 | author-stated(패턴), analyst-inference(수치) |
| 표준 구조는 깊이를 늘려도 포화하지만 HRM은 아니다 | Figure 2 오른쪽 | Transformer 약 66%, Recurrent Transformer 약 80%에서 정체·하락. HRM은 128→512 계산 층에서 약 92→99% | 그래프 판독 | author-stated(패턴), analyst-inference(수치) |
| Direct pred는 데이터가 많으면 일부 풀린다 | Section 3.2 | Sudoku-Extreme-Full에서 16.9% | — | author-stated |
| ACT는 계산을 크게 줄이면서 성능을 거의 유지한다 | Figure 5(a)(b) | 고정 M은 2/4/8 스텝, ACT 평균은 M_max와 관계없이 약 1.5–1.7스텝. M_max=8에서 정확도는 고정 M과 거의 같음(약 99%) | M_max=2에서는 ACT 약 83% vs 고정 약 92.5%로 뒤진다. 그래프 판독 | author-stated(패턴), analyst-inference(수치·반례) |
| M_max만 키워도 추론 시 성능이 오른다 | Figure 5(c) | Train M_max=8 모델이 Inference M_max 16에서 추가 상승 | Sudoku에서 효과가 크고 ARC-AGI에서는 미미하다(Section 2) | author-stated |
| HRM은 계층적 수렴을 보인다 | Figure 3 | L의 residual이 주기마다 줄었다가 H 갱신 때 다시 튄다. H는 꾸준히 감소. RNN은 빠르게 0 근처로 간다 | 정성적 그림 한 장. 어떤 과제·모델에서 측정했는지는 캡션에 없다 | author-stated |
| 과제마다 다른 풀이 전략이 나타난다 | Figure 7, Section 3.3 | Maze: 여러 경로 탐색 후 가지치기. Sudoku: DFS 비슷한 backtracking. ARC: hill-climbing식 점진 수정 | 중간 예측 시각화에 대한 저자 해석. 정량 근거 없음 | author-stated |
| H 모듈이 L보다 고차원 표현을 쓴다 | Figure 8(c)(d), Section 4 | 학습 후 PR z_H 89.95 vs z_L 30.22(비 ≈2.98). 쥐 피질 비는 ≈2.25 | 저자 스스로 “상관적 증거”라고 밝힘. 인과는 미검증 | author-stated |
| 차원 위계는 학습으로 생긴다 | Figure 8(e)(f) | 미학습 HRM은 z_L 42.09, z_H 40.75로 거의 같다 | 반례: 미학습 z_L(42.09)이 학습 z_L(30.22)보다 높아, 학습이 L의 차원을 오히려 줄였다. 캡션의 “low”는 학습 z_H 대비로만 성립한다 | author-stated + analyst-inference |
결과의 논리는 이렇다. Figure 2가 “깊이가 필요하다”는 문제를 세우고, Figure 3이 HRM의 계층적 수렴이 그 깊이를 실제로 쓴다는 정성적 근거를 준다. Figure 1이 소표본 벤치마크 성능을 보이고, Figure 5가 ACT의 효율과 추론 시 확장을 보인다. Figure 7과 8은 해석·뇌 대응 근거다. 빠진 고리가 있다. hierarchical 구조 자체, 1-step gradient, deep supervision, ACT 중 무엇이 Figure 1 성능을 만들었는지 가르는 ablation이 본문에 없다(analyst-inference). ARC 성능에는 테스트 시 1000개 증강 투표와 퍼즐별 학습 토큰도 함께 작용한다. 이 둘을 뺀 결과도 보고되지 않았다.
Take-home
- 핵심 메시지: 느린 H와 빠른 L을 중첩 반복하고, BPTT 대신 1-step gradient와 deep supervision으로 학습하면, 27M 모델이 사전학습 없이 약 1000개 예제로 CoT LLM이 못 푸는 탐색형 퍼즐을 푼다.
- 성립 범위: 격자형 seq-to-seq 퍼즐(ARC-AGI, 9×9 Sudoku, 30×30 Maze)에서 과제별로 따로 학습한 모델. 언어 과제나 범용 모델은 다루지 않는다. ARC는 평가 세트의 demonstration 쌍을 학습에 포함한 transductive 설정이다(Section 3.2).
- 저자가 인정한 한계 (
author-stated):- 뇌 대응 증거는 상관적이며, H 모듈 차원 위계의 인과적 필요성은 미래 과제다(Section 4).
- 모델이 실제로 어떤 알고리즘을 구현하는지는 범위 밖이다(Section 3.3).
- 모듈 입력 결합은 단순 덧셈이며 gating 등은 미래 과제다. 계층적 기억도 아직 넣지 않았다(Section 2, 5).
- H·L은 개념적 추상이며 뇌파 주파수에 직접 대응하지 않는다(각주 2).
- 작성자가 보는 우려 (
analyst-inference):- 구성요소별 ablation이 없다. “계층”이 핵심이라는 주장과 “deep supervision·ACT·증강”이 핵심이라는 대안 가설을 이 논문만으로는 구분할 수 없다.
- 1-step gradient의 근거(IFT)는 L이 고정점에 수렴한다는 이상화에 기대지만, 실제 T스텝 안에 수렴하는지는 Figure 3의 정성적 그림 외에 검증되지 않았다.
- CoT 모델과의 비교는 조건이 다르다. HRM은 과제별 전용 학습과 1000개 증강 투표를 쓰고, LLM은 범용 모델의 leaderboard·API 점수다.
- 주요 하이퍼파라미터(N, T, M_max, 모델 차원, 학습량)와 seed·run 수가 본문에 없다.
- Section 4 본문은 PR 값을 “Figure 8(c)”, 궤적 수 증가에 따른 확장을 “Figure 8(d)“로 가리키지만, 캡션에서는 반대(c: 확장, d: PR 막대)다.
- 재현성: 코드 공개(github.com/sapientinc/HRM, 1쪽 각주). seed·반복 run 수는 보고되지 않았다.
- 읽지 못한 범위: 없음. v4 전문(24쪽, 부록 없음)을 읽었다. v1–v3과의 차이는 확인하지 않았다(
unknown).
본문 도표
Figure 1 — HRM의 영감과 주요 벤치마크 성능
- 무엇을 보여주는가: 왼쪽은 뇌의 교차 주파수 결합(cross frequency coupling)과 HRM 구조의 대응이다. 오른쪽은 네 벤치마크에서 HRM과 baseline의 정확도 막대다.
- 읽는 법: 왼쪽에서 상위 표현은 theta파(4–8Hz), 하위 표현은 gamma파(40Hz)에 대응시키고, HRM의 High-level(느림)과 Low-level(빠름)을 그린다. 오른쪽 네 패널은 ARC-AGI-1(학습 960개), ARC-AGI-2(1120개), Sudoku-Extreme 9×9(1000개), Maze-Hard 30×30(1000개)이다. 회색 막대는 CoT 사전학습 모델, 노랑은 Direct pred, 파랑은 HRM이다. y축은 정확도 %.
- 핵심 관찰: ARC-AGI-1은 R1 15.8, Direct pred 21.0, Claude 3.7 8K 21.2, o3-mini-high 34.5, HRM 40.3이다. ARC-AGI-2는 Direct pred 0.0, Claude 0.9, R1 1.3, o3-mini-high 3.0, HRM 5.0이다. Sudoku-Extreme과 Maze-Hard에서는 HRM(55.0, 74.5)을 뺀 모두가 0.0이다.
- 의미와 주의: 저자들은 약 1000개 예제로 학습한 27M 랜덤 초기화 모델이 CoT 모델을 넘는다고 해석한다(
author-stated). 비교 조건이 다르다(위 Take-home). ARC-AGI-2의 5.0%는 상대 우위일 뿐 절대 수준은 낮다(analyst-inference). - 확인 상태: viewed
Figure 2 — 복잡한 추론에는 깊이가 필요하다
- 무엇을 보여주는가: Sudoku-Extreme-Full에서 폭·깊이 확장과 구조별 깊이 확장의 효과.
- 읽는 법: 왼쪽 x축은 파라미터 수(27M–872M, 2배 간격). 회색은 8층 고정 폭 확장, 남색은 hidden 512 고정 깊이 확장이다. 오른쪽 x축은 계산된 깊이/트랜스포머 층 수(8–512, 로그). 선은 Transformer(남색), Recurrent Transformer(노랑), HRM(파랑)이다. y축은 정확도 %이고 점선은 100%다.
- 핵심 관찰: 왼쪽에서 폭 확장은 약 17–19%로 평평하고, 깊이 확장은 109M 약 55%, 218M 이후 약 65–66%에서 포화한다. 오른쪽에서 Transformer는 64–256층에서 약 65–66%로 멈춘다. Recurrent Transformer는 128층 약 80%에서 512층 약 77%로 오히려 떨어진다. HRM은 128, 256, 512에서 약 92, 97, 99%다(모두
analyst-inference, 그래프 판독). - 의미와 주의: 저자들은 표준 구조가 깊이 이득을 포화시키고 HRM은 이를 극복한다고 해석한다(
author-stated). 이 실험은 380만 개 Full 데이터를 쓴 분석 실험으로, Figure 1의 1000개 소표본 설정과 다르다(Section 3.1). HRM 점은 128층 이상에서만 찍혀 있어, 같은 낮은 깊이에서의 비교는 없다(analyst-inference). - 확인 상태: viewed
Figure 3 — forward residual과 PCA 궤적 비교
- 무엇을 보여주는가: HRM, 일반 RNN, 깊은 신경망(DNN)의 스텝·층별 상태 변화량과 상태 궤적의 주성분 투영.
- 읽는 법: 윗줄 y축은 forward residual(0–250)이다. x축은 HRM·RNN이 step index(0–약 70), DNN이 layer index(0–약 250)다. HRM에서 주황은 H, 파랑은 L이다. 아랫줄은 같은 궤적을 주성분 공간에 그린 것이고 색 진하기는 스텝 순서다.
- 핵심 관찰: HRM L의 residual은 주기마다 약 220·150·100·60 수준으로 튀었다가 0 근처로 떨어지기를 반복한다. H는 약 200에서 40으로 꾸준히 준다. RNN은 약 170에서 시작해 20스텝 안에 거의 0이 된다. DNN은 처음과 마지막 층에서만 residual이 크다(
analyst-inference, 그래프 판독). - 의미와 주의: 저자들은 L이 주기 안에서 수렴하고 H가 재설정하는 계층적 수렴의 증거로, DNN 패턴은 기울기 소실의 증거로 해석한다(
author-stated). 측정한 과제, 모델 크기, residual의 정확한 정의는 캡션과 본문에 없다(analyst-inference). - 확인 상태: viewed
Figure 4 — 근사 기울기 HRM 구조도와 deep supervision 의사코드
- 무엇을 보여주는가: 위는 시간에 따라 펼친 HRM에서 어느 부분이 기울기를 받는지 보여 주는 도식이고, 아래는 PyTorch 의사코드다.
- 읽는 법: 위 도식은 L 모듈 여러 번과 H 모듈을 시간 순서로 늘어놓은 것이다. 파란 테두리(Requires Grad)는 마지막 L, 마지막 H, 입력 임베딩, head뿐이고, 나머지는 검은 테두리(No Grad)다. 아래 코드는
hrm()안에서 N×T−1 스텝을torch.no_grad()로 돌린 뒤 L·H를 한 번씩만 기울기와 함께 계산한다. 학습 루프는 N_supervision번 segment를 돌며 매번loss.backward()와opt.step()을 하고z = z.detach()로 상태를 끊는다. - 핵심 관찰: 기울기 경로가 “head → 마지막 H → 마지막 L → 입력 임베딩” 하나뿐이다. 의사코드 기본값은 N=2, T=2.
- 의미와 주의: 저자들은 이것이 O(1) 메모리이며 시간 펼침이 필요 없다고 말한다(
author-stated). 의사코드에는 ACT가 빠져 있다. 의사코드의 N, T 기본값이 실제 실험값이라는 근거는 본문에 없다(analyst-inference). - 확인 상태: viewed
Figure 5 — ACT의 효과 (Sudoku-Extreme-Full)
- 무엇을 보여주는가: (a) 평균 계산 스텝, (b) 정확도, (c) 추론 시 M_max 확장 효과.
- 읽는 법: (a)(b)의 x축은 고정 M 또는 ACT의 M_max(2, 4, 8)다. 남색은 Fixed M, 파랑은 ACT. (a) y축은 평균 계산 스텝(1–8), (b) y축은 정확도(82.5–100%). (c) x축은 추론 시 M_max(2, 4, 8, 16), 선은 학습 M_max=2(남색), 4(노랑), 8(파랑)이다.
- 핵심 관찰: (a) 고정 M은 2, 4, 8스텝을 쓰고, ACT는 약 1.5–1.7스텝으로 거의 일정하다. (b) M=2에서 고정 약 92.5% vs ACT 약 83%, M=4에서 약 97.5% vs 약 96%, M=8에서 둘 다 약 99%다. (c) 학습 M_max=2 모델은 추론 M_max 2→16에서 약 83→96.5%로, 학습 M_max=8 모델은 약 92.5→99.5%로 오른다(모두
analyst-inference, 그래프 판독). - 의미와 주의: 저자들은 ACT가 계산을 크게 줄이면서 성능을 비슷하게 유지하고, M_max만 키워 추론 시 확장된다고 해석한다(
author-stated). 반례: M_max가 작을 때(2)는 ACT가 고정 M보다 약 10%p 낮다. “성능 영향 최소”는 M_max가 4 이상일 때 성립한다(analyst-inference). Sudoku 한 과제의 Full 데이터 결과다. 저자들은 ARC에서는 추가 계산 이득이 미미하다고 밝힌다(Section 2). - 확인 상태: viewed
Figure 6 — 벤치마크 예시와 Sudoku-Extreme 난이도
- 무엇을 보여주는가: (a) ARC-AGI, (b) Sudoku-Hard, (c) Maze의 예시 문항과 (d) Sudoku-Extreme 하위 집합별 난이도.
- 읽는 법: (a)–(c)는 입력·출력 예시다. (a)는 demonstration 2쌍과 ”?” test input, (b)는 빈칸 퍼즐과 해답, (c)는 미로와 노란 경로. (d)는 x축이 출처 subset, y축이 tdoku 평균 backtrack 수, 점선이 데이터셋 평균이다.
- 핵심 관찰: (d) 평균 backtrack 수는 Kaggle 0.00, 17-clue 0.49, Unbiased 1.01, Magictour 1465 6.31, Forum-Hard 29.95, Forum-Extreme 62.00이다. 데이터셋 평균선은 약 22다(본문 “평균 22회”와 일치).
- 의미와 주의: (a)–(c)는 과제 형식 예시일 뿐 성능 근거가 아니다. (d)는 기존 Sudoku 데이터셋(Kaggle, 17-clue)이 쉽다는 저자 주장(Section 3.1)의 근거다(
author-stated). 1000개 subset의 난이도 분포가 Full과 같은지는 본문에 없다(analyst-inference). - 확인 상태: viewed
Figure 7 — HRM 중간 예측 시각화
- 무엇을 보여주는가: Maze-Hard, Sudoku-Extreme, ARC-AGI-2 두 과제에서 timestep별로 HRM이 내놓는 중간 예측.
- 읽는 법: 윗줄 Maze는 파란 칸이 예측 경로다(timestep 0–6). 가운데 Sudoku는 굵은 글씨가 주어진 숫자, 빨강이 제약 위반 칸, 회색 음영이 이전 스텝 대비 변경 칸이다(Initial, timestep 0–7). 아래 ARC-AGI-2 두 과제([7666fa5d], [7b80bb43])는 왼쪽에 demonstration 입출력 쌍, 오른쪽에 test input 풀이 과정을 둔다. 중간 예측은 각 스텝의 상태에 H 모듈을 한 번 미리 적용하고 디코딩한 것이다(Section 3.3).
- 핵심 관찰: Maze는 초반에 여러 경로를 펼친 뒤 가지를 쳐 하나로 정리한다. Sudoku는 빨간 위반 칸이 나타났다 사라지며 숫자가 여러 번 바뀐다. ARC는 격자가 스텝마다 조금씩 목표 쪽으로 바뀐다.
- 의미와 주의: 저자들은 각각 탐색 후 가지치기, DFS식 backtracking, hill-climbing식 개선으로 해석하고, 모델이 과제별로 다른 전략을 고른다고 본다(
author-stated). 선별된 예시의 정성적 해석이며, 알고리즘을 확정하는 분석은 범위 밖이라고 저자들도 밝힌다(Section 3.3). - 확인 상태: viewed
Figure 8 — HRM과 쥐 피질의 계층적 차원 조직
- 무엇을 보여주는가: 쥐 피질에서 위계가 높은 영역일수록 표현 차원(PR)이 높다는 관찰과, HRM의 H·L 모듈에서 같은 위계가 나타나는지.
- 읽는 법: (a)(b)는 Posani et al. [74]에서 가져온 것이다. (a)는 피질 영역 지도, (b)는 x축 위계 위치, y축 PR이다. (c)(e)는 x축 궤적(과제) 수(10–100), y축 PR, 주황 z_H, 파랑 z_L. (d)(f)는 100개 궤적에서의 PR 막대다. (c)(d)는 학습한 HRM, (e)(f)는 미학습 HRM이다.
- 핵심 관찰: (b) Spearman ρ=0.79(P=0.0003). (c) 학습 HRM의 z_H PR은 궤적 수와 함께 약 15에서 89.95까지 늘고, z_L은 약 30 근처에서 평평하다. (d) z_L 30.22, z_H 89.95. (e)(f) 미학습은 두 모듈 모두 약 35–42에서 평평하고 z_L 42.09, z_H 40.75다.
- 의미와 주의: 저자들은 H/L PR 비(≈2.98)가 쥐 피질(≈2.25)과 비슷하며, 이 위계가 구조의 산물이 아니라 학습으로 생긴 것이라고 해석한다(
author-stated). 동시에 저자들은 증거가 상관적이라고 밝힌다(Section 4). 작성자 관찰(analyst-inference): 미학습 z_L(42.09)이 학습 z_L(30.22)보다 높아, 학습은 H의 차원을 키우는 동시에 L의 차원을 줄였다. 캡션의 “미학습은 low”라는 표현은 학습 z_H와 비교할 때만 성립한다. 또 본문은 (c)와 (d)를 캡션과 반대로 지칭한다. - 확인 상태: viewed
Wiki 연결
- Less is More - Recursive Reasoning with Tiny Networks — HRM의 직접 후속·비판. 두 네트워크와 고정점 1-step 근사를 버리고, 2층 단일 네트워크로 재귀 전체를 역전파한 TRM(7M)이 ARC-AGI-1 44.6%로 HRM을 넘는다. 이 노트의 “ablation 부재” 우려에 대한 한 가지 답.
- Hierarchical Reasoning Models - Perspectives and Misconceptions — HRM의 구성요소를 다시 실험해 무엇이 실제로 성능을 만드는지 따지는 재검토 논문.
- Towards Looped Models Done Right, Part II - Rethinking at Fixed Points — HRM을 truncated backpropagation을 쓰는 루프 모델의 예로 인용하고, 1-step gradient를 Neumann 급수 절단으로 다시 정식화한다.
- Reasoning with Latent Thoughts - On the Power of Looped Transformers — 반복 적용으로 실효 깊이를 얻는 looped transformer의 이론적 근거.
- Training Large Language Models to Reason in a Continuous Latent Space — CoT를 잠재 공간 추론으로 옮기는 다른 경로(Coconut). HRM의 “latent reasoning” 동기와 같은 흐름이다.
BibTeX
@misc{wang2025hrm,
title = {Hierarchical Reasoning Model},
author = {Wang, Guan and Li, Jin and Sun, Yuhao and Chen, Xing and Liu, Changling and Wu, Yue and Lu, Meng and Song, Sen and Abbasi Yadkori, Yasin},
year = {2025},
eprint = {2506.21734},
archivePrefix = {arXiv},
primaryClass = {cs.AI},
url = {https://arxiv.org/abs/2506.21734}
}