잠재 추론(Latent Reasoning) 서베이

Preliminary - by Juhyeon

Linear attention(Transformers are RNNs - Fast Autoregressive Transformers with Linear Attention)
KV-cache

개요

요즘 추론 모델(DeepSeek-R1, Qwen3, Gemini 2.5)은 답하기 전에 생각을 글로 길게 써 내려가는 Chain-of-Thought(CoT) 덕분에 강해졌다. 그런데 이 방식에는 숨은 병목이 있다. 모델 내부에서는 2560차원짜리 FP16 벡터(약 40,960비트)로 생각하다가, 다음 단계로 넘길 때는 그걸 단어 하나(약 15비트)로 눌러 담아야 한다—약 2.7×10³배의 정보가 매 걸음마다 버려지는 셈이다(Figure 1). 이 서베이의 출발점은 “생각을 굳이 말로 바꾸지 말고, 연속적인 은닉 상태 안에서 여러 단계를 밟게 하면 어떨까”라는 **잠재 CoT(latent CoT)**이고, 핵심 정리는 이걸 하는 방법이 사실 두 방향뿐이라는 것이다. 하나는 같은 층을 여러 번 돌려 계산 깊이를 늘리는 수직 재귀(vertical recurrence, activation-based)—Universal Transformer, Looped/Recurrent-Depth Transformer, 그리고 마지막 은닉 상태를 다시 입력으로 넣는 Coconut 같은 학습 유도형—이고, 다른 하나는 고정 크기 은닉 상태를 시간축으로 진화시키는 수평 재귀(horizontal recurrence, hidden-state-based)—Mamba-2·DeltaNet 같은 선형 상태 재귀와 TTT·Titans 같은 경사 상태 재귀—다. 둘을 잇는 다리는 “DeltaNet의 상태 갱신은 온라인 회귀 손실에 경사하강 한 번을 한 것과 수학적으로 같다”는 관찰이다: 그러면 토큰 하나를 더 읽는 것이 곧 층 하나를 더 쌓는 것과 같아져, 깊이와 시간이 교환 가능해진다(§3.2, §5.2 “Depth emerges from optimization over time”). 해석가능성 쪽 증거로는 층 수가 잠재 추론의 병목이라는 연구들(5단계 과제에서 층이 모자라 최종 답이 안 나옴, 2-hop에 최소 2–3층 필요)과 얕은-중간-깊은 층의 역할 분담을 모았고, 마지막으로 마스크 확산 언어모델처럼 전체 출력을 반복해서 고쳐 쓰는 방식을 “공간적 무한 깊이 추론”으로 묶는다. 단, 이 글은 방법들을 같은 조건에서 돌려 본 실험 비교를 하지 않으며, 학습 조건과 벤치마크가 제각각이라 직접 비교가 어렵다고 저자들이 스스로 밝힌다(§6). 수평 재귀 모델들은 추론 능력 향상의 증거가 아직 없다는 점도 저자들이 인정한다(§3.2).

Latent Reasoning(vertical vs horizontal) - Juhyeon

horizontal하게 한다는 건, 동일한 depth의 layer에서 그 layer로 넣는 다는 말.
반대로, vertical은 한 번 쭉, 모든 depth의 layer를 통과한 다음, 다시 depth=0 layer 부터 쭉 여러 번 돌린다.

Implication: 루프 트랜스포머·Coconut·선형 RNN·테스트타임 학습·텍스트 확산을 “계산을 어디로 펼치느냐(깊이 vs 시간)“라는 하나의 좌표계 위에 올려 준다—각 방법이 무엇을 얻고 무엇을 포기하는지 비교할 지도로는 유용하지만, 어느 쪽이 더 잘 추론하는지에 대한 답은 아니다.

배경과 문제

출발점: 명시적 CoT의 성공과 한계 (author-stated, §1)

CoT는 처음엔 프롬프트 기법이었다가, 지도 instruction tuning으로 추론 흔적을 학습하고 정답 보상 RL로 모델이 스스로 CoT를 만들게 되면서 표준이 됐다(§1, 인용 [49]).
저자 주장: 사람이 늘 언어로 생각하지 않듯 LLM도 처리 예산 대부분을 잠재 공간에서 쓴다. CoT를 자연어로 강제하면 표현 범위가 좁아지고 불필요한 계산이 생길 수 있다(§1).
정량적 동기: Figure 1의 대역폭 비교. 토큰 하나 ≈ 15비트, 2560차원 FP16 은닉 상태 ≈ 40,960비트, 약 2.7×10³배 차이(Figure 1 캡션). 15비트가 어디서 나왔는지(어휘 크기 등)는 원문에 설명이 없다(unknown).

학술적 계보 (저자가 직접 인용한 흐름, author-stated)

수직 재귀: Universal Transformer(ACT로 층 반복 횟수를 동적으로 정함) → CoTFormer → Recursive Transformer → AlgoFormer → Recurrent-Depth(Geiping et al.)(§3.1.1, Table 1).
학습 유도 재귀: Stepwise Internalization(CoT 토큰을 점차 지우는 커리큘럼) → Coconut(CoT 토큰을 연속 생각 벡터로 교체) → CODI, CCOT, filler/pause 토큰(§3.1.3–3.1.4).
수평 재귀: Linear Attention → RetNet, GLA, Mamba-2, HGRN-2 → DeltaNet, Gated DeltaNet → TTT, Titans, ATLAS(§3.2, Table 2).
이론: RNN의 튜링 완전성(1996) → Transformer의 튜링 완전성(Pérez et al., 임의 정밀도·위치 인코딩·hard-max 가정) → 상수 정밀도 하에서의 증명(Li and Wang) → CoT를 통한 튜링 완전성(§4.3).

이 서베이가 메우려는 빈자리 (author-stated, §1–2)

흩어진 잠재 추론 방법들을 하나의 수식 틀(§2.1 식 1–3)로 묶고, 수직/수평 재귀라는 분류(Figure 2, Figure 3)를 제시한다.
층 쌓기 자체를 “잠재 CoT”로 볼 수 있는지 해석가능성 연구로 근거를 모은다(§4).
확산 언어모델을 “무한 깊이 추론”의 한 형태로 포함한다(§5).

왜 어려운가 (author-stated)

수직 재귀: 고정된 층 수의 모델이 “더 오래 생각”하도록 만드는 법, 그리고 깊어질수록 생기는 경사 폭발/소실(§3, §3.2 도입부).
수평 재귀: KV cache(이전 토큰의 key-value를 모두 저장하는 메모리)가 시퀀스 길이에 선형으로 커지는 문제. 고정 크기 상태로 압축하면 메모리는 줄지만 표현력이 문제가 된다(§3.2).
해석: 중간 상태가 사람이 읽을 수 있는 설명에 대응하지 않아 해석과 학습이 어려워진다(§2.2).

지표

해당 없음. 이 논문은 서베이이며 자체 실험을 하지 않는다. 저자들은 “이 서베이는 모델 간 직접 실증 비교를 제공하지 않는다”고 명시하고, 이유로 (1) 처음부터 사전학습한 모델과 기존 모델에서 continual pre-training한 모델이 섞여 학습 조건이 다르고, (2) 대부분의 연구가 서로가 아닌 비추론 LLM 기준선과 비교하며, (3) 표준 벤치마크가 없다는 점을 든다(§6). 본문에 등장하는 수치(예: GSM8K 패리티, 20× 속도, 9.1× 가속)는 모두 인용된 개별 논문의 보고값을 옮긴 것이며, 이 서베이가 측정 조건을 통일한 값이 아니다.

방법과 벤치마크 구성

서베이이므로 “방법”은 분류 체계와 통합 수식이다. 구조는 Figure 2의 네 가지(§2–§5)를 따른다.

1) 통합 틀 (§2)

층 $l$ , 시간 $t$ 의 활성값 $x_{t}^{l}$ 와 과거 정보를 담는 은닉 상태 $S_{t}^{l}$ 를 둔다. $S$ 는 구조마다 다르다: 표준 Transformer는 KV cache(길이에 따라 커짐), 선형 어텐션은 $d \times d$ 고정 크기 행렬, RNN은 $d$ 차원 벡터(§2.1).
공간 변환(층을 따라 위로): 식 (1). 활성 기반 방법: 같은 변환 $f$ 를 $n$ 번 반복 적용(식 2) — 층 반복으로 깊이를 늘린다. 은닉 상태 기반 방법: 여러 시점/층의 상태를 모아 쓰는 식 (3) (§2.1).
명시적 CoT와의 관계: 명시적 CoT는 $y_{t + 1} = Decode (Transform (x_{t}, S_{t}))$ (식 4), 잠재 방법은 Decode를 없애고 $z_{t + 1} = Transform (z_{t}, S_{t})$ (식 5)로 연속 공간에 머문다(§2.2).
확산 모델과의 관계: 마스크 기반 갱신(식 6), 노이즈 기반 갱신(식 7), KV cache를 쓰는 확산에서 신뢰도 임계값 $τ$ 이상인 토큰만 캐시를 갱신(식 8–10)(§2.3).

2) 잠재 추론 방법 (§3)

수직 재귀 = 활성 기반 (§3.1)

Loop/Universal Transformer 재귀 (§3.1.1): 같은 블록을 여러 번 도는 구조. 저자들이 Table 1로 정리한 설계 추세 네 가지: (a) Prelude/Loop/Coda 3단 구조로 수렴(Figure 4), (b) 반복마다 넣는 입력은 단순화, (c) depth embedding(지금 몇 번째 반복인지 알려주는 벡터)은 점차 폐기, (d) 동적 정지(ACT) → 단순한 early-exit·고정 반복·고정점 기준으로 단순화. Pondering LM(softmax 확률로 어휘 벡터를 가중합한 “pondering embedding”을 잔차로 되먹임)도 여기에 언급된다.
명시적 은닉 상태 피드백 (§3.1.2): Coconut(직전 디코딩 단계의 마지막 층 은닉 상태를 현재 토큰 앞에 한 자리로 끼워 넣음), CoTFormer(1차 활성값을 시퀀스에 끼워 넣고 같은 블록을 다시 실행). 공통점: 은닉 벡터가 시퀀스 원소가 되어 수직 재귀와 수평 메모리를 잇고, 파라미터 수는 그대로다.
학습 유도 재귀 (§3.1.3): 구조를 바꾸지 않고 학습만으로 루프를 만든다. 세 갈래: 연속 활성 재귀(Coconut, CODI, CCOT, PCCOT, System-1.5 Reasoning), 압축 상태 재귀(VQ-VAE 잠재 토큰, gist 토큰), 전략적 토큰으로 반복 확장(filler 토큰 ”…”, 학습 가능한 <pause>, planning 토큰, <memory>/<reason> 토큰).
학습 전략 (§3.1.4): MIDAS(중간 층을 $b$ 배 복제하며 깊이를 점진적으로 늘리는 progressive stacking), Saunshi et al.의 루프 영감 정규화(코사인 유사도 항 $R_{G} (k)$ ), Stepwise Internalization, RELAY(루프 Transformer를 CoT 정렬 감독 $L = L_{an s} + λ L_{i t er}$ 로 학습 후 그 추론 사슬로 AR 모델을 미세조정).
응용 (§3.1.5): 작은 문제에서 큰 문제로의 알고리즘 외삽(테스트 때 반복 횟수 증가), 그래프 알고리즘 모사(BFS·DFS·최단경로), 루프 모델이 다단계 경사하강을 암묵적으로 구현한다는 이론.

수평 재귀 = 은닉 상태 기반 (§3.2)

선형 상태 재귀 (§3.2.1): 행렬 상태 $S_{t}$ 를 매 시점 감쇠시키고 현재 정보를 더함(식 11–12). Table 2 상단.
선형/경사 이중성: DeltaNet의 갱신식은 $L (S) = \frac{1}{2} ∥ S k_{t} - v_{t} ∥_{2}^{2}$ 에 경사하강 한 번과 같다. 상태 $S$ 를 매 토큰 갱신되는 “fast weight” 층으로 보면 시간 재귀와 깊이 재귀가 같은 원리가 된다(§3.2.1).
경사 상태 재귀 (§3.2.2): TTT(SGD 형) → Titans(Adam 형) → ATLAS(Muon 형). 일반식 $S_{t} = α_{t} S_{t - 1} - η_{t} \nabla_{S} ℓ (S_{t - 1}; k_{t}, v_{t})$ (식 13). 단점: 한 단계 경사가 이전 상태에 의존해 시퀀스 전체 병렬화가 안 됨 → 청크 단위 병렬화(청크 안은 병렬, 청크 사이는 재귀)로 타협. LatentSeek(정책 경사로 잠재 표현을 테스트 시 최적화), Soft Reasoning(첫 토큰 임베딩을 베이지안 최적화로 탐색)도 언급.
학습 유도 은닉 상태 변환 (§3.2.3): 사전학습된 Transformer를 RNN/SSM으로 바꾸는 증류·미세조정(SUPRA, MOHAWK/Phi-Mamba, Llamba, LoLCATs, Liger).

3) 해석가능성 (§4)

§4.1: 층 쌓기가 잠재 CoT를 반영하는가 — 거시(층 수와 추론 능력의 상관)와 미시(특정 층과 하위 과제의 대응) 증거.
§4.2: “층 특화 이론(Theory of Layer Specialization)” — 얕은 층(국소·구문 정보, 사실 회상, bridge entity 해석), 중간 층(추론 하위 회로, 강한 표현, 결과에 인과적 영향), 깊은 층(출력 정제·결정, 그러나 pruning 연구에서 기능 저하). 정보 흐름 이론(attention이 층 간 정보 전달의 핵심, grokking 중 생기는 generalizing circuit, back attention, Chain-of-Embedding 궤적).
§4.3: 튜링 완전성 — 아키텍처 증명(가정 포함), CoT를 통한 증명, 재귀·외부 메모리를 통한 확장. Table 3으로 표준 CoT(수평)와 층 기반 잠재 CoT(수직)를 대비.

4) 무한 깊이 추론 (§5)

공간적 무한 추론 = 텍스트 확산 모델 (§5.1): 마스크 확산(MDM), 임베딩 기반 확산(EDM), AR-확산 하이브리드 세 계열(Table 4, Figure 5). 전체 시퀀스를 양방향 문맥으로 반복 정제하므로 앞의 결정을 되돌릴 수 있다는 점을 AR 대비 장점으로 든다.
최적화 관점: 시간과 깊이의 교환 (§5.2): 경사형 상태 갱신에서는 토큰 하나가 옵티마이저 한 걸음이므로, 긴 시퀀스 처리 = 같은 층을 더 많이 반복 최적화. 세 전략: Infini-attention, TTT 계열(Titans, OmegaNet, Atlas, LaCT), 암묵적 고정점 RNN(Schöne et al.).

비교 범위

서베이에 포함된 방법 목록과 인용 번호는 Figure 2가 가장 완결적이다. 문헌 수집 기준(검색 DB, 기간, 포함·제외 규칙)은 보고되지 않았다. 관련 논문 목록은 GitHub 저장소 “LatentCoT-Horizon”에 있다고 초록에 적혀 있다.

주요 결과

서베이이므로 “결과”는 저자들이 문헌을 정리하며 내린 판단과, 인용 연구에서 옮긴 대표 수치다. 인용 수치의 실험 조건은 이 서베이에 거의 적혀 있지 않으므로 원 논문을 확인해야 한다.

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
잠재 추론은 명시적 추론보다 단계당 전달 정보가 훨씬 많다	Figure 1	토큰 ≈ 15비트 vs 2560차원 FP16 은닉 상태 ≈ 40,960비트, ~2.7×10³배	원시 비트 수 비교. 실제로 쓸모 있는 정보량이나 추론 성능 차이를 보인 것은 아님	author-stated (수치) / analyst-inference (해석 한계)
잠재 추론 방법은 수직(활성 기반)과 수평(은닉 상태 기반) 두 패러다임으로 나뉜다	§3 도입, Figure 3, §6	—	저자의 분류 틀. Coconut·CoTFormer처럼 둘을 잇는 경우도 저자가 따로 다룬다(§3.1.2)	author-stated
루프 아키텍처는 Prelude/Loop/Coda 3단 구조로 수렴하고 있다	§3.1.1, Table 1, Figure 4	UT·CoTFormer: No / Recursive Transformer: Optional / AlgoFormer·Recurrent-Depth: Yes	5개 모델만 비교한 표	author-stated
depth embedding은 폐기되는 추세	§3.1.1, Table 1	UT sinusoidal → CoTFormer learnable → Recursive·AlgoFormer none → Recurrent-Depth “tried, dropped”	저자 해석: 상태 진화가 반복 횟수를 이미 담기 때문일 수 있음(추정형 문장)	author-stated
동적 정지 장치는 단순해지는 추세이며, 복잡한 적응 장치는 비용 대비 이득이 불분명하다	§3.1.1, Table 1	ACT( $\sum_{t} p_{t} > τ$ ) → MoR router → early-exit( $max_{t} Δ h < ε$ ) → fixed → fixed-point iteration	”may not justify their computational overhead”라는 저자 추론. 직접 비용 비교 실험은 없음	author-stated
CODI는 잠재 방법 중 처음으로 GSM8K에서 명시적 CoT와 동등	§3.1.3	”achieving parity with explicit CoT on GSM8K for the first time among latent methods”	인용 연구 [91]의 주장. 모델·설정은 서베이에 없음	author-stated (인용)
System-1.5 Reasoning은 GSM8K에서 20× 이상 빠른 추론, CoT 정확도 유지	§3.1.3	”over 20× faster inference on GSM8K”	인용 연구 [109]	author-stated (인용)
재귀의 구체 구현보다 충분한 계산 깊이를 확보하는 것이 더 중요하다	§3.1.3 “Implications”, §3.1.5	—	연속·압축·토큰 방법이 “비슷한 성능”으로 수렴한다는 근거로 든 일반화. 공통 조건 비교는 없음	author-stated
수평 재귀(선형·경사 상태) 모델은 아직 추론 능력 향상 증거가 없다	§3.2 도입, §3.2.2 끝	”have not yet produced evidence demonstrating enhanced reasoning capabilities”	잠재력은 이론적 성질에 근거한 기대	author-stated (부정 결과)
DeltaNet 갱신 = 온라인 회귀 손실에 대한 경사하강 1스텝	§3.2.1, Table 2	$L (S) = \frac{1}{2} ∥ S k_{t} - v_{t} ∥_{2}^{2}$	이 등가성이 수직·수평 재귀를 묶는 핵심 다리	author-stated
사전학습 Transformer를 RNN/SSM으로 싸게 변환할 수 있다	§3.2.3	SUPRA ~20B 토큰·처음부터 학습 비용의 5%; MOHAWK 3B 토큰; Llamba 원 학습 연산의 0.1%; LoLCATs 가중치 0.2%만 LoRA, 8B에서 MMLU 격차 ≤1%; Liger 원 토큰 예산 0.02%로 교사 성능 93% 회복	모두 인용 연구 수치. 이 변환 모델들이 “추론”을 더 잘한다는 근거는 아님	author-stated (인용)
층 수가 잠재 추론 능력의 주된 병목이다	§4.1	Yu [128]: 5단계 과제에서 층 부족으로 최종 답 미출현; Guo et al. [42]: 2-hop에 최소 2–3층 필요; “achievable CoT step length scales linearly with layer count”	저자는 Saunshi et al.·Merrill and Sabharwal 정리를 근거로 “fundamentally establishes”라고 강하게 씀. 아래 불일치 참고	author-stated
중간 층 임베딩이 마지막 층보다 텍스트 임베딩 과제에서 최대 16% 좋다	§4.2	”up to 16%“	인용 연구 [96]	author-stated (인용)
깊은 층은 pruning 연구에서 기능이 약하며 원인은 Pre-LN 분산 증가·attention 행렬 퇴화	§4.2	attention 행렬이 거의 rank-1 단일 열 패턴으로 붕괴 [84]	저자 제언: 깊은 층의 “효과성” 유지가 미래 방향	author-stated
Transformer 튜링 완전성 증명은 강한 가정에 의존	§4.3	임의 정밀도·위치 인코딩·hard-max attention(Pérez et al.); 상수 정밀도 증명(Li and Wang)	일반성은 아키텍처가 아니라 CoT 같은 상호작용 방식으로도 얻을 수 있다는 결론	author-stated
확산 LM 가속 사례	§5.1.1	dKV-Cache 2–10× 가속; dLLM-Cache LLaDA 대비 최대 9.1×	인용 연구 수치	author-stated (인용)
Infini-attention은 재현 시 신뢰성이 떨어졌다	§5.2.1	압축 단계가 늘수록 긴 문맥 성능 저하, gating 파라미터 수렴 문제 [73]	저자 결론: 현재는 RoPE scaling·Ring Attention이 더 현실적	author-stated (부정 결과)
“시간을 통한 깊이”가 “층을 통한 깊이”를 대신할 수 있다	§5.2.1, §5.2.2	Titans-S(~250M)가 ~1M 최적화 스텝 후 1-shot recall에서 1.3B Transformer와 동등	recall 과제 한 가지 인용 수치. 추론 과제 증거는 아님	author-stated (인용) / analyst-inference (범위 한계)
암묵적 고정점 RNN은 대부분의 자연어 토큰에서 적은 반복으로 멈춘다	§5.2.1	자기 반복 ⩽ 16회	인용 연구 [87]	author-stated (인용)
직접 실증 비교는 불가능하다	§6	—	학습 조건 상이, 비추론 기준선 비교, 표준 벤치마크 부재	author-stated (한계)

결과들이 이어지는 방식. 서베이의 논리는 세 단계다. 먼저 Figure 1의 대역폭 논증으로 “왜 잠재 공간인가”를 세우고, §3에서 깊이를 늘리는 방법(수직)과 시간축 메모리를 늘리는 방법(수평)을 나눈 뒤, DeltaNet의 경사하강 등가성(§3.2.1)으로 둘이 같은 “반복 정제” 원리라고 묶는다. §4는 “그럼 표준 Transformer의 층 쌓기도 이미 잠재 CoT인가”를 해석가능성 증거로 지지하고, §5는 이 반복 정제를 무한히 늘리는 두 길(확산의 공간적 반복, 경사 상태의 시간적 반복)로 끝난다(analyst-inference, 구조 요약).

표·본문 사이의 불일치와 주의할 서술 (analyst-inference)

§4.1의 Saunshi et al. 인용은 “any K-layer transformer performing m-step CoT … can be simulated by an (L+O(1)) layer transformer through m iterative forward passes”로, 같은 문장에서 층 수 기호가 K와 L로 섞여 있다. 정확한 정리 내용은 원 논문(Reasoning with Latent Thoughts - On the Power of Looped Transformers)에서 확인해야 한다.
§3.1.1과 Table 1은 Universal Transformer를 [22](Dehghani et al.)로 인용하지만, §4.3에서는 “Chowdhury and Caragea [18] propose Universal Transformers (UTs)“라고 쓴다. 참고문헌 [18]의 제목은 “Investigating recurrent transformers with …”이므로 §4.3의 귀속은 오기일 가능성이 있다.
§4.1의 “layer depth serves as the primary bottleneck … achievable CoT step length scales linearly with layer count”는 인용 정리들을 넘어서는 일반화로 읽힌다. 인용된 근거는 특정 합성 과제와 표현력 상한 결과다.
§3.1.3의 “the convergence of continuous, compressed, and token-based methods toward similar performance outcomes”는 공통 벤치마크 비교 없이 내린 판단이며, §6에서 저자들이 직접 비교가 어렵다고 인정한 것과 긴장 관계에 있다.

Take-home

한 줄 요약. 잠재 추론은 “계산을 깊이(층 반복)로 펼치느냐, 시간(은닉 상태 진화)으로 펼치느냐”의 두 축으로 정리되며, 경사하강형 상태 갱신이 두 축을 하나의 “반복 최적화” 원리로 묶는다.

결론이 성립하는 범위.

이 글의 분류와 추세 판단은 문헌 정리에 근거한 것이다. 같은 조건에서 방법들을 비교한 실험은 없다(§6, author-stated).
Table 1의 설계 추세(3단 구조 수렴, depth embedding 폐기, 정지 장치 단순화)는 5개 아키텍처를 근거로 한다(author-stated, 표 범위).
본문 수치는 거의 전부 인용 연구의 값이며, 측정 조건은 원 논문에서 확인해야 한다(analyst-inference).

저자가 인정한 한계 (author-stated)

직접 실증 비교 부재. 서로 다른 학습 조건(처음부터 사전학습 vs continual pre-training), 비추론 기준선 위주의 비교, 표준 벤치마크 부재 때문(§6).
수평 재귀 모델은 추론 능력 향상의 증거가 아직 없다(§3.2, §3.2.2).
잠재 방법은 중간 상태가 사람이 읽을 수 있는 설명에 대응하지 않아 해석·학습이 어렵다(§2.2).
깊은 층의 기능 저하(Pre-LN 분산, attention 퇴화)는 해결해야 할 문제로 남아 있다(§4.2).

작성자가 보는 우려 (analyst-inference)

문헌 포함 기준(검색 방법, 기간, 제외 규칙)이 보고되지 않아 분류가 얼마나 망라적인지 판단할 수 없다.
대역폭 논증(Figure 1)은 원시 비트 수 비교라서, 연속 상태가 실제로 더 많은 “쓸모 있는” 정보를 다음 단계로 넘긴다는 증거는 아니다.
인용 귀속 오기(§4.3의 UT 인용)와 기호 혼동(§4.1의 K/L)이 있어 세부 사실은 원 논문으로 확인하는 편이 안전하다.
2025년 7월(v2) 시점 정리이므로 이후 루프 트랜스포머 연구(예: 이번 읽기 목록의 LoopCD, Recurrent depth retrofitting)는 포함되지 않는다.

재현성. 서베이이므로 seed·run 수는 해당 없다. 코드 대신 논문 목록 GitHub 저장소(LatentCoT-Horizon)를 공개한다고 초록에 적혀 있다.

읽지 못한 범위. 없음(본문 28쪽과 참고문헌 전체 확인, 부록 없음).

본문 도표

Figure 1 — 명시적 추론과 잠재 추론의 대역폭 비교

무엇을 보여주는가: 왼쪽은 명시적 추론(Step 1 → Step 2 → … → Step n, 단계마다 토큰을 내보내고 다시 읽음), 오른쪽은 잠재 추론(은닉 상태가 “Horizontal”과 “Vertical” 두 방식으로 이어짐).
읽는 법: 왼쪽 그림 아래 “Bandwidth* ≈ 15 bits”, 오른쪽 아래 “Bandwidth* ≈ 40960 bits”. 오른쪽 위 노란 상자는 같은 층이 시간 T=0…T=n으로 옆으로 이어지는 수평 방식, 아래 파란 상자는 층 묶음이 반복되는 수직 방식이다.
핵심 관찰: 토큰 하나 ≈ 15비트, 2560차원 FP16 은닉 상태 하나 ≈ 40,960비트, 약 2.7×10³배 차이(캡션). 40,960 = 2560×16이다(analyst-inference, 산술 확인).
의미와 주의: 저자는 이 차이를 잠재 추론의 동기로 쓴다(author-stated). 15비트의 근거(어휘 크기)는 적혀 있지 않고, 원시 용량 차이가 추론 성능 차이로 이어진다는 실험 근거는 이 그림에 없다(analyst-inference).
확인 상태: viewed

Figure 2 — 잠재 추론 분류 체계(taxonomy)

무엇을 보여주는가: 서베이 전체 구조를 나무 모양으로 그린 지도. 뿌리 “Latent Reasoning”에서 네 가지 가지(§2 예비 지식, §3 잠재 추론, §4 기계적 해석가능성, §5 무한 깊이 추론)로 나뉘고, 각 끝에 해당 논문 이름과 인용 번호가 달린다.
읽는 법: 왼쪽에서 오른쪽으로 대분류 → 중분류 → 소분류 → 대표 논문. 예: §3 → Activation-based Recurrent Methods → Architectural Recurrence → Universal Transformer [22], CoTFormer [71], Recursive Transformer [2], AlgoFormer [29], Recurrent-Depth [31].
핵심 관찰: §3은 활성 기반(구조적 재귀, 학습 유도 재귀, 학습 전략, 응용)과 시간 은닉 상태 기반(선형 상태, 경사 상태, 학습 유도 변환)으로 나뉜다. §4는 층 깊이 증거·층별 기제·튜링 완전성, §5는 텍스트 확산 세 계열과 “무한히 긴 옵티마이저 네트워크”(Infini-attention, TTT 계열, 암묵적 고정점 RNN).
의미와 주의: 원문을 옆에 두고 특정 방법의 위치를 찾을 때 쓰는 색인이다(analyst-inference). Coconut은 “Training-induced Recurrence”와 “Training Strategies” 두 곳에 나온다.
확인 상태: viewed

Figure 3 — 활성 기반 vs 은닉 상태 기반 잠재 추론

무엇을 보여주는가: 두 패러다임의 계산 흐름 비교.
읽는 법: 두 패널 모두 가로축이 시간 T=1, 2, …, N, 세로축이 Layer 1…Layer N. 왼쪽(Activation-Based)은 Layer N의 출력이 점선 화살표로 다음 T의 Layer 1로 되돌아간다. 오른쪽(Hidden state-Based)은 각 층이 같은 층의 다음 시점으로 옆 화살표로 이어진다.
핵심 관찰: 왼쪽은 같은 층 묶음을 다시 통과해 계산 깊이가 늘고, 오른쪽은 층마다 은닉 상태가 시간축을 따라 진화한다(캡션).
의미와 주의: 수직 재귀 = 깊이 확장, 수평 재귀 = 시간 확장이라는 서베이의 핵심 구분을 한 장으로 보여 준다(author-stated). 그림 자체는 개념도이며 특정 모델의 구현이 아니다(analyst-inference).
확인 상태: viewed

Table 1 — 활성 기반 잠재 CoT 아키텍처 비교

무엇을 보여주는가: 루프형 아키텍처 5개의 설계 선택 비교.
읽는 법: 행은 Universal Transformer, CoTFormer, Recursive Transformer, AlgoFormer, Recurrent-Depth. 열은 Pre/Loop/Coda 3단 구조 여부, 반복마다 넣는 입력 $x_{t}$ , 은닉 상태 $S_{t}$ 관리 방식, 동적 정지 방식, depth embedding $d_{t}$ .
핵심 관찰: Pre/Loop/Coda는 UT·CoTFormer “No”, Recursive Transformer “Optional”, AlgoFormer·Recurrent-Depth “Yes”. 동적 정지는 UT “ACT, $\sum_{t} p_{t} > τ$ ”, CoTFormer “MoR router $g_{i}$ ”, Recursive Transformer “early-exit, $max_{t} Δ h < ε$ ”, AlgoFormer “fixed”, Recurrent-Depth “fixed-point iteration”. depth embedding은 UT “sinusoidal”, CoTFormer “learnable”, Recursive·AlgoFormer “none”, Recurrent-Depth “tried, dropped”. 은닉 상태는 Recursive Transformer “share/refill $\hat{h}$ ”, Recurrent-Depth “modulo ( $t$ mod $r$ ) reuse”, 나머지는 표준 unroll/roll. Recurrent-Depth의 반복 입력은 $x_{t}^{1}, x_{t}^{l - 1}$ 둘 다.
의미와 주의: 저자들은 이 표로 “단순하고 모듈화된 설계로의 수렴”을 주장한다(§3.1.1, author-stated). 5개 모델에 근거한 추세 판단이며, Recurrent-Depth의 정지 방식은 본문에서 “explores fixed-point criteria”로 표보다 약하게 서술된다(analyst-inference).
확인 상태: viewed

Figure 4 — Pre/Loop/Coda 구조 개념도

무엇을 보여주는가: 입력 토큰 → (depth embedding $d_{t}$ 더하기) → Prelude → Loop blocks( $l = 1, 2, \dots, N$ 반복) → 정지 게이트 $σ$ → Coda → 출력.
읽는 법: Loop blocks 아래 상자는 반복마다 쌓이는 은닉 상태/KV-cache $S_{t}^{1}, S_{t}^{2}, \dots, S_{t}^{l}$ . 범례: $S_{t}$ 은닉 상태/KV, $d_{t}$ depth embedding, $σ$ 동적 정지 게이트.
핵심 관찰: Prelude는 입력 인코딩, Loop blocks는 반복 추론, Coda는 출력 디코딩을 맡는다(§3.1.1).
의미와 주의: 저자는 이 분리가 해석가능성을 높이고 고정점 반복 제약 같은 과제별 사전지식을 넣기 쉽게 한다고 말한다(author-stated). 그림은 여러 모델의 공통 요소를 합친 개념도로, 어느 한 모델이 이 모든 요소(특히 $d_{t}$ 와 $σ$ )를 다 쓰지는 않는다(Table 1과 대조, analyst-inference).
확인 상태: viewed

Table 2 — 은닉 상태·최적화 기반 메모리 갱신식 통합

무엇을 보여주는가: 행렬 메모리 $S_{t}$ 에 대한 재귀식을 세 묶음으로 정리. 모든 모델이 “ $S_{t - 1}$ 에 감쇠·투영·최적화 스텝을 적용한 뒤 외적 또는 경사 보정을 더한다”, 출력은 $o_{t} = S_{t} q_{t}$ .
읽는 법: 위 묶음 Linear-State Recurrence(Linear Attn, RetNet/Lightning, GLA, Mamba-2, HGRN-2), 가운데 Linear/Gradient-State duality(DeltaNet, G-DeltaNet — 각각 상태 갱신식과 같은 내용의 최적화식을 나란히 표기), 아래 Gradient-State Recurrence(TTT, Titans, Lattice, Moneta, Yaad, Memora, OmegaNet, Atlas). $α_{t}$ 는 이전 상태 유지 게이트, $η_{t}$ 는 학습률, DeltaNet류의 쓰기 강도는 $β_{t}$ .
핵심 관찰: 선형 어텐션 $S_{t} = S_{t - 1} + k_{t} v_{t}^{⊤}$ 에서 감쇠( $γ$ , $α_{t}$ , Diag $(a_{t})$ )를 넣은 것이 RetNet·GLA·Mamba-2이고, DeltaNet은 $S_{t} = S_{t - 1} (I - β_{t} k_{t} k_{t}^{⊤}) + β_{t} k_{t} v_{t}^{⊤}$ = $S_{t - 1} - β_{t} \nabla_{S} \frac{1}{2} ∥ S k_{t} - v_{t} ∥_{2}^{2}$ 이다. 아래 묶음은 손실(Huber, $ℓ_{p}$ ), 정규화, 모멘텀, 2차 업데이트(NS5, Muon/Newton–Schulz)로 확장된다. Titans는 모멘텀·norm 적응 항을 생략해 표기했다(각주).
의미와 주의: 이 표가 “수평 재귀 = 온라인 최적화”라는 서베이의 통합 관점을 떠받친다(author-stated). 이 표의 모델들이 추론을 더 잘한다는 근거는 아니며, 저자들도 그 증거가 아직 없다고 말한다(§3.2, author-stated).
확인 상태: viewed

Table 3 — 표준 CoT(수평 확장) vs 층 기반 잠재 CoT(수직 확장)

무엇을 보여주는가: 두 방식의 계산 차원 비교.
읽는 법: 열은 Operation(한 단계의 단위), Storage(중간 결과 저장 위치), Resource Constraint(한계 자원), Optimization Objective(학습 목표).
핵심 관찰: 표준 CoT = 모델 전체 forward pass / 시퀀스 속 명시적 토큰 / 문맥 창 / 끝단 과제 목표. 층 기반 잠재 CoT = 층 하나의 forward pass / 은닉 상태 / 층 수 / 다음 토큰 예측.
의미와 주의: “두 방식 모두 계산 확장이며, 시퀀스 방향으로 펼치느냐 깊이 방향으로 펼치느냐만 다르다”는 §4.3 결론을 요약한다(author-stated). 층 기반 잠재 CoT의 자원 한계가 “층 수”라는 점이 루프 트랜스포머(층을 반복해 유효 층 수를 늘림)의 동기와 직결된다(analyst-inference).
확인 상태: viewed

Table 4 — 캐시 통합 정도로 정리한 텍스트 확산 모델

무엇을 보여주는가: 텍스트 확산 모델을 네 묶음으로 나누고 각 묶음의 잠재 갱신식을 적는다.
읽는 법: 왼쪽은 방법 목록, 오른쪽은 통합 잠재 갱신식.
핵심 관찰: 마스크 확산(시간 갱신만: D3PM, SEDD, RADD, MD4, Simple-MDM, MDM, MMaDA, IRED) $x_{t + 1}^{l} (i) = f (x_{t}^{l} (i))$ ; 마스크 확산(캐시 포함: LLaDA, dKV-Cache, DoT-SEDD, dLLM-Cache, d1-LLaDA, DCoLT, LLaDA 1.5, MGDM) $x_{t}^{l + 1} = f_{τ} (x_{t}^{l}, S_{t}^{l})$ , $S_{t + 1}^{l} (i) \approx g_{τ} (\cdot)$ ; 임베딩 기반(Diffusion-LM, CDCD, Plaid, DoT-Plaid, TESS, TESS 2, Bit Diffusion) $x_{t + 1}^{l} = f (x_{t}^{l}, ϵ_{t})$ ; AR-확산 하이브리드(DiffuLLaMA, Dream, L2D, Gemini Diffusion, Mercury) 캐시 갱신 + AR prefix caching.
의미와 주의: 시간 갱신만 하던 확산이 KV cache를 들이며 공간-시간 틀로 진화했다는 저자의 정리(author-stated). 캐시 포함 마스크 확산의 갱신식에만 ”≈“가 붙어 있는데, 이는 캐시 갱신이 근사라는 표시로 보인다(analyst-inference).
확인 상태: viewed

Figure 5 — 텍스트 확산 모델의 진화 그래프

무엇을 보여주는가: 2021–2025년 텍스트 확산 모델을 시간선 위에 놓고, 색으로 세 계열(마스크 확산, 임베딩 기반 확산, AR-확산 하이브리드)을 구분한 그림.
읽는 법: 굽은 화살표가 2021 → 2022 → 2023 → 2024 → 2025로 흐르고, 연도 옆 작은 숫자(1-6, 7-12, 1-4, 5, 6)는 월 구간으로 보인다(analyst-inference, 그래프 판독). 모델 이름 옆 로고는 소속 기관.
핵심 관찰: 2021 D3PM, 2022 Diffusion-LM·CDCD, 2023 Plaid·SEDD·Bit Diffusion, 2024 TESS·DoT-SEDD·DoT-Plaid·Simple-MDM·MD4·IRED·RADD·MDM·L2D·DREAM·MGDM·TESS 2·LLaDA, 2025 dKV-Cache·LLaDA 1.5·Gemini Diffusion·MMaDA·DiffuLLaMA·dLLM-Cache·DCoLT·Mercury·d1-LLaDA(그래프 판독, 정확한 연도 배치는 원문 그림 확인 권장).
의미와 주의: 2024–2025년에 모델이 몰려 있어 이 계열이 빠르게 늘고 있음을 보여 준다(analyst-inference). 성능 비교 정보는 없다.
확인 상태: viewed

Wiki 연결

Reasoning with Latent Thoughts - On the Power of Looped Transformers — §3.1.4·§4.1에서 인용되는 Saunshi et al.의 루프 정규화와 “K층 m-step CoT를 루프로 모사” 정리의 원 논문.
Training Large Language Models to Reason in a Continuous Latent Space — 서베이가 학습 유도 재귀의 대표로 드는 Coconut 원 논문(§3.1.2–3.1.4).
Looped Transformers as Programmable Computers — §3.1.5에서 테스트 시 반복 횟수로 일반화하는 루프 구조의 근거로 인용(Giannou et al. [35]).
Titans - Learning to Memorize at Test Time — Table 2·§5.2의 경사 상태 재귀(Adam 형) 대표.
Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — Table 1의 “고정점 반복 정지” 흐름과 이어지는 루프 트랜스포머 후속 연구.

BibTeX

@article{zhu2025survey,
  title   = {A Survey on Latent Reasoning},
  author  = {Zhu, Rui-Jie and Peng, Tianhao and Cheng, Tianhao and Qu, Xingwei and others},
  journal = {arXiv preprint arXiv:2507.06203},
  year    = {2025}
}