루프 트랜스포머로 잠재 추론과 명시적 추론의 격차 메우기 (LOTUS)

개요

언어모델은 보통 풀이 과정을 토큰으로 한 글자씩 적는 explicit **chain-of-thought(CoT)**로 추론한다. 정확하지만 풀이가 N토큰이면 모델을 N번 순서대로 돌려야 해서 느리다. 그래서 풀이를 글자 대신 hidden state(모델 내부 벡터)로 하는 latent CoT가 나왔는데, GPT-2 같은 작은 모델에서는 CoT와 비슷했지만 1B를 넘으면 뒤처졌고 모델이 클수록 격차가 벌어졌다. 이 논문은 원인을 둘로 짚는다. 첫째, Coconut·CODI·SIM-CoT는 잠재 생각을 여전히 하나씩 순서대로 만들어 CoT의 느린 순차 생성을 그대로 안고 있다. 둘째, 잠재 상태를 정답 풀이에 직접 묶는 감독이 없어 잠재 상태가 의미 없는 방향으로 흘러간다. 그렇다면 해법은 “병렬로 몇 번만 다듬되, CoT만큼 직접적인 목표로 가르치는 것”이다. LOTUS는 질문과 답 사이에 학습 가능한 잠재 토큰 블록 K=6개(블록당 c=25개)를 끼워 넣은 looped padded Transformer(같은 모델을 여러 번 다시 돌리면서 입력에 빈 작업 칸을 덧붙인 구조)로, 모든 블록을 R=6번 동시에 다듬는다. 그리고 마지막 잠재 상태를 원래 모델의 LM head에 그대로 통과시켜 각 위치가 gold CoT 단계의 해당 토큰을 맞히도록 병렬 cross-entropy 감독을 건다. 순차 단계는 풀이 길이 N이 아니라 R(≪N)번뿐이다. Llama-3.2-3B에서 기존 최고 같은 예산 기준선(CODI + SIM-CoT)은 GSM8K 62.3으로 CoT(71.5)보다 9.2점 낮았지만, LOTUS는 70.0(+CODI 70.6)으로 격차를 1점 안팎으로 줄였고, 생각 단계 지연은 338.8ms에서 133.0ms로 2.5배 줄었다. 풀이가 긴 자연어 CoT에서는 정확도가 같으면서(68.13 vs 68.41) 6.9배 빨랐다. 게다가 잠재 상태를 LM head로 읽으면 gold 풀이 토큰이 70.9% top-1로 복원되고, 학습에 없던 다른 올바른 중간값도 떠오른다. 이는 잠재 공간이 **CoT 정렬(CoT-aligned)**되어 있다는 증거다.

Implication: 잠재 추론이 큰 모델에서 무너진 이유는 “잠재”라서가 아니라 순차 생성과 간접 감독 때문이었다. 루프로 병렬 정제하고 gold CoT로 직접 감독하면 3B에서 CoT 정확도를 거의 따라잡으면서 생각 시간을 크게 줄이고, 해석 가능성도 지킬 수 있다.

📎 https://arxiv.org/abs/2606.31779

배경과 문제

왜 어려운 문제인가. 추론 시간 계산을 늘리는 것(모델이 답하기 전에 “생각”하게 하기)이 언어모델 능력을 높이는 주된 수단이 됐고, 그 중심이 CoT다. 하지만 각 토큰을 순서대로 디코딩해야 하므로 길이 N의 CoT는 N번의 순차 모델 평가가 필요해 비싸다(author-stated, Section 1). latent reasoning(잠재 추론)은 중간 계산을 연속 hidden state로 해서 여러 단계를 더 적은 평가로 압축하려 한다. GPT-2 규모에서는 Coconut, CODI, SIM-CoT가 CoT와 비슷했지만, 1B 이상에서는 수학 추론에서 CoT를 따라잡은 잠재 방법이 없고 격차는 모델 크기와 함께 커진다(Wei et al., 2025 인용, Section 1).

저자가 지목한 두 문제 (Section 1).

(P1) 순차 생성: Coconut, CODI, SIM-CoT는 잠재 생각을 순수 자기회귀(autoregressive, 앞 결과를 받아 다음을 하나씩 만드는) 방식으로 만든다. 순차 forward 횟수가 잠재 토큰 수에 비례하므로 CoT의 병목을 그대로 가지면서, 사람이 읽을 수 있는 중간 단계라는 CoT의 장점은 잃는다.
(P2) CoT 근거 부족: explicit CoT는 각 단계에 위치가 맞춰진 토큰 목표를 준다. 그런 감독이 없으면 잠재 경로가 의미 있는 계산에서 벗어나고 큰 규모에서 학습이 불안정해진다(Li et al., 2026b; Zou et al., 2026 인용). PCCoT와 KaVa는 Jacobi식 반복(여러 위치를 동시에 여러 번 고쳐 나가는 방식)으로 P1은 완화했지만, 감독은 교사 CoT 모델의 hidden state 증류나 압축된 교사 KV cache 같은 간접 신호에 머문다.

학술적 계보 (Section 2, Appendix A).

루프 트랜스포머: Universal Transformer(Dehghani et al., 2019)에서 출발. Giannou et al.(2023)의 Turing 완전성(Looped Transformers as Programmable Computers), Saunshi et al.(2025)의 “루프가 CoT보다 적은 모델 평가로 문제를 풀 수 있다”는 이론(Reasoning with Latent Thoughts - On the Power of Looped Transformers), Merrill & Sabharwal(2025b)의 “LPT는 그래프 도달 가능성을 로그 횟수 반복으로 푼다”는 결과가 동기다. 대규모 사전학습 루프 모델로 Huginn(Geiping et al., 2025a, 3.5B), LoopLM(Zhu et al., 2025c)이 있다(author-stated).
padding / pause 토큰: Goyal et al.(2024), Pfau et al.(2024)은 학습 가능한 빈 토큰이 병렬 계산을 더한다는 것을 보였다. 루프와 padding을 합친 것이 looped padded Transformer(LPT)다(author-stated, Section 2).
확산 언어모델과의 연결: Svete & Sabharwal(2026)은 masked diffusion model이 padded looped Transformer와 동등하다고 보였고, 이것이 이런 backbone을 직접 감독하자는 동기가 됐다(author-stated, Appendix A).
잠재 CoT 방법: Coconut(Training Large Language Models to Reason in a Continuous Latent Space, 단계마다 c개 잠재 토큰을 자기회귀로 만들고 답만 감독), CODI(지정 잠재 하나를 교사 CoT의 hidden state에 증류), SIM-CoT(보조 자기회귀 decoder로 잠재 하나를 CoT 단계에 정렬), PCCoT와 KaVa(병렬 Jacobi 반복 + 간접 감독)(author-stated, Section 2, Appendix C).

이 논문이 다르다고 말하는 점. (i) 잠재를 루프 padded backbone에서 R번 병렬로 다듬어 P1을 풀고, (ii) 원래 모델의 LM head로 gold CoT 토큰에 직접 cross-entropy를 걸어 P2를 푼다. 저자는 LOTUS가 3B 규모에서 explicit CoT와의 격차를 메운 첫 잠재 추론 방법이라고 주장한다(author-stated, Section 1). “첫 번째” 주장은 저자 표현대로 “to our knowledge”이며 이 노트에서 독립 검증하지 않았다(analyst-inference).

지표

지표	무엇을 세는가	단위·범위	방향	분모·정규화	측정 조건	위치
정확도 (Accuracy)	최종 답이 맞은 문제 비율	%	높을수록 좋음	문제 수	in-domain GSM8K test, out-of-domain GSM-Hard·MultiArith·SVAMP. 학습은 GSM8k-Aug(385k). 3 seed 평균±표준편차(LOTUS 계열)	Section 4.1, Table 1
Out-of-domain Average	세 OOD 데이터셋 정확도의 평균	%	높을수록 좋음	3개 단순 평균	Table 1	Table 1 캡션
단계별 추론 지연 (latency)	예제당 평균 시간을 query prefill, thought, answer 세 단계로 나눈 것	ms/example	낮을수록 좋음	예제 평균	H100 NVL 1장, batch 1, greedy decoding, GSM8K test, Llama-3.2-3B	Table 2, 각주 4
Thought 속도 향상 배수	explicit CoT thought 지연 / 해당 방법 thought 지연	배수	높을수록 좋음	CoT 기준	위와 같음	Section 4.2, Table 3
Gold CoT NLL	잠재 위치에서 gold CoT 토큰열의 negative log-likelihood	nats로 추정(단위 명시 없음, `unknown`)	낮을수록 잘 복원	1,319 GSM8K test 문제 평균	readout 방식별. PCL 분해(LOTUS)와 자기회귀 분해(aux decoder)는 직접 비교 불가(각주 8, Appendix E)	Section 5.1, Table 9
P(gold ∈ top-1 / top-5)	각 잠재 위치에서 gold 토큰이 128K 어휘 softmax의 1위 / 상위 5위 안에 드는 비율	%	높을수록 좋음	위치·문제 평균	같음	Table 9, 11
G / U / Random NLL	gold 풀이에만 있는 중간 숫자(G), 학습에 없던 다른 올바른 풀이에만 있는 숫자(U), 무작위 대조군의 토큰당 NLL. 가장 강하게 떠오르는 위치 기준	NLL	낮을수록 잘 떠오름	집합 평균	구성은 Appendix F.2	Section 5.2, Table 10
P(U ∈ top-k)	U 숫자가 어느 잠재 위치에서든 top-k 안에 드는 비율	%	높을수록 다른 올바른 풀이도 담음	U 숫자 수	같음	Table 10

주의. “thought 단계” 지연은 LOTUS에서는 R번의 루프, CoT에서는 풀이 토큰 디코딩이다. prefill과 answer 단계는 LOTUS와 CoT가 거의 같다(16.7 vs 15.9ms, 31.5 vs 29.5ms, 각주 5). 체크포인트는 GSM8K validation 정확도로 골랐다(Appendix D). Table 1의 baseline(Explicit CoT, No-CoT, CODI, CODI + SIM-CoT)은 표준편차 없이 단일 값으로 적혀 있고, 이 값을 직접 돌렸는지 다른 논문에서 가져왔는지는 본문·부록에 보고되지 않았다. Table 13–14의 일부 baseline은 Wei et al.(2025), Kuzina et al.(2026), Wu et al.(2025)에서 가져왔다고 명시한다(Appendix C).

방법과 벤치마크 구성

1. 입력 구성: padded latent prefix (식 1, Section 3.1)

입력은 [Q, <BoT>, 블록1(c개 <lat>), …, 블록K(c개 <lat>), <EoT>, A]다. <lat>은 모든 위치가 공유하는 학습 가능한 잠재 토큰, <BoT>·<EoT>는 잠재 구간의 시작·끝 표시다. 블록 i는 CoT 단계 Tᵢ의 잠재 표현을 담도록 의도됐다. K는 예제마다 바뀌는 단계 수 S와 달리 고정이며, GSM8k-Aug의 99%가 6단계 이하라 K=6으로 정했다. 더 긴 풀이는 꼬리 부분을 자기회귀로 이어 쓴다(각주 3, Appendix D).

2. 루프 잠재 계산 (식 2, Section 3.2)

[Q, <BoT>]를 한 번만 통과시켜 KV cache $C_{p re}$ 를 만들고, 이후 학습·추론 내내 재사용한다. 잠재 임베딩 E에 이전 반복의 hidden state를 더해 넣는 input-injected recurrence(매 반복 원래 입력을 다시 주입하는 재귀)로 $h^{(t)} = f_{θ} (E + h^{(t - 1)} ∣ C_{p re})$ 를 R번 계산한다. <EoT>와 답 A는 루프에 들어가지 않는다. 고정 unroll 깊이 R이며 gradient는 R번 전부를 거쳐 흐른다.

3. 감독 (식 3–6, Section 3.3)

Step loss $L_{s t e p}$ : 마지막 반복의 잠재 $h^{(R)}$ 의 각 위치 (i, j)를 LM head에 통과시켜 CoT 단계 i의 j번째 토큰과 cross-entropy. 단계를 c토큰으로 자르거나 padding하고, padding 위치는 손실에서 뺀다.
Answer loss $L_{an s}$ : $C_{p re}$ 와 $h^{(R)}$ 을 조건으로 [<EoT>, A]를 한 번 더 통과시키는 final forward에서 답 토큰의 next-token cross-entropy.
전체: $L = L_{an s} + λ_{s t e p} L_{s t e p}$ , $λ_{s t e p}$ =0.05(Appendix D).
성질: direct(답을 만드는 같은 LM head로 채점), parallel(K 블록 동시), post-loop(마지막 반복만 읽음).
추론: 질문 KV를 한 번 계산하고 루프를 R번 돌린 뒤 답만 자기회귀로 디코딩한다. 잠재 단계는 답 생성 중 토큰으로 읽어내지 않는다. 순차 디코딩은 짧은 답 부분뿐이라 지연이 줄어든다(Section 3.3.1).

4. 두 손실의 역할에 대한 이론적 설명 (식 7–8, Section 3.3.2)

$L_{s t e p}$ 은 위치마다 독립인 parallel chain likelihood(PCL, 각 위치 확률의 곱)를 최대화한다. 걱정은 “독립 목표로 어떻게 일관된 풀이가 되나”인데, 저자 설명은 이렇다. 손실은 위치별로 독립이지만 잠재 상태 자체는 루프가 함께 계산하므로 독립이 아니다. gold 풀이 전체는 위치별 gold 토큰 지지집합의 곱 안에 들어가므로(식 8), $L_{s t e p}$ 은 “각 위치가 맞는 토큰에 확률을 두게 하는” 커버리지 역할을 한다. $L_{an s}$ 는 전체 잠재 배치를 조건으로 답을 맞히게 하므로 “실제로 답을 낼 수 있는 일관된 조합”을 고르는 전역 선택 압력을 준다(author-stated). 이 설명은 Section 5.3의 손실 ablation으로 경험적으로 확인한다.

5. LOTUS-aux 변형 (식 9–10, Section 3.4)

감독을 LM head 대신 보조 decoder $g_{ϕ}$ (기본 모델과 같은 크기의 복사본, 함께 학습)로 보낸다. 반복 t마다 블록 t의 잠재를 접두로 읽고 gold 단계 $T_{t}$ 를 teacher forcing(정답 앞 토큰을 입력으로 넣어 다음 토큰을 맞히게 하는 학습)으로 채점한다. SIM-CoT의 보조 decoder를 본떴지만 블록을 병렬로 만들고 단계마다 c토큰 블록 전체를 감독한다. $g_{ϕ}$ 는 학습에만 쓰여 추론 효율은 LOTUS와 같다. 가벼운 보조 decoder는 학습이 불안정했다고 한다(Appendix D).

6. 실험 설정 (Section 4.1, Appendix D)

데이터: GSM8k-Aug(385k)로 학습. GSM8K test(in-domain), GSM-Hard·MultiArith·SVAMP(out-of-domain). 자연어 풀이판 GSM8k-Aug(Wu et al., 2025)를 효율 스트레스 테스트로 별도 사용(c=50, $λ_{s t e p}$ =0.033).
Backbone: GPT-2(124M, c=13), Llama-3.2-1B-Instruct, Llama-3.2-3B-Instruct(c=25). K=6, R=6.
학습: 각 backbone의 explicit CoT 체크포인트에서 시작해 전체 파라미터 fine-tuning. Coconut식 단계 커리큘럼(epoch마다 CoT 단계를 하나씩 잠재 블록으로 바꾸고 루프 수도 함께 늘림). AdamW, 상수 lr(GPT-2·1B 1×10⁻⁴, 3B 5×10⁻⁵), 30 epoch, batch 128. GSM8K validation 정확도로 체크포인트 선택(마지막 epoch도 비슷하다고 언급).
비교 대상: Explicit CoT, No-CoT, 같은 순차 예산(R=6)의 CODI와 CODI + SIM-CoT(Table 1). 순차 예산이 다른 Coconut, Coconut + SIM-CoT, PCCoT, KaVa는 Appendix C의 Table 13–14에서 따로 비교.
변형: LOTUS, LOTUS + CODI(CODI 증류 손실 가중 1.0 추가), LOTUS-aux, LOTUS-aux + CODI.

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
3B에서 LOTUS가 explicit CoT와의 in-domain 격차를 거의 메운다	Table 1	GSM8K: CoT 71.5, LOTUS 70.0 ± 0.9, LOTUS + CODI 70.6 ± 0.2, CODI + SIM-CoT 62.3, CODI 60.8	LOTUS 계열은 3 seed. baseline은 단일 값	author-stated
기존 잠재 방법은 규모가 커질수록 CoT와 멀어지지만 LOTUS는 아니다	Table 1, Table 13, Section 4.2	CODI + SIM-CoT: GPT-2 42.6 vs 42.7 → 3B 9.2점 뒤짐. KaVa 격차 1.9 → 5.8점. LOTUS는 각 규모에서 CoT 대비 약 1.5점 이내	GPT-2에서는 LOTUS(44.1)가 CoT(42.7)보다 높다	author-stated
3B에서 OOD 평균은 CoT를 앞선다	Table 1	OOD 평균: CoT 62.1, LOTUS 63.9 ± 0.3. MultiArith 99.9, SVAMP 75.7	3B에서는 CODI(62.1)와 CODI + SIM-CoT(62.8)도 이미 CoT 이상이다. 1B에서는 CoT 58.8 > LOTUS 57.3, GPT-2에서는 CODI + SIM-CoT 48.3 > LOTUS 47.9	author-stated (3B 수치) / analyst-inference (예외 대조)
보조 decoder 경로(LOTUS-aux)는 3B에서만 LOTUS와 대등하다	Table 1, Section 4.2	3B: LOTUS-aux 69.9. 1B: 55.4 (LOTUS 57.3). GPT-2: 35.5 ± 4.5 (LOTUS 44.1)	작은 모델에서 aux 계열 분산이 크다(± 3.7–4.7)	author-stated
thought 단계가 CoT보다 2.5배 빠르다	Table 2	thought: LOTUS 133.0ms, CoT 338.8ms, SIM-CoT 162.7ms, CODI 88.2ms. 합계 181.2 vs 384.2ms(2.1배)	3B, batch 1. CODI는 더 빠르지만 정확도가 낮다(60.8)	author-stated
자연어 CoT에서는 정확도가 같고 6.9배 빠르다	Table 3	GSM8K 68.13 ± 0.77 vs 68.41 ± 0.59. thought 140.8 vs 963.6ms	표의 두 값으로 계산하면 963.6/140.8 = 6.84	author-stated / analyst-inference (재계산)
자연어 설정에서 다른 잠재 방법을 크게 앞선다	Table 14 (Appendix C), Section 4.2	GSM8K: PCCoT 47.6, CODI 55.9, KaVa 60.0, LOTUS 68.13. SVAMP 73.40 (CoT 71.93보다 높음), GSM-Hard 16.27 (CoT 18.27보다 낮음)	baseline 값은 Kuzina et al.(2026) 보고치	author-stated
감독 없이 루프 backbone만으로도 기존 방법보다 낫다 (ablation)	Table 4	잠재 감독 없음(답 손실만) 63.3 > CODI + SIM-CoT 62.3	3B	author-stated
gold CoT 감독이 이득의 핵심이다 (ablation)	Table 4	CODI만 64.4, LOTUS per-iter 68.2, LOTUS post-loop 70.0, LOTUS-aux per-iter 69.9, LOTUS-aux post-loop 68.4	최적 감독 시점이 두 경로에서 반대다	author-stated
블록 폭 c는 1개로는 부족하고 5개 이상이면 충분하다	Table 7	c=1 49.7, 5 67.5, 10 68.4, 25 70.0, 30 70.0	학습 시 c를 바꾼 별도 모델	author-stated
추론 시 c를 학습값보다 줄이면 손해, 늘리면 약간 이득, 지연은 거의 그대로	Table 8	c=1 51.4, 5 59.4, 10 64.2, 25 70.0, 30·50 70.5. thought 110.9 → 141.2ms (50배 폭 변화에 약 30ms)	c=25로 학습한 한 체크포인트	author-stated
루프 수 R이 정확도를 크게 좌우한다	Table 5, 6	학습 R: 2 14.6, 3 23.2, 4 52.6, 5 68.1, 6 70.0. 추론 R(학습 R=6 모델): 1 22.7 … 6 70.0, 7 69.3	학습보다 많이 돌려도 이득 없음	author-stated
LOTUS의 잠재에서 gold CoT를 직접 읽어낼 수 있다	Table 9	LOTUS $h^{(R)}$ via $f_{h e a d}$ : NLL 3.07, top-1 70.9%, top-5 85.8%. LOTUS-aux FR: 6.39, 64.5%, 76.7%. LOTUS-aux TF(gold 접두 사용, 상한 참고용): 1.56, 84.3%, 93.9%	PCL과 자기회귀 NLL은 직접 비교 불가	author-stated
학습에 없던 올바른 풀이의 중간값도 잠재에 담긴다	Table 10	LOTUS: G NLL 0.07, U NLL 4.28, Random 8.16. P(U∈top-1) 15.3%, top-5 64.0%	네 readout 모두 G ≪ U ≪ Random 순서	author-stated
두 손실은 서로를 보완한다 (ablation)	Table 11	LOTUS NLL 3.07 / top-1 70.9% / top-5 85.8%. $L_{s t e p}$ 만 9.29 / 9.1% / 17.1%. $L_{an s}$ 만 5.97 / 9.4% / 26.5%	정확도 대신 gold 복원 지표로 비교	author-stated

결과가 이어지는 방식. 논문은 “정확도 → 효율 → 설계 요소 → 해석 가능성” 순서로 쌓는다. Table 1과 2가 “3B에서 CoT에 근접 + 더 빠름”을 보이고, Table 4–8이 그 이득을 루프 backbone(감독 없이도 63.3), gold CoT 감독(+6.7점), 충분한 폭과 깊이로 나눈다. Table 9–11은 정확도와 별도로 잠재가 실제 CoT 내용을 담는지 확인한다. 특히 $L_{s t e p}$ 만으로는 gold 복원이 오히려 가장 나쁘다는 Table 11 결과는 “위치별 독립 감독만으로는 부족하고 답 손실이 전체 조합을 묶어 준다”는 Section 3.3.2 설명과 맞는다(author-stated).

주의할 연결. “격차를 메웠다”는 주장은 in-domain 70.0 vs 71.5(LOTUS) 또는 70.6 vs 71.5(LOTUS + CODI)이며, CoT 값에는 seed 표준편차가 없어 차이가 통계적으로 유의한지는 판단할 수 없다(analyst-inference). 반대로 OOD 평균 “CoT 초과”는 같은 예산의 CODI 계열도 3B에서 이미 CoT 이상이라 LOTUS만의 성질로 보기 어렵다(analyst-inference). Table 13에서 GPT-2 규모의 PCCoT(49.5)는 LOTUS(44.1)와 CoT(42.7)를 모두 앞서며, 이 수치는 다른 논문 보고치다(Appendix C).

Take-home

한 줄 요약. 잠재 블록을 루프로 병렬 정제하고 원래 LM head로 gold CoT 토큰에 직접 맞추는 단순한 레시피만으로, 3B 모델에서 잠재 추론이 explicit CoT 정확도에 거의 도달하면서 생각 시간을 2.5–6.9배 줄인다.

결론이 성립하는 범위.

수학 문장제(GSM8K 계열 학습, 4개 수학 벤치마크 평가)와 최대 3B 모델(Section 6, Table 1).
K=6이 GSM8k-Aug의 99%를 덮도록 정해졌다. 더 긴 풀이는 자기회귀로 넘어간다(Appendix D).
explicit CoT 체크포인트에서 시작한 fine-tuning이다. 즉 CoT 학습 데이터(gold 풀이)가 반드시 있어야 한다(Appendix D, analyst-inference: 방법이 gold CoT 토큰을 감독 목표로 쓰므로).
지연은 batch 1, H100 한 장, greedy 조건이다(Table 2 각주 4).

저자가 인정한 한계 (author-stated, Section 6).

선행 잠재 추론 연구를 따라 수학 벤치마크만 평가했다. 다른 영역으로의 전이는 열린 문제다.
K, c, R은 기대 단계 수에 맞춰 미리 정하는 고정 하이퍼파라미터이고, K보다 긴 풀이는 꼬리를 자기회귀로 완성한다. 적응형 K, c, R은 향후 과제다.

작성자가 보는 우려 (analyst-inference).

저자는 블록 폭과 루프 깊이가 “각각 필요(necessary)“하고 두 요소가 “essential”하다고 쓰지만, 근거는 이 설정(3B, GSM8K)에서 값을 줄였을 때 정확도가 떨어진다는 ablation이다. 필요성 증명이 아니라 이 구성에서의 성능 기여로 읽어야 한다.
Table 1의 baseline 값의 출처와 seed 수가 명시되지 않아, LOTUS(3 seed 평균)와의 비교 조건이 같은지 확인할 수 없다.
체크포인트를 GSM8K validation 정확도로 고른 뒤 GSM8K test를 in-domain 지표로 쓴다. validation과 test는 다른 split이지만 같은 분포다.
“해석 가능”의 근거는 LM head readout이 gold 토큰을 높은 확률로 맞힌다는 것인데, 이 readout 자체가 $L_{s t e p}$ 으로 직접 학습된 목표다. 즉 학습 목표를 되읽은 것에 가깝고, 그 잠재가 실제 답 계산에 인과적으로 쓰이는지는 별도 실험이 필요하다. Table 10의 U(학습에 없던 올바른 중간값) 결과는 이 우려를 일부 덜어 준다.

재현성. LOTUS 계열은 3 seed 평균±표준편차(Table 1, 3, 14). 코드는 공개됐다(https://github.com/yingfan-bot/lotus, 초록). 학습 데이터는 공개 데이터셋(GSM8k-Aug)이다.

본문 도표

Figure 1 — 규모별 정확도와 자연어 CoT 비교

무엇을 보여주는가: (a) 수학식 CoT 설정에서 GPT-2 124M, Llama-3.2-1B, Llama-3.2-3B에 걸친 GSM8K test 정확도를 LOTUS, Explicit CoT, KaVa, SIM-CoT, CODI, PCCoT로 비교. (b) 3B 자연어 CoT 설정의 막대그래프(Explicit CoT, LOTUS, KaVa, CODI, PCCoT).
읽는 법: (a) x축 모델 크기(범주), y축 GSM8K 정확도(%), 점선으로 이은 방법별 선. (b) y축 같은 정확도.
핵심 관찰: (a) 3B에서 LOTUS(70.0)는 CoT(71.5) 바로 아래, KaVa(65.7), SIM-CoT(62.3), CODI(60.8), PCCoT(54.7)는 아래로 벌어진다. GPT-2에서는 PCCoT가 약 49.5로 가장 높다(값은 Table 1, 13). (b) CoT 68.41, LOTUS 68.13, KaVa 60.0, CODI 55.9, PCCoT 47.6(Table 3, 14).
의미와 주의: 캡션은 LOTUS가 규모가 커져도 CoT 상한을 따라가고 3B에서 thought 지연을 2.5배, 자연어에서 6.9배 줄인다고 한다(author-stated). 그림의 KaVa·PCCoT·Coconut 계열 값 일부는 다른 논문 보고치이고 순차 예산도 다르다(Appendix C)(author-stated). GPT-2에서 PCCoT가 LOTUS보다 높다는 점은 “LOTUS가 모든 규모에서 최고”가 아님을 보여 준다(analyst-inference).
확인 상태: viewed

Figure 2 — LOTUS 구조

무엇을 보여주는가: (a) Looped forward: [Q, BoT, lat … lat, EoT]를 $f_{θ}$ 로 R번 반복해 잠재 위치의 $h^{(R)}$ 을 만들고, $f_{h e a d}$ 로 gold CoT 토큰과 병렬 비교한다. (b) Final forward: $h^{(R)}$ 을 잠재 위치에 끼워 넣고 답 A를 next-token 예측으로 감독한다.
읽는 법: 회색 상자=토큰, 주황 점선 상자=hidden state, 파란 띠=기본 LM $f_{θ}$ , 초록 화살표=감독. “×R”은 반복, 블록 i=1…K는 각각 c개 lat 위치.
핵심 관찰: 두 forward 모두 같은 $f_{θ}$ 와 같은 $f_{h e a d}$ 를 쓴다. (b)에서 잠재 위치의 입력은 토큰이 아니라 (a)에서 온 hidden state다.
의미와 주의: 추론 때 잠재는 토큰으로 디코딩되지 않고 hidden state 그대로 답 생성의 조건이 된다(author-stated, Section 3.3.1). 그림은 개념도라 수치는 없다.
확인 상태: viewed

Figure 3 — LOTUS-aux의 보조 decoder 감독

무엇을 보여주는가: 반복 t에서 블록 t의 잠재 $h_{t, 1 \dots c}^{(t)}$ 와 gold 단계 토큰 $T_{t, 1} \dots$ 을 보조 decoder $g_{ϕ}$ 에 넣고, 출력 $\tilde{z}^{(t)}$ 를 $g_{h e a d}$ 로 gold 단계 토큰과 비교하는 teacher-forcing 구조.
읽는 법: 아래 줄이 $g_{ϕ}$ 입력(앞 c−1개 잠재는 조건 접두, 마지막 잠재 $h_{t, c}^{(t)}$ 부터 첫 gold 토큰을 예측), 위 줄이 예측 목표 $T_{t, 1} \dots T_{t, ∣ T_{t} ∣}$ .
핵심 관찰: 이 구조는 Figure 2(a)의 LM head 감독만 대체하고 나머지(final forward, 추론)는 같다(캡션).
의미와 주의: teacher forcing이라 학습은 병렬이지만 추론 때 gold 접두가 없다는 학습·추론 불일치가 생긴다(author-stated, Section 3.4). 보조 decoder는 기본 모델과 같은 크기라 학습 비용이 늘어난다(analyst-inference, Appendix D 근거).
확인 상태: viewed

Table 1 — 세 backbone의 주 결과

무엇을 보여주는가: GPT-2, Llama-3.2-1B, Llama-3.2-3B에서 Explicit CoT, No-CoT, CODI, CODI + SIM-CoT, LOTUS 4변형의 GSM8K와 OOD(GSM-Hard, MultiArith, SVAMP) 정확도.
읽는 법: 굵게=최고, 밑줄=둘째(잠재 방법 사이). ± 값은 3 seed 표준편차이며 LOTUS 계열에만 있다. Average는 OOD 3개 평균.
핵심 관찰:
- 3B: CoT 71.5 / 62.1, CODI + SIM-CoT 62.3 / 62.8, LOTUS 70.0 / 63.9, LOTUS + CODI 70.6 / 63.4, LOTUS-aux 69.9 / 63.7 (GSM8K / OOD 평균).
- 1B: CoT 58.4 / 58.8, CODI + SIM-CoT 56.1 / 56.8, LOTUS 57.3 / 57.3, LOTUS + CODI 58.3 / 57.6.
- GPT-2: CoT 42.7 / 45.2, CODI 42.0 / 48.0, LOTUS 44.1 / 47.9, LOTUS-aux 35.5 / 41.9.
- 결론을 제한하는 예외: OOD 평균에서 LOTUS가 CoT를 앞서는 것은 3B뿐이고, GPT-2와 1B에서는 일부 baseline이 LOTUS보다 높다. No-CoT도 3B MultiArith에서 88.7로 높아, MultiArith는 규모가 크면 쉬운 편이다.
의미와 주의: 저자는 3B 블록을 “결정적 비교”로 보고, 작은 규모 결과는 서로 몰려 있다고 인정한다(author-stated, Section 4.2). baseline 값의 출처·seed 수는 보고되지 않았다.
확인 상태: viewed

Table 2 — 단계별 추론 지연 (3B)

무엇을 보여주는가: GSM8K test 예제당 평균 지연을 query prefill, thought, answer, 합계로 나눠 LOTUS, Explicit CoT, SIM-CoT, CODI 비교.
읽는 법: ms/example, 낮을수록 좋음.
핵심 관찰: thought: LOTUS 133.0, CoT 338.8, SIM-CoT 162.7, CODI 88.2. 합계: 181.2, 384.2, 251.4, 135.1. SIM-CoT는 LoRA adapter(rank 128) 때문에 모든 단계가 부풀었다(각주 4).
의미와 주의: 차이는 거의 thought 단계에서 나온다(author-stated). CODI는 단계당 잠재 하나만 디코딩해 더 빠르지만 정확도가 낮고, LOTUS는 150개 위치를 병렬로 처리해 88ms 대 133ms로 조금 느리다(author-stated, Section 4.2). batch 1 조건이라 큰 batch에서는 병렬 위치 150개의 비용이 다르게 나타날 수 있다(analyst-inference).
확인 상태: viewed

Table 3 — 자연어 CoT 스트레스 테스트 (3B)

무엇을 보여주는가: 풀이 단계가 수학식 대신 완전한 문장인 GSM8k-Aug 자연어판으로 학습했을 때 Explicit CoT와 LOTUS의 GSM8K 정확도와 thought 지연.
읽는 법: 정확도는 mean ± std, thought는 ms/example과 CoT 대비 배수.
핵심 관찰: CoT 68.41 ± 0.59, 963.6ms(1.0×). LOTUS 68.13 ± 0.77, 140.8ms(6.9×).
의미와 주의: 저자는 통계적으로 동등하다고 본다(author-stated, 캡션). 표 값으로 계산한 배수는 6.84다(analyst-inference). 이 설정에서 LOTUS는 c=50, $λ_{s t e p}$ =0.033을 쓴다(Appendix D).
확인 상태: viewed

Table 4 — 잠재 감독 설계 비교 (3B)

무엇을 보여주는가: K=R=6, c=25, $L_{an s}$ 를 고정하고 잠재 감독만 바꾼 6가지 변형의 GSM8K 정확도.
읽는 법: “Routed via”는 감독이 지나가는 head(기본 LM head 또는 보조 decoder). per-iter는 반복마다, post-loop는 마지막 반복만 읽는다.
핵심 관찰: 감독 없음 63.3, CODI만 64.4, LOTUS per-iter 68.2, LOTUS post-loop 70.0(기본), LOTUS-aux per-iter 69.9(기본), LOTUS-aux post-loop 68.4.
의미와 주의: gold CoT 감독이 있는 네 변형 모두 감독 없음·CODI만보다 높다(author-stated). 최적 시점이 반대인 이유로 저자는 LOTUS는 앞 블록이 끝까지 다듬어지게 하는 post-loop가, LOTUS-aux는 이미 긴 gradient 경로를 줄이는 per-iter가 유리할 “수 있다”고 추측한다(author-stated, 추측 표현).
확인 상태: viewed

Table 5 — 학습 시 루프 수 R

무엇을 보여주는가: K=6, c=25(잠재 150위치)로 고정하고 R=2…6으로 각각 따로 학습한 모델의 GSM8K 정확도.
읽는 법: 행=R, 열=정확도.
핵심 관찰: 2 14.6, 3 23.2, 4 52.6, 5 68.1, 6 70.0. R=3→4에서 가장 크게 뛰고 5→6에서 거의 포화.
의미와 주의: 폭(150위치)이 같아도 순차 정제 깊이가 부족하면 크게 무너진다(author-stated, Section 4.3.2). R=2–3에서 No-CoT(38.3)보다도 낮은 이유는 논문에서 분석하지 않았다(analyst-inference).
확인 상태: viewed

Table 6 — 추론 시 루프 수 R

무엇을 보여주는가: R=6으로 학습한 한 모델을 추론 때 R=1…7로 돌린 GSM8K 정확도.
읽는 법: 행=추론 R.
핵심 관찰: 1 22.7, 2 40.0, 3 55.0, 4 63.5, 5 68.7, 6 70.0, 7 69.3.
의미와 주의: 학습 R에서 최고이고 그보다 더 돌려도 이득이 없다(author-stated). 같은 R에서 Table 5(별도 학습)보다 높은 값이 많아(예: R=2 40.0 vs 14.6), R=6으로 학습한 모델을 일찍 멈추는 편이 작은 R로 따로 학습하는 것보다 나았다(analyst-inference, 두 표 대조).
확인 상태: viewed

Table 7 — 학습 시 블록 폭 c

무엇을 보여주는가: K=6 고정, c=1, 5, 10, 25, 30으로 따로 학습한 모델의 GSM8K 정확도와 총 잠재 위치 수 Kc.
읽는 법: 열은 c, Kc, 정확도.
핵심 관찰: 49.7(Kc=6), 67.5(30), 68.4(60), 70.0(150), 70.0(180).
의미와 주의: 단계당 한 토큰은 직접 readout 감독에 너무 좁고, 중간 폭이면 충분하다(author-stated).
확인 상태: viewed

Table 8 — 추론 시 블록 폭 c

무엇을 보여주는가: c=25로 학습한 한 체크포인트를 추론 때 c=1…50으로 바꾼 정확도와 평균 thought 지연.
읽는 법: 열은 추론 c, Kc, 정확도, thought(ms).
핵심 관찰: c=1 51.4 / 110.9ms, 5 59.4 / 120.3, 10 64.2 / 127.0, 25 70.0 / 133.0, 30 70.5 / 136.0, 50 70.5 / 141.2.
의미와 주의: R이 고정이면 폭을 50배 바꿔도 지연은 약 30ms만 변해, 순차 깊이와 병렬 폭이 분리된다(author-stated). c>25에서 늘어난 위치에는 학습 때 대응하는 gold 토큰이 없었으므로 +0.5점 이득의 원인은 불분명하다(analyst-inference).
확인 상태: viewed

Table 9 — readout 방식별 gold CoT 복원

무엇을 보여주는가: 네 readout(LOTUS $h^{(R)}$ → $f_{h e a d}$ , LOTUS-aux $h^{(R)}$ → $g_{h e a d}$ , LOTUS-aux $\tilde{z}^{(t)}$ free-running, LOTUS-aux $\tilde{z}^{(t)}$ teacher forcing)에서 gold CoT의 NLL, top-1, top-5 비율.
읽는 법: “Without gold prefix” 세 행이 추론 조건과 맞는 비교, “With gold prefix”(TF)는 gold 접두를 보는 상한 참고.
핵심 관찰: 3.07 / 70.9% / 85.8%, 9.02 / 12.4% / 25.8%, 6.39 / 64.5% / 76.7%, 1.56 / 84.3% / 93.9%. greedy 대신 온도 샘플링을 써도 FR NLL은 0.05 이하, top-1은 1%p 이하로 변한다(각주 7).
의미와 주의: LOTUS의 잠재는 직접 읽어도 gold CoT를 대부분 복원한다(author-stated). LOTUS-aux의 $h^{(R)}$ 은 $g_{h e a d}$ 로 직접 감독되지 않았는데도 top-5 25.8%로 CoT 신호를 담는다(author-stated). PCL과 자기회귀 NLL은 분해가 달라 직접 비교할 수 없다(각주 8, Appendix E).
확인 상태: viewed

Table 10 — 학습에 없던 올바른 풀이의 흔적

무엇을 보여주는가: 같은 질문의 gold 풀이에만 있는 숫자 G, 다른 올바른 풀이에만 있는 숫자 U, 무작위 대조군의 NLL과 U의 top-1·top-5 비율.
읽는 법: NLL은 낮을수록 그 숫자가 잠재 readout에 강하게 떠오른다. P(U∈top-k)는 U 숫자가 어느 위치에서든 top-k에 드는 비율.
핵심 관찰: LOTUS: G 0.07, U 4.28, Random 8.16, top-1 15.3%, top-5 64.0%. LOTUS-aux $h^{(R)}$ : 3.30, 6.04, 9.42, 14.5%, 49.3%. FR: 0.80, 12.62, 20.39, 5.6%, 39.2%. TF: 0.18, 13.17, 20.83, 1.9%, 37.4%.
의미와 주의: 네 readout 모두 G ≪ U ≪ Random 순서이며, U 신호가 흩어진 것이 아니라 top-k에 실제로 나타난다(author-stated, Section 5.2). U 집합 구성 방법은 Appendix F.2에 있고, 경로 수준 예시(답 108, U 숫자 24·18)는 Appendix F.3과 Figure 4에 있다.
확인 상태: viewed

Table 11 — 두 손실 분리 ablation

무엇을 보여주는가: LOTUS(두 손실), $L_{s t e p}$ 만, $L_{an s}$ 만으로 학습한 모델에서 $h^{(R)}$ → $f_{h e a d}$ readout의 gold CoT NLL, top-1, top-5.
읽는 법: Table 9와 같은 프로토콜.
핵심 관찰: LOTUS 3.07 / 70.9% / 85.8%. $L_{s t e p}$ 만 9.29 / 9.1% / 17.1%. $L_{an s}$ 만 5.97 / 9.4% / 26.5%.
의미와 주의: $L_{s t e p}$ 만으로는 모든 열에서 가장 나쁘다. 블록 간 결합과 답 근거가 없기 때문이라는 것이 저자 해석이다. $L_{an s}$ 만으로는 잠재가 “답과 일관된 근처”에 자리 잡지만 gold 풀이에 정렬되지는 않는다(author-stated, Section 5.3). 이 표는 gold 복원 지표만 보고하며, 세 모델의 GSM8K 정확도는 함께 보고되지 않았다(analyst-inference).
확인 상태: viewed

Wiki 연결

Training Large Language Models to Reason in a Continuous Latent Space — Coconut. LOTUS가 지목한 순차 생성(P1) 문제를 가진 대표 잠재 CoT 방법이자 커리큘럼의 출처.
Reasoning with Latent Thoughts - On the Power of Looped Transformers — 루프가 CoT보다 적은 모델 평가로 추론할 수 있다는 이론(Saunshi et al., 2025). LOTUS의 동기.
Looped Transformers as Programmable Computers — 루프 트랜스포머의 표현력 기초(Giannou et al., 2023).
A Survey on Latent Reasoning — 저자가 Appendix A에서 참고하라고 든 잠재 추론 서베이(Zhu et al., 2025b).
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models — explicit CoT의 원형(Wei et al., 2022).

BibTeX

@article{fan2026lotus,
  title   = {Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers},
  author  = {Fan, Ying and Svete, Anej and Lee, Kangwook},
  journal = {arXiv preprint arXiv:2606.31779},
  year    = {2026}
}