잠재적 사고를 이용한 추론: 루프드 트랜스포머의 힘에 관하여

Digest: Context. 큰 추론 문제—긴 수식 덧셈, 다단계 수학 문장제—를 풀려면 모델이 “깊게” 생각해야 한다. 그래서 보통은 층(layer)을 더 쌓고 그만큼 파라미터(parameter, 모델이 학습으로 기억하는 가중치 수)를 늘린다. 하지만 이 논문은 깊이와 파라미터 수가 사실 별개의 자원이며, 추론에는 깊이만 필요하고 파라미터는 덜 필요할 수 있다는 가능성을 파고든다. Insight. 핵심 통찰은 “층을 한 번씩만 통과시킬 필요가 없다”는 것이다. k개 층으로 된 블록을 그냥 L번 **반복 통과(looping, 같은 가중치를 재사용해 계산 깊이를 늘리는 것)**시키면, 파라미터는 그대로 둔 채 유효 깊이(effective depth)만 L배로 늘릴 수 있다—마치 같은 사고 절차를 머릿속에서 여러 번 되뇌어 결론에 도달하는 것과 같다. Solution. 이 통찰을 looped transformer(k⊗L, k층을 L번 루프)로 구현하고, 같은 연산량을 쓰는 비-루프 모델(kL⊗1, 층을 L배로 펼친 것)과 정면 비교한다. Evidence. n=32 자리 덧셈에서 단 1개 블록을 12번 루프한 (1⊗12)는 99.6%를 달성해, 12개 층을 펼친 iso-flop 모델 (12⊗1)의 100.0%에 거의 필적했고, 루프 없이 파라미터만 같은 (1⊗1)은 0.0%로 완전히 실패했다 (Table 1). 또 다단계 수학 문제 i-GSM에서 (1⊗8)은 정확히 동률인 73.2%를 기록했다 (Table 2). 1B 모델을 Pile 250B 토큰으로 학습했을 때, 루프 모델 (12⊗2)는 전체 perplexity(다음 단어 예측 오차, 낮을수록 좋음)는 7.90으로 기준 7.40보다 나빴지만, 추론 과제에서는 오히려 더 강했다—math word problems 34.3 대 29.3, reasoning primitives는 k=4에서 56.9 대 47.5 (Table 3). 즉 루프는 언어 암기에는 손해지만 **추론에 불균형적으로 강한 귀납 편향(inductive bias, 모델이 특정 종류의 해법으로 기우는 성향)**을 심는다. 이론적으로도 T번의 루프가 T-step chain-of-thought(CoT, 답에 이르는 중간 사고 단계를 명시적으로 적는 것)를 시뮬레이션할 수 있고 (Thm 5.4), 루프가 생성하는 **latent thoughts(겉으로 출력되지 않지만 내부에서 굴러가는 잠재적 사고 단계)**가 CoT의 역할을 대신함을 보인다. Implication. 파라미터는 “지식을 저장(암기)“하는 데 필수지만 “추론을 실행”하는 데는 덜 중요하다는 분업이 드러난다—실제로 루프 모델은 closed-book QA(외운 사실을 묻는 문제)는 못 풀어도 추론은 잘 푼다. 이는 모델을 무작정 키우는 대신, 추론력은 추론 시점에 루프를 더 도는 것만으로 끌어올릴 수 있음(inference-time scaling)을 시사한다(루프 횟수↑ → 추론 성능이 log 스케일로 증가, α_loop/α_base = 1.19, Figure 3). Limitations. perplexity 자체는 비-루프 모델보다 나쁘므로 일반 언어 생성 품질에서는 손해를 본다(다만 looping-inspired 정규화 λ_reg=10을 쓰면 perplexity 7.38로 손상 없이 reasoning primitives를 47.5→57.2로 끌어올려 일부 완화된다, Table 4). 또 실험은 합성·반합성 추론 과제(덧셈, i-GSM)와 1B 규모에 집중되어, 더 큰 모델·자연어 추론으로의 외삽은 검증이 더 필요하다. Open Questions. 어떤 과제가 “깊이 제한적”이라 루프로 이득을 보고 어떤 과제가 “파라미터 제한적”인지 사전에 판별할 수 있는가? latent thoughts를 명시적 CoT처럼 해석·검증할 수 있는가? 그리고 암기와 추론의 분업을 한 모델 안에서 의도적으로 설계할 수 있는가? 📎 https://arxiv.org/abs/2502.17416

섹션별 요약

Abstract

대형 언어 모델의 추론 능력 향상에는 깊이(depth) 축의 대규모 파라미터가 필수적이라는 스케일링 법칙의 통념과 달리, 본 연구는 많은 추론 문제가 큰 깊이를 요구하지만 많은 파라미터를 요구하지 않는다는 더 강한 주장을 제시한다. 실험적으로, addition·p-hop induction·수학 문제 등 다양한 합성 추론 과제에서 k층 transformer를 L번 루프한 모델(k-layer looped L times)이 kL층 비-루프(non-looped) 모델에 필적하고, k층 비-루프 모델을 크게 앞선다. 이 효과는 실용적인 언어 모델링 환경에도 전이되어, 다운스트림 추론 과제에서 k층 루프 모델이 kL층 모델과 경쟁력을 보이거나 이를 능가하는 귀납 편향(inductive bias)을 드러낸다. 이론적으로는 루프 모델이 latent thoughts를 암묵적으로 생성하며, T번의 루프로 T 스텝의 chain-of-thought(CoT) 추론을 시뮬레이션할 수 있음을 증명한다. 이러한 발견을 바탕으로 추론(reasoning)과 암기(memorization) 간의 이분법을 밝히고, looping 기반 정규화(regularization)를 제안한다.

저자 contribution

k층 루프 transformer(k⊗L)가 파라미터 수 L배인 비-루프 모델(kL⊗1)과 추론 과제에서 필적함을 합성 과제와 1B 규모 언어 모델링 실험으로 실증한다.
루프 모델이 latent thoughts를 내재적으로 생성하고 T 루프로 T 스텝의 CoT를 시뮬레이션할 수 있다는 이론적 근거를 제시한다.
추론과 암기의 이분법에 기반한 looping 정규화 기법을 설계하여, 두 측면 모두에서 효과적임을 보인다.

왜 이 연구를 하는가?

핵심 질문: 큰 파라미터 수 없이도 루프(반복 연산)만으로 깊은 추론이 가능한가?

기존 접근법의 한계

한계	설명
스케일링 법칙(scaling law) 통념	Kaplan et al. (2020), Hoffmann et al. (2022) 등 주류 연구는 모델 성능이 파라미터 수에 강하게 의존하며, 아키텍처 설계 선택의 영향은 미미하다고 본다.
깊이(depth)와 파라미터의 분리 인식 부재	Ye et al. (2024)가 깊이의 중요성을 지적했으나, “파라미터는 많지 않아도 된다”는 더 강한 주장과 그 실증·이론은 아직 부재했다.
looped model 연구의 범위 한정	looped model(같은 레이어를 반복 적용하는 구조)은 파라미터 효율·적응적 연산·평형 모델 관점에서 연구됐지만, 추론(reasoning) 맥락에서의 역할은 미탐색 상태였다.

핵심 통찰

추론 문제는 “생각을 여러 단계로 쌓는” 깊이를 필요로 하지만, 각 단계에 새로운 파라미터가 반드시 있어야 하는 것은 아니다.
looped transformer는 CoT(chain-of-thought, 생각 과정을 토큰으로 명시하는 기법)를 내부적으로 시뮬레이션할 수 있으며, 이는 추론 귀납 편향(inductive bias)의 근거가 된다.

Introduction

현대 언어 모델은 수학, 코딩, 논리 퍼즐 등 강한 추론 능력을 요하는 과제에서 뛰어난 성과를 보이며, 이는 Kaplan et al. (2020)와 Hoffmann et al. (2022)의 스케일링 법칙 — 성능이 파라미터 수에 강하게 의존한다 — 과 잘 부합한다. 그러나 Ye et al. (2024)는 추론을 위한 스케일링 법칙은 더 미묘하며, 같은 파라미터 수라도 더 깊은(deeper) 모델이 유리하다고 주장하며 통념에 균열을 냈다. 본 논문은 더 강한 주장을 전개한다: 추론 문제는 큰 깊이(depth)를 요구하지만, 반드시 많은 파라미터를 요구하지는 않는다. 저자들은 이 해법으로 looped model을 제안한다 — k-레이어 블록을 L번 반복 적용하는 구조로, (k ⊗ L)로 표기하며 파라미터 수는 (k ⊗ 1)과 같고 연산량(FLOPs)은 (kL ⊗ 1)과 동일하다. 합성 추론 과제(덧셈, p-hop induction, GSM-style 수학 문제)에서 (k ⊗ L) 모델이 L배 많은 파라미터를 가진 non-looped 모델 (kL ⊗ 1)에 필적하거나 능가하며(Claim 1), 1B 파라미터 규모의 언어 모델링에서도 perplexity는 iso-flop 베이스라인보다 낮지만 추론 벤치마크에서 불균형적으로 강한 귀납 편향을 보인다(Claim 2). 더 나아가 looped model은 내부적으로 “잠재 사고(latent thoughts)“를 생성하며 CoT 추론을 시뮬레이션할 수 있고(Claim 3), 이 귀납 편향을 정규화(regularization)로 비-루프 모델에 이식할 수 있다(Claim 4).

저자가 명시한 기여

(k ⊗ L) looped model과 iso-param (k ⊗ 1), iso-flop (kL ⊗ 1) 비-루프 베이스라인을 비교하는 체계적 프레임워크 수립
합성 추론 과제(덧셈, p-hop induction, GSM-style 문제)에서 looped model이 iso-flop 비-루프 모델에 필적함을 실험적으로 확인하고, 이론적 깊이 최적성(near-optimal depth) 증명으로 뒷받침 (Section 2, 5)
1B 파라미터 규모 언어 모델링에서 looped model의 추론 귀납 편향 발견 — perplexity 악화에도 불구하고 추론 벤치마크 성능이 iso-flop 수준에 근접하며, loop 수 증가에 따라 성능이 log-scale로 향상됨을 확인 (Section 3)
looped model의 귀납 편향에서 영감을 받은 정규화 기법 제안 — perplexity 저하 없이 non-looped 모델의 추론 성능을 향상시킴 (Section 4)

Methods

프레임워크 개요

본 논문의 방법론은 세 축으로 구성된다: (1) looped 아키텍처 정의와 합성 과제 실험, (2) looping을 모방하는 정규화 기법, (3) looped transformer의 표현력을 규명하는 이론적 구성.

핵심 구성요소

Looped 아키텍처 (k ⊗ L): k층 Transformer 블록 f를 L번 반복 합성한 모델(f^(L) = f ∘ f ∘ … ∘ f). 결과적으로 kL층 모델과 동일한 연산량(FLOPs)을 갖되, 파라미터는 k층분만 유지한다. 가중치 공유는 모든 L개 블록에 걸쳐 적용된다.
비교 베이스라인 설계: iso-param 베이스라인 (k ⊗ 1, 파라미터 수 동일·FLOPs 소규모)과 iso-flop 베이스라인 (kL ⊗ 1, FLOPs 동일·파라미터 대규모)을 동시에 두어, looping 효과를 파라미터 증가 효과와 FLOPs 증가 효과로부터 분리한다.
합성 과제 입출력: n-ary addition은 n개의 3자리 정수 나열(예: “315 + 120 + 045 + 824 =“)을 입력으로 받아 합산 결과 문자열을 출력하며, CoT 없이 직접 입출력 쌍으로 훈련한다. p-hop induction은 길이 256의 문자 시퀀스를 입력으로 받아 p번 역추적 후 해당 위치의 문자를 출력(알파벳 크기 4). i-GSM은 깊이 4의 DAG 형태의 산술 연산 그래프(mod 7)를 심볼릭 형식으로 입력받아 최종 수식 값을 출력한다.
Looping-inspired 정규화 (Eq. 3-4): kL층 비-looped 모델을 표준 방식으로 훈련하면서, 인접 k층 블록 fi와 fi+1 간의 코사인 유사도를 손실에 추가한다. 최종 손실 L = L_xent + λ_reg |G|^{-1} Σ R_G(k)이며, λ_reg = 0이면 표준 훈련, λ_reg → ∞이면 완전 looped 모델에 수렴한다. 실험에서는 λ_reg = 10으로 (4 ⊗ 6) looped 설정을 에뮬레이션했으며, 훈련 후 연속 블록 간 코사인 유사도가 0.98 이상으로 확인된다.
이론 구성 (§5): Definition 5.1-5.2에서 (L ⊗ T) looped transformer를 pθ,T ≜ OUTPUT ∘ (TB_θ)^T ∘ EMBED로 형식화한다. Thm 5.1은 임의의 유한 군 G에 대해 1층 블록을 ⌈log₂ n⌉번 루프하면 n개 원소의 group composition을 풀 수 있음을 보인다(Liu et al. 2022의 depth upper bound와 일치). Thm 5.2는 최대 R개의 distinct layer를 갖는 임의의 L층 비-looped transformer를 동일 depth의 1층 looped transformer로 시뮬레이션할 수 있음을 보이며, 이를 이용해 Cor 5.3은 p-hop을 1층 looped transformer로 ⌊log₂ p⌋ + 2번 루프로 해결함을 증명한다. Thm 5.4는 L-step CoT를 수행하는 비-looped transformer TF_θ를 L+O(1)층 looped transformer TF_{θ’,m}이 시뮬레이션함을 보여주며, 이를 위해 루프 카운터 유지(MLP로 구현), 한 위치 shift(attention으로 구현), CoT 토큰 인코딩·디코딩(ReLU MLP로 구현)의 세 단계를 구성한다.

입력 → 출력 흐름

합성 과제 실험에서는 각 과제의 입력 시퀀스가 (k ⊗ L) looped model에 입력되고, 토큰 단위 출력으로 정답 시퀀스가 생성된다. 정규화 기법은 사전 훈련 단계에서 비-looped 모델의 가중치를 softly looped 구조로 유도하고, 유도된 모델은 하류 추론 과제에서 평가된다. 이론 분석에서는 입력 v = (v1, …, vn)이 looped transformer에 주입되어 m개의 dummy token(#^m)과 결합된 후 m번의 루프를 거쳐 CoT m-step에 해당하는 출력이 생성된다.

기존 방법과의 차별점

기존 looped model 연구들(Lan et al. 2020; Dehghani et al. 2018; Giannou et al. 2023 등)은 아키텍처 효율성 관점에서 looping을 탐구했으나, 본 논문은 looping을 추론 귀납편향의 원천으로 명시적으로 프레임화하고 iso-flop 조건 하의 비교로 그 이점을 분리한다. 또한 Liu et al. (2022)가 layer별 별도 파라미터로 group composition을 해결한 것과 달리, 본 논문은 단일 1층 블록을 log(n)번 공유 반복함으로써 동일 depth를 파라미터 효율적으로 달성한다. 정규화 기법은 추가 파라미터나 아키텍처 변경 없이 기존 훈련 파이프라인에 λ_reg 하이퍼파라미터 하나만 추가하여 looping 귀납편향을 주입하는 점에서 차별적이다.

주요 하이퍼파라미터 / 설정

k ∈ {1, 2, 3, 4, 6} (블록 내 층 수), L = 12/k 또는 12 (루프 횟수), 총 유효 depth kL = 12 고정 (합성 과제)
i-GSM: depth ∈ {1, 2, 4, 8}, 루프 수 ∈ {2, 4, 8}
λ_reg = 10 (정규화 강도, (4 ⊗ 6) 에뮬레이션 기준); λ_reg = 0 → 표준 훈련
정규화 파라미터 그룹 G = {Attn-Q, Attn-K, …, FFN-W2}
p-hop: 알파벳 크기 4, 시퀀스 길이 n = 256, p ∈ {16, 32}
n-ary addition: 훈련 operand n ∈ {2, 4, 8, 16, 32}, 3자리 정수 [0, 999]
이론 (Thm 5.4): embedding 차원 d, d + R + 2 (simulation), dFF = R·hFF + O(L)

발견 (Findings)

발견 1 — 루프는 파라미터 없이도 깊이를 대체한다: 1-layer 모델을 12번 반복(루프)한 것만으로 12-layer 모델과 거의 동일한 성능(덧셈 n=32에서 99.6% 대 100.0%, Table 1)을 달성했다. 즉, 모델 크기(파라미터 수)를 늘리지 않아도, 같은 레이어를 여러 번 재사용하는 방식으로 어려운 추론 문제를 해결하기에 충분한 “계산 깊이”를 확보할 수 있다.
발견 2 — 추론은 암기와 달리 파라미터가 덜 필요하다: 사전학습된 대형 언어 모델(1B, Pile 250B 토큰)에서 루프 모델(12⊗2)은 수학 단어 문제에서 34.3점으로 24-layer 풀 모델 29.3점을 앞질렀다(Table 3). 반면 인물·사실 암기를 요구하는 closed book QA에서는 루프 모델이 기준선에 미치지 못했다(% Gap 37% vs. reasoning primitives 131%). 즉, 파라미터는 “지식 저장”에는 필수적이지만, “추론 실행”에는 상대적으로 덜 중요하다.
발견 3 — 루프 깊이는 추론 성능을 log 스케일로 향상시킨다: 4-layer 모델에서 루프 횟수를 1에서 12까지 늘리면 reasoning primitives 성능이 꾸준히 증가하며, 이 증가는 로그 함수(Acc = α log(D) + β) 형태를 따른다. 추론 원시 과제에서 루프 깊이의 스케일링 계수 α_loop는 파라미터를 실제로 추가했을 때보다 1.19배 크다(Figure 3). 이는 루프가 단순히 파라미터를 흉내 내는 것이 아니라, 추론에 특화된 더 효율적인 확장 수단임을 시사한다.
발견 4 — 정규화로 perplexity 손상 없이 추론 귀납 편향을 이식할 수 있다: 24-layer 풀 파라미터 모델에 루프 유사 정규화(λ_reg=10, k=4)를 가하면 perplexity는 7.38로 기준선 7.40과 거의 같게 유지되면서 reasoning primitives 점수는 47.5 → 57.2로 +9.7점 향상된다(Table 4). 이는 루프 모델로 전환하지 않고도 그 “추론 편향”만을 기존 모델에 주입하는 실용적 경로를 보여 준다.

Results

주요 결과

합성 추론 과제 (§2, Table 1·2)

looped transformer는 iso-param(동일 파라미터) 베이스라인을 크게 웃돌았으며, iso-flop(동일 연산량) 베이스라인과 거의 동등한 성능을 보였다. n-ary 덧셈 과제에서 1-layer 모델을 12회 루프한 (1⊗12) 모델은 n=32 피연산자 조건에서도 99.6% 정확도를 달성했으며(Table 1), 이는 파라미터가 1/12에 불과함에도 12-layer 비루프 기준선인 100.0%에 필적하는 수치다. iso-param 기준인 (1⊗1)은 동일 조건에서 0.0%를 기록했다. p-hop 귀납 과제에서도 동일한 패턴이 반복되었으며, (1⊗6) 루프 모델은 p=32 조건에서 99.5%를 기록해 iso-flop 기준선 (6⊗1) 99.6%와 거의 같았다(Table 1). i-GSM 합성 수학 문제에서는 (1⊗8) 루프 모델이 73.2%로 iso-flop 기준선 (8⊗1) 73.2%와 동일한 성능을 달성했으며, iso-param 기준선 (1⊗1) 24.5%와 비교하면 압도적으로 우월했다(Table 2).

1B 언어모델 사전학습 (§3, Table 3)

Pile 250B 토큰 사전학습 환경에서, 루프 모델들은 검증 perplexity에서 iso-flop 기준선(24⊗1, perplexity 7.40)보다 일관되게 열위였으며(perplexity gap 34–50% 커버), 이 격차는 선행 연구들이 루프 모델을 언어 모델링에서 기피했던 주된 이유였다(Table 3). 그러나 다운스트림 추론 벤치마크에서는 결과가 역전되었다. math word problems 슬라이스에서 (12⊗2) 루프 모델은 34.3점으로 24-layer iso-flop 기준선 29.3점을 파라미터 50% 열위 상태에서 상회했으며(Table 3, % Gap = 282%), 6-layer 이상의 루프 모델들은 동일 파라미터 예산 내 iso-flop 기준선과 거의 동등한 성능을 기록했다. reasoning primitives(순수 추론 능력 테스트) 슬라이스에서는 모든 파라미터 예산 k 설정에서 루프 모델이 iso-flop 기준선보다 우수했다(예: k=4일 때 56.9 대 47.5, Table 3). 반면 closed book QA(암기 능력 테스트)의 % Gap은 perplexity Gap과 거의 동일한 수준으로, 루프 모델의 추론 편향이 암기 과제에는 적용되지 않음을 보였다(Table 3).

스케일링 행동 (§3.4, Figure 3)

4-layer 모델의 루프 횟수를 늘리면 다운스트림 성능이 log 스케일로 증가하는 패턴(Acc = α log(D) + β)이 확인되었다. reasoning primitives에서 루프 깊이의 효과 계수(α_loop/α_base)는 1.19로, 파라미터를 추가해 깊이를 늘리는 것보다 루프를 통한 깊이 증가의 영향이 더 컸다(Figure 3).

루프 영감 정규화 (§4, Table 4)

24-layer 1B 기준 모델에 루프 정규화(cosine similarity, λ_reg=10, k=4)를 적용하면 perplexity는 7.38로 기준선 7.40과 사실상 동일하게 유지되면서, math word problems는 36.4(기준선 29.3, +7.1), reasoning primitives는 57.2(기준선 47.5, +9.7)로 유의미하게 향상되었다(Table 4). 이 결과는 루프 모델의 추론 귀납 편향을 perplexity 손상 없이 완전 파라미터 모델에 이식할 수 있음을 보여 준다.

Ablation / 부정 결과 / 제한된 케이스

perplexity 열위: 루프 모델은 iso-flop 기준선 대비 perplexity gap의 34–50%만 커버하며, 이는 파라미터 수 감소에 기인한다(Table 3). 이 perplexity 격차는 closed book QA(암기 기반 과제)에서 유사한 수준의 하락으로 이어진다.
middle looping의 혼재된 결과: middle looping 변형(4⊗1,4,1)은 perplexity와 전반적 과제 균형에서 표준 루프 (12⊗2)보다 개선되었으나, math word problems(28.3 대 34.3)에서는 표준 루프에 미치지 못했다(Table 3).
합성 과제의 한계: i-GSM, p-hop, n-ary 덧셈은 전체 추론 문제 스펙트럼을 포괄하지 않으며, 저자들도 이를 명시적으로 인정하고 있다(§2).

Discussion

이 논문의 결론부는 looped 모델이 “추론에 유리한 귀납편향(inductive bias)을 가지며, 적은 파라미터로 깊이를 흉내낼 수 있다”는 핵심 주장을 선행 연구 지형 위에 위치시키고, 한계와 열린 질문을 솔직하게 제시한다. 관련 연구 측면에서, 본 연구는 Universal Transformer(Dehghani et al., 2018), ALBERT(Lan et al., 2020), Giannou et al.(2023)처럼 루핑의 표현력이나 감독학습 성능을 탐구한 선행작들과 구별된다 — 이들이 “루핑이 무엇을 할 수 있는가”를 물었다면, 본 연구는 “루핑이 왜 추론에 편향되는가”를 묻는다. Saunshi et al.(2024)이 stacking이 추론을 향상시킨다고 보고하고 그 원인으로 looped 모델과의 연결을 가설로 제시했는데, 본 논문의 이론적·실증적 결과가 그 가설을 뒷받침한다. 한편 두 가지 한계가 명시된다. 첫째, 실험이 합성(synthetic) 추론 과제의 일부 부분집합에 국한되므로, 멀티모달 추론·상식 추론 등 다른 추론 형태에 결과가 일반화되는지는 미검증 상태다. 둘째, 동일 perplexity에서 추론 성능이 불균형적으로 향상되는 inductive bias의 정확한 메커니즘은 이론적으로 완전히 해명되지 않았으며, 이를 정밀하게 설명하는 것 자체가 향후 과제로 남는다. 저자들은 looped 모델이 latent thoughts 및 Chain-of-Thought(CoT) 추론과 연결된다는 관찰이 추론시간 스케일링(inference-time scaling)을 보다 효율적으로 달성하는 방향을 열 수 있다고 전망하며, “reasoning 문제 자체의 간결한 형식화(succinct formalization)“도 독립적인 미래 방향으로 제안한다.

저자가 인정한 한계

실험 범위가 합성 추론 과제의 일부 하위집합에 한정되어 있어 멀티모달·상식 추론 등 다른 형태의 추론으로의 일반화 여부가 불명확하다.
같은 perplexity에서 추론 성능이 기억화(memorization) 대비 불균형적으로 향상되는 inductive bias의 이론적 설명이 미완이다.

독자 식별 가능한 추가 한계

이론 결과(Theorem 5.4 등)의 보장이 루프 수 L, 시퀀스 길이에 의존하므로, 실제 사전학습 규모(수십억 파라미터, 수조 토큰)에서 동일한 편향이 나타나는지에 대한 실증적 확인이 충분하지 않다.

향후 방향

멀티모달·상식 추론으로 looped 모델의 귀납편향 일반화 여부를 검증 (한계 1과 직접 대응)
reasoning 문제의 간결한 형식화 체계 개발 — 어떤 문제가 “루핑이 필요한 깊이”를 요구하는지 분류 가능한 이론 틀 수립
latent thoughts 메커니즘을 활용한 추론시간 스케일링의 효율적 구현 탐색 (o1, DeepSeek R1류 대비 경량 경로)

이론적 의의

깊이 vs. 파라미터 분리: 기존 연구들이 “성능을 위해 더 깊은 모델이 필요하다”는 관찰에 머물렀다면, 이 연구는 깊이(loop 반복 수)와 파라미터 수를 분리 가능한 독립 축으로 다룬다. 동일 파라미터 예산으로 루프를 늘려 깊이를 확보할 수 있다는 증명은, 모델 설계의 효율성 논의에 새로운 차원을 추가한다.
CoT = looped 모델의 latent 버전이라는 재해석: Chain-of-Thought가 외부 토큰을 생성하며 추론 단계를 명시화하는 것처럼, looped 모델은 동일한 구조를 내부 잠재 공간(latent thoughts)에서 수행한다는 Theorem 5.4의 관점은, “사고의 언어화 vs. 내재화” 논쟁에 이론적 기반을 제공한다. 이는 언어 없이도 추론이 가능한가라는 인지과학적 질문과도 맞닿는다.
추론시간 스케일링(inference-time scaling)의 경량 경로 제시: o1·DeepSeek R1 계열처럼 긴 CoT 토큰을 생성하는 방식이 아니라, 파라미터를 공유하는 루프 반복을 늘리는 방식으로 추론 성능을 확장할 수 있다는 가능성은 온디바이스(on-device)·저지연 환경에서 실용적인 대안이 될 수 있다.
stacking 귀납편향 가설의 이론적 검증: Saunshi et al.(2024)이 stacking 학습 기법의 추론 향상 효과를 관찰하고 looped 모델과의 연결을 가설로 제시했는데, 본 논문은 이를 이론 및 실험 양면에서 뒷받침함으로써 사전학습 기법 설계 연구에 이론적 닻을 제공한다.

Discussion Points

논쟁점

looped 모델의 inductive bias가 루핑 구조 자체에서 비롯되는지, 아니면 파라미터 공유에 따른 정규화 효과에서 비롯되는지는 본 논문에서 명확히 분리되지 않는다. 두 요인의 기여를 분리하는 통제실험이 없어 핵심 주장의 원인론이 논쟁 여지가 있다.
latent thoughts가 실제로 CoT 단계를 “시뮬레이션”한다는 Theorem 5.4는 이론적 가능성을 보이지만, 실제 사전학습된 looped 모델 내부에서 그런 구조가 자연발생적으로 형성되는지는 해석가능성(interpretability) 분석 없이 단언하기 어렵다.

검증이 필요한 가정

이론 결과들이 루프 수 L과 시퀀스 길이에 대한 특정 가정 하에 성립하는데, 실제 대규모 사전학습(수십억 파라미터, 수조 토큰)에서도 동일한 편향이 유지된다는 전제가 충분히 검증되지 않았다.
reasoning 과제의 “깊이 필요성”이 합성 과제에서 측정된 결과가 자연어 추론 과제(예: MATH, GSM8K)에 직접 대응된다는 가정 역시 실증적으로 보강이 필요하다.

후속 연구 아이디어

루프 반복 수를 입력 난이도에 따라 동적으로 조절하는(adaptive looping) 메커니즘 개발 — 쉬운 입력에는 적은 루프, 어려운 추론에는 많은 루프를 할당하여 추론시간 스케일링을 세밀하게 제어.
looped 모델 내부의 각 루프 단계에서 중간 표현(intermediate representation)을 해석하여, latent thoughts가 실제로 CoT 토큰과 대응되는 구조를 형성하는지 mechanistic interpretability 방법론으로 확인.

실험 결과 상세

Model/Method	Dataset / Task	Metric	Score	vs. Baseline
[Table 1] 합성 과제 — 덧셈 (n=32)
Baseline (12⊗1) iso-flop	n-ary Addition	Accuracy (%)	100.0	기준 (파라미터 12x / FLOPs 12x)
Base (1⊗1) iso-param	n-ary Addition	Accuracy (%)	0.0	-100.0 pp
Loop (1⊗12)	n-ary Addition	Accuracy (%)	99.6	-0.4 pp vs 12-layer baseline
Base (2⊗1) iso-param	n-ary Addition	Accuracy (%)	38.8	-61.2 pp
Loop (2⊗6)	n-ary Addition	Accuracy (%)	99.5	-0.5 pp
Base (3⊗1) iso-param	n-ary Addition	Accuracy (%)	60.7	-39.3 pp
Loop (3⊗4)	n-ary Addition	Accuracy (%)	96.6	-3.4 pp
[Table 1] 합성 과제 — p-hop (p=32, n=256)
Baseline (6⊗1) iso-flop	p-hop Induction	Accuracy (%)	99.6	기준
Base (1⊗1) iso-param	p-hop Induction	Accuracy (%)	49.0	-50.6 pp
Loop (1⊗6)	p-hop Induction	Accuracy (%)	99.5	-0.1 pp
Base (2⊗1) iso-param	p-hop Induction	Accuracy (%)	59.4	-40.2 pp
Loop (2⊗3)	p-hop Induction	Accuracy (%)	99.8	+0.2 pp
[Table 2] 합성 과제 — i-GSM
Baseline (8⊗1) iso-flop	i-GSM (mod 7 math)	Accuracy (%)	73.2	기준
Base (1⊗1) iso-param	i-GSM	Accuracy (%)	24.5	-48.7 pp
Loop (1⊗8)	i-GSM	Accuracy (%)	73.2	0.0 pp (동등)
Loop (1⊗4)	i-GSM	Accuracy (%)	69.9	-3.3 pp
Base (2⊗1) iso-param	i-GSM	Accuracy (%)	54.0	-19.2 pp
Loop (2⊗4)	i-GSM	Accuracy (%)	73.6	+0.4 pp
[Table 3] 언어 모델링 1B — Pile 250B 토큰
Baseline (24⊗1)	Pile / Validation	Perplexity (↓)	7.40	기준
Loop (12⊗2)	Pile / Validation	Perplexity (↓)	7.90	+0.50 (worse)
Loop (8⊗3)	Pile / Validation	Perplexity (↓)	8.19	+0.79
Loop (4⊗6)	Pile / Validation	Perplexity (↓)	8.79	+1.39
Baseline (24⊗1)	Reasoning Primitives	Avg Accuracy (%)	47.5	기준
Loop (12⊗2)	Reasoning Primitives	Avg Accuracy (%)	51.2	+3.7 pp
Loop (8⊗3)	Reasoning Primitives	Avg Accuracy (%)	55.3	+7.8 pp
Loop (6⊗4)	Reasoning Primitives	Avg Accuracy (%)	56.1	+8.6 pp
Loop (4⊗6)	Reasoning Primitives	Avg Accuracy (%)	56.9	+9.4 pp
Baseline (24⊗1)	Math Word Problems	Avg Accuracy (%)	29.3	기준
Loop (12⊗2)	Math Word Problems	Avg Accuracy (%)	34.3	+5.0 pp
Loop (12⊗2)	Closed Book QA	Avg Accuracy (%)	9.3	-1.9 pp vs 24L baseline
Middle Loop (4⊗1,4,1)	Reasoning Primitives	Avg Accuracy (%)	56.5	+9.0 pp
[Table 4] 루핑 정규화 (비루프 24L 기반 모델)
Baseline (24⊗1)	Reasoning Primitives	Avg Accuracy (%)	47.5	기준
Regularized (k=4, λ=10)	Reasoning Primitives	Avg Accuracy (%)	57.2	+9.7 pp
Regularized (k=8, λ=10)	Reasoning Primitives	Avg Accuracy (%)	56.3	+8.8 pp
Regularized (k=4, λ=10)	Math Word Problems	Avg Accuracy (%)	36.4	+7.1 pp
Regularized (k=4, λ=10)	Validation Perplexity	Perplexity (↓)	7.38	-0.02 (중립적)
Regularized (k=12, λ=10)	Closed Book QA	Avg Accuracy (%)	10.1	-1.1 pp vs 24L baseline

프레임워크 다이어그램

graph TB
    A["입력 토큰 시퀀스"] --> B["임베딩 레이어\n(EMBED)"]
    B --> C["k-레이어 트랜스포머 블록\n(가중치 공유)"]
    C --> D{"루프 카운터\n t < L ?"}
    D -- "예 (반복)" --> C
    D -- "아니오 (완료)" --> E["출력 레이어\n(OUTPUT softmax)"]
    E --> F["예측 토큰"]

    subgraph theory["이론적 근거"]
        T1["Thm 5.1\n그룹 합성: O(log n) 루프"]
        T2["Thm 5.2\n비루프 모델 시뮬레이션"]
        T3["Cor 5.3\np-hop: log2(p)+2 루프"]
        T4["Thm 5.4\nCoT T 스텝 시뮬레이션"]
    end

    subgraph experiments["실험 검증"]
        E1["합성 과제\n덧셈·p-hop·i-GSM\n(Table 1·2)"]
        E2["언어 모델링 1B\nPile 250B 토큰\n(Table 3)"]
        E3["루핑 정규화\n비루프 24L 모델\n(Table 4)"]
    end

    C -.->|"잠재 사고(latent thoughts)\n생성 메커니즘"| T4
    T1 & T2 & T3 --> E1
    E2 --> E3

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	❌	GitHub 링크 없음. 구현 세부는 본문·부록 텍스트로만 기술.
데이터 공개	⚠️	합성 과제(덧셈·p-hop·i-GSM)는 생성 절차 상세 기술(Appendix A.1). 언어 모델링은 The Pile(공개 데이터셋) 사용, 전처리 파이프라인 상세 미공개.
하이퍼파라미터	✅	모델 차원(d=128/256/2048), 헤드 수(8/32), FFN 차원, 배치 크기, 학습률, 스케줄, 스텝 수 등 Appendix A.1·A.2에 구체적으로 명시. λreg 및 k 그리드 탐색도 보고.
실험 환경	⚠️	GPU 종류·수·학습 시간 미보고. Adafactor 옵티마이저 및 코사인 스케줄은 명시. 합성 실험은 3 시드 실행 후 최대값 채택(최대값 선택 정책은 표현력 측정 의도라고 명시).
통계적 신뢰도	⚠️	합성 실험: 3 시드 실행 언급하나 분산/오차 범위 미보고. 언어 모델링: 단일 실행 추정, 신뢰구간 없음. 일부 결과는 시드 선택 편향 위험(최대값 사용) 있음.
종합 등급	B	하이퍼파라미터와 데이터 생성 절차는 잘 기술되어 있으나, 코드 비공개·GPU 환경 미기재·통계 불확실도 미보고로 완전 재현이 어려움.

주장별 신뢰도

#	주장	근거	신뢰도
1	k-레이어 트랜스포머를 L번 루프한 (k⊗L) 모델은 파라미터 1/L로도 kL-레이어 비루프 모델에 근접한 추론 성능을 달성한다	Table 1: Loop(1⊗12) vs Base(12⊗1) — n=32 덧셈 99.6% vs 100.0%; Table 2: Loop(1⊗8) vs Base(8⊗1) — i-GSM 73.2% vs 73.2% (동등). 다양한 k값 반복 검증(k=1,2,3,4,6).	🟢
2	루프 모델은 암기(perplexity, closed-book QA) 성능을 희생하는 대신 추론(open-book QA, 수학, reasoning primitives)에 대한 귀납적 편향을 가진다	Table 3: Loop(12⊗2) perplexity 7.90(worse) vs 7.40(baseline), 그러나 Reasoning Primitives 51.2% vs 47.5%(better); isoplots(Fig 2·7)로 동일 perplexity 대비 추론 우위를 별도 시각화.	🟢
3	루프 모델은 T 스텝 CoT 추론을 T 루프로 시뮬레이션할 수 있다(잠재 사고 생성)	Theorem 5.4 (수학적 증명, Appendix B.3). 단, 이론 구성은 d를 O(log(n+m)) 증가시키는 조건이 있어 실용 모델과의 gap 존재. 실험적 CoT 직접 비교 없음.	🟡
4	루핑 정규화(cosine similarity loss)는 비루프 24L 모델에서 perplexity 중립적으로 추론 성능을 향상시킨다	Table 4: Regularized(k=4, λ=10) Reasoning Primitives 57.2%(+9.7pp) vs Baseline 47.5%, perplexity 7.38 vs 7.40(거의 동일). 단, k=12에서는 closed-book QA 소폭 감소.	🟢

읽기 난이도: ⭐⭐⭐

트랜스포머 아키텍처 및 표준 언어 모델 학습 파이프라인에 대한 기본 이해 필요. 이론 섹션(§5)은 그룹 이론(군 합성, 솔버블 그룹), 계산 복잡도 이론(회로 복잡도, 깊이 하한), attention 메커니즘의 수학적 형식화에 익숙해야 이해 가능. 실험 섹션(§2·3·4)은 표만 읽는다면 ⭐⭐ 수준이나, isoplots 해석과 % Gap 지표의 의미를 파악하려면 선행 논문(Saunshi et al. 2022, 2024)의 문맥이 필요하다. 필요 배경지식: 트랜스포머 사전학습·평가, 스케일링 법칙, 알고리즘적 추론 벤치마크(SVAMP·Drop 등), 군론 기초.

축	본 논문 (Saunshi et al., 2025)	Giannou et al., 2023 [base]	Dehghani et al., 2019 [base]	Yang et al., 2023 [direct]	Fan et al., 2024 [direct]	Hao et al., 2024 — Coconut [alternative]	Geiping et al., 2025 — Huginn [alternative/sota]
핵심 접근	looped transformer(k⊗L)의 추론 귀납편향을 이론·실험으로 규명; latent thoughts로 CoT 시뮬레이션 증명, looping-inspired 정규화 제안	어텐션 메커니즘을 역설계해 looped transformer로 SUBLEQ/FLEQ OISC 범용 컴퓨터를 구성, 임의 알고리즘 ICL 에뮬레이션	깊이 방향 가중치 공유 + 반복(recurrence in depth) + ACT 적응적 halting으로 트랜스포머에 재귀 귀납편향 최초 도입	looped transformer가 in-context 학습 알고리즘(회귀, 분류 등) 피팅에서 표준 transformer를 10% 미만 파라미터로 달성	적응적 스텝 수 looped transformer로 RASP-L 연산 반복 과제의 길이 일반화 대폭 개선	마지막 hidden state를 다음 입력 임베딩으로 피드백해 언어 토큰 없이 연속 잠재 공간에서 CoT 수행(Coconut)	recurrent block을 학습 후 테스트타임에 임의 깊이로 unroll; 특수 학습 데이터 불필요한 3.5B 모델(Huginn)
문제 정의	”추론은 깊이를 요구하나 파라미터는 덜 요구한다” — iso-flop 조건 하 looped 모델의 추론 우위 + 이론적 근거 확립	looped transformer가 임의 알고리즘을 실행 가능한 범용 컴퓨터인가	재귀 귀납편향 없는 표준 트랜스포머의 일반화 한계 극복 (특히 가변 길이 시퀀스)	파라미터 효율 ICL: looped 구조가 같은 flop 대비 학습 알고리즘 피팅에서 더 나은가	looped 구조가 길이 일반화 실패(분포 외 길이)를 해결하는가	이산 언어 토큰 CoT의 비효율성 극복: 잠재 공간에서 다단계 추론이 가능한가	테스트타임 연산량을 임의로 스케일하면서도 추가 학습 데이터 없이 추론 능력이 향상되는가
데이터·도메인	합성 추론 과제(덧셈, p-hop, i-GSM) + Pile 1B 사전학습	알고리즘 구성(계산기, 선형대수, SGD/역전파) — 합성	언어 모델링(wikitext-103 등) + 알고리즘 과제(복사, 역순, 덧셈)	회귀·분류·행렬 곱 등 in-context 학습 과제 (합성 데이터)	RASP-L 기반 반복 연산 합성 과제 (분포 외 길이 테스트 포함)	GSM8K, ProntoQA, ProsQA 등 수학·논리 추론 벤치마크	GSM8K, MATH, ARC, HellaSwag 등 표준 LLM 벤치마크 (3.5B 규모)
핵심 메트릭	iso-flop 비교 정확도 (합성 과제), perplexity·다운스트림 4슬라이스 (Pile 1B); looped 모델이 추론 과제에서 필적 또는 우위	알고리즘 정확 실행 여부 (구성적 증명); 층 수 ≤13으로 범용 컴퓨터 구성 가능	perplexity 및 알고리즘 과제 정확도; ACT halting 단계 수	예측 오차 (MSE 등) in-context 학습 곡선; 파라미터 수 대비 성능	길이 일반화 정확도 (분포 내 vs. 분포 외 길이 비교)	GSM8K 정확도, 추론 단계 수	GSM8K, MATH 등 정확도 (3.5B iso-size 비교); 테스트타임 깊이 스케일링 곡선
확장성	1B 사전학습까지 검증; looping 횟수를 늘리면 flop 증가만으로 추론 깊이 확장 가능(이론 보장)	증명 수준 구성; 실제 대규모 학습 검증 없음 — 확장성 미검증	소·중형 모델 검증; ACT halting 비용이 대규모에서 문제될 수 있음	소형 합성 과제 중심; 대규모 언어 모델 사전학습으로의 확장 미검증	소형 합성 과제 중심; 실제 언어 모델 스케일 검증 없음	소·중형 LLM 검증; 연속 latent 토큰 수 증가에 따른 학습 불안정성 존재	3.5B 모델 실검증; 테스트타임 unroll 깊이를 임의로 증가시켜 추론 성능 스케일링 실증
한계	[저자 인정] 합성 과제 부분집합에 국한, inductive bias 메커니즘 미해명 / [독자 식별] 비-합성 자연어 추론 벤치마크 부족; 실용적 서빙 시 루프 횟수 선택 기준 불명확	[저자 인정] 구성적 증명에 한정, 실제 gradient 학습으로 이 능력이 자동 발현되는지 미보장 / [독자 식별] 실용 학습 실험 없음	[저자 인정] ACT halting이 병렬화를 저해; 언어 과제 외 일반화 한계 / [독자 식별] 현대 대규모 학습 환경에 맞지 않는 구조적 복잡성	[저자 인정] in-context 학습 설정에 국한; 사전학습 언어 모델 검증 없음 / [독자 식별] 과제 종류가 좁아 일반화 주장 제한적	[저자 인정] 합성 RASP-L 과제에 특화; 자연어 환경 검증 없음 / [독자 식별] 적응적 스텝 수 결정 메커니즘의 추가 비용	[저자 인정] 연속 latent 공간 학습이 불안정; 초기 언어 토큰 CoT 워밍업 필요 / [독자 식별] 이산 토큰 없는 추론의 해석 불가능성	[저자 인정] recurrent block 설계 탐색 비용; 최적 unroll 깊이 결정 기준 미명시 / [독자 식별] 3.5B 이상 스케일 검증 부재
코드 공개	❌ (본문 내 코드 링크 없음)	❌	✅ (tensor2tensor)	미상	미상	✅ (facebookresearch/coconut)	✅ (seal-rg/recurrent-pretraining)

원자적 인사이트 (Zettelkasten)

💡 깊이와 파라미터는 분리 가능한 자원이다 — 루프로 깊이만 늘린다

출처: Saunshi et al., 2025 (본 노트)
유형: 이론적

신경망에서 “더 깊게 생각하기”와 “더 많이 기억하기”는 보통 층을 쌓는 같은 행위로 묶이지만, 이 둘은 별개의 자원이다. k층 블록을 가중치 재사용으로 L번 통과(k⊗L)시키면 파라미터 수는 1배로 유지한 채 유효 깊이만 L배로 늘릴 수 있다. n=32 덧셈에서 (1⊗12)는 99.6%로 12배 파라미터의 (12⊗1) 100.0%에 거의 필적했고, 루프 없는 (1⊗1)은 0.0%로 실패했다 (Table 1). 추론에 필요한 것은 깊이이지 파라미터가 아니라는 것이다.

핵심 조건/맥락: 덧셈·i-GSM 같이 연산 깊이가 병목인 알고리즘적 추론 과제. 지식 암기가 병목인 과제(closed-book QA)에서는 성립하지 않음.
연결: Looped Transformers as Programmable Computers
활용 가능성: 추론 특화 모델을 설계할 때 파라미터 예산을 늘리는 대신 루프 횟수를 늘려 메모리 효율적으로 깊이를 확보하는 아키텍처 전략.

💡 루프는 perplexity를 희생하고 추론을 얻는 귀납 편향이다

출처: Saunshi et al., 2025 (본 노트)
유형: 실험적

같은 연산량이라도 가중치를 어떻게 배치하느냐가 모델이 잘하는 일의 종류를 바꾼다. 1B/Pile 250B 학습에서 루프 모델 (12⊗2)는 전체 perplexity 7.90으로 기준 7.40보다 나빴지만, math word problems(34.3 대 29.3)와 reasoning primitives(k=4에서 56.9 대 47.5)에서는 더 강했다 (Table 3). 즉 루프는 단순히 “더 나은/나쁜” 모델을 만드는 것이 아니라, 언어 암기를 희생하는 대신 추론에 불균형적으로 강하게 기우는 귀납 편향을 심는다. 평균 손실(perplexity) 하나로 모델을 줄세우면 이 편향이 가려진다.

핵심 조건/맥락: 1B 규모, 다음-토큰 예측 사전학습 후 추론 벤치마크로 측정. perplexity와 추론 성능의 해리(dissociation) 가 관찰의 핵심.
연결: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
활용 가능성: 추론 능력을 평가할 때 perplexity만으로는 부족하며, 아키텍처적 귀납 편향을 직접 측정하는 별도 벤치마크가 필요함을 시사.

💡 루프가 만드는 latent thoughts가 CoT를 대신 시뮬레이션한다

출처: Saunshi et al., 2025 (본 노트)
유형: 이론적

chain-of-thought는 중간 사고 단계를 토큰으로 출력해 깊이를 버는 기법인데, 루프는 같은 일을 모델 내부에서 출력 없이 해낸다. 이론적으로 T번 루프가 T-step CoT를 시뮬레이션할 수 있고 (Thm 5.4), 1층을 log n번 루프하면 group composition을 풀 수 있다 (Thm 5.1). 루프가 만드는 잠재적 사고 단계(latent thoughts)는 텍스트로 드러나지 않을 뿐 CoT와 같은 계산적 역할을 한다. 실제로 루프 횟수를 늘리면 추론 성능이 log 스케일로 증가했다 (α_loop/α_base = 1.19, Figure 3).

핵심 조건/맥락: 이론적 구성 가능성(simulatability)으로, 학습된 루프가 실제로 해석 가능한 사고를 굴리는지는 별도 문제. group composition은 NC1 난이도 과제.
연결: A Theoretical Understanding of Self-Correction through In-Context Alignment, Language Models Don’t Always Say What They Think - Unfaithful Explanations in Chain-of-Thought Prompting
활용 가능성: 토큰 출력 비용 없이 추론 깊이를 확보하는 latent reasoning 설계, 그리고 latent thoughts의 해석 가능성/충실성 연구의 출발점.

핵심 용어 정리

용어	정의
looped transformer (k⊗L)	k개 층으로 된 트랜스포머 블록을, 같은 가중치를 재사용하여 L번 반복 통과시키는 구조. 파라미터는 k층분만 쓰면서 유효 깊이는 kL이 됨.
iso-param / iso-flop 베이스라인	비교 기준 모델. iso-param은 파라미터 수를 루프 모델과 똑같이 맞춘 모델(예: 1⊗1), iso-flop은 연산량(FLOPs)을 맞추기 위해 층을 펼친 모델(예: kL⊗1).
effective depth (유효 깊이)	입력이 거치는 실제 연산 단계 수. 루프 모델에서는 (블록 층수 k) × (루프 횟수 L)로, 물리적 층 수보다 커질 수 있음.
inductive bias (귀납 편향)	모델이 학습 시 특정 종류의 해법·패턴으로 기우는 내재적 성향. 루프는 추론적 해법으로 기우는 편향을 만듦.
perplexity	언어모델이 다음 단어를 얼마나 못 맞히는지를 나타내는 지표(낮을수록 좋음). 평균적 언어 예측 품질을 측정.
chain-of-thought (CoT)	최종 답에 이르는 중간 추론 단계를 명시적 텍스트로 출력하게 하여 다단계 추론을 돕는 기법.
latent thoughts (잠재적 사고)	CoT처럼 토큰으로 출력되지는 않지만, 루프를 도는 동안 모델 내부에서 진행되는 잠재적 중간 사고 단계.
inference-time scaling	모델 크기를 키우지 않고 추론 시점에 계산을 더 투입(예: 루프를 더 돌리기)하여 성능을 올리는 방식.
i-GSM	다단계 산술 추론을 평가하기 위한 합성 수학 문장제(grade-school math) 벤치마크.
group composition	군(group) 원소들의 연속 합성을 계산하는 과제. NC1 난이도로, 충분한 깊이가 있어야 풀림.
reasoning primitives	추론에 쓰이는 기본 단위 연산들로 구성된 평가 과제 묶음. 루프 모델이 특히 강세를 보인 영역.
looping-inspired regularization	비-루프 모델 학습 시 루프 구조의 이점을 모사하도록 거는 정규화(λ_reg). 적용 시 perplexity 손상 없이 추론 성능을 끌어올림.
NC1 / TC0	회로 복잡도 클래스. 어떤 과제가 얕은(TC0) 회로로 풀리는지, 더 깊은(NC1) 깊이를 요구하는지를 구분하여 루프의 이점이 필요한 영역을 형식화.

BibTeX

@inproceedings{saunshi2025,
  title={Reasoning with Latent Thoughts: On the Power of Looped Transformers},
  author={Saunshi, Nikunj and Dikkala, Nishanth and Li, Zhiyuan and Kumar, Sanjiv and Reddi, Sashank J.},
  booktitle={Proceedings of the International Conference on Learning Representations (ICLR)},
  year={2025},
  url={https://arxiv.org/abs/2502.17416},
  eprint={2502.17416},
  archivePrefix={arXiv}
}

잠재적 사고를 이용한 추론: 루프드 트랜스포머의 힘에 관하여

잠재적 사고를 이용한 추론: 루프드 트랜스포머의 힘에 관하여

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

프레임워크 개요

핵심 구성요소

입력 → 출력 흐름

기존 방법과의 차별점

주요 하이퍼파라미터 / 설정

발견 (Findings)

Results

주요 결과

Ablation / 부정 결과 / 제한된 케이스

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

주장별 신뢰도

읽기 난이도: ⭐⭐⭐

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 깊이와 파라미터는 분리 가능한 자원이다 — 루프로 깊이만 늘린다

💡 루프는 perplexity를 희생하고 추론을 얻는 귀납 편향이다

💡 루프가 만드는 latent thoughts가 CoT를 대신 시뮬레이션한다

핵심 용어 정리

관련 연구

태그

BibTeX