잠재 사고 사슬(Latent CoT)? 깊이 반복 트랜스포머를 해독하다

개요

언어모델은 풀이 과정을 글로 적는 Chain-of-Thought(CoT, 사고 사슬) 덕분에 수학을 잘 풀게 됐지만, 그 대가로 출력이 길어지고 느려진다. 그래서 “생각은 말 대신 내부 벡터에서 하게 하자”는 **잠재 추론(latent reasoning)**이 대안으로 떠올랐고, 그 대표가 같은 층 묶음을 여러 번 다시 돌려 계산 깊이를 늘리는 깊이 반복 트랜스포머(depth-recurrent Transformer) Huginn-3.5B다. Huginn은 반복 횟수를 늘리면 점수가 오르지만, 그것이 “답을 조금씩 다듬는 반복 정제”인지 “중간 결과를 먼저 만들고 그걸로 최종 답을 내는, 머릿속 CoT”인지는 아무도 확인하지 않았다. 이 논문의 착안은 그 차이를 측정 가능한 예측으로 바꾼 데 있다. 잠재 CoT가 정말 있다면 (2*3)+1 같은 문제에서 반복이 진행될 때 중간값 6이 먼저 떠오르고, 그다음에 최종값 7이 떠올라야 한다. 저자들은 반복을 펼쳐(unroll) 2+4r+2개의 층 출력 각각을 logit lens(중간 벡터를 곧바로 어휘 확률로 바꿔 보는 렌즈)와 coda lens(Huginn의 마지막 해독 블록 두 개를 렌즈로 빌려 쓰는 방식)로 읽고, 중간값·최종값 토큰의 순위가 반복마다 어떻게 내려오는지 추적했다. 결과는 예측과 반대였다. 두 토큰 모두 초기 반복에서 함께 빠르게 순위가 내려오고, 최종값이 처음부터 중간값보다 계속 순위가 높았다. “먼저 중간, 나중에 최종”이라는 시간적 분리는 보이지 않았다. 게다가 같은 은닉 상태를 어느 렌즈로 읽느냐, 4개 반복 블록 중 몇 번째(R1~R4)를 읽느냐에 따라 숫자가 보이기도 하고 "friendships" 같은 엉뚱한 단어가 나오기도 해서, 표준 트랜스포머에서 보던 매끄러운 정제와는 전혀 다른 들쭉날쭉한 패턴이 나왔다. 성능으로 봐도 명시적 CoT를 막은 채 반복을 4에서 256까지 늘리면 GSM8K 정확도는 3.11%에서 4.93%까지 오르다 멈췄고, 같은 모델에 CoT를 허용하면 24.87/38.13%였다.

Implication: “반복을 늘리면 성능이 오른다”는 사실만으로 루프 안에서 사람 같은 단계적 추론이 일어난다고 말할 수 없다. 적어도 Huginn·한 자리 산술·logit/coda lens라는 조건에서는 그런 흔적이 안 보였고, 렌즈 결과가 블록마다 뒤집히므로 순환 모델의 해석 도구는 층별로 따로 검증해야 한다.

📎 https://arxiv.org/abs/2507.02199

배경과 문제

무엇이 풀리지 않았나. CoT는 중간 단계를 자연어로 밖에 꺼내 놓아 해석은 쉽지만 장황하고 추론이 느려질 수 있다(author-stated, Section 1). 대안은 중간 단계를 언어로 꺼내지 않고 잠재 공간에서 추론하는 모델인데, 현재 아키텍처가 실제로 그렇게 동작하는지는 불분명하다(author-stated, Section 1).

학술적 계보 (원문이 직접 인용한 것).

• 연속 잠재 공간 추론: 중간 은닉 상태를 재사용 층으로 넘겨 언어 없이 다단계 추론을 흉내 내는 접근으로 Hao et al. (2024, Coconut)을 든다(author-stated, Section 1). vault 노트: Training Large Language Models to Reason in a Continuous Latent Space.
• Huginn-3.5B (Geiping et al., 2025): 추론 시 층을 재사용해 토큰당 계산 깊이를 늘리는 깊이 반복 트랜스포머. 반복을 늘리면 추론 과제 성능이 오르지만, 그 이득이 반복 정제(iterative refinement) 때문인지 잠재 공간의 구조화된 CoT 때문인지는 불분명하다고 저자들은 본다(author-stated, Section 1, Yang et al. 2024 인용).
• Logit lens (nostalgebraist, 2021)와 어휘 공간 투영 (Geva et al., 2022; 2023): 표준 decoder-only 모델은 초기 층에서 거친 예측을 빨리 만들고 이후 층에서 최종 예측으로 매끄럽게 수렴한다는 관찰이 logit lens로 처음 보고됐다(author-stated, Section 3.2).
• 암묵적 다중 홉 추론 (Yang et al., 2024): LLM이 잠재적으로 다중 홉 추론을 하는지에 대한 선행 질문(author-stated, Section 1 인용).

이 논문의 질문과 차이. “Huginn은 추론 중에 잠재 CoT의 징후를 보이는가?”(author-stated, Section 1). 새 모델을 만들지 않고, 명시적 추론을 억제한 조건에서 기존 모델의 은닉 상태를 펼쳐 읽는 분석 논문이다. 작성자가 보기에 이 논문은 Huginn 원 논문이 “반복 = 잠재 추론”으로 해석한 성능 곡선에 대해 내부 표상 수준의 반증 시도를 붙인 것이다(analyst-inference).

지표

지표	무엇을 세나	단위·범위	방향	분모·정규화	측정 조건	위치
토큰 순위(rank)	렌즈로 얻은 마지막 위치 logit $z_i[-1]$에서 특정 토큰(최종 예측 토큰, 중간값 토큰, 최종값 토큰, 무작위 토큰 the)이 몇 등인지	1 이상의 정수, 그래프는 로그 축(10^0~10^4)	낮을수록 그 토큰을 강하게 예측	질문들에 대한 평균. Figure 4는 ±1 relative std 음영	Figure 2: 산술 첫 100문항, 펼친 블록 68개. Figure 4: 조건을 만족하는 67문항, 반복 1~16	Section 3.2, 3.3
부호 있는 정수 접두사 비율	top-5 해독 토큰 중 유효한 부호 있는 정수 접두사(예 "5", "-", "2")의 비율	0~1	산술 문제에서 높을수록 그 블록이 숫자 계산과 관련된 내용을 담는다고 해석	100문항 평균	반복 블록 R1R4 각각, 반복 216	Section 3.2, Figure 3
GSM8K 정확도 (strict/flexible)	초등 수학 문장제 정답률	%	높을수록 좋음	GSM8K 문항 수. strict/flexible 두 채점 방식(정의는 본문에 없음)	8-shot, 명시적 CoT 억제, 반복 4~256	Section 3.4, Table 1
산술 정확도	GPT-3 한 자리 복합 연산(one-digit composite) 2k문항 정답률	비율	높을수록 좋음	2k문항	반복 16	Section 3.1 (0.19로 보고)

strict/flexible 채점의 정확한 정의는 원문에 보고되지 않았다(unknown).

방법과 벤치마크 구성

대상 모델 구조 (Section 2.1, Figure 1, 식 (1)). Huginn-3.5B는 Prelude 블록 2개(P1, P2), 반복 블록 4개(R1~R4), Coda 블록 2개(C1, C2)로 되어 있고 각 블록은 표준 causal self-attention 블록이다. 입력 임베딩은 Prelude를 지나 반복 블록 묶음을 r번 돌고 Coda에서 다음 토큰을 예측한다. 반복의 시작 상태는 정규분포에서 뽑은 무작위 벡터이고, 매 반복의 R1은 Prelude 출력 s2와 직전 상태를 함께 받는다(식 (1)의 3·5번째 줄). 이렇게 펼치면 블록이 2+4r+2개가 되고, 각 블록 출력이 추적 가능한 은닉 상태가 된다(author-stated).

해독 방법 두 가지 (Section 2.2).

• Logit lens (식 (2)): $z_i=\mathrm{RMSNorm}(s_i)W_U$. 은닉 상태를 RMS 정규화한 뒤 unembedding 행렬(벡터를 어휘 점수로 바꾸는 마지막 행렬)에 곱한다. Huginn이 unembedding 전에 정규화하는 구조를 그대로 따랐다.
• Coda lens (식 (3)): $z_i=\mathrm{RMSNorm}(C(\mathrm{RMSNorm}(s_i)))W_U$. 원래 마지막 반복 블록 출력을 받도록 학습된 Coda 블록 두 개를 아무 블록 출력에나 붙여 해독한다. 트랜스포머 블록 두 개라 logit lens보다 표현력이 큰 해독기다.
• 두 방법 모두 마지막 토큰 위치의 logit $z_i[-1]$만 본다(author-stated).

과제와 조건 (Section 3.1, Appendix A.2).

• 주 데이터: GPT-3 논문의 합성 산술 테스트 중 one-digit composite(한 자리 수 세 개의 복합 연산, 예 “What is (9 + 8) * 2? Answer: 34”), 총 2k문항. Huginn의 정확도가 0.19밖에 안 될 정도로 이 과제가 어렵기 때문에 단순 과제를 골랐다고 말한다. 부정적 결과가 오답 때문이 아니도록 일부 분석은 정답 문항만 쓴다(author-stated).
• 보조 데이터: GSM8K(8.5K 초등 수학 문장제).
• 명시적 CoT 억제: 시스템 메시지 “You are a concise and helpful assistant. Always return only the final answer straightway.” + 답만 적힌 in-context 예시 4개(GSM8K는 8개). 별도 언급이 없으면 반복 16회, 즉 2+4×16+2=68 블록(author-stated).

세 가지 분석.

1. 블록별 해독 일관성 (Section 3.2): 첫 100문항에서 한 번씩 forward하고, 68개 블록 각각에서 최종 예측 토큰의 평균 순위를 기록(Figure 2). 블록별 top-5 해독 토큰 중 숫자 접두사 비율(Figure 3)과 수동 예시 검사(Appendix A.3 Table 2~7).
2. 서명 토큰 순위 추적 (Section 3.3): 2k문항 중 (1) 정답, (2) 최종값과 모든 중간값이 한 자리/한 토큰, (3) 최종값 ≠ 중간값인 67문항만 남긴다. 3.2의 블록 불일치 때문에 logit lens는 R3 출력, coda lens는 R4 출력만 쓴다(최종 예측과 가장 잘 맞고 해석 가능한 블록이라서). 잠재 CoT라면 “중간값 순위가 먼저 떨어지고, 최종값이 늦게 떨어진다”는 예측을 세우고 무작위 토큰 the를 기준선으로 둔다(author-stated).
3. 반복 수 스케일링 (Section 3.4): GSM8K 8-shot(원 Huginn 평가와 맞춤), CoT 억제, 반복 4~256. 비교 대상은 같은 Huginn에 명시적 CoT를 허용하고 반복 64로 돌린 결과(author-stated).

실험 하드웨어, seed 수, 반복 실행 횟수는 보고되지 않았다. 코드는 공개되어 있다(https://github.com/wenquanlu/huginn-latent-cot, Abstract).

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
해독 결과가 블록마다 크게 출렁이고 매끄럽게 수렴하지 않는다	Section 3.2, Figure 2	최종 예측 토큰 순위가 블록을 따라 큰 진폭으로 주기적으로 진동. logit lens는 R4에서 위로 치솟고(순위 나쁨), coda lens는 반대로 R4에서만 아래로 떨어짐	첫 100문항, 1회 forward, 반복 16	author-stated
숫자 정보가 어느 블록에서 보이는지는 렌즈에 따라 정반대	Section 3.2, Figure 3	logit lens: R1~R3 top-5 중 숫자 접두사 비율이 높고 R4는 거의 0. coda lens: R4는 거의 100%, R1·R2는 사실상 0	같은 은닉 상태에 다른 렌즈를 적용한 결과	author-stated
같은 상태라도 렌즈에 따라 숫자 대 무관 단어	Section 3.2	R4 + logit lens: {“inc”,“unity”,“friendships”,“igne”,“impulse”}, 같은 R4 + coda lens: {“6”,“5”,“1”,“7”,“2”}. R1 + coda lens: {“answer”,“answers”,…}, R1 + logit lens: {“5”,“3”,“1”,” answer”,“None”}	수동 검사 예시. 추가 예시는 Appendix A.3	author-stated
R4가 다른 이유에 대한 가설	Section 3.2	R4 출력은 다음 반복의 R1과 Coda C1 둘 다로 들어가는 이중 역할이라 다른 블록과 다른 표상을 가질 수 있다	검증 실험 없이 제시한 가능성	author-stated (가설)
잠재 CoT의 예측(중간값 먼저, 최종값 나중)이 관찰되지 않음	Section 3.3, Figure 4	두 토큰 모두 초기 반복에서 빠르게 순위 하락, 최종값 순위가 중간값보다 계속 낮음(더 강하게 예측)	67문항, logit lens는 R3·coda lens는 R4만 봄. 다른 블록(Appendix A.1, Figure 5·6)에서도 잠재 CoT 신호 없음	author-stated
반복 6 근처의 순위 역전	Section 3.3	대부분 예시에서 반복 약 6에서 최종·중간 토큰 순위가 뒤바뀜. 저자는 “중간값을 바탕으로 최종 결과를 재평가하는 것일 수 있다”고만 말하고 후속 연구로 남김	미해석 현상	author-stated
반복을 늘려도 이득이 작고 곧 정체	Section 3.4, Table 1	CoT 억제 시 반복 4→32에서 3.11→4.93(strict/flexible 동일), 이후 64: 4.70, 128: 4.93, 256: 4.62	GSM8K 8-shot	author-stated
명시적 CoT가 훨씬 우세	Section 3.4, Table 1	Huginn + CoT, 반복 64: 24.87/38.13	CoT 쪽은 반복 64 한 조건만 보고	author-stated
잠재 CoT를 완전히 배제한 것은 아님	Section 4	있다면 이 도구로 잡히지 않을 만큼 미묘하거나 분산되어 있을 수 있다. activation patching 같은 더 정교한 방법을 후속으로 제안	저자 스스로의 한계 진술	author-stated

결과의 연결. Section 3.2의 불일치는 뒤 분석의 전제를 바꾼다. 렌즈가 블록마다 다른 것을 보여 주므로 3.3은 “해석 가능한” 블록 하나씩(R3/logit, R4/coda)만 골라 순위를 추적했다. 그 선택된 블록에서 단계적 분리가 보이지 않았다는 것이 핵심 부정 결과다. 다만 작성자가 보기에 이 블록 선택 자체가 “최종 예측과 가장 잘 맞는 블록”을 고른 것이므로, 최종값이 일찍부터 앞선 것이 부분적으로 선택 기준의 결과일 가능성은 원문에서 따로 다뤄지지 않았다(analyst-inference). 3.4는 내부 분석과 별개로 행동 수준에서 “반복 깊이만으로는 명시적 CoT를 대체하지 못한다”는 보조 근거다. 다만 CoT 억제 프롬프트 자체가 성능을 크게 떨어뜨린 조건이라, 이 수치는 Huginn의 잠재 추론 상한이라기보다 “답만 바로 내라”는 조건에서의 성능으로 읽는 것이 안전하다(analyst-inference).

Take-home

한 줄: Huginn-3.5B의 반복 루프 안에서 “중간값 → 최종값” 순서의 잠재 CoT 흔적은 logit/coda lens로 찾지 못했고, 반복을 늘린 성능 이득도 명시적 CoT에 한참 못 미쳤다.

성립 범위: 모델 하나(Huginn-3.5B), 과제 둘(한 자리 복합 산술, GSM8K), 해독 도구 둘(logit lens, coda lens), 마지막 토큰 위치만, 명시적 CoT 억제 프롬프트 조건(author-stated, Section 2–3). 다른 루프 모델이나 다른 학습 방식으로 일반화된다는 근거는 원문에 없다(analyst-inference).

저자가 인정한 한계 (author-stated, Section 4): 결과가 잠재 CoT를 확정적으로 배제하지 않는다. 있다면 사용한 도구로는 못 잡을 만큼 미묘하거나 분산되어 있을 수 있다. activation patching 같은 방법이 후속 과제다. 반복 6 근처 순위 역전도 해석하지 않고 남겼다(Section 3.3).

작성자가 보는 우려 (analyst-inference):

• 결론이 “증거 부재”이지 “부재의 증거”가 아니다. 저자들도 그렇게 썼지만, 발표에서 “루프 모델은 잠재 추론을 안 한다”로 일반화하면 과장이다.
• 렌즈 자체가 블록마다 신뢰도가 다르다는 것이 이 논문의 첫 결과이므로, 같은 렌즈로 둘째 결과(잠재 CoT 없음)를 판정하는 데는 순환성이 있다. 저자는 블록을 골라 이를 완화했지만, 렌즈가 중간값을 표현하는 방향을 놓쳤을 가능성은 남는다.
• 67문항, 한 자리 결과로 제한된 순위 분석이라 다단계 연산 일반으로 확장하기 어렵다.
• 코드는 공개됐으나 seed·반복 실행 수는 보고되지 않았다. 순위 분석은 결정적 forward이지만 반복 초기 상태가 무작위 벡터(식 (1))이므로 초기값에 따른 변동이 얼마인지는 보고되지 않았다.

재현 정보: 코드 공개(Abstract의 GitHub 링크). 실험 seed·반복 실행 수·하드웨어는 보고되지 않았다.

본문 도표

Figure 1 — Huginn 펼친 구조와 두 렌즈

• 무엇을 보여주는가: 입력 “What is (3 * 2) − 2?”가 Prelude(P1, P2)를 지나 N(0, σ²I) 초기 상태와 함께 반복 모듈(R1→R2→R3→R4, r번 순환)을 돌고 Coda(C1, C2)를 거쳐 “4”를 내는 구조. 각 블록 출력에서 점선이 두 렌즈로 이어진다.
• 읽는 법: 위쪽 두 가지 경로가 렌즈다. Logit Lens는 RMSNorm → $W_U$, Coda Lens는 RMSNorm → C1 → C2 → RMSNorm → $W_U$. 아래 R4에서 R1로 돌아가는 화살표가 반복(r)이다.
• 핵심 관찰: 모든 블록 출력이 두 렌즈로 해독될 수 있다는 실험 설계 자체를 그림으로 보여 준다. 수치 없음.
• 의미와 주의: R4 출력이 다음 반복 R1과 Coda 양쪽으로 가는 배선이 그림에 드러나며, 이것이 Section 3.2의 R4 이중 역할 가설의 근거다(author-stated). Coda는 원래 R4 출력만 받도록 학습되었으므로 다른 블록에 coda lens를 붙이는 것은 분포 밖 입력이다(analyst-inference).
• 확인 상태: viewed

Figure 2 — 블록별 최종 예측 토큰의 평균 순위

• 무엇을 보여주는가: 펼친 블록을 따라 최종 예측 토큰 순위가 어떻게 변하는지. 왼쪽 logit lens(s1s68), 오른쪽 coda lens(s1s66).
• 읽는 법: x축 블록 번호(0약 68), y축 순위(로그 축 10^010^4, 아래가 더 강한 예측). 100문항 평균. 처음 두 점은 Prelude.
• 핵심 관찰: 두 패널 모두 큰 진폭의 주기적 톱니 모양. 왼쪽은 4블록마다(R4) 위로 치솟고 나머지는 낮다. 오른쪽은 반대로 R4에서만 아래로 떨어지고 나머지는 높다(author-stated, Section 3.2). 그래프 판독상 왼쪽 스파이크는 10^3~10^4 근처까지 오른다(analyst-inference, 그래프 판독). 두 패널 모두 마지막 블록 부근에서 순위가 10^0 근처로 내려온다(analyst-inference, 그래프 판독).
• 의미와 주의: 표준 트랜스포머의 “초기 추측 → 매끄러운 정제” 패턴이 없다는 것이 저자 해석이다(author-stated). 저자는 매끄러운 정제가 관찰됐다면 잠재 CoT에 대한 강한 반증이 됐을 것이라고 말하지만, 반대로 이 불연속이 잠재 CoT를 지지하는 근거라고 주장하지는 않는다(author-stated, Section 3.2).
• 확인 상태: viewed

Figure 3 — top-5 해독 토큰 중 숫자 접두사 비율

• 무엇을 보여주는가: 반복 단계(216)마다 R1R4 블록 각각의 top-5 해독 토큰 중 유효한 부호 있는 정수 접두사 비율. 왼쪽 logit lens, 오른쪽 coda lens.
• 읽는 법: x축 반복 단계, y축 비율(0~1). 선 색은 R1(파랑), R2(주황), R3(초록), R4(빨강). 100문항 평균.
• 핵심 관찰: logit lens에서는 R1·R2·R3 비율이 높고 R4는 거의 0. coda lens에서는 R4가 거의 100%, R1·R2는 사실상 0(author-stated). 그래프 판독상 logit lens의 R3는 반복 6 부근에서 1.0 가까이 오른 뒤 0.8대에 머물고, coda lens의 R3는 0.2~0.6 사이에서 출렁인다(analyst-inference, 그래프 판독).
• 의미와 주의: “어느 블록에 숫자 계산이 담겨 있는가”라는 질문의 답이 렌즈를 바꾸면 뒤집힌다. 그래서 저자들은 렌즈의 적용 가능성을 층마다 따로 평가해야 한다고 결론짓는다(author-stated). 숫자 접두사 비율은 “계산이 일어난다”의 대리 지표일 뿐 올바른 중간값인지는 보지 않는다(analyst-inference).
• 확인 상태: viewed

Figure 4 — 중간값·최종값·무작위 토큰의 순위 궤적

• 무엇을 보여주는가: 반복 단계(2~16)에 따른 중간값 토큰(파랑), 최종값 토큰(주황), 무작위 토큰 the(초록)의 순위. 왼쪽 logit lens at R3, 오른쪽 coda lens at R4.
• 읽는 법: x축 반복 단계, y축 순위(로그 축, 아래가 강한 예측). 67문항(정답·한 자리·최종≠중간) 평균, 음영은 ±1 relative std.
• 핵심 관찰: 두 패널 모두 중간값과 최종값이 초기 반복에서 함께 빠르게 떨어지고, 최종값이 중간값보다 계속 낮은 순위(더 강한 예측)를 유지한다. 중간값이 먼저 떨어지고 최종값이 늦게 떨어지는 단계 분리는 없다(author-stated). 대부분 예시에서 반복 약 6에서 두 토큰의 순위 역전이 보인다(author-stated). 무작위 토큰 the는 그래프 판독상 10^2~10^3대에 머문다(analyst-inference, 그래프 판독).
• 의미와 주의: 이 그림이 “잠재 CoT 증거 부족”의 핵심 근거다. 단, R3·R4 한 블록씩만 그렸고 나머지 블록은 부록 Figure 5·6에 있다. 음영이 넓게 겹치는 구간이 있어 평균선만으로 순서를 읽을 때 주의가 필요하다(analyst-inference).
• 확인 상태: viewed

Table 1 — 반복 수에 따른 GSM8K 정확도

• 무엇을 보여주는가: Huginn에 명시적 CoT를 허용한 경우(반복 64)와 억제한 경우(반복 4~256)의 GSM8K 정확도(strict/flexible).
• 읽는 법: 행은 모델 조건과 반복 수, 값은 strict/flexible 정확도(%).
• 핵심 관찰: CoT 억제 시 4: 3.11, 8: 4.47, 16: 4.78, 32: 4.93, 64: 4.70, 128: 4.93, 256: 4.62(모두 strict = flexible). CoT 허용(반복 64): 24.87/38.13.
• 의미와 주의: 캡션은 4→32에서 “단조 증가”라고 쓰고 본문은 이후 정체(plateau)라고 쓴다(author-stated). 32 이후는 4.70→4.93→4.62로 오르내려 단조가 아니다. 반복 수를 64배 늘려도 1.8%p 남짓의 차이라서, “반복 깊이만으로는 명시적 CoT에 못 미친다”는 결론을 지지한다(analyst-inference). CoT 조건은 반복 64 한 점뿐이라 CoT 쪽 반복 스케일링은 비교되지 않았다.
• 확인 상태: viewed

Wiki 연결

• Training Large Language Models to Reason in a Continuous Latent Space — 원문이 직접 인용한 잠재 추론(Coconut) 계열. 이 논문은 그 아이디어를 Huginn이라는 다른 구현에서 내부 표상으로 검증하려 했다.
• Reasoning with Latent Thoughts - On the Power of Looped Transformers — 루프 트랜스포머가 잠재 사고로 CoT를 흉내 낼 수 있다는 이론 주장. 이 논문의 경험적 부정 결과와 대조해서 읽을 만하다(analyst-inference).
• Looped Transformers as Programmable Computers — 루프 구조의 표현력 이론. “할 수 있다”와 “실제로 학습된 모델이 그렇게 한다”의 차이를 보여 주는 대조점(analyst-inference).
• Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — 반복이 고정점으로 수렴하는 관점. 이 논문의 블록 간 불연속·주기 진동 관찰과 비교할 수 있다(analyst-inference).

BibTeX

@inproceedings{lu2025latentcot,
  title     = {Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer},
  author    = {Lu, Wenquan and Yang, Yuechuan and Lee, Kyle and Li, Yanshu and Liu, Enqi},
  booktitle = {First Workshop on the Application of LLM Explainability to Reasoning and Planning at COLM 2025},
  year      = {2025},
  eprint    = {2507.02199},
  archivePrefix = {arXiv}
}