입장 논문: 중간 토큰을 추론/사고 흔적으로 의인화하기를 중단하자

Digest
DeepSeek R1이나 OpenAI o1처럼 최종 답 전에 장문의 토큰을 쏟아내는 ‘추론 모델’이 표준이 되면서, 학계와 업계는 이 중간 토큰(intermediate tokens, 모델이 답을 내기 전 먼저 생성하는 토큰열)을 “추론 흔적(reasoning trace)“이나 “사고 흔적(thinking trace)“이라 부르며 사람의 사고 과정을 들여다보는 창처럼 취급해 왔다. 이 논문의 통찰은 그런 의인화(anthropomorphization, 비인간 산출물에 인간적 속성을 부여하는 것)를 떠받칠 증거가 없다는 데서 그치지 않고 그 뿌리를 훈련 구조에서 짚어낸다는 점이다 — 이 모델들을 만드는 사후훈련(post-training)의 대표 기법 RLVR(RL with Verified Rewards, 검증된 보상 기반 강화학습)은 오직 궤적이 정답으로 끝나는지만 보상할 뿐 중간 토큰 자체의 논리적 타당성에는 어떤 최적화 압력도 가하지 않는다. 그래서 저자들은 중간 토큰을 ‘추론/사고’가 아니라 원 프롬프트 T에 덧붙여 정답 확률을 높이지만(P(Sol(LLM(T+PA))) > P(Sol(LLM(T)))) 인간이 이해할 필요는 없는 **학습된 프롬프트 증강(learned prompt augmentation)*으로 재개념화하고, 신뢰의 근거를 토큰이 아니라 도메인별 검증기(verifier, 출력의 정답 여부를 판정하는 별도 시스템)를 통한 외부(제3자) 검증으로 옮기라고 제안한다. 근거는 여러 반증 실험이다: 미로/A 탐색에서 서로 다른 문제의 도출 흔적(derivational trace)을 뒤바꾸거나(swapped) 훼손한(corrupted) 의미 없는 흔적으로 훈련해도 성능이 유지·향상됐고, QA 과제에서는 일부러 틀린 흔적과 맞는 답을 짝지은 훈련이 맞는 흔적과 맞는 답으로 훈련한 것보다 나은 성능을 냈으며(§4.1), 사용자 실험에서 DeepSeek R1의 장황한 흔적은 성능은 올렸지만 충실성(faithfulness, 흔적이 실제 처리 과정을 반영하는 정도) 등 사용자 선호에서는 최저점을 받아 “모델에 유용한 흔적이 인간에겐 가장 해석 불가능”하다는 불일치가 드러났고, 결정적으로 Palod et al.(2026)은 사용자가 스스로 검증할 수 없는 상황에서 흔적을 함께 보여주면 정답 여부와 무관하게 신뢰가 오르고 틀린 답 수용까지 늘어나는 **거짓 신뢰(false trust)*를 입증했다(§4.3). 다만 저자들 스스로 이를 확정적 반박이 아닌 “온건한 설득(modest persuasion)“으로 규정하며 중간 토큰이 의미를 가질 수 없다는 게 아니라 가질 필요가 없다고 선을 긋는데, 핵심 증거 다수가 저자 그룹 자신의 미로/A·QA 같은 특정 대리 과제에 의존하고 프런티어 모델 내부를 직접 관찰하지 못한다는 점(reproducibility: D)은 남은 한계다. 정작 “중간 토큰을 먼저 생성하면 왜 성능이 오르는가”라는 메커니즘은 이 논문에서도 불분명하게 남고, 안전 모니터링을 위해 토큰 해석가능성을 보존하자는 주장(Korbak et al., 2025a)과 저자들도 인정하는 “토큰↔해답 연결이 취약하다(fragile)“는 사실 사이의 긴장은 열린 질문으로 남는다.

먼저 이해하기

쉬운 설명

요즘 DeepSeek R1이나 OpenAI o1 같은 ‘추론 모델’은 최종 답을 내기 전에 사람이 골똘히 생각하듯 긴 중간 토큰(intermediate tokens, 답 이전에 모델이 먼저 뱉어내는 토큰열)을 보여주고, 우리는 이를 “추론 흔적(reasoning trace)“이라 부르며 그 안을 들여다보면 모델의 진짜 생각을 알 수 있다고 여긴다. 이 논문은 그 믿음에 근거가 없다고 주장한다. 이유는 이런 모델을 훈련하는 방식인 RLVR(RL with Verified Rewards, 최종 답이 맞았는지만 채점해 강화학습으로 보상하는 방법)이 오직 답의 정오만 보상하고, 중간에 나온 토큰이 논리적으로 말이 되는지는 전혀 채점하지 않기 때문이다. 실제로 미로 찾기 실험에서 중간 흔적을 서로 뒤바꾸거나(swapped) 망가뜨려도(corrupted) 성능이 그대로거나 오히려 좋아졌고, 일부러 틀린 흔적에 맞는 답을 붙여 훈련한 쪽이 더 잘 풀기도 했다(§4.1). 더 위험한 것은, 사용자가 답을 스스로 검증할 수 없을 때 이런 흔적을 함께 보여주면 답이 틀렸는데도 사람이 더 믿어버리는 거짓 신뢰(false trust)가 생긴다는 점이다(§4.3). 그래서 저자들은 중간 토큰을 ‘생각’이 아니라 답 확률을 높여주는 학습된 프롬프트 증강(learned prompt augmentation, 문제 앞에 덧붙어 정답 가능성을 키우는 보조 입력)으로 보고, 신뢰의 근거를 토큰이 아니라 외부의 독립적인 검증기(verifier)에 두자고 제안한다.

왜 중요한가

‘추론 모델’이 보여주는 생각 과정을 우리가 답을 신뢰하는 근거로 삼는 순간, 이 논문의 경고는 곧바로 AI 안전과 사용법의 문제가 된다. 특히 사용자가 스스로 답을 검증할 수 없는 현실적 상황에서 흔적 노출이 틀린 답조차 더 수용하게 만든다는 거짓 신뢰(false trust) 결과(§4.3)는, 흔적을 ‘투명성’ 기능으로 내세우는 프런티어 모델 관행이 오히려 사람의 인지적 취약성(cognitive vulnerabilities)을 파고들 수 있음을 시사한다. 또한 안전이 중요한(safety-critical) 영역에서 중간 토큰을 안전 모니터링의 근거로 삼는 접근에 대해, 저자들은 토큰이 실제 내부 계산을 반영한다는 증거가 나오기 전까지는 현명하지 않다고 못박고 신뢰를 제3자 외부 검증으로 옮기라 권한다. 흥미롭게도 OpenAI·Google·Anthropic 같은 대부분의 개발사는 이미 독점적 이유로 중간 토큰을 감추고 있어, 업계는 사실상 이 입장을 수용한 반면 연구 커뮤니티는 여전히 해석가능성 서사를 이어간다는 아이러니를 이 논문은 짚는다.

먼저 알아둘 말

용어	쉬운 설명	정확성 메모
중간 토큰(intermediate tokens, ITG)	모델이 최종 답을 내기 전에 먼저 생성하는 토큰열	논문은 사후 정제된 요약이 아닌 ‘여과되지 않은(unfiltered)’ 답 이전 토큰만을 가리킴
Chain-of-Thought(CoT) / Long CoT	답에 이르는 중간 단계를 풀어 쓴 토큰; Long CoT는 그것이 매우 길어진 형태	원래는 사용자가 추론 지침을 써 주는 프롬프팅 기법이었고, 모델이 그 지침대로 정렬하는지는 의문시됨
RLVR(RL with Verified Rewards)	최종 답의 정오만 검증해 그 보상으로 강화학습하는 사후훈련 기법	중간 토큰의 논리적 타당성에는 직접 최적화 압력이 없음 — 논문 논지의 핵심
post-training(사후훈련)	사전학습·지시조정 이후 검증 가능한 문제로 추가 미세조정·강화학습하는 단계	test-time scaling과 달리 검증 요소를 ‘훈련’으로 옮긴 것
verifier(검증기)	출력의 정답 여부를 판정하는 별도 시스템	LLM-as-verifier·학습된 검증자·형식적 외부 검증자 등 종류가 다양; 논문은 ‘외부/제3자’ 검증을 신뢰 기반으로 제안
faithfulness(충실성)	흔적이 실제 답 도출 과정을 정직하게 반영하는 정도	높은 성능이 높은 충실성을 뜻하지 않음이 실험으로 확인됨
aha moment	추론 도중 “aha” 토큰이 등장하는 현상	LLM은 지속적 내부 상태가 없어 토큰 하나 추가일 뿐 — 의미 있는 통찰로 보는 건 의인화
false trust(거짓 신뢰)	흔적을 보여주면 정답 여부와 무관하게 사용자 신뢰가 오르는 현상	검증 불가 상황에서 오답 수용까지 늘림(§4.3)
learned prompt augmentation(학습된 프롬프트 증강)	중간 토큰을 ‘생각’이 아니라 정답 확률을 높이는 학습된 보조 입력으로 보는 재개념화	인간이 이해 가능할 필요 없음; P(Sol(T+PA))>P(Sol(T))
derivational trace(도출 흔적)	A* 같은 알고리즘의 단계별 도출 과정을 적은 흔적	swapped/corrupted 흔적으로 훈련해도 성능 유지 → 의미 보존이 성능의 필수조건 아님

흐름 따라 읽기

논지 흐름(throughline): 중간 토큰을 사고로 의인화하는 관행 문제제기 → 그 토큰의 생성·훈련 방식(사후훈련·RLVR, 최종 답만 검증하고 중간 토큰엔 직접 최적화 압력 없음) 규명 → 의인화가 낳은 4대 폐해 진단 → 실험 증거로 반박(의미적 타당성이 성능을 견인하지 않음 · 길이가 난이도를 반영하지 않음 · 거짓 신뢰를 유발함) → 반대 견해 검토·재반박 → ‘학습된 프롬프트 증강’으로 재개념화 + 행동 촉구 → 신뢰를 외부 검증으로 대체하라는 결론.

Abstract — 입장 압축

이 초록은 논문 전체의 입장을 압축적으로 제시하는 도입부로, 언어모델이 최종 답을 내놓기 전에 생성하는 중간 토큰(intermediate tokens)을 ‘추론/사고 흔적’으로 의인화하는 관행이 위험하다는 저자들의 핵심 주장을 요약해 전체 논증의 문을 연다. 중간 토큰 생성(intermediate token generation, ITG: 모델이 최종 해답을 내놓기 전에 별도의 토큰 시퀀스를 먼저 만들어내는 방식)은 오늘날 추론 과제에서 언어모델 성능을 끌어올리는 표준적인 기법으로 자리 잡았다. 그런데 이 중간 토큰들은 흔히 “추론 흔적(reasoning traces)” 또는 심지어 “사고 흔적(thinking traces)“이라 불리는데, 이는 암묵적으로 이 토큰들을 의인화(anthropomorphization: 비인간 대상에 인간적 속성을 부여하는 것)하여 사람이 어려운 문제를 풀 때 거치는 단계와 닮았다고 암시하고, 나아가 최종 사용자에게 모델의 사고 과정을 들여다볼 수 있는 해석 가능한 창을 제공한다고 여기게 만든다. 이 position paper(연구자의 논쟁적 입장을 논증하는 논문 형식)에서 저자들은 이러한 의인화가 무해한 은유가 아니라 오히려 상당히 위험하다는 증거를 제시한다. 구체적으로 이 의인화는 이러한 모델들의 본질과 이를 효과적으로 사용하는 방법에 대한 혼동을 낳고, 의문스러운(questionable) 연구 방향으로 학계를 이끈다고 지적한다. 이에 저자들은 학계에 중간 토큰에 대한 이러한 의인화를 멈출 것을 촉구하는 것으로 초록을 맺는다.

1. Introduction — 문제 제기와 4대 주장

이 섹션은 논문 전체 논증의 출발점으로, DeepSeek R1처럼 답을 내기 전 장문의 “Long Chain-of-Thought(길게 이어지는 사고 사슬)” 토큰을 생성하는 모델들이 확산된 배경을 소개하고, 이런 중간 토큰(intermediate tokens, 최종 답 이전에 모델이 생성하는 토큰열로 흔히 “Chain of Thought” 또는 “reasoning trace”라 불림)을 인간의 사고/추론 흔적으로 부르는 관행에 문제를 제기하며 이후 전개될 4대 핵심 주장과 논의 범위를 선언한다. 이런 모델은 표준적인 사전학습·지시 미세조정·선호 정렬 이후 사후훈련(post-training, 검증 가능한 문제에 대해 반복적 미세조정·강화학습으로 추가 훈련하는 단계)을 거치는데, 질문 제시 → 중간 토큰 생성 → 구분된 답 시퀀스 출력의 흐름을 따르고, 형식적 검증 시스템은 최종 답만 확인해 모델 파라미터를 갱신하므로 중간 토큰 자체가 올바르다는 보장은 전혀 없다는 점이 강조된다. 중간 토큰을 먼저 생성하도록 훈련하면 여러 영역에서 성능이 경험적으로 향상된다는 사실은 잘 알려져 있지만 그 이유는 불분명함에도, 다수 선행 연구는 이를 모델이 답 전에 “생각한다”는 식의 희망적·의인화된 언어로 설명해 왔다는 문제의식이 제시된다. 저자들은 이런 의인화가 (1) 희망적 사고(wishful)에 불과하고, (2) 이를 뒷받침할 구체적 증거가 거의 없으며(little concrete supporting evidence), (3) 거짓 확신(false confidence)을 조장하고, (4) 학계를 무익한 연구 방향(fruitless research directions)으로 몰아갈 수 있다는 네 가지 입장(claims)을 명시적으로 선언한다. 이어 논의 범위를 네 가지로 한정하는데, 첫째 “중간 토큰”은 답 전에 생성되는 여과되지 않은(unfiltered) 토큰만을 가리키며 이는 사람을 설득·교육하기 위해 사후에 구성되는 사후적 합리화(post-facto rationalization, 실제 내부 처리 과정을 반영하지 않을 수 있는 사후 설명)와 구별된다 — 예컨대 OpenAI o1은 중간 토큰을 숨기고 정제된 요약만 보여주는 반면 DeepSeek R1은 단순한 문제에서도 페이지 분량의 전체 토큰열을 그대로 노출한다(Figure 3). 둘째, 에이전트형 시나리오에서 외부 도구를 호출하는 tool call이나 그 결과는 LLM 바깥의 실질적 의미를 갖는 별개 범주이므로 “사고 흔적” 논의에서 제외된다(§6.2에서 재론). 셋째, 저자들의 문제 제기는 어디까지나 최종 사용자(end user)에게 해석가능성을 부여하는 것에 국한되며, 중간 토큰이 왜·어떻게 모델 자신에게 도움이 되는지를 분석하는 연구까지 부정하지 않는다. 마지막으로 핵심 질문은 토큰이 “인간처럼” 보이는지가 아니라, 프롬프트와 중간 토큰이 단지 다음 토큰의 조건부 분포를 바꾸는 것을 넘어 어떤 논리적으로 해석 가능한 방식으로 실제 해답에 이르는지 여부이며, 이후 절들에서 이 논리적 연결의 타당성을 엄밀히 검토한 결과 그 근거가 부족함을 보일 것임을 예고한다.

2. Background — 중간 토큰은 어떻게 생성·훈련되는가

이 섹션은 논문의 토대(foundation) 역할을 하며, 이후 이어지는 의인화 비판과 실험적 반박이 딛고 서는 전제 — 즉 중간 토큰이 실제로 어떻게 생성·훈련되는가 — 를 규명한다. 먼저 테스트 타임 스케일링(test-time scaling, 모델이 가장 그럴듯한 답을 곧바로 내놓는 대신 추론 시점에 추가 연산을 들이는 기법)을 소개하는데, 여기에는 후보 답 중 가장 흔한 것을 택하는 self-consistency, 검증자(verifier, 출력의 정답 여부를 판정하는 별도 시스템으로 LLM-as-verifier·학습된 검증자·형식적으로 정확성을 보장하는 외부 검증자 등이 있음)를 이용한 선택, 검증 피드백을 다음 시도에 반영하는 루프가 포함된다. 이어서 사후훈련(post-training, 사전학습 이후 검증자 보조 합성 문제로 추가 미세조정하는 단계)은 테스트 타임 스케일링과 달리 검증 요소 자체를 훈련 단계로 옮겨 ⟨문제, 중간 토큰, 정답⟩ 삼중항으로 모델을 학습시킨다. 그 대표 사례인 DeepSeek R1 파이프라인은 다수의 합성 문제에 대해 그럴듯한 풀이 궤적(중간 토큰+정답 후보)을 생성하고, 문제별 외부 검증자(“규칙 기반 보상 모델”)가 정답만을 평가한 뒤 이 보상으로 강화학습 미세조정을 수행하는 RLVR(RL with Verified Rewards, 검증된 보상을 이용한 강화학습)로 요약된다. 여기서 이 논문 전체 논지의 축이 되는 핵심 사실이 확인되는데, 이 훈련 과정은 오직 궤적이 정답으로 끝나는지 여부에만 보상을 주며, 중간 토큰 자체의 논리적 타당성에는 어떤 직접적 최적화 압력도 가해지지 않는다는 점이다 — 즉 모델은 중간 토큰이 올바른 추론을 따르는지와 무관하게 최종 답만 맞추도록 조정된다. 마지막으로 훈련용 trace(추론 궤적) 생성 방식을 세 가지로 구분하는데, 사람이 단계별 풀이를 직접 작성하는 human-generated traces, 탐색 알고리즘(Searchformer, Stream of Search 등)으로 대량 생성하는 solver-generated traces, LLM이 생성한 뒤 걸러내는 LLM-generated traces가 있으며, 필터링은 단계별 정확성 검증, 프로세스 보상 모델 학습, 또는 trace 내용은 보지 않고 최종 정답 도달 여부만 형식적으로 검증하는 방식으로 이뤄진다. 이렇게 규명된 “최종 답만 검증, 중간 토큰엔 최적화 압력 없음”이라는 사실은 이후 섹션들이 왜 중간 토큰의 의미적 타당성이 모델 성능과 느슨하게만 연결되는지를 실험으로 입증하는 근거의 출발점이 된다.

3. Anthropomorphization — 의인화가 낳은 4대 폐해

이 섹션은 전체 논증에서 진단 단계를 맡아, 중간 토큰(intermediate tokens, 모델이 최종 답을 내놓기 전에 생성하는 토큰들)을 인간의 사고 흔적으로 보는 의인화(anthropomorphization, 비인간 산출물에 인간적 속성을 부여하는 것)가 연구 현장에서 구체적으로 어떤 네 가지 문제를 낳았는지 짚어낸다. 첫째는 해석가능성 추구(interpretability drive)로, 중간 토큰을 인간이 읽기 좋게 만드는 데 몰두하는 경향인데, DeepSeek이 R1-Zero를 훈련한 뒤 사람이 읽기 편하도록 영어-중국어 코드 스위칭(code-switching, 한 문장 안에서 언어가 뒤섞이는 현상)을 걸러내는 추가 필터링을 거쳐 R1을 내놓은 사례가 대표적이다. 둘째는 거짓 인과 가정(false causality assumption)으로, 중간 토큰의 정확성·해석가능성이 최종 답의 정확성과 강하게 상관되거나 그것을 유발한다는 암묵적 믿음인데, 이 믿음이 워낙 강해서 한 대형 벤더의 연구(Chen et al., 2025)가 LRM(Large Reasoning Model, 추론 모델)의 답이 자신의 중간 토큰에 늘 충실(faithful, 트레이스가 실제 답 도출 과정을 정직하게 반영함)하지는 않다는 사실을 보였을 때 오히려 “놀라움”으로 받아들여졌다. 셋째는 길이를 노력의 대리지표로 보는 관행(length as effort proxy)으로, 토큰 길이를 문제 난이도나 “사고 노력”의 지표로 해석하지만, DeepSeek는 훈련 중 토큰 길이가 늘어난 것을 “추론을 배우는 것”이라 자축한 반면 다른 연구들은 정반대로 트레이스를 줄이는 것을 “효율적으로 추론하는 법을 배우는 것”이라 자축하는 모순된 서사가 공존한다. 넷째는 알고리즘 학습 주장(algorithm learning claims)으로, 중간 토큰이 형식적 방법(formal methods)보다 우월한 학습된 알고리즘을 나타낸다는 주장인데, Searchformer 저자들이 트랜스포머가 더 짧은 트레이스를 만든다는 이유로 A* 탐색(A* search, 최적성이 수학적으로 증명된 고전 경로탐색 알고리즘)보다 “더 최적(more optimal)“이라고 주장한 것을 두고 저자들은 A*의 최적성이 이미 증명되어 있으므로(Hart et al., 1968) “상당히 의심스럽다”고 비판한다. 이 네 가지 부작용은 뒤이은 절들에서 실험적 반박(해석가능성의 허구, 길이-난이도 무관성, 거짓 신뢰 유발)이 다루는 “무익한 연구 방향”의 근원으로 지목된다.

4.1 End User Interpretability — 증거① 해석가능성은 허구다

이 대목은 스파인이 지목한 증거①(§4.1)로서, 앞선 §3에서 진단한 ‘해석가능성 추구’와 ‘거짓 인과 가정’이라는 의인화의 폐해를 실제 실험 데이터로 반박하며, 중간 토큰(intermediate tokens, 모델이 최종 답을 내기 전에 생성하는 토큰열)이 최종 사용자에게 해석 가능한 사고 과정을 제공한다는 통념의 근거가 빈약함을 입증하는 역할을 한다. 먼저 DeepSeek R1이 강조한 “아하 모먼트(aha moment, 추론 도중 “aha” 토큰이 등장하는 현상)“에 대해, 사람의 “아하”는 내적 상태 전환을 뜻하지만 LLM은 지속적인 내부 상태(persistent internal state)를 갖지 않고 “아하” 전후로 바뀐 것은 오직 문맥에 토큰 하나가 추가된 것뿐이므로, 이를 의미 있는 추론으로 해석하는 것은 부당한 의인화라고 비판한다. Valmeekam 등(2026)이 미로 경로 탐색을 A* 알고리즘의 도출 흔적(derivational trace)으로 학습시킨 트랜스포머 실험에서는, 생성된 흔적이 유효한 A* 논리를 따르는지와 최종 해답의 정답 여부 사이에 느슨한 상관관계(loose correlation)만 있었고 특히 분포 밖(out-of-distribution) 사례에서 더 약해졌으며, 서로 다른 문제 간에 도출 흔적을 뒤바꾸거나(swapped) 훼손한(corrupted) — 의미적으로 말이 되지 않는 — 흔적으로 훈련해도 성능이 유지되거나 오히려 향상되어, 흔적의 의미적 타당성이 성능 향상의 동인이 아님을 보였다. 나아가 GRPO(강화학습 정책 최적화 기법의 하나) 방식의 강화학습 사후훈련은 정답률은 끌어올렸지만 흔적의 의미적 타당성은 높이지 못했고, 심지어 뒤바뀐 무관한 흔적으로 사후훈련했을 때도 정답률은 개선되면서 흔적 타당성은 낮게 머물렀는데, 이는 사후훈련이 오직 최종 해답의 정답 여부만 보상하기 때문에 예견된 결과다. Bhambri 등(2025, 2026)의 질의응답(QA) 과제 연구에서는 틀린 흔적 뒤에 맞는 최종 답이 따라오는 거짓 양성(false positive, 흔적은 틀렸지만 답은 맞는 사례)이 다수 발견되었고 흔적의 정답 여부와 최종 답의 정답 여부는 어느 방향으로도 보장 관계가 없었으며, 오히려 의도적으로 틀린 흔적과 맞는 정답을 짝지어 훈련시키는 개입이 맞는 흔적과 맞는 정답으로 훈련한 경우보다 더 나은 성능을 냈다. 같은 연구진의 사용자 실험에서는 장황하고 산만한 DeepSeek R1 흔적이 증류(distillation, 큰 모델의 출력으로 작은 모델을 학습시키는 방법) 모델의 성능은 더 높였지만 해석가능성·충실성(faithfulness, 흔적이 실제 처리 과정을 얼마나 반영하는지)·예측가능성 등 사용자 선호 항목에서는 가장 낮은 점수를 받았고, 반대로 사용자가 가장 이해하기 쉽다고 평가한 검증 가능한 흔적은 상응하는 해답 정확도를 내지 못해, 모델에 가장 유용한 흔적이 인간에게는 가장 해석 불가능한 흔적이라는 불일치가 드러났다. 이 외에도 Li 등(2025a)은 수학적으로 틀린 흔적으로 소형 모델을 증류해도 유의미한 성능 향상을 얻었고, Dualformer(Su 등, 2024)는 임의로 단계를 제거해 의미를 훼손한(truncated) A* 흔적으로 훈련해도 정답률이 향상됨을 보여 흔적의 의미 보존이 성능의 필수 조건이 아님을 재확인했다. 마지막으로 Fig. 3에 제시된 R1의 “중얼거림(mumblings)” — 단순한 계획 문제에도 수 페이지 분량의 장황한 텍스트를 쏟아내는 사례 — 은 이러한 긴 독백이 건전한 추론을 구성하는지 불분명함을 보여주며, 소수의 평가만이 답 이전의 흔적을 검증하고 대다수는 최종 답만 확인한다는 해석가능성 검증의 일반적 한계로 이어진다.

4.2 Token Length and Problem Complexity — 증거② 길이는 난이도를 반영하지 않는다

이 대목은 논문의 증거②(§4.2)로서, 중간 토큰(intermediate tokens)의 길이를 문제 난이도나 모델의 ‘사고 노력(thinking effort)‘을 나타내는 지표로 해석하는 통념을 실험 결과와 구조적 분석으로 무너뜨린다. DeepSeek R1은 RL 사후훈련(post-training) 과정에서 토큰 길이가 늘어나는 현상을 ‘추론 능력 향상’의 증거로 내세웠지만, 이후 여러 벤더는 같은 토큰에 요금을 매기며 길이를 줄이는 ‘효율적 추론(efficient reasoning)‘을 성과로 홍보해, 길수록 좋다는 주장과 짧을수록 좋다는 주장이 서로 모순된다. “no-maze” 실험(출발점과 목표점이 열린 공간에 있어 계산이 거의 필요 없는 사소한 미로 인스턴스를 사용한 실험, Palod et al., 2025; Valmeekam et al., 2026)에서는 복잡한 미로 찾기(maze pathfinding)로 훈련된 트랜스포머가 이런 사소한(trivial) 인스턴스에서도 극도로 긴 트레이스를 생성해 문맥 창(context window)을 소진하는 경우가 많았으며, 이는 트레이스 길이가 실제 계산 복잡도를 적응적으로 따라가지 않음을 보여준다. 길이-난이도 상관관계는 훈련 분포 내(in-distribution)에서는 관찰되지만 분포 밖(out-of-distribution, OOD) 인스턴스에서는 무너져, 겉보기의 ‘문제 적응적 계산’이 실은 훈련 분포에 대한 과적합(overfitting)의 부산물일 뿐임을 시사한다. Samineni et al. (2025)은 R1의 MDP(마르코프 결정 과정, Markov Decision Process) 형식화를 분석해, 상태를 토큰 시퀀스로 표현하고 종단 보상(terminal reward)을 중간 토큰 전체에 균일하게 분배하는 구조(uniform reward) 자체가 더 긴 시퀀스 생성을 유인하며, 이 때문에 R1의 RL 방식이 사실상 필터링된 지도학습(filtered SFT)과 거의 동일하게 작동한다고 주장한다. 이런 구조적 편향 때문에 ‘효율적 추론’을 표방하는 연구들(Kalwar et al., 2026; Samineni et al., 2025)조차 실은 특정 문제 분포에 대한 과적합을 진정한 효율성 향상으로 오인했을 가능성이 있다고 비판한다. 마지막으로 인간의 사고 비용과 LLM 토큰 길이(‘사고 비용’)를 서로 대응시키려는 시도는 인지과학(cognitive science) 쪽(Hu, 2026; Vankov et al., 2026)의 반박에 부딪혀, 그 대응관계가 애초에 유의미한지부터 의문시된다.

4.3 Intermediate Tokens and False Trust — 증거③ 거짓 신뢰를 유발한다

이 절은 논문의 세 번째 반박 증거(증거③)로서, 중간 토큰(intermediate tokens, 모델이 최종 답을 내놓기 전에 생성하는 토큰열)을 사용자에게 그대로 노출하는 관행이 정답 여부와 무관하게 사용자의 신뢰를 부풀리는 “거짓 신뢰(false trust)” 문제를 실험적으로 입증한다. 저자들은 중간 토큰이 사람의 사고 과정을 모방한 문체를 띠기 때문에, 이를 투명성(transparency, 모델 내부 작동을 사용자가 들여다볼 수 있게 한다는 기능) 요소로 내세우며 사용자 설명 자료로 사용하는 프런티어 모델들의 관행이 오히려 틀린 답에 대한 부당한 확신을 심어줄 위험이 있다고 지적한다. Palod et al. (2026)의 인간 참여자 대상 신뢰도 연구에 따르면, 사용자가 해답을 스스로 검증할 수 없는 현실적인 시나리오에서 추론 흔적(reasoning trace)이나 그 요약을 함께 제시하면 정답 여부와 관계없이 사용자의 신뢰도가 상승했으며, 이는 상당한 수준의 거짓 신뢰 증가로 이어졌다. 구체적으로 trace를 본 사용자는 답만 단독으로 제시받은 경우보다 틀린 답을 수용할 가능성이 더 높아졌는데, 이는 trace 노출이 답의 정확성 자체를 개선하지 않으면서도 사용자의 오답 수용을 유도하는 방향으로 작동함을 뜻한다. 이에 저자들은 사용자가 검증할 수 없는 상황에서 중간 토큰을 노출하는 설계 자체가 바람직하지 않다고 경고하며, 강력한 AI가 사람의 인지적 취약성(cognitive vulnerabilities, 판단을 왜곡시킬 수 있는 심리적 허점)을 이용해 틀린 답을 설득하는 결과를 낳는 설계는 이 분야가 반드시 피해야 할 방향이라고 못박는다.

5. Alternative Views — 반론 검토와 재반박

이 절은 앞선 §4의 실험적 반박에 이어 중간 토큰(intermediate tokens, 모델이 최종 답을 내기 전에 생성하는 토큰들)을 사고 흔적으로 볼 수 있다는 반론들을 하나씩 짚고 재반박함으로써 논문의 핵심 입장(의인화 반대)을 방어하는 역할을 한다. 첫째, CoT(Chain-of-Thought, 사고연쇄)는 원래 사용자가 명시적 추론 지침을 작성해 모델이 따르게 하는 프롬프팅 기법이었으나, 이후 연구(Stechly et al., 2024; Wang et al., 2023a)는 모델이 실제로 그 지침대로 출력을 정렬하는지 의문을 제기했다는 역사적 맥락이 제시된다. 둘째, R1류 모델 시대에는 연구자들이 모델이 자체 생성한 토큰에서 “aha” 같은 성찰적 문구 등 인간이 해석 가능한 패턴을 찾아 정확도와의 상관관계를 분석하지만(Marjanović et al., 2025; Kim et al., 2026), 저자들은 이런 분석이 여전히 질적(qualitative) 수준에 머문다고 지적한다. 셋째, LLM이 인간 데이터로 훈련되기 때문에 말뭉치 속 “문화적 관행”을 모방해 인간 추론과 닮은 토큰을 내는 것일 뿐이라는 “의인화의 상속(anthropomorphic inheritance)” 반론에 대해, 저자들은 이런 우연한 해석가능성(accidental interpretability, 의도치 않게 생긴 것처럼 보이는 해석가능성)은 최종 사용자가 신뢰할 근거가 되지 못하며 결과만 검증하는 강화학습(outcome-based RL) 사후훈련이 늘어날수록 오히려 사라질 수 있고, 일부 연구는 이 괴리를 모델이 “속임수를 학습한다(learning to cheat, MacDiarmid et al., 2025)“고까지 규정한다며 반박한다. 넷째, OpenAI·Google·Anthropic 등은 독점적(proprietary) 이유로 실제 중간 토큰을 숨기면서도 그 토큰 생성 비용은 계속 사용자에게 청구하며, OpenAI의 GPT-OSS는 중간 토큰에 해당하는 “analysis(분석)” 채널과 사용자용 요약인 “commentary(해설)” 채널을 구분해두고도 실제 서비스에서는 요약만 노출한다는 불투명성 문제가 지적된다. 마지막으로, 일부 연구자(Korbak et al., 2025a)가 안전 모니터링(safety monitoring)을 위해 토큰의 해석가능성을 보존하라고 프런티어 개발사들에 공개 촉구하는 것에 대해, 저자들은 이것이야말로 자신들이 허구라고 주장하는 바로 그 투명성을 전제한 주장이라는 점에서 아이러니(irony)라고 짚는다.

6. Implications and Call to Action — 학습된 프롬프트 증강으로 재개념화하고 신뢰를 외부로

이 섹션(§6)은 4~5장에서 이루어진 진단과 반박을 실천적 권고로 전환하는 행동 촉구(call to action) 부분으로, 전체 논증에서 “그래서 학계가 무엇을 해야 하는가”에 답하는 역할을 한다. 저자들은 우선 중간 토큰(intermediate tokens, 모델이 최종 답 이전에 생성하는 토큰열)에 의미론적 중요성(semantic import)이 있다는 가정을 버려야 하며, 인간이 그 내용을 해석할 수 있는지 여부가 답의 신뢰성을 담보하는 대리 지표가 되어서는 안 된다고 주장한다. 또한 토큰을 인간처럼 보이도록 인위적으로 다듬는 “조작된 해석가능성(manipulated interpretability)“을 거부해야 한다고 강조하며, 그 근거로 DeepSeek R1이 R1-Zero의 영어-중국어 혼용 토큰을 SFT(지도 미세조정, supervised fine-tuning)로 정제된 영어 토큰으로 대체했을 때 “해석가능성 개선”을 내세웠음에도 토큰 타당성(validity)의 실질적 향상 없이 오히려 성능이 악화되었다는 사례를 든다. 대신 신뢰는 토큰 자체가 아니라 도메인별 검증기(verifier)를 통한 외부(제3자) 검증(external verification)으로 옮겨져야 하며, 토큰이 사용자가 아닌 모델 자신을 위한 것임을 인정하면 모델 최적화를 해방시켜 토큰을 어휘 항목이 아닌 비언어적(non-linguistic) 임베딩 벡터로도 최적화할 수 있고, Coconut(Hao et al., 2024)이나 Zhang et al.(2025a) 같은 초기 연구는 이런 방식이 오히려 성능을 높인다는 증거를 제시한다. 6.1절은 중간 토큰을 “추론/사고”가 아니라 학습된 프롬프트 증강(learned prompt augmentation)으로 재개념화할 것을 제안하는데, 핵심 가설은 과제 프롬프트 T에 증강 PA를 덧붙였을 때 정답을 낼 확률이 원래보다 커진다는 것(P(Sol(LLM(T+PA))) > P(Sol(LLM(T))))이며, 추론 모델은 답 이전에 토큰을 생성함으로써 사실상 이런 증강 함수를 학습한 것일 뿐 그 증강이 인간이 이해 가능할 필요는 없다고 본다. 이 재개념화는 인간이 알아볼 수 없는 문자열이나 무작위 구문 뒤섞기만으로도 모델을 탈옥(jailbreak)시킬 수 있음을 보인 적대적 프롬프팅(adversarial prompting) 연구들에 의해 뒷받침되며, 토큰의 길이·구성이 문제 난이도의 반영이 아니라 모델이 훈련 분포에 맞춰 맥락을 조작하도록 돕는 일종의 발판(scaffolding)임을 시사한다. 6.2절은 에이전트형(agentic) 시스템에서 내부 연쇄사고(internal chain-of-thought)·도구 호출(tool calls)·도구 결과(tool results)라는 세 종류의 토큰을 구분하는데, 논문이 문제 삼는 “사고 흔적”은 오직 내부 연쇄사고에만 해당하며, 도구 호출은 외부 도구가 이해할 수 있어야 하는 실제 개입으로서 비에르고딕(non-ergodic, 한번 취한 행동을 되돌려 상태를 재탐색할 수 없는) 환경에서는 되돌릴 수 없는 약속(irreversible commitments)이 된다는 점에서 내부 토큰과 질적으로 다르며, 저자들은 이러한 구분을 런타임 행동과 효율성 통제에 반영하는 틀로서 LLM-Process-Modulo(Bhat et al., 2026)를 예로 든다.

7. Conclusion — 상관은 인과가 아니다, 신뢰는 제3자 검증으로

이 결론은 앞선 실험 증거와 반론 검토를 딛고 중간 토큰(intermediate tokens, 모델이 최종 답을 내기 전에 생성하는 토큰열)을 ‘추론/사고 흔적’으로 의인화하는 관행이 무해한 은유가 아니라 실제로 해로우며 거짓 확신을 낳고 시스템의 실제 작동 방식에 대한 이해를 가로막는다는 논문의 핵심 논지를 재확인하는 역할을 한다. 저자들은 중간 토큰이 결코 해석 가능한 의미를 가질 수 없다고 주장하는 것이 아니라 그런 의미를 가질 필요가 없다고 말하며, 사람이 이해할 수 있는 내용이 우연히 나타난다면 이는 훈련 데이터에 그런 서술이 우연히(fortuitously) 섞여 있었기 때문이지 진짜 내부 계산을 반영한 것이 아니라고 본다 — “그 상관관계는 인과가 아니라 허위(spurious)일 수 있다”는 것이다. 토큰이 다음 토큰의 조건부 분포(conditional distribution)를 바꾼다는 기본적 사실 이외에, 토큰의 의미와 최종 해답 사이에 인과적 연결을 세우는 이론은 존재하지 않는다는 점도 재차 강조된다. 심지어 토큰의 사용자 해석가능성을 옹호하는 이들조차 토큰-해답 연결이 “취약하다(fragile)“고 인정하면서 이를 안전성 모니터링 가능성(monitorability)을 위해 보존해야 한다고 주장하는데, 저자들은 이 인정 자체가 오히려 그 연결이 사실상 허상임을 드러낸다고 반박한다. 이런 근거로, 안전이 중요한(safety-critical) 영역에서는 LRM(대규모 추론 모델)의 중간 토큰이 실제 내부 계산을 반영한다는 정황 이상의 증거가 나오기 전까지 이를 안전 모니터링에 의존하는 것은 현명하지 않으며, 대신 제3자(third-party)에 의한 최종 해답 검증을 신뢰의 기반으로 삼아야 한다고 결론짓는다. 아이러니하게도 DeepSeek R1을 제외한 대부분의 프런티어(frontier) 모델 개발사(OpenAI, Google, Anthropic)는 독점적(proprietary) 사유를 들어 이미 중간 토큰을 사용자에게 숨기고 있어 사실상 업계 스스로 이 논문의 입장을 수용하고 있는 반면, 연구 커뮤니티는 여전히 해석가능성 서사를 이어가고 있다고 지적한다. 논문은 이를 확정적 반박이 아닌 “온건한 설득(modest persuasion)“으로 자리매김하며 마무리한다.

원자적 인사이트 (Zettelkasten)

💡 검증은 최종 답에만, 중간 토큰엔 최적화 압력이 없다

출처: Position - Stop Anthropomorphizing Intermediate Tokens as Reasoning-Thinking Traces! (Kambhampati et al., 2025)
유형: 이론적

추론 모델을 만드는 RLVR·사후훈련은 궤적이 정답으로 끝나는지 여부에만 보상을 준다. 중간 토큰이 올바른 논리를 따르는지에는 어떤 직접적 최적화 압력도 걸리지 않으므로, 중간 토큰이 ‘올바른 추론’을 반영한다는 구조적 보장은 애초에 존재하지 않는다.

핵심 조건/맥락: DeepSeek R1식 ⟨문제, 중간 토큰, 정답⟩ 삼중항 훈련과 규칙 기반 보상(정답만 평가)에 한함.
연결: RLVR · Chain-of-Thought · credit assignment
활용 가능성: 어떤 시스템이 ‘중간 산출물의 품질’을 근거로 신뢰를 요구할 때, 그 중간 산출물이 실제로 최적화 대상인지부터 확인하는 점검 기준.

💡 흔적의 의미를 망가뜨려도 성능은 유지된다

출처: Position - Stop Anthropomorphizing Intermediate Tokens as Reasoning-Thinking Traces! (Kambhampati et al., 2025)
유형: 실험적 (실패-한계)

미로/A* 도출 흔적을 서로 다른 문제 간에 뒤바꾸거나(swapped) 단계를 지워 훼손한(corrupted·truncated) — 의미적으로 말이 안 되는 — 흔적으로 훈련해도 정답률은 유지되거나 오히려 향상됐다. 수학적으로 틀린 흔적으로 증류(distillation)해도 성능이 올랐다. 흔적의 의미적 타당성은 성능 향상의 동인이 아니다.

핵심 조건/맥락: Valmeekam et al.(2026) 미로, Su et al.(2024) Dualformer, Li et al.(2025a) 증류 등 대리 과제 기반 결과.
연결: distillation · Searchformer · derivational trace
활용 가능성: ‘중간 과정이 그럴듯하면 결과도 믿을 만하다’는 직관을 반증 — 과정-결과 상관을 인과로 오해하지 않게 하는 사례.

💡 흔적은 정확성 대신 ‘설득력’을 높인다 (거짓 신뢰)

출처: Position - Stop Anthropomorphizing Intermediate Tokens as Reasoning-Thinking Traces! (Palod et al., 2026 재인용)
유형: 실험적

사용자가 답을 스스로 검증할 수 없는 상황에서 추론 흔적이나 그 요약을 함께 제시하면, 정답 여부와 무관하게 사용자 신뢰가 상승했고 틀린 답 수용까지 늘었다. 흔적 노출은 답의 정확성을 전혀 개선하지 않으면서 오답 수용을 유도하는 방향으로 작동한다.

핵심 조건/맥락: 사용자가 독립적으로 검증할 수 없는 현실적 시나리오의 인간 참여자 신뢰도 연구.
연결: AI safety · human-AI trust · cognitive vulnerabilities
활용 가능성: 설명·근거 UI를 붙일 때 그것이 ‘정확성 향상’인지 ‘설득력 향상’인지 분리 측정해야 한다는 설계 원칙.

💡 중간 토큰 = ‘사고’가 아니라 학습된 프롬프트 증강

출처: Position - Stop Anthropomorphizing Intermediate Tokens as Reasoning-Thinking Traces! (Kambhampati et al., 2025)
유형: 방법론적 (연결)

저자들은 중간 토큰을 추론/사고가 아니라 원 과제 프롬프트 T에 덧붙어 정답 확률을 높이는 학습된 증강 PA로 재개념화한다(P(Sol(LLM(T+PA))) > P(Sol(LLM(T)))). 이 증강은 인간이 이해 가능할 필요가 없으며, 인간이 못 알아볼 문자열로도 모델을 탈옥시키는 적대적 프롬프팅 연구가 이 관점을 뒷받침한다.

핵심 조건/맥락: 최종 사용자 해석가능성 논의에 한함; 토큰이 모델 자신에게 왜 도움 되는지를 분석하는 연구는 부정하지 않음.
연결: adversarial prompting · jailbreak · Coconut
활용 가능성: 토큰을 어휘 항목이 아니라 비언어적(non-linguistic) 임베딩 벡터로 최적화하는 방향(Coconut 등)의 이론적 근거.

핵심 용어 정리

용어	정의
중간 토큰 생성(ITG, Intermediate Token Generation)	모델이 최종 해답을 내놓기 전에 별도의 토큰 시퀀스를 먼저 생성하는 방식
Chain-of-Thought(CoT) / Long CoT	답에 이르는 중간 단계를 풀어 쓴 토큰열; Long CoT는 그것이 매우 길게 이어진 형태
reasoning/thinking trace(추론/사고 흔적)	중간 토큰을 인간의 사고 과정에 빗대어 부르는 명칭 — 논문이 문제 삼는 의인화 표현
의인화(anthropomorphization)	비인간 산출물(모델 토큰)에 인간적 속성(사고·추론)을 부여하는 것
post-training(사후훈련)	사전학습·지시조정·정렬 이후 검증 가능한 문제로 추가 미세조정·강화학습하는 단계
RLVR(RL with Verified Rewards)	외부 검증기가 최종 답의 정오만 평가한 보상으로 강화학습 미세조정하는 대표적 사후훈련 기법
GRPO	R1류 사후훈련에 쓰이는 강화학습 정책 최적화 기법의 하나
verifier(검증기)	출력의 정답 여부를 판정하는 별도 시스템(LLM-as-verifier·학습된 검증자·형식적 외부 검증자 등)
aha moment	추론 도중 “aha” 토큰이 나타나는 현상; 논문은 LLM에 지속적 내부 상태가 없어 의미 있는 통찰로 볼 수 없다고 봄
faithfulness(충실성)	흔적이 실제 답 도출 과정을 정직하게 반영하는 정도
false positive(거짓 양성)	흔적은 틀렸지만 최종 답은 맞는 사례
false trust(거짓 신뢰)	흔적을 보여주면 정답 여부와 무관하게 사용자 신뢰가 오르고 오답 수용까지 유발되는 현상
derivational trace(도출 흔적)	A* 같은 알고리즘의 단계별 도출 과정을 기록한 흔적
learned prompt augmentation(학습된 프롬프트 증강)	중간 토큰을 ‘생각’이 아니라 정답 확률을 높이는 학습된 보조 입력으로 보는 재개념화
LRM(Large Reasoning Model)	답 전에 장문의 중간 토큰을 생성하도록 사후훈련된 대규모 추론 모델
distillation(증류)	큰 모델의 출력으로 작은 모델을 학습시키는 방법
test-time scaling	곧바로 답하지 않고 추론 시점에 추가 연산을 들이는 기법(self-consistency, 검증 기반 선택 등)

BibTeX

@article{kambhampati2025,
  title={Position: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!},
  author={Kambhampati, Subbarao and Valmeekam, Karthik and Bhambri, Siddhant and Palod, Vardhan and Saldyt, Lucas and Stechly, Kaya and Samineni, Soumya Rani and Kalwar, Durgesh and Biswas, Upasana},
  journal={arXiv preprint arXiv:2504.09762},
  year={2025},
  url={http://arxiv.org/abs/2504.09762},
  eprint={2504.09762},
  archivePrefix={arXiv},
  primaryClass={cs.AI}
}

입장 논문: 중간 토큰을 추론/사고 흔적으로 의인화하기를 중단하자

입장 논문: 중간 토큰을 추론/사고 흔적으로 의인화하기를 중단하자

먼저 이해하기

쉬운 설명

왜 중요한가

먼저 알아둘 말

흐름 따라 읽기

Abstract — 입장 압축

1. Introduction — 문제 제기와 4대 주장

2. Background — 중간 토큰은 어떻게 생성·훈련되는가

3. Anthropomorphization — 의인화가 낳은 4대 폐해

4.1 End User Interpretability — 증거① 해석가능성은 허구다

4.2 Token Length and Problem Complexity — 증거② 길이는 난이도를 반영하지 않는다

4.3 Intermediate Tokens and False Trust — 증거③ 거짓 신뢰를 유발한다

5. Alternative Views — 반론 검토와 재반박

6. Implications and Call to Action — 학습된 프롬프트 증강으로 재개념화하고 신뢰를 외부로

7. Conclusion — 상관은 인과가 아니다, 신뢰는 제3자 검증으로

원자적 인사이트 (Zettelkasten)

💡 검증은 최종 답에만, 중간 토큰엔 최적화 압력이 없다

💡 흔적의 의미를 망가뜨려도 성능은 유지된다

💡 흔적은 정확성 대신 ‘설득력’을 높인다 (거짓 신뢰)

💡 중간 토큰 = ‘사고’가 아니라 학습된 프롬프트 증강

핵심 용어 정리

관련 연구

태그

BibTeX