은닉 사고(Hidden Thinking)를 활용한 효율적 추론

Digest: 멀티모달 대규모 언어모델(MLLM)의 Chain-of-Thought(CoT, 단계별 서술형 추론) 추론은 정확도를 높이지만 수백 개의 토큰을 생성해 추론 비용이 크다는 문제가 있다. 저자들은 각 CoT 단계를 서술 텍스트 대신 단일 특수 토큰(thinking token) 의 은닉표현으로 인코딩하는 Heima(hidden llama) 프레임워크를 제안한다. Heima는 Encoder(MLLM, Llama-3.2-11B-Vision-Instruct)가 summary·caption·reasoning의 세 CoT 단계를 각각 <Thinking_of_Summary> 같은 토큰으로 점진적(progressive) 대체하도록 학습하고, 별도의 Decoder(LLM, Llama-3.1-8B-Instruct)가 그 은닉표현을 다시 텍스트 추론으로 복원한다. 6개 벤치마크(MMStar, MMBench, MMVet, MathVista, AI2D, HallusionBench)에서 평균 정확도 58.0%로 LLaVA-CoT의 61.1%에 근접하면서, 생성 토큰을 원본의 약 6% 수준(예: MMBench 154.8→12.9 토큰, 정확도 70.7%→72.8%)으로 줄인다(출처: Table 1). 함의는 서술형 CoT 없이도 추론에 필요한 정보(시각 특징 포함)를 은닉 토큰에 담을 수 있다는 것이나, MathVista처럼 수학 추론이 무거운 과제에서는 정확도 하락(50.9%→43.6%)이 크다는 한계가 있다.

먼저 이해하기

이 논문은 “AI가 문제를 풀 때 생각을 글로 길게 쓰지 말고, 압축된 신호 하나로 대신하게 하자”는 아이디어다.

최신 멀티모달 모델은 이미지+질문을 받으면 CoT(Chain-of-Thought, 정답에 이르는 과정을 단계별로 글로 풀어쓰는 추론)를 생성해 정확도를 높인다. 문제는 이 과정이 문장으로 이뤄져 있어 한 문제당 수백 개의 토큰(원문 기준 154.8~227.2 토큰)을 뱉는다는 점이다. 토큰이 많을수록 추론 시간·비용이 늘어난다.
Heima의 핵심은 각 추론 단계를 통째로 thinking token(사고 토큰, 한 단계의 추론 내용을 담는 단 하나의 특수 토큰) 하나로 바꾸는 것이다. 사람이 머릿속으로 생각하되 말로 내뱉지 않는 것과 비슷해서 “hidden thinking(은닉 사고)“이라 부른다.
왜 중요한가: 원문 실험에서 생성 토큰을 원본의 약 6%까지 줄이면서도 평균 정확도는 58.0% vs 61.1%로 크게 떨어지지 않았다. 즉 “글로 다 안 써도 추론에 필요한 정보는 은닉표현에 담긴다”는 것을 실증한다. 특히 Decoder가 이미지 입력 없이 사고 토큰만 받고도 시각 특징을 복원했다는 점이 이 주장을 뒷받침한다.

먼저 알아둘 용어

용어	쉬운 설명
MLLM (Multimodal LLM)	이미지와 텍스트를 함께 이해하는 대규모 언어모델
CoT (Chain-of-Thought)	정답까지의 과정을 단계별로 서술하는 추론 방식
thinking token	한 CoT 단계 전체를 대체하는 단일 특수 토큰(예: `<Thinking_of_Summary>`)
은닉표현 (hidden representation)	모델 내부에서 계산되는, 텍스트로 출력되지 않는 벡터 상태
progressive encoding	CoT 단계를 한꺼번에가 아니라 앞 단계부터 하나씩 토큰화해 학습하는 전략
LoRA	소수 파라미터만 학습해 대형 모델을 효율적으로 미세조정하는 기법

섹션별 요약

Abstract

MLLM의 CoT 추론은 성능을 높이지만 장황한 텍스트 생성으로 추론 효율이 낮다. Heima는 각 중간 추론 단계를 단일 thinking token의 은닉표현으로 인코딩(Heima Encoder)하고, 필요 시 이를 텍스트로 복원(Heima Decoder)한다. 여러 추론 벤치마크에서 기존 대비 유사하거나 더 나은 정확도를 유지하면서 생성 토큰 수를 대폭 줄인다.

왜 이 연구를 하는가?

CoT는 복잡한 시각·수리 추론에서 정확도를 끌어올리지만, 단계별 서술이 길어질수록 토큰 생성량과 추론 지연이 커진다. 기존 CoT 압축 연구(예: Hao et al., 2024)는 주로 GPT-2급 소형 언어모델·수학 과제에 국한됐다. 저자들은 대규모 멀티모달 모델에서, 다양한 과제로 일반화되는 CoT 압축을 목표로 한다.

Introduction

Heima(hidden llama)는 verbose CoT를 압축된 은닉표현으로 바꾸는 프레임워크다. 핵심은 각 추론 단계(summary/caption/reasoning)를 하나의 특수 토큰으로 대체하고, 그 토큰의 은닉상태가 해당 단계의 추론 정보를 담도록 학습하는 것이다. 생성 토큰을 원본의 약 6%로 줄이면서 6개 벤치마크에서 경쟁력 있는 정확도를 유지한다.

Methods

데이터·베이스 모델: LLaVA-CoT-100k 데이터셋(summary·caption·reasoning 3단계 CoT 구조)으로 Llama-3.2-11B-Vision-Instruct를 미세조정해 Encoder를 만든다.
Heima Encoder(인코딩): 각 CoT 단계의 서술 텍스트를 고유 특수 토큰(<Thinking_of_Summary> 등)으로 치환하고 next-token prediction loss로 학습해, 모델이 해당 단계 추론을 은닉상태에 담게 한다.
Progressive encoding(점진적 인코딩): 모든 단계를 한꺼번에 토큰화하지 않고 max{Ki}+1개의 단계로 나눠 학습한다. Stage 0은 완전 텍스트 CoT, Stage s(1≤s)는 앞 s개 단계만 토큰화·나머지는 텍스트, 마지막 recovery stage는 전 단계 토큰화 상태를 최적화한다.
Heima Decoder(복원): Llama-3.1-8B-Instruct 기반의 별도 디코더가 각 CoT 단계를 복원한다. 입력은 질의 + Encoder 사고 토큰의 마지막 은닉상태(H(s))이며, 이미지 입력 없이도 시각 특징을 복원한다.
Explanatory prompt: “According to the question: [Xq(i)], can you explain the thinking progress of (s)?” 같은 설명 프롬프트로 복원을 원 질의에 정렬시킨다.
학습 설정: LoRA(rank 16, alpha 32), 1 epoch, batch size 6, learning rate 1e-04, 8×H100 GPU.

발견 (Findings)

생성 토큰을 원본의 약 6% 수준으로 줄이면서 평균 정확도 58.0%(LLaVA-CoT 61.1%)를 달성.
MMBench에서는 오히려 정확도가 상승(70.7%→72.8%)하며 토큰은 154.8→12.9로 급감.
Decoder가 이미지 입력 없이 사고 토큰만으로 시각 특징을 복원 → 은닉표현이 멀티모달 정보를 담는다는 것을 실증.

Results

6개 벤치마크(MMStar, MMBench, MMVet, MathVista, AI2D, HallusionBench)에서 Heima는 데이터셋별 12.8~~75.8 토큰을 생성(LLaVA-CoT는 154.8~~227.2 토큰). MathVista 같은 수리 추론 과제에서는 정확도 하락(50.9%→43.6%)이 상대적으로 크다. Decoder 복원 품질(Figure 4)은 단계별로 차이가 있어 summary 단계가 가장 우수(BLEU-4 15.9, BERTScore 73.4), reasoning 단계가 가장 낮다(BLEU-4 11.2, BERTScore 66.6).

Discussion

효율성 이득은 과제 난이도에 따라 다르게 나타난다. 일반 VQA(MMBench)에서는 사실상 손실 없이(혹은 이득) 압축이 가능하지만, 다단계 수학 추론(MathVista)에서는 단일 토큰으로 추론을 압축하는 데 정보 병목이 생긴다. 그럼에도 은닉표현이 시각 정보를 포함해 추론에 필요한 내용을 인코딩할 수 있다는 점은 CoT의 “형태(텍스트)“와 “내용(추론)“을 분리할 수 있음을 시사한다.

이론적 의의

CoT의 효과가 반드시 자연어 서술 자체에 있는 것이 아니라, 그 서술이 유도하는 내부 계산(은닉상태)에 있을 수 있음을 보인다. 서술형 CoT를 단일 토큰으로 대체하고도 성능이 유지된다는 것은, 추론을 잠재공간(latent space)에서 수행하는 방향의 실증적 근거가 된다.

Discussion Points

단일 thinking token이 한 단계 추론을 담기에 충분한가, 아니면 다토큰 확장이 수학 추론 격차를 메울 수 있는가?
은닉표현의 해석가능성(Decoder 복원, GPT-4o 유사도 평가)이 신뢰의 근거로 충분한가?
LLaVA-CoT-100k의 3단계 구조에 특화된 방식이 다른 CoT 스키마로 일반화될지.

실험 결과 상세

주요 결과(Table 1 발췌, 출처: 원문 Results/Table 1):

Dataset	Model	Accuracy	Tokens Generated
MMBench	LLaVA-CoT	70.7%	154.8
MMBench	Heima	72.8%	12.9
MathVista	LLaVA-CoT	50.9%	216.3
MathVista	Heima	43.6%	13.8
Average (6개 벤치마크)	LLaVA-CoT	61.1%	154.8~227.2 (범위)
Average (6개 벤치마크)	Heima	58.0%	12.8~75.8 (범위)

Decoder 복원 품질(Figure 4, 출처: 원문 Results):

CoT 단계	BLEU-4	BERTScore
Summary	15.9	73.4
Reasoning	11.2	66.6

토큰 절감: 생성 토큰 약 6% 수준(원본 대비).
Ablation: CoT 단계당 단일 thinking token이 최적. 유지 비율(retention ratio) 10%~90% 변화는 정확도와 뚜렷한 상관 없음. Recovery stage 학습이 전면 인코딩 후 성능을 개선.
해석성 검증: GPT-4o 1~5 유사도 평가로 복원 품질 확인; Decoder가 텍스트 입력만으로 시각 특징 복원.
(주의) MMStar/MMVet/AI2D/HallusionBench의 개별 셀 수치는 본 노트 추출 범위에서 완전히 확보되지 않음 — 개별 벤치마크 상세는 원문 Table 1 직접 확인 권장(데이터 불충분).

프레임워크 다이어그램

flowchart TD
    subgraph ENC["Heima Encoder (Llama-3.2-11B-Vision-Instruct)"]
        A["이미지 + 질의 Xq"] --> B["progressive encoding 학습"]
        B --> C["CoT 단계 -> 단일 thinking token<br/>Thinking_of_Summary / Caption / Reasoning"]
        C --> D["은닉표현 H_CoT(s) 생성"]
        D --> E["최종 답변 출력<br/>(생성 토큰 원본의 약 6%)"]
    end
    subgraph DEC["Heima Decoder (Llama-3.1-8B-Instruct)"]
        F["질의 Xq + H_CoT(s) + explanatory prompt"] --> G["단계별 CoT 텍스트 복원<br/>(이미지 입력 없음)"]
        G --> H["시각 특징 복원 확인 -> 해석성 검증"]
    end
    D -.->|은닉표현 전달| F

재현성 및 신뢰도 평가

종합등급: B (근거)

명확한 베이스 모델(Llama-3.2-11B-Vision / Llama-3.1-8B), 공개 데이터셋(LLaVA-CoT-100k), 구체적 하이퍼파라미터(LoRA rank 16/alpha 32, lr 1e-04, batch 6, 1 epoch, 8×H100)와 표준 벤치마크 6종을 제시 → 재현 가능성 양호.
다만 개별 벤치마크 셀 수치의 완전한 표, 코드/체크포인트 공개 여부, 시드·분산 정보가 본 추출에서 확인되지 않아 A로는 부족.

주장별 신뢰도:

“토큰을 약 6%로 줄이며 정확도 유지”(평균 58.0 vs 61.1) — 높음: 6개 벤치마크 정량 결과로 뒷받침. 단, 3.1%p 평균 하락은 “유지”의 해석 여지 존재.
“사고 토큰이 시각 특징을 인코딩한다” — 중간: Decoder가 이미지 없이 복원한다는 정성/유사도(GPT-4o, BLEU/BERTScore) 근거는 있으나, 인과적 증명보다는 정황 증거에 가깝다.
“수학 추론에서 손실이 크다”(MathVista 50.9→43.6) — 높음: 명시적 수치로 트레이드오프를 직접 보여줌.

원자적 인사이트 (Zettelkasten)

CoT의 가치는 자연어 서술이 아니라 그것이 유발하는 내부 계산에 있을 수 있다. Heima는 서술 텍스트를 단일 토큰으로 지웠는데도 성능이 대체로 유지되며, 이는 추론을 잠재공간에서 수행하는 접근의 실증 근거가 된다.
압축 가능성은 과제의 추론 깊이에 반비례한다. 일반 VQA(MMBench)는 무손실에 가깝게 압축되지만, 다단계 수학(MathVista)은 단일 토큰 병목으로 정확도가 크게 떨어진다 → “한 단계=한 토큰”의 표현 용량 한계.
은닉표현의 해석성은 별도 Decoder로 사후 복원함으로써 확보된다. 압축(효율)과 설명가능성(신뢰)을 분리된 두 모델로 나눠 각각 최적화하는 설계 패턴.
점진적 커리큘럼(progressive encoding)이 텍스트→은닉 전이를 안정화한다. 전 단계를 한꺼번에 토큰화하면 학습이 불안정할 수 있어, 앞 단계부터 순차 토큰화 후 recovery stage로 마무리한다.

핵심 용어 정리

용어	정의
Heima (hidden llama)	CoT를 단일 thinking token 은닉표현으로 압축·복원하는 Encoder–Decoder 프레임워크
thinking token	한 CoT 단계 전체를 대체하는 단일 특수 토큰(`<Thinking_of_Summary>` 등)
progressive encoding	CoT 단계를 앞에서부터 순차적으로 토큰화하며 학습하는 커리큘럼 전략
recovery stage	모든 단계를 토큰화한 뒤 전이를 최적화하는 마지막 학습 단계
Heima Decoder	사고 토큰의 은닉상태에서 텍스트 CoT를 복원하는 별도 LLM(이미지 입력 불필요)
LLaVA-CoT-100k	summary·caption·reasoning 3단계 CoT 라벨을 가진 멀티모달 학습 데이터셋

BibTeX

@article{shen2025heima,
  title   = {Efficient Reasoning with Hidden Thinking},
  author  = {Shen, Xuan and Wang, Yizhou and Shi, Xiangxi and Wang, Yanzhi and Zhao, Pu and Gu, Jiuxiang},
  journal = {arXiv preprint arXiv:2501.19201},
  year    = {2025}
}

은닉 사고(Hidden Thinking)를 활용한 효율적 추론

은닉 사고(Hidden Thinking)를 활용한 효율적 추론

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX