추론의 기하학: 층별 궤적 진화를 통한 자기평가

Digest: 대형 추론 모델(LRM, Large Reasoning Model - CoT 사고 과정을 명시적으로 생성하는 LLM)이 자신의 답이 맞는지를 외부 정답 라벨 없이 스스로 판단(self-evaluation)하는 문제를 다룬다. 기존 방법은 출력 토큰의 표면 확률(softmax, perplexity 등)만 보고 추론 궤적 z0:T가 층(layer)을 거치며 어떻게 변형되는지를 무시한다(“state-blind”)는 것이 핵심 통찰이다. 저자들은 은닉상태(hidden state)가 층을 지나며 변하는 1차·2차 변화량으로 Geometric Evolution(기하 진화)을 정의하고, 여기에 토큰별 평균 음의 로그가능도(NLL)로 측정한 질의 난이도 H를 빼서 보정하는 Difficulty-Aware Calibration을 결합한 GeoR 점수 GeoR = (D1+D2)/‖q̄^L − q̄^0‖ − H를 제안한다. 1.5B~70B 규모의 LRM 8종과 벤치마크 7종에서 AUROC·AUPR·FPR@95 세 지표 모두 11개 베이스라인을 일관되게 능가했고(예: R1-Qwen-1.5B GSM8K에서 AUROC 77.28 vs 최고 베이스라인 CoE-R 74.17, Table 1), 추가 지연은 단 1.2×10⁻³초로 단일 추론 15.24초 대비 무시할 수준이다(Table 6). 함의는 은닉상태의 층별 진화가 추론 신뢰도의 보편적·해석가능 신호라는 것이며, 한계는 “기하 진화가 왜 정답성과 연결되는가”에 대한 이론적 증명 없이 경험적 상관에 의존한다는 점이다.

먼저 이해하기

LLM이 문제를 풀 때 “생각(think)” 단계에서 여러 문장을 만들어내는데(원 용어: 추론 궤적(reasoning trajectory) - <think>...</think> 사이에 생성되는 중간 토큰들), 이 생각이 맞는지 모델 스스로 점수 매기게 하는 것이 목표다. 사람으로 비유하면 시험 답안을 낸 뒤 “이거 확신 있어?”를 자기 뇌 활동만 보고 판단하는 것이다(원 용어: 자기평가(self-evaluation) - 외부 정답이나 채점자 없이 모델 내부 신호만으로 정답성 추정).

기존 방법의 약점은 두 가지다. 블랙박스(black-box) 방식은 모델에게 “몇 % 확신해?”라고 직접 물어보는데 항상 과신(over-confident)하고, 화이트박스(white-box) 방식은 softmax 확률·엔트로피 같은 마지막 출력 한 스텝만 보고 판단해서 추론 과정 전체(궤적 z0:T)를 버린다.

이 논문의 아이디어: 트랜스포머는 층(layer)을 하나씩 지나며 은닉상태(hidden state, 내부 숫자 벡터)를 조금씩 바꿔간다. 저자들은 **“생각이 잘 진행되면 이 벡터가 층을 지나며 뚜렷하게 움직이고(기하 진화가 크고), 헤매면 제자리에서 정체하거나 불안정하게 흔들린다”**고 가정한다. 즉 벡터가 층을 따라 그리는 “궤적의 기하학적 모양”으로 정답 여부를 읽어낸다.

왜 중요한가: Figure 2 근거로, 쉬운 문제(GSM8K)는 기하 진화가 체계적으로 크고, 어려운 문제(MMLU)는 작다. 그리고 같은 문제 안에서도 정답 궤적이 오답 궤적보다 기하 진화가 일관되게 크다(Fig 2b). 이 신호가 라벨·학습·추가 샘플링 없이 얻어지고(파라미터 프리), 밀리초 수준으로 저렴해서 실배포에 바로 쓸 수 있다는 점이 강점이다.

먼저 알아둘 용어

용어	쉬운 설명
LRM (Large Reasoning Model)	CoT 사고 과정을 명시적으로 생성하는 추론 특화 LLM (DeepSeek-R1, QwQ 등)
은닉상태 궤적 (hidden-state trajectory)	한 토큰의 벡터가 층 1→L을 지나며 변해가는 경로 `q^0 → q^L`
Geometric Evolution	층별 벡터 변화량으로 측정한 “추론 진행의 크기/모양” (D1+D2)
D1 (1차 변화)	층 사이 벡터 이동량의 합 = 순수 진행 거리
D2 (2차 변화)	이동량의 변화(곡률)의 합 = 궤적이 얼마나 꺾이며 조정되는가
H (난이도)	생성된 추론 토큰들의 평균 음의 로그가능도(NLL), 클수록 모델이 헤맴
AUROC / AUPR / FPR@95	자기평가 점수가 정답/오답을 얼마나 잘 순위 매기는지 측정하는 세 지표

섹션별 요약

Abstract

LRM은 명시적 CoT로 성능을 높이지만 외부 감독 없이 정답성을 스스로 평가하는 것은 미해결 과제다. 기존 방법은 정답 라벨이나 얕은 출력 확률에 의존하고 추론 궤적의 층별 진화를 무시한다. 본 연구는 GeoR(Geometry of Reasoning), 층별 궤적 진화에 기반한 화이트박스 자기평가 프레임워크를 제안한다. GeoR은 추론 충실도를 (1) Geometric Evolution(층별 은닉상태 궤적의 1차·2차 진화를 합성해 기하학적 진행을 정량화)과 (2) Difficulty-Aware Calibration(추론 진행의 교차엔트로피로 내재적 질의 불확실성에 대해 정규화) 두 축으로 분해한다. LRM 8종·벤치마크 7종에서 AUROC·AUPR·FPR@95 모두 SOTA 베이스라인을 일관되게 능가한다. 코드 공개.

왜 이 연구를 하는가?

LRM은 옳은 답뿐 아니라 해로운·틀린 출력도 낼 수 있어 신뢰성이 문제다. 기존 신뢰도 평가는 두 갈래다. (1) 외부 평가: 인간 주석, linear probing, 보조 judge 모델 — 통제된 환경에선 효과적이나 일반성이 없고 배포 시 분포 이동(distribution shift)에 취약. (2) 자기평가: 모델 내부 신호만 사용. 이 중 black-box(직접 확신도 출력)는 체계적 과신·낮은 해석가능성, white-box(softmax/temperature scaling/hidden-state entropy)는 전체 추론 과정을 단일 출력 분포로 붕괴시켜 풍부한 궤적 z0:T를 놓친다. 이 공백이 열린 질문을 낳는다: “LRM이 자신의 추론 궤적을 활용해 더 잘 자기평가할 수 있는가?”

Introduction

스택된 트랜스포머 층이 은닉상태를 반복 변형해 궤적 진화를 일으킨다는 LRM의 근본 메커니즘을 활용한다. “추론이 효과적으로 진행되는가 vs 정체하는가”라는 진화의 질이 층-대-층 은닉상태 갱신에 자연스럽게 인코딩된다고 가정하고, 1차·2차 변화로 이를 특성화한다. Figure 2에서 관찰: 단순 과제(GSM8K)는 기하 진화가 크고 복잡 과제(MMLU)는 작으며, 같은 과제 안에서도 정답 궤적이 오답보다 진화가 크다. 기여: ❶ Geometric Evolution + Difficulty Calibration이라는 두 상보적 축의 식별, ❷ 둘을 통합한 화이트박스 프레임워크 GeoR, ❸ 8 LRM(1.5B–70B)·7 벤치마크에서 고성능·저비용을 입증.

Methods

2.1 CoT 추론의 형식화: 층 i에서 토큰 k의 은닉상태 전이 qki = Fi(qk^{i-1}, W^i), i=1..L. 추론 토큰 K개에 대해 같은 층 i의 상태를 평균 풀링해 q̄^i = (1/K)Σ_k qk^i (층 i의 궤적 의미 요약). mean pooling 근거: … 사이 토큰만 평균해 핵심 의미 보존·토큰 잡음 억제, 분산 감소, 층별 전역 진행 강조.
2.2.1 Geometric Evolution: 라벨 없이 궤적의 내재적 기하를 분석. 핵심 설계 선택은 시간(토큰 K)이 아닌 깊이(층 L) 축을 따라 진화를 모델링하는 것 — 진짜 “추론 진행”은 네트워크 깊이를 따라 표현이 정제·안정화되며 일어난다고 봄. 층별 변화: Δq̄^i = q̄^i − q̄^{i-1}, Δ²q̄^i = Δq̄^i − Δq̄^{i-1}. 스칼라 성분: D1 = Σ‖Δq̄^i‖(총 유효 진행), D2 = Σ‖Δ²q̄^i‖(궤적 곡률=적응적 조정).
2.2.2 Difficulty-Aware Calibration: 질의 난이도 H = (1/K)Σ_k −log p(qk|q<k, x) (평균 NLL). H가 크면 모델이 각 스텝에서 헤맴. 기하만으로는 모호(같은 크기여도 confidence 다름)하므로 불확실성을 벌점화.
최종 GeoR 점수: GeoR = (D1+D2)/‖q̄^L − q̄^0‖ − H. 전역 변위 ‖q̄^L − q̄^0‖로 정규화해 무차원화하여 L2 norm 기반 기하량과 log-확률 기반 H의 단위 불일치를 해소(파라미터 프리).

발견 (Findings)

정답성 신호: 정답 궤적이 오답보다 Geometric Evolution이 일관되게 높다(Fig 2b). 오답은 정체 또는 불안정 진화.
난이도 신호: 교차엔트로피(H)가 과제 난이도와 정렬(Fig 2c) → 정규화 근거.
층 vs 토큰: 토큰 단위 dynamics는 국소 어휘 변화(“red”→“apple”)에 지배되어 거의 랜덤 수준(AUROC ~51, Table 2). 층 단위가 강건.
효율: GeoR 추가 지연 1.2×10⁻³ s (Table 6), 단일 추론 15.24 s 대비 무시 가능. Internal Consistency 151.14 s, Forking Tokens 471.36 s 대비 수백~수천 배 빠름.

Results

8 LRM·7 벤치마크·11 베이스라인 전면 비교. Takeaway ❶ 다양한 아키텍처·도메인(산술/상식/기호)에서 일관되게 최고 → 기하 신호가 구조적 활성 스케일링 아티팩트가 아닌 진짜 추론 dynamics. ❷ 1.5B→70B 스케일 전반에서 우위(Fig 5, R1-Qwen-32B/QwQ-32B/R1-LLaMA-70B). ❸ 다국어(MGSM: En/De/Fr/Zh)·멀티모달(Qwen2.5-VL, Geometry3K, Easy-R1) 일반화. ❹ open-world 혼합분포(Mixed Math=GSM8K+TheoremQA, Mixed Reasoning=CommonsenseQA+MMLU)에서도 베이스라인 붕괴와 달리 안정. ❺ 밀리초 효율.

Discussion

GeoR은 은닉상태의 층별 진화가 입력 모달리티·언어 표면형과 무관한 추론 품질의 보편적 proxy임을 시사한다. 정규화된 기하 구동(Normalized Geometric Drive)과 불확실성 벌점의 결합 D1+D2−H가 “결정적·효율적 추론”과 “혼란스러운·불확실한 생성”을 구분한다. 통계적 유의성: 의미 동등 프롬프트 3개로 재현 시 GeoR가 최고 평균 + 최저 분산(±1.6 vs 베이스라인 최대 ±2.2, Table 4).

이론적 의의

추론 신뢰도를 “표면 출력 확률”이 아니라 표현 공간(representation space)의 기하 동역학으로 재정의 — 화이트박스 해석가능성 관점에 궤적/깊이 차원을 도입.
정답성이 “궤적의 진행 크기(D1)와 곡률(D2)“에 인코딩된다는 가설을 경험적으로 지지, hidden-state가 내부 신뢰 신호를 담는다는 선행연구(Azaria & Mitchell 2023; Liu et al. 2023)를 층별 동역학으로 확장.

Discussion Points

기하 진화와 정답성의 상관은 강하나 인과·이론적 기반은 미증명 — 왜 깊이 축 진행이 정답성과 결부되는가?
H(NLL) 자체가 이미 강한 신호인데(단독으로도 준수), D1+D2가 더하는 순수 증분은 표에서 수 point 수준 — 기하 항의 독립적 기여 크기에 대한 해석 여지.
정규화가 파라미터 프리라는 장점이자, 도메인별 최적 스케일링을 포기한 설계 선택.

실험 결과 상세

Table 1 — 주요 결과 (AUROC↑ / AUPR↑ / FPR@95↓, 발췌)

Model	Dataset	Method	AUROC ↑	AUPR ↑	FPR@95 ↓
R1-Qwen-1.5B	GSM8K	Random	50.23	75.39	94.29
R1-Qwen-1.5B	GSM8K	CoE-R (최고 베이스라인)	74.17	89.99	75.93
R1-Qwen-1.5B	GSM8K	GeoR	77.28	91.42	72.20
R1-Qwen-1.5B	CommonsenseQA	Entropy	64.26	61.32	82.30
R1-Qwen-1.5B	CommonsenseQA	GeoR	64.26	61.34	81.19
R1-Qwen-1.5B	TheoremQA	Entropy	54.33	44.52	92.19
R1-Qwen-1.5B	TheoremQA	GeoR	54.37	44.82	90.00
R1-LLaMA-8B	GSM8K	CoE-C	63.86	86.50	86.61
R1-LLaMA-8B	GSM8K	GeoR	68.12	89.37	80.31
R1-Qwen-14B	GSM8K	CoE-R	59.62	93.84	77.38
R1-Qwen-14B	GSM8K	GeoR	61.64	94.04	76.19

Table 2 — 궤적 모델링 전략 ablation (GSM8K, AUROC↑)

Strategy	R1-Qwen-1.5B	R1-Qwen-7B	R1-LLaMA-8B	R1-Qwen-14B
Mean Reasoning (GeoR)	77.28	76.32	68.12	61.64
Last CoT token	71.54	71.94	63.44	59.27
Mean of all output tokens	70.53	70.90	61.43	55.64
Token-wise Dynamics	51.84	52.45	48.93	51.17

→ 토큰 단위는 거의 랜덤(~50). 층 단위 + 추론 토큰 평균 풀링이 결정적.

Table 3 — 성분 ablation (R1-Qwen-7B, GSM8K)

D1	D2	H	AUROC ↑	AUPR ↑	FPR@95 ↓
✓			74.35	92.60	72.12
	✓		74.07	92.58	73.33
✓	✓		75.23	93.60	72.73
✓		✓	69.71	93.00	78.18
	✓	✓	70.11	93.07	78.18
w/o Norm (D1+D2+H, 미정규화)			75.10	93.52	73.05
✓ (D1+D2−H, 정규화)	✓	✓	76.32	94.73	67.27

→ 세 성분 + 정규화가 최고. 정규화 제거 시 AUROC 76.32→75.10.

Table 4 — 강건성 (GSM8K, R1-Qwen-7B, 3회 실행 Mean±Std)

Method	AUROC	AUPR	FPR@95
MaxProb	67.5 ± 2.0	92.0 ± 1.9	82.1 ± 2.2
CoE-R	71.3 ± 1.9	93.1 ± 2.0	74.2 ± 1.9
GeoR	76.8 ± 1.6	94.5 ± 1.5	67.0 ± 1.4

Table 6 — 비용: GeoR 1.2×10⁻³ s / 단일 추론 15.24 s / Internal Consistency 151.14 s / Forking Tokens 471.36 s.

모델·벤치마크: DeepSeek-R1-Distill-Qwen-1.5B/7B/14B/32B, DeepSeek-R1-Distill-Llama-8B/70B, QwQ-32B, Qwen2.5-VL(GRPO) — 총 8종. 벤치마크: MMLU, MMLU-Pro, GSM8K, TheoremQA, CommonsenseQA, MGSM, Geometry3K. 베이스라인 11종: Random, MaxProb, Perplexity, Entropy, Verbal Self-Evaluation, CoE-R, CoE-C, Internal Consistency, Forking Tokens, Length-normalized Entropy, Temperature Scaling.

프레임워크 다이어그램

flowchart TD
    Q["질의 x"] --> LRM["LRM CoT 추론<br/>&lt;think&gt;...&lt;/think&gt;"]
    LRM --> HS["은닉상태 수집<br/>(K 토큰 × L 층 × d)"]
    HS --> MP["층별 평균 풀링<br/>q̄^i = (1/K)Σ qk^i"]
    MP --> D1["D1 = Σ‖Δq̄^i‖<br/>1차: 진행 거리"]
    MP --> D2["D2 = Σ‖Δ²q̄^i‖<br/>2차: 궤적 곡률"]
    LRM --> H["난이도 H<br/>= 평균 NLL"]
    D1 --> NORM["정규화<br/>(D1+D2)/‖q̄^L−q̄^0‖"]
    D2 --> NORM
    NORM --> SCORE["GeoR = 정규화 기하 구동 − H"]
    H --> SCORE
    SCORE --> EVAL["자기평가 점수<br/>높음→정답 / 낮음→오답"]

재현성 및 신뢰도 평가

종합 등급: Evidence-Quality A / Reproducibility B

Evidence A 근거: 8개 LRM(1.5B–70B, SFT/distill/RL/GRPO)·7개 벤치마크(산술·상식·정리증명·다국어·멀티모달)·11개 베이스라인의 광범위 비교, 세 지표(AUROC/AUPR/FPR@95) 동시 보고, ablation(층 vs 토큰, 성분 분해, 정규화 유무), 3회 반복 표준편차·open-world 혼합분포 스트레스 테스트까지 포함. 방법이 파라미터 프리라 튜닝 편향 여지가 작다.
Reproducibility B 근거: 코드 공개 명시(저자 repo), 사용 모델·벤치마크 전부 공개 자원, 방법이 단순(은닉상태 노름 + NLL). 다만 링크가 익명/미확정이고 부록 세부(Appendix A.5–A.7)에 의존하며, 은닉상태 추출은 모델 내부 접근(화이트박스)을 요구해 폐쇄형 API엔 적용 불가.

주장별 신뢰도

“GeoR가 11 베이스라인을 일관 능가” — 높음: Table 1·8·9·10 다수 조합에서 재현, 그러나 CommonsenseQA/TheoremQA 등에선 베이스라인과 차이가 소수점~1 point로 작아 마진이 좁은 경우 존재.
“층 단위가 토큰 단위보다 우월” — 높음: Table 2에서 토큰 단위가 명확히 랜덤 수준(48–52)으로 대비 뚜렷.
“밀리초 수준 저비용” — 높음: Table 6의 절대 수치(1.2×10⁻³ s)가 baseline 대비 수백 배 격차로 결론이 마진에 민감하지 않음.
“기하 진화가 인과적 추론 신뢰 신호” — 중간: 상관·ablation 근거는 강하나 인과/이론적 증명 부재, “artifact 아님” 주장은 일반화 실험에 의한 간접 논증.

원자적 인사이트 (Zettelkasten)

추론 신뢰도는 마지막 출력 분포가 아니라 은닉상태가 층을 지나며 그리는 궤적의 기하에 인코딩된다. 표면 확률만 보는 자기평가는 “상태맹(state-blind)“이며, 궤적의 진행 크기(1차)와 곡률(2차)이 정답/오답을 가르는 화이트박스 신호를 제공한다.
진화는 시간(토큰) 축이 아니라 깊이(층) 축에서 읽어야 한다. 토큰 단위 변화는 국소 어휘 전환에 지배되어 거의 랜덤(AUROC ~51)이지만, 층 단위 정제 과정은 잡음에 강건한 “사고의 깊이” proxy가 된다.
기하 신호는 난이도로 보정해야 의미를 가진다. 큰 진화가 항상 좋은 것이 아니라 쉬운 문제에서 크게 움직이면 혼란일 수 있으므로, 평균 NLL(H)로 내재적 불확실성을 빼주는 D1+D2−H가 결정적 추론과 혼란스러운 탐색을 분리한다.
파라미터 프리 정규화가 단위 불일치를 해소한다. L2 노름 기하량과 log-확률을 그대로 더하면 스케일이 안 맞지만, 전역 변위 ‖q̄^L−q̄^0‖로 나눠 무차원화하면 두 신호가 결합 가능해진다(정규화 제거 시 AUROC 1.2 point 하락).

핵심 용어 정리

용어	정의
Geometric Evolution	층별 은닉상태 변화의 1차(D1, 진행)·2차(D2, 곡률) 크기를 합성해 추론 진행의 기하학적 크기를 정량화한 것
Difficulty-Aware Calibration	생성 토큰의 평균 NLL(H)로 질의 난이도를 측정해 기하 진화를 정규화·벌점화하는 보정
D1 / D2	`Σ‖Δq̄^i‖`(층간 이동 합, 유효 진행) / `Σ‖Δ²q̄^i‖`(이동의 변화 합, 궤적 곡률·적응성)
Mean Reasoning pooling	… 사이 추론 토큰들의 은닉상태를 층별로 평균해 잡음을 줄이고 전역 의미를 요약하는 전략
FPR@95	정답 궤적의 95%를 recall할 때의 오탐률, 낮을수록 오답을 정답으로 오인하지 않음
White-box self-evaluation	모델 내부 신호(은닉상태·확률)만으로 정답성을 추정하는 자기평가, black-box(직접 확신도 출력)와 대비

BibTeX

@inproceedings{bi2026geometry,
  title     = {The Geometry of Reasoning: Self-Evaluation via Layerwise Trajectory Evolution},
  author    = {Bi, Jinhe and Yan, Danqi and Wang, Yifan and Huang, Wenke and Chen, Haokun and Wan, Guancheng and Ye, Mang and Xiao, Xun and Schuetze, Hinrich and Tresp, Volker and Ma, Yunpu},
  booktitle = {Proceedings of the 43rd International Conference on Machine Learning (ICML)},
  series    = {PMLR},
  volume    = {306},
  year      = {2026},
  address   = {Seoul, South Korea},
  url       = {https://openreview.net/pdf/6ed96c13dacef79170c5fba9bb2ff234cb365682.pdf}
}

추론의 기하학: 층별 궤적 진화를 통한 자기평가

추론의 기하학: 층별 궤적 진화를 통한 자기평가

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX