GLU: 지역·전역 엔트로피를 통합한 LLM 불확실성 정량화 (Global-Local Uncertainty)

Digest: LLM이 틀린 답을 확신에 차서 내놓는 confident-but-wrong 실패는 기존 UQ(uncertainty quantification)의 주류인 토큰 확률 기반 신호로는 원리적으로 잡히지 않는다는 것이 이 논문의 문제의식이다. 핵심 통찰은 토큰 확률이 계산되는 unembedding 공간과 개념이 방향으로 인코딩되는 embedding 공간이 구조적으로 다른 층이므로, 두 공간에서 뽑은 불확실성 신호가 서로 near-orthogonal하며 서로 다른 오류 영역을 덮는다는 것이다. 방법은 생성 궤적 hidden state 행렬 $H$ 의 Gram 행렬 $K = H H^{⊤}$ 의 정규화 고윳값 스펙트럼에 대한 order-2 Rényi(collision) 엔트로피를 전역 신호 $\tilde{S}$ 로, top- $k$ 로짓의 Shannon 엔트로피(AU)와 Dirichlet 증거 기반 epistemic 항(EU)의 곱을 지역 신호 $\overset{ˉ}{R}$ 로 두고, $GLU = (1 + \tilde{S}) \overset{ˉ}{R}$ 라는 곱셈 게이트로 융합한다. 실험은 Qwen2.5-7B·Gemma3-12B·Fanar1-9B 3개 모델 계열 × TruthfulQA(817)·TriviaQA(2,000)·MATH(1,000)·ArabicaQA(2,000)·LongForm(731)·GSM8K multi-turn(103) 6개 벤치마크 = 18개 설정에서 greedy decoding으로 수집한 동일 출력에 모든 방법을 post hoc 적용한다. 핵심 수치로 GLU는 mean AUROC 0.676 / mean PRR 0.369으로 19개 방법 중 양쪽 모두 1위이며(Table 3·Table 6), RAUQ는 12위(0.648/0.305), LogTokU는 14위(0.574/0.144)에 그친다. 결정적 증거는 동일 신호를 덧셈으로 합친 Add- $\tilde{S}$ 가 13위(0.621/0.259)로 추락한다는 점으로, 이득의 출처가 “두 신호의 존재”가 아니라 “곱셈적 상호작용”임을 분리해 낸다(§5.3). 함의는 hidden state에 접근 가능한 open-weight 배치 환경에서 추가 샘플링·레이블·재학습 없이 selective abstention용 신뢰도 랭킹을 얻을 수 있다는 것이다. 한계는 LongForm에서 모든 방법이 AUROC 0.5 미만으로 붕괴하고(§Table 2), 지역 신호가 무너지는 ArabicaQA에서는 곱셈 구조가 오히려 전역 신호를 감쇠시켜 RAUQ에 역전당하며, 주요 표가 단일 런 점 추정이라는 점이다.

먼저 이해하기

이 논문은 “LLM이 방금 한 답이 믿을 만한지”를 답을 다시 생성하지 않고 한 번의 forward pass만으로 점수화하는 방법을 만드는 연구다. 기존 방법 대부분이 “모델이 각 단어를 얼마나 확신했나”만 보는데, 이 논문은 거기에 “모델의 내부 표현이 답하는 동안 얼마나 흔들렸나”를 곱해서 본다.

uncertainty quantification, UQ(불확실성 정량화): 모델 출력에 신뢰도 점수를 붙여, 낮으면 답을 보류하거나 검증으로 넘기게 하는 기술.
hidden state(은닉 상태): 토큰 하나를 만들 때마다 트랜스포머 내부에 생기는 고차원 벡터. 한 응답 전체를 이으면 표현 공간 위의 궤적이 된다.
Gram matrix(그람 행렬): 그 궤적의 각 시점끼리 얼마나 닮았는지를 모아 둔 $T \times T$ 유사도 표. 응답이 일관되면 몇 개 방향에 몰려 low-rank가 되고, 헤매면 여러 방향으로 퍼져 단위행렬에 가까워진다.
confident-but-wrong(확신에 찬 오답): 토큰마다 로짓 증거는 강해서 엔트로피가 낮은데, 내용은 틀린 응답. 토큰 기반 탐지기가 구조적으로 놓치는 영역이다.

논문의 물리적 직관은 linear representation hypothesis(Park et al., 2024)에서 온다. 잘 학습된 사실을 인출할 때 hidden state는 좁고 일관된 방향으로 움직이고, 근거가 부실할 때는 인접 개념들 사이를 표류한다. 예컨대 잘 모르는 인물의 출생연도를 물으면 모델은 그럴듯한 네 자리 숫자를 자신 있게 뱉지만, 내부 표현은 특정 기억에 수렴하지 못하고 떠돈다. 이 표류를 고윳값 분포의 엔트로피로 재는 것이 이 논문의 전역 신호다. 저자들은 embedding 공간(개념=방향)과 unembedding 공간(다음 토큰 확률)이 서로 다른 기하를 따른다는 점을 근거로, 두 신호가 왜 일치할 필요가 없는지를 설명한다.

측정 규칙은 단순하다. 모든 방법은 greedy decoding으로 한 번 생성한 동일한 출력(hidden state·logit·확률 저장본)에 post hoc으로 적용되고, 두 지표로 채점된다. AUROC는 정답/오답 판별력(0.5가 랜덤), PRR(prediction rejection ratio)은 불확실한 것부터 버렸을 때 selective prediction이 얼마나 개선되는지를 잰다.

왜 중요한가: 논문이 인용한 cross-domain 벤치마크에서는 42개 주제·6,000문항에 걸쳐 평가된 모델 중 1% 미만만이 $[- 100, 100]$ 신뢰도 지수에서 0을 넘었고, 최고 프런티어 모델도 33에 그쳤다(Jackson et al., 2025). 그런데 기존 UQ 방법들은 다중 생성 pass, 과제별 지도학습, 응답 길이 민감성, 아키텍처 가정 중 최소 하나의 장벽을 갖는다. GLU는 네 장벽을 모두 피하면서(비지도·단일 pass·길이 정규화·아키텍처 무관) 18개 설정 평균에서 1위를 기록해, “실제로 배포 가능한 UQ”의 하한선을 올린다.

먼저 알아둘 용어 표

원 용어	쉬운 설명
local uncertainty	토큰 단위 출력 분포에서 재는 불확실성 — “이 단어를 고를 때 망설였나”
global uncertainty	응답 전체 hidden-state 궤적의 기하적 복잡도 — “생각이 흩어졌나”
Rényi entropy (order-2)	확률분포가 얼마나 퍼졌는지 재는 엔트로피 계열. $α = 2$ 는 collision entropy로 닫힌 형태를 갖는다
AU / EU	aleatoric(분포 자체의 모호함) / epistemic(증거 부족) 불확실성
AUROC	정답과 오답을 점수로 얼마나 잘 가르는지. 0.5 = 무작위
PRR	불확실한 응답부터 거절할 때 얻는 이득. 높을수록 selective abstention에 유용
multiplicative gate	전역 신호를 지역 신호의 배율로 쓰는 융합 방식. $(1 + \tilde{S}) \overset{ˉ}{R}$

섹션별 요약

Abstract

LLM은 확신에 차서 hallucinate하므로 UQ가 배포 신뢰성의 필수 조건이다. 기존 방법은 토큰 단위 신호에 치우쳐 중간 hidden state의 기하 구조를 활용하지 못한다. 이 논문은 hidden-state 행렬의 기하적 복잡도를 전역 불확실성으로, 토큰 단위 추정을 지역 불확실성으로 두고 둘이 통계적으로 near-orthogonal하며 서로 다른 실패 영역을 덮음을 보인다. 특히 전역 기하는 지역 신호가 체계적으로 놓치는 confident-but-wrong 모드를 회수한다. 이를 곱셈 게이트로 융합한 비지도·단일 pass 점수 GLU를 제안하고, 3개 모델 계열 × 6개 벤치마크에서 모든 비지도 baseline과 같거나 그 이상을 달성한다. 코드는 https://github.com/qcri/GLU.git에 공개.

왜 이 연구를 하는가?

실용적 UQ 점수는 (1) unsupervised, (2) single forward pass, (3) length-normalized, (4) architecture-agnostic 네 조건을 동시에 만족해야 한다는 것이 저자들의 주장이다. 그런데 semantic entropy류는 다중 생성이 필요하고, probe/classifier류는 레이블과 calibration 데이터에 의존해 분포 이동에 취약하며, attention 기반은 아키텍처 가정을 깐다. 또 표현 기반 방법만 쓰면 이미 출력 분포에 드러난 국소적 지식 결손을 놓칠 수 있다. 두 계열을 상호배타적 선택지가 아니라 서로 다른 층에서 나온 상보적 관점으로 재구성하는 것이 연구의 출발점이다.

Introduction

문제: 프런티어 모델도 유창하고 구체적이며 틀린 답을 계속 만든다. 접근: embedding 층에서 matrix Rényi entropy로 전역 기하 신호를, unembedding 층에서 Shannon + evidential epistemic entropy로 지역 신호를 뽑아 다중 관점(multi-view) UQ를 구성한다. 관찰: Figure 1(Qwen 2.5-7B on TriviaQA)에서 정답은 낮은 지역 불확실성 영역에 조밀하게 모이지만 전역 축으로는 넓게 퍼지고, 오답은 높은 전역 불확실성에 몰리되 지역 축으로는 넓게 퍼진다. 즉 토큰 기반 방법이 “확신”이라 선언하는 낮은 $x$ 영역에도 무시 못 할 비율의 오답이 남는다. 기여는 (1) 두 층에서 상보적 신호 추출, (2) 두 신호의 near-orthogonality 및 상보적 오류 영역 실증, (3) 레이블·추가 pass 없이 길이 정규화된 곱셈 융합 GLU 제안, (4) 3 모델 × 6 벤치마크 검증 + 광범위 ablation이다.

Methods

표기: 프롬프트 $x$ , 길이 $T$ 응답 $y$ , 층 $ℓ$ 의 hidden state $h_{t}^{(ℓ)} \in R^{d}$ . 층별 궤적 행렬 $H^{ℓ} \in R^{T \times d}$ , Gram 행렬 $K = H H^{⊤} \in R^{T \times T}$ .
Local (§4.1): 토큰마다 top- $k$ 후보 로짓만 재정규화한 절단 분포로 $AU (t)$ = Shannon 엔트로피. 로짓을 softplus로 Dirichlet 농도 $α_{j} = ln (1 + e^{z})$ 에 사상해 $EU (t) = k / \sum_{j} (α_{j} + 1)$ . 선행 연구(Ma et al., 2025)의 ReLU 사상 대신 softplus를 쓰는 이유는 농도 파라미터의 강한 양수성 보장이다. 둘의 곱 $R (t) = - AU (t) \cdot EU (t)$ 을 쓰고, 불용어·서식 토큰이 평균을 희석하지 않도록 $R (t)$ 상위 $m$ 개 위치만 평균해 $\overset{ˉ}{R}$ 을 만든다.
Global (§4.2): 고윳값을 $\tilde{λ}_{i} = λ_{i} / tr (K)$ 로 정규화한 뒤 order- $α$ Rényi 엔트로피를 취하고, $α = 2$ 의 닫힌 형태 $S_{2} (K) = - lo g (∥ K ∥_{F}^{2} / tr (K)^{2})$ 를 사용한다. 덕분에 고유분해 $O (T^{3})$ 대신 $K$ 구성 $O (T^{2} d)$ + Frobenius norm $O (T^{2})$ 로 끝난다. 길이 정규화는 $1 + lo g T$ 로 나눠 $[0, 1)$ 에 넣고, 층 선택 문제를 피하려 전체 $L$ 개 층에 대해 평균해 $\tilde{S}$ 를 얻는다.
Fusion (§4.3): $GLU = (1 + \tilde{S}) \overset{ˉ}{R}$ . $(1 + \tilde{S})$ 는 기하적 증폭기로 작동해, 궤적이 흩어지면 지역 불확실성을 상향 가중하고 조밀하면 GLU가 지역 신호로 축약된다. 덧셈 융합은 전역 신호를 고정 오프셋으로 취급해 두 신호의 상호작용을 포착하지 못한다는 것이 설계 논거다.
설정: 모델은 Qwen2.5-7B, Gemma3-12B, Fanar1-9B(Gemma-9B에서 continually pretrained된 아랍어 중심 모델). 데이터는 6종. baseline은 LogProb, LogTokU(지역), P(True)(자기평가), RAUQ(attention 기반 전역). 부록 A에 supervised probe 비교, 부록 B에 collision entropy 닫힌 형태 증명, 부록 C에 데이터 구성, 부록 D에 19개 방법 전체 랭킹.

발견 (Findings)

두 신호는 상보적이다. Figure 1 좌측에서 사분면별 오류율이 두 관점의 결합 판별 범위가 각각보다 훨씬 넓음을 보인다.
전역 기하는 confident-but-wrong을 회수한다. 별표로 표시된 사례는 토큰 엔트로피가 중앙값 아래라 어떤 토큰 기반 탐지기도 플래그하지 않지만, 높은 기하 복잡도가 결합 점수를 임계값 위로 밀어 올린다(§5.1).
곱셈이 이득의 원천이다. 곱셈 ablation 8종이 랭크 2–9에 조밀하게 모이는 반면 덧셈 변형 Add- $\tilde{S}$ 는 13위로 떨어진다(§5.3).
실패 조건도 명확하다. 지역 신호가 무너지는 설정(ArabicaQA on Qwen·Fanar, multiturn on Gemma)에서는 무용한 지역 항이 강한 전역 항을 감쇠시켜 순수 전역 baseline RAUQ가 앞선다. 다만 격차는 크지 않아 “우아하게 열화”한다는 것이 저자 해석.

Results

주 결과(Table 2): LogTokU·RAUQ·GLU 3자 비교에서 GLU가 AUROC 18개 중 13개(동률 2건 포함), PRR 18개 중 12개에서 최고. 최대 개선폭은 Gemma-TriviaQA에서 LogTokU 대비 0.817 vs 0.597, RAUQ 대비 0.817 vs 0.700(논문 표기 22.0% / 11.7%는 상대비가 아니라 퍼센트포인트 차이).
집계(Table 3·Table 6): GLU가 mean AUROC 0.676(1위), mean PRR 0.369(1위). LogProb 0.655(10위), P(true) 0.654(11위), RAUQ 0.648(12위), Add- $\tilde{S}$ 0.621(13위), LogTokU 0.574(14위). 한쪽 신호를 완전히 버린 GLU-EU 0.544(17위)·GLU-EU-SP 0.543(18위), 덧셈 Add- $S_{α}$ 0.454(19위, PRR $- 0.118$ ).
Calibration(§5.4, Figure 2): TriviaQA 응답을 GLU로 정렬해 10분위로 나누면 세 모델 모두 오답률이 단조 증가하며, 최저–최고 분위 간 격차가 Qwen 약 84%p, Gemma 약 83%p, Fanar 약 66%p. 95% bootstrap CI(1,000 resamples)로 표시.
supervised 비교(부록 A, Table 4): TriviaQA에서 Qwen 기준 GLU 0.834가 Probe(EOS) 0.812·RespEntropy 0.793 등 지도 probe를 상회. 반면 TruthfulQA에서는 Qwen GLU 0.616 vs Probe(EOS) 0.794로 큰 열세, MATH에서도 Qwen RespEntropy 0.888 vs GLU 0.767. 저자들도 “패리티를 주장하는 것이 아니라 남은 헤드룸을 보여주려는 비대칭 비교”라고 명시.

Discussion

이론적 의의

이 논문의 이론적 주장은 “두 신호의 상보성이 특정 추정기의 산물이 아니라 LLM의 구조적 속성”이라는 것이다. 근거는 두 겹이다. 첫째, embedding 공간과 unembedding 공간은 서로 다른 기하를 따르므로(Park et al., 2024) 한쪽의 확신이 다른 쪽의 확신을 함의하지 않는다. 둘째, 지역·전역 추정기를 어떻게 바꿔 끼워도(softplus vs ReLU 증거, 층 평균 vs 최대 층, 길이 정규화 유무) 곱셈 융합은 랭크 2–9에 머문다. 반대로 결합 방식만 덧셈으로 바꾸면 즉시 무너진다. 즉 “무엇을 재느냐”보다 “어떻게 결합하느냐”가 지배적이라는 것이 실험적으로 분리된 결론이다.

Discussion Points

곱셈 게이트는 양날이다. 상호작용을 잡는 대신, 한 인자가 무의미할 때 다른 인자까지 죽인다 — ArabicaQA·Gemma-multiturn 역전이 그 대가다. 저자들이 제안한 adaptive fusion(신호 신뢰도에 따른 가중)이 자연스러운 후속 연구다.
LongForm에서 GLU를 포함한 모든 방법이 AUROC 0.5 근처 또는 그 아래(Gemma 0.343–0.358)로 붕괴한다. 장문 생성에서는 “응답 전체가 맞다/틀리다”라는 이진 정답 라벨 자체가 부적절할 가능성이 크고, 이는 GLU만의 문제가 아니라 응답 수준 UQ 평가 프로토콜의 한계를 드러낸다.
$\tilde{S}$ 가 전 층 평균이라는 점은 층 선택 하이퍼파라미터를 없애는 대신, 특정 중간 층에 몰린 정보를 희석시킬 수 있다. 실제로 최대 층만 쓰는 GLU- $\tilde{S}^{*}$ 가 0.674로 거의 동률이라, 층 평균의 이득은 성능이 아니라 “선택 불필요”라는 운영 편의에 가깝다.
P(True)가 mean AUROC 0.654로 RAUQ보다 높다는 점은 흥미롭다. 개별 셀에서는 Qwen-multiturn 0.800, Gemma-multiturn 0.810, Gemma-MATH 0.817로 GLU를 앞선다(Table 7). 즉 “self-evaluation 프롬프트 한 줄”이 여전히 강한 baseline이다.

실험 결과 상세

표 1 — 18개 설정 평균 랭킹 (Table 3 / Table 6, 19개 방법 중)

그룹	방법	신호 공간	mean AUROC	순위	mean PRR	순위
Proposed	GLU	L × G	0.676	1	0.369	1
Ablation	GLU-DK	L × G	0.675	2	0.366	4
Ablation	GLU-SP	L × G	0.675	3	0.367	2
Ablation	GLU- $\tilde{S}^{*}$	L × G	0.674	4	0.366	3
Ablation	GLU- $\overset{ˉ}{S}$	L × G	0.674	5	0.365	5
Baseline	LogProb	L	0.655	10	0.326	10
Baseline	P(true)	G	0.654	11	0.311	11
Baseline	RAUQ	G	0.648	12	0.305	12
Ablation	Add- $\tilde{S}$	L + G	0.621	13	0.259	13
Baseline	LogTokU	L	0.574	14	0.144	14
Ablation	GLU-EU	L × G	0.544	17	0.079	17
Ablation	Add- $S_{α}$	L + G	0.454	19	−0.118	19

표 2 — 설정별 AUROC (Table 2, LogTokU / RAUQ / GLU 3자 비교)

모델	데이터셋	LogTokU	RAUQ	GLU
Qwen2.5-7B	TruthfulQA	0.680	0.582	0.616
Qwen2.5-7B	TriviaQA	0.786	0.789	0.834
Qwen2.5-7B	MATH	0.595	0.699	0.767
Qwen2.5-7B	ArabicaQA	0.521	0.610	0.556
Qwen2.5-7B	LongForm	0.490	0.469	0.496
Qwen2.5-7B	Multiturn	0.523	0.644	0.739
Gemma3-12B	TruthfulQA	0.531	0.466	0.548
Gemma3-12B	TriviaQA	0.597	0.700	0.817
Gemma3-12B	MATH	0.801	0.771	0.799
Gemma3-12B	ArabicaQA	0.538	0.642	0.647
Gemma3-12B	LongForm	0.343	0.354	0.358
Gemma3-12B	Multiturn	0.457	0.734	0.701
Fanar1-9B	TruthfulQA	0.579	0.641	0.641
Fanar1-9B	TriviaQA	0.706	0.821	0.821
Fanar1-9B	MATH	0.664	0.779	0.788
Fanar1-9B	ArabicaQA	0.490	0.613	0.563
Fanar1-9B	LongForm	0.569	0.549	0.654
Fanar1-9B	Multiturn	0.463	0.804	0.831

표 3 — 평가 벤치마크 구성 (Table 5)

벤치마크	과제	크기	분할/선택
TruthfulQA	사실성 / 통념 오류	817	전체
TriviaQA	지식 인출	2,000	rc train subsample
MATH	수학 추론	1,000	subsample
ArabicaQA	아랍어 QA	2,000	MRC test subsample
LongForm	장문 생성	731	test, SE/Wiki/BigBench, ≤512 words
GSM8K multi-turn	다중턴 추론	103	math subset, sharded turns

표 4 — 비지도 GLU vs 지도 probe (부록 A, Table 4, AUROC)

모델	방법	TruthfulQA	TriviaQA	MATH
Qwen	Probe(EOS)	0.794	0.812	0.703
Qwen	RespEntropy	0.705	0.793	0.888
Qwen	GLU (비지도)	0.616	0.834	0.767
Gemma	Probe(AVG)	0.733	0.818	0.786
Gemma	GLU (비지도)	0.548	0.817	0.799
Fanar	RespEntropy	0.753	0.885	0.842
Fanar	GLU (비지도)	0.641	0.821	0.788

프레임워크 다이어그램

flowchart TD
    A["프롬프트 x + greedy decoding 1회<br/>hidden state · logit · 확률 저장"] --> B["Unembedding 층 신호"]
    A --> C["Embedding 층 신호"]
    B --> D["top-k 로짓 재정규화<br/>AU = Shannon 엔트로피"]
    B --> E["softplus 증거 alpha<br/>EU = k / sum alpha+1"]
    D --> F["R t = - AU x EU<br/>상위 m개 토큰만 평균 → R-bar"]
    E --> F
    C --> G["층별 궤적 H → Gram K = H H^T"]
    G --> H["S2 = - log Frobenius^2 / trace^2<br/>고유분해 불필요, O T^2 d"]
    H --> I["길이 정규화 1+log T<br/>전 L개 층 평균 → S-tilde in 0..1"]
    F --> J["곱셈 게이트<br/>GLU = 1 + S-tilde × R-bar"]
    I --> J
    J --> K["응답 수준 신뢰도 점수"]
    K --> L["AUROC : 정답 오답 판별"]
    K --> M["PRR : selective abstention"]
    K --> N["10분위 오답률 단조 증가<br/>Qwen 84%p · Gemma 83%p · Fanar 66%p"]

재현성 및 신뢰도 평가

종합등급: Evidence B / Reproducibility B

근거(Evidence B): 3개 모델 계열 × 6개 벤치마크 = 18개 설정, 19개 방법, AUROC·PRR 두 지표라는 넓은 매트릭스를 갖췄고, 특히 덧셈 변형을 대조군으로 둬서 “이득의 원인이 곱셈 상호작용”임을 인과적으로 분리한 ablation 설계가 강하다. 부록 A의 지도 probe 비교와 부록 B의 닫힌 형태 증명도 주장 강도를 뒷받침한다. 다만 주요 표(Table 2·3·6)가 모두 단일 런 점 추정이고 신뢰구간·분산이 없으며(bootstrap CI는 §5.4 Figure 2에만), 초록의 핵심 주장인 “statistically near-orthogonal”을 뒷받침할 상관계수·독립성 검정 수치가 본문에 제시되지 않아(정성적 산점도 Figure 1에 의존) A는 아니다.
근거(Reproducibility B): 코드가 https://github.com/qcri/GLU.git로 공개되었고, 모델 3종이 전부 open-weight이며, 데이터셋 크기·분할·subsample 시드 고정이 부록 C에 명시되고, greedy decoding으로 확률적 요소를 제거했으며, 점수 자체가 닫힌 형태라 수치 재현 가능성이 높다. 다만 지역 신호의 두 하이퍼파라미터 — 절단 분포의 후보 수 $k$ 와 상위 불확실 토큰 수 $m$ — 의 실제 값이 본문·부록 어디에도 없고, RespEntropy·Prob(Exact) 같은 부록 A baseline의 정의가 표에만 등장할 뿐 설명되지 않아 완전 재현에는 코드 열람이 필수다.

주장별 신뢰도

“GLU가 mean AUROC 0.676 / mean PRR 0.369으로 19개 방법 중 1위” — 신뢰도 높음(Table 3·Table 6 두 곳에서 동일 수치, 방법 수·설정 수 명시).
“곱셈 융합이 이득의 원천이다” — 신뢰도 높음. 동일 신호 쌍을 덧셈으로만 바꾼 Add- $\tilde{S}$ 가 0.621/13위, Add- $S_{α}$ 가 0.454/19위로 무너지는 대조가 명확하다.
“GLU가 18개 중 13개에서 최고” — 신뢰도 중간. Table 2의 3자 비교(LogTokU·RAUQ) 안에서만 성립하고, Fanar-TruthfulQA·Fanar-TriviaQA 2건은 RAUQ와 동률이다. LogProb·P(true)를 포함한 Table 7 기준으로는 P(true)가 최소 6개 셀에서 GLU를 앞선다(예: Qwen-Multiturn 0.800 vs 0.739, Gemma-MATH 0.817 vs 0.799).
“두 신호가 statistically near-orthogonal” — 신뢰도 낮음. 상관계수·검정 통계량이 제시되지 않았고 Figure 1의 산점도 분포와 사분면 오류율이라는 정성적 근거에 의존한다. 정량 수치는 [위치 미확인].
“GLU가 supervised 방법과 경쟁적” — 신뢰도 낮음. TriviaQA에서는 성립하나 TruthfulQA(Qwen 0.616 vs 0.794)·MATH(Qwen 0.767 vs 0.888)에서는 큰 열세이며, 저자들도 비대칭 비교임을 인정한다.

추가 확인 사항 (본문 내부 불일치)

Conclusion은 “three model families and three benchmarks”라고 쓰지만 Abstract·§5는 일관되게 six benchmarks다. 6개가 맞다.
길이 정규화 상수가 본문 산문·Table 1에서는 $1 + lo g T$ 인데, HTML 추출본의 식 (11)은 $lo g T$ 로 렌더링된다. Table 1과 산문이 2:1이므로 $1 + lo g T$ 로 읽었다.
“improves … by up to 22.0% / 11.7%“는 상대 개선율이 아니라 AUROC 퍼센트포인트 차이다(0.817−0.597 = 0.220, 0.817−0.700 = 0.117). 상대비로 환산하면 각각 약 +36.8%, +16.7%.
표 수치는 arXiv HTML을 텍스트로 변환해 셀 단위로 재구성한 것이라 행/열 정렬이 흐트러질 여지가 있다. 위 표는 Table 2와 Table 7을 교차 대조해 확인했다.

연구	신호 위치	지도 레이블	추가 생성 pass	핵심 차별점
GLU (본 논문)	embedding 기하 × unembedding 로짓	불필요	없음(1회)	두 층 신호의 곱셈 게이트, 닫힌 형태 Rényi-2
The Geometry of Reasoning - Self-Evaluation via Layerwise Trajectory Evolution	층별 hidden-state 궤적	불필요	없음	궤적 진화 자체를 정답성 자기평가에 사용(GLU의 전역 항과 가장 가까운 계열)
Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations	표현 공간의 단일 선형 feature	부분 필요	없음	언어적 불확실성을 선형 방향으로 통제·개입해 hallucination 감소
Uncertainty-Based Abstention in LLMs Improves Safety	통계적 + 언어화 불확실성	불필요	설정에 따라 다름	점수화보다 abstention 정책의 안전성 효과에 초점
UniCR - Unified Framework for Confidence Calibration and Risk-Controlled Refusal in LLMs	다중 신호 통합	필요(calibration)	없음	calibrated probability로 변환 후 risk-controlled refusal

원자적 인사이트 (Zettelkasten)

불확실성 신호의 결합 방식은 신호 선택보다 중요할 수 있다. GLU의 곱셈 ablation 8종이 전부 랭크 2–9에 몰리는데(0.665–0.675), 동일 신호를 덧셈으로 합친 순간 13위(0.621)와 19위(0.454)로 붕괴한다. 앙상블 설계에서 “무엇을 넣을까”에 쏟는 노력의 일부는 “어떻게 상호작용시킬까”로 옮겨야 한다는 실증이다.
confident-but-wrong은 출력 분포 바깥에서만 관측 가능한 실패 모드다. 토큰 엔트로피가 중앙값 이하인 응답 중에도 hidden-state 궤적이 여러 방향으로 흩어지는 오답이 존재하며, 이는 로짓만 보는 어떤 탐지기로도 원리적으로 도달할 수 없는 영역이다. 신뢰성 연구에서 “모델이 무엇을 확신하는가”와 “모델의 내부 표현이 수렴했는가”는 별개 질문이다.
Gram 행렬의 collision entropy는 고유분해 없이 계산된다. $S_{2} (K) = - lo g (∥ K ∥_{F}^{2} / tr (K)^{2})$ 이므로 $O (T^{3})$ 대신 $O (T^{2} d)$ 로 끝나고, $d ≫ T$ 인 LLM에서는 실질적으로 공짜다. 표현 기하를 실시간 배포 신호로 쓸 수 있게 만드는 계산적 전제조건이다.
곱셈 융합은 한 인자가 무너지면 함께 무너진다. ArabicaQA처럼 토큰 확신이 정답성과 어긋나는 설정에서는 무용한 지역 항이 강한 전역 항을 감쇠시켜 순수 전역 baseline에 역전당한다. 게이트 구조를 쓸 때는 각 인자의 유효성 자체를 감시하는 상위 로직이 필요하다.
응답 수준 UQ 평가는 장문 생성에서 붕괴한다. LongForm에서 GLU·RAUQ·LogTokU가 모두 AUROC 0.5 이하(Gemma 0.343–0.358)를 기록하는데, 이는 특정 방법의 실패라기보다 장문을 이진 정답 라벨로 채점하는 프로토콜 자체의 문제일 가능성이 높다.

핵심 용어 정리

용어	정의
GLU (Global-Local Uncertainty)	$GLU = (1 + \tilde{S}) \overset{ˉ}{R}$ . 전역 기하 엔트로피를 배율로, 지역 토큰 불확실성을 본체로 삼는 비지도 단일 pass 응답 신뢰도 점수
$\tilde{S}$ (global uncertainty)	층별 Gram 행렬의 정규화 스펙트럼에 대한 order-2 Rényi 엔트로피를 $1 + lo g T$ 로 나눈 뒤 전 층 평균한 값, $[0, 1]$
$\overset{ˉ}{R}$ (local uncertainty)	$- AU (t) \cdot EU (t)$ 상위 $m$ 개 토큰 평균. Shannon 엔트로피와 Dirichlet 증거 부족을 곱한 지역 신호
collision entropy	order-2 Rényi 엔트로피. $- lo g \sum_{i} \tilde{λ}_{i}^{2}$ 로 Frobenius norm만으로 계산 가능
AU / EU	aleatoric(절단 분포의 Shannon 엔트로피) / epistemic(Dirichlet 총 증거의 역수) 불확실성
PRR (prediction rejection ratio)	불확실한 예측을 거절할 때의 개선을 재는 selective prediction 지표. RAUQ가 채택한 주 지표
confident-but-wrong	토큰 엔트로피는 낮은데 내용이 틀린 응답. GLU가 표적으로 삼는 실패 모드
RAUQ	uncertainty-aware attention head를 재귀적으로 융합하는 전역 baseline (Vazhentsev et al., 2026)
LogTokU	로짓에서 Dirichlet aleatoric·epistemic 불확실성을 추정하는 지역 baseline (Ma et al., 2025)

BibTeX

@article{medina2026glu,
  title   = {Integrating Local and Global Entropy for Uncertainty Quantification in {LLM}s},
  author  = {Medina, Johanne and Zhou, Tianyi and Isufaj, Keivin and Gionis, Aristides and Chawla, Sanjay},
  journal = {arXiv preprint arXiv:2606.09875},
  year    = {2026},
  eprint  = {2606.09875},
  archivePrefix = {arXiv},
  primaryClass  = {cs.LG},
  url     = {https://arxiv.org/abs/2606.09875}
}

GLU: 지역·전역 엔트로피를 통합한 LLM 불확실성 정량화 (Global-Local Uncertainty)

GLU: 지역·전역 엔트로피를 통합한 LLM 불확실성 정량화 (Global-Local Uncertainty)

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX