비사실 환각의 기계론적 이해와 완화 (Mechanistic Understanding and Mitigation of Non-Factual Hallucinations)

Digest: hallucination 연구는 대부분 모델을 블랙박스로 두고 uncertainty나 self-consistency 같은 외부 신호로 탐지해 왔지만, 그런 접근은 “왜 틀렸는지”를 말해 주지 못한다는 것이 이 논문의 출발점이다. 핵심 통찰은 사실 인출이 하위층 MLP의 subject knowledge enrichment와 상위층 attention의 answer extraction이라는 2단계 파이프라인이라면, non-factual hallucination도 “어느 단계가 깨졌는가”에 따라 기계론적으로 서로 다른 두 종류로 분리된다는 것이다. 방법은 ParaRel의 subject-relation-object cloze 질의 약 80K개로 모델별 factual/hallucinating 세트를 만든 뒤, logit lens로 각 층 MLP 출력을 어휘 공간에 사영해 정답 토큰의 최소 랭킹 ${\rho }_s^{\ast }(o)$를 재고, 그 값이 상위 1%($0.01|V|$) 밖이면 enrichment, 안이면 extraction으로 분류한 다음, causal mediation analysis(3-run patching)의 average indirect effect로 인과 검증하는 것이다. 실험은 Llama-2-7B-chat·Pythia-6.9B·GPT-J-6B 세 모델에서 수행되며 두 유형 비율은 22.1%/77.9%, 30.2%/69.8%, 67.3%/32.7%로 모델 세대에 따라 뒤집힌다(Table 1). 결정적 증거는 Figure 4의 AIE 히트맵으로, enrichment는 subject 토큰 위치의 하위층 MLP에, extraction은 답 생성 직전 마지막 토큰의 상위층 attention에 인과 기여가 몰려 두 분포가 분리된다. 두 단계를 동시에 복원하는 ${\mathcal{L}}_{\mathrm{MHM}}$ 파인튜닝은 Natural Questions에서 Llama-2 effectiveness를 SFT 41.8%·DoLa 27.0% 대비 47.6%로 올리면서 specificity 95.5%를 지킨다(Table 3). 함의는 완화가 “정답 밀어 넣기”가 아니라 “파이프라인 보수”여야 한다는 것이다. 한계는 개입 층이 세 모델 모두 $[20,25]$로 고정돼 층 선택 ablation이 없고, 완화 결과가 유형별로 분해되지 않았으며, Table 2의 uncertainty가 본문 해석과 방향이 어긋난다는 점이다.

---

먼저 이해하기

언어 모델이 “블라디미르 나보코프는 어디에서 태어났나”에 “Russia” 대신 엉뚱한 답을 내놓았다고 하자. 기존 hallucination 연구는 이 오답을 사후에 탐지하는 데 집중했다 — 모델이 얼마나 확신했는지, 같은 질문을 반복하면 답이 흔들리는지 같은 바깥에서 관찰 가능한 신호로 말이다. 이 논문은 방향이 다르다. 모델 내부에서 “사실을 꺼내는 조립 라인”이 어디에서 멈췄는지를 층 단위로 지목하고, 그 지점만 수리한다.

선행 연구(Geva et al. 2023; Yu et al. 2023)가 밝힌 조립 라인은 두 공정이다. 1공정 knowledge enrichment에서는 주어(subject) 토큰 위치에서 하위·중간 층 MLP가 그 주어에 관한 의미 속성을 residual stream에 쌓아 올린다 — “나보코프” 자리에 작가·러시아·1899년·『롤리타』가 얹히는 단계다. 2공정 answer extraction에서는 상위 층 self-attention head가 마지막 토큰 위치로 그 속성 더미를 끌어오며 질문의 관계(relation)에 맞는 단 하나만 골라낸다 — “태어난 곳”이 주어졌으니 “Russia”를 고르고 “롤리타”는 버려야 한다.

논문의 주장은 단순하다. 두 공정 중 어느 쪽이 고장 나도 hallucination이 나오지만, 고장의 종류가 다르면 증상도 처방도 다르다. 1공정이 실패하면 애초에 꺼낼 지식이 없는 것이라 답이 종종 말이 안 되는 수준으로 어긋난다(논문 표현: “the incorrect answer is often nonsensical”). 2공정이 실패하면 정답 정보는 이미 내부에 올라와 있는데 경쟁 속성에 밀려 선택을 못 한 것이라, 오답이 그럴듯하고 주어와 강하게 연관돼 있다.

측정은 두 도구로 한다. logit lens는 중간 층의 hidden state를 최종 unembedding 행렬에 그대로 통과시켜 “이 시점에 모델이 어떤 단어를 떠올리고 있었나”를 어휘 확률로 읽는다. causal mediation analysis는 상관이 아니라 인과를 재기 위해, 입력 임베딩에 노이즈를 넣어 모델이 정답을 선호하도록 만든 다음, 그 “고쳐진” 상태의 hidden state 하나만 원래 실행에 이식(patch)해 hallucination 정도가 얼마나 줄어드는지를 본다.

• non-factual hallucination(비사실 환각): 세계 지식과 어긋나는 출력. 입력 문서와 어긋나는 unfaithful hallucination과 구별되며 이 논문은 전자만 다룬다.
• fact recall pipeline: subject enrichment → answer extraction 2단계로 이루어진 트랜스포머 내부의 사실 인출 경로.
• logit lens(로짓 렌즈): 중간 층 표현 $z_i^{(l)}$을 $\mathrm{softmax}(E\mathrm{LayerNorm}(z_i^{(l)}))$로 사영해 어휘 분포로 읽는 해석 기법(식 1).
• causal mediation analysis(인과 매개 분석): 노이즈 주입 + hidden state patching으로 각 중간 표현의 인과 기여(indirect effect)를 재는 절차.
• MHM (Mechanistic Hallucination Mitigation): 두 공정을 동시에 복원하도록 설계된 보조 손실 기반 파인튜닝(§5).

왜 중요한가: 이 논문 이전의 hallucination 완화는 대체로 “출력을 고치는” 접근이었다 — DoLa는 디코딩 시점에 상·하위층 로짓을 대비시키고, MEND 같은 model editing은 특정 사실을 가중치에 덮어쓴다. 이 논문은 오답이 나온 이유가 두 가지로 갈라지고 각각이 서로 다른 층·모듈에 국소화됨을 인과적으로 보인 뒤, 그 진단을 그대로 손실 함수로 번역한다. 덕분에 “왜 DoLa가 Natural Questions에서 무너지는가”(지식 자체가 없는 enrichment 오류에 디코딩 보정은 무력)와 “왜 MEND가 TruthfulQA에서 무너지는가”(distractor 구별 문제에 가중치 편집은 부적합) 같은 baseline 실패 패턴까지 같은 프레임으로 설명된다. hallucination을 단일 현상으로 다루던 전제를 깨고 “어떤 종류인가”를 먼저 묻게 만든 것이 이 논문이 올린 하한선이다.

먼저 알아둘 용어 표

원 용어	쉬운 설명
knowledge enrichment hallucination	하위층 MLP가 주어에 대한 지식을 충분히 못 꺼내서 생긴 오답 — “애초에 모르는 것”
answer extraction hallucination	지식은 올라왔는데 상위층 attention이 관계에 맞는 속성을 못 골라서 생긴 오답 — “알지만 헷갈린 것”
residual stream	층을 거치며 attention·MLP 출력이 누적 합산되는 트랜스포머의 중심 통로 $h_i^{(l)}=h_i^{(l-1)}+a_i^{(l)}+m_i^{(l)}$
${\rho }_s^{\ast }(o)$	전 층 MLP의 logit lens 분포에서 정답 토큰이 받은 최소 랭킹. 작을수록 지식이 잘 인출됨
$0.01\Vert V\Vert$ 임계값	어휘 상위 1%. Llama-2는 320위, Pythia/GPT-J는 502위
AIE (average indirect effect)	특정 hidden state를 “고친 것”으로 갈아 끼웠을 때 hallucination 정도가 줄어드는 평균 폭
effectiveness / specificity	완화가 통했는가(패러프레이즈 질문 정확도) / 원래 알던 것을 안 잊었는가(기존 정답 유지율)
${\mathcal{L}}_{\mathrm{MHM}}$	MLP에는 정답 정보를 끌어올리게, attention에는 오답 정보를 억누르게 만드는 두 항의 보조 손실

---

섹션별 요약

Abstract

최신 LM은 세계 지식과 어긋나는 non-factual hallucination을 생성한다. 저자들은 subject-relation 질의로 진단용 데이터셋을 만들고 해석가능성 기법을 적응시켜 hallucination을 내부 표현 수준에서 추적한다. 그 결과 Llama-2·Pythia·GPT-J에 공통으로 나타나는 두 가지 구별되는 기계론적 원인을 발견한다 — (1) knowledge enrichment hallucination: 하위층 MLP의 주어 속성 지식 부족, (2) answer extraction hallucination: 상위층 attention head의 정답 객체 속성 선택 실패. 나아가 이 두 내부 원인이 외부 발현에서도 구별됨을 보인다. 이 분석에 근거해 LM 내부 fact recall pipeline을 표적 복원하는 완화 방법을 제안하고 baseline 대비 우수한 성능을 보인다. 코드·데이터는 https://github.com/jadeleiyu/lm_hallucination_mechanisms에 공개.

왜 이 연구를 하는가?

저자들의 문제 제기는 두 갈래다. 첫째, 기존 hallucination 탐지·완화 연구 대부분이 LM을 블랙박스로 취급하며 predictive uncertainty(Xiao & Wang, 2021)나 logical consistency(Cohen et al., 2023) 같은 외부 특징에 의존하는데, 이런 접근은 오류의 기원을 말해 주지 않고 신호가 서로 모순되는 경우도 보고돼 있다(Turpin et al., 2023). 둘째, mechanistic interpretability 쪽에서는 정확한 사실 예측에 필수적인 컴포넌트를 여럿 찾아냈지만(Meng et al., 2022a; Geva et al., 2023), 그 결과가 hallucination으로 일반화되는지는 미지수였다 — 논문 표현대로 “어떤 모델 컴포넌트가 정상 기능에서 이탈해 hallucination을 일으키는지는 알려져 있지 않다”. 그 위치를 특정할 수 있다면 정보 흐름의 다른 부분을 건드리지 않고 소수 가중치만 표적 수정하는 효율적 완화가 가능해진다는 것이 실용적 동기다.

Introduction

문제 설정: LM은 parametric knowledge의 저장소지만 사실 오류에 취약하며, logit 예측 수준에서는 그 패턴이 사실적 생성과 유사해 보인다. 접근: ParaRel에서 진단용 hallucination 데이터셋을 구성하고 logit lens와 causal mediation analysis를 hallucination 분석용으로 적응시킨다. 관찰: 크기·아키텍처가 다른 세 LM에서 수렴하는 증거로, 사실 오류에 결정적인 컴포넌트가 (1) 하위 층 MLP, (2) 상위 층 multi-head self-attention 두 그룹으로 존재한다. 기여는 (1) 진단 hallucination 데이터셋 구축, (2) 다중 아키텍처에 걸친 두 기계론적 원인 식별, (3) 두 유형이 subject-object 연관 강도·섭동 robustness·예측 불확실성이라는 외부 특징으로 구별 가능함을 실증, (4) MHM 완화 방법 개발이다. 저자들은 이를 “LM 사실 오류에 대한 최초의 기계론적 설명과 완화”로 규정한다.

Methods

• 표기(§2): 디코더 전용 트랜스포머, 층 $l$에서 $h_i^{(l)}=h_i^{(l-1)}+a_i^{(l)}+m_i^{(l)}$. 분석 대상은 $Z=A\cup M$.
• 데이터셋(§3): ParaRel에서 “many-to-one” 관계 클래스만 취해 subject-relation 쌍마다 대문자로 시작하는 객체가 유일하도록 필터링 → 약 80K 질의. 대문자 알파벳 토큰 중 $\hat{t}=\arg {\max }_{t}p(t|u)$를 뽑아 정답 $o$의 prefix가 아니면 hallucination set, 맞으면 factual set. 상위 50 후보에 대문자 영숫자 토큰이 없는 질의는 폐기.
• Logit lens(§4.1): 식 (1) $p(z_i^{(l)})=\mathrm{softmax}(E\mathrm{LayerNorm}(z_i^{(l)}))$. ${\mathcal{I}}_m^{(l)}(o)=e_o^{\top }\mathrm{LayerNorm}(m_s^{(l)})$는 마지막 subject 토큰의 MLP 출력을 정답 unembedding에 사영한 로짓, ${\mathcal{I}}_a^{(l)}(o)=a_T^{(l)}(e_o-{\bar{e}}_{o^{\prime }})$는 마지막 입력 토큰의 attention 출력이 정답을 비정답 속성 집합 $O^{\prime }$의 평균 대비 얼마나 부각시키는지를 잰다($O^{\prime }$ = ${\mathcal{I}}_m^{(l)}(o^{\prime })$가 가장 높은 상위 100 토큰, 각주 3).
• 분류 기준(§4.1): 전 층 최소 랭킹 ${\rho }_s^{\ast }(o)>0.01|V|$이면 enrichment, 이하면 extraction. 임계값은 Llama-2 320, Pythia/GPT-J 502(Figure 2 캡션).
• Causal mediation(§4.2): 3-run 프로토콜. ① 원본 실행에서 $y=\log \frac{p(o^{\prime }|u)}{p(o|u)}$(hallucinating이면 $y>0$). ② subject 토큰 임베딩에 $ϵ\sim \mathcal{N}(0,\sigma )$ 주입($\sigma$ = 입력 임베딩 경험적 표준편차의 3배, Meng et al. 2022a 따름), 모델이 정답을 선호하게 만든 노이즈만 채택해 표현 $z^{\ast }$ 확보. ③ $z^{\ast }$를 원본 실행의 $z$ 자리에 patch하고 $y^{\prime \prime }=\log \frac{p(o^{\prime }|u^{\ast },z)}{p(o|u^{\ast },z)}$를 잰다. $\mathrm{IE}=y^{\prime \prime }-y$를 질의·노이즈 표본에 평균해 AIE.
• 외부 발현(§4.3): association strength = $s$와 $o$(또는 $o^{\prime }$) 입력층 임베딩의 내적. robustness = 주입 노이즈 중 $o$ 선호로 되돌리는 데 실패한 비율. uncertainty = $p(o|u)$의 엔트로피.
• MHM(§5): 층 범위 $l\in L_m$의 MLP 출력과 $l\in L_a$의 attention 출력을 LM 헤드에 직접 사영해 식 (2) ${\mathcal{L}}_{\mathrm{MHM}}(x,y,y^{\prime })=-{\sum }_{l\in L_m}\log p_m^{(l)}(y|x)-{\sum }_{l\in L_a}\log \frac{p_a^{(l)}(y|x)}{p_a^{(l)}(y^{\prime }|x)}$를 구성. 첫 항은 MLP가 정답 정보를 더 인출하도록, 둘째 항은 attention이 오답 $y^{\prime }$ 전파를 억제하도록 유도한다. 최종 목적함수는 식 (3) $\mathcal{L}={\mathcal{L}}_{\mathrm{NLL}}([x;y])+\lambda {\mathcal{L}}_{\mathrm{MHM}}$. Figure 3에 근거해 $L_m=L_a=[20,21,22,23,24,25]$, $\lambda =1.0$, lr $10^{-4}$, 8 epoch, device당 batch 4.
• 완화 실험 설정(§5): Natural Questions(20 토큰 생성 후 exact match)와 TruthfulQA(후보별 토큰당 평균 조건부 가능도로 multiple-choice 채점). 학습 세트는 각 벤치마크에서 해당 LM이 틀린 문항, effectiveness 세트는 그 질문의 GPT-4 패러프레이즈, specificity 세트는 원래 맞혔던 남겨 둔 문항. baseline은 SFT, 5-shot ICL, MEND(Mitchell et al., 2021), DoLa(Chuang et al., 2023)이며 모두 공식 구현 기본 설정.

발견 (Findings)

• 두 유형의 비율이 모델 세대에 따라 뒤집힌다. Llama-2와 Pythia는 오류의 다수가 extraction형(77.9%, 69.8%)인 반면 GPT-J는 enrichment형이 67.3%로 다수다. 저자 해석은 “GPT-J가 더 최신 LM에 비해 일반 세계 지식의 결핍이 훨씬 심각함을 시사한다”이다(Table 1).
• Logit lens 관찰 두 가지(Figure 3). ① factual 질의와 extraction hallucination은 초기·중간 층 MLP에서 상당량의 객체 정보를 인출하지만 enrichment hallucination은 그 양이 훨씬 적다. ② factual 대비 두 유형 모두 self-attention 출력이 정답을 오답 속성과 구별하지 못한다 — “초기 층의 충분한 객체 지식 인출이 answer extraction의 전제조건이므로, 퇴화된 enrichment는 필연적으로 상위층 attention의 무관 속성 필터링 능력을 손상시킨다”.
• 인과 검증(Figure 4). enrichment에 유의미하게 기여하는 hidden state는 대부분 subject 토큰을 처리하는 하위층 MLP가 만들고, extraction은 답 생성 직전 상위층 self-attention head 출력이 주로 일으킨다. 저자들의 이탤릭 결론: (1) 두 컴포넌트는 손상되면 hallucination을 낳는 “brittle” 부위이며, (2) 이 둘이 항상 동시에 무너지지는 않기 때문에 구별되는 두 메커니즘이 생긴다.
• 외부 발현으로도 갈린다(§4.3, Table 2). extraction형의 주어는 정답보다 오답과 훨씬 강하게 연관돼 있어($s$-$o$ 1.17 vs $s$-$o^{\prime }$ 1.69) 모델이 $s$를 보자마자 $o^{\prime }$를 예측하려는 사전 성향을 상쇄하지 못한다. enrichment형의 주어는 정답·오답 양쪽 모두와 연관이 약하다(0.47, 0.81). 또 extraction형은 입력 섭동에 덜 robust한데(0.45 vs 0.86), 저자 설명은 “이미 초기 층에서 정답을 인출해 놨고 덜 관련된 속성과 구별하는 데 ‘한 걸음’ 남았을 뿐이기 때문”이다.
• 완화는 파이프라인 전체를 고쳐야 한다(§5). MEND는 TruthfulQA에서(Llama-2 33.7/40.5), DoLa는 Natural Questions에서 무너지는데(27.0/69.6), 저자 진단은 각각 “정답과 헷갈리는 distractor 구별”과 “질의 엔티티 지식 부족”이라는 서로 다른 병목에 대응하지 못하기 때문이다. MHM만이 두 벤치마크 모두에서 버틴다.

Results

• 데이터셋 규모와 모델 정확도(Table 1): Llama-2 factual 25,204 / hallucinating 25,478(정확도 0.497), Pythia 10,277 / 31,110(0.248), GPT-J 8,646 / 23,831(0.266). 총합이 50,682·41,387·32,477로 다른 것은 “상위 50에 대문자 토큰 없음” 필터가 모델별로 다르게 걸리기 때문이다.
• Natural Questions(Table 3): MHM이 세 모델 모두 effectiveness 1위 — Llama-2 47.6/95.5(SFT 41.8/82.3, MEND 39.8/86.9, DoLa 27.0/69.6), Pythia 46.9/92.4, GPT-J 43.8/89.4. ICL은 specificity가 매우 높지만(Pythia 98.5) effectiveness가 낮아 사실상 “아무것도 안 고치는” 쪽에 가깝다.
• TruthfulQA(Table 3): Llama-2 MHM 48.2/95.6이 SFT 44.1/96.5·DoLa 43.4/81.0을 앞서고 GPT-J도 49.7/95.8로 최고. 단 Pythia에서는 DoLa 46.6/88.4가 MHM 45.9/93.5의 effectiveness를 앞선다 — 저자들이 “MHM either yields the most effective mitigation results, or achieves a performance that is comparable to the best”라고 조심스럽게 쓴 이유다.
• Specificity 보존: MHM은 6개 셀 중 5개에서 92.4~95.8을 유지해 원 지식을 거의 훼손하지 않는다. 반면 MEND는 Llama-2 TruthfulQA 40.5, Pythia 50.4로 붕괴한다.
• AIE의 절대 크기(Figure 4 컬러바): Llama가 가장 크고(enrich MLP 최대 ~1.5, extract attn ~1.0), Pythia(0.60.75), GPT-J(0.40.6) 순으로 작아진다. 층별 수치표는 논문에 없어 [위치 미확인].

Discussion

이론적 의의

이 논문의 이론적 기여는 hallucination을 “출력의 속성”이 아니라 “계산 경로의 고장 지점”으로 재정의한 것이다. 이 재정의는 두 조건을 요구하고 논문은 둘 다 채운다. 첫째, 고장 지점이 실제로 분리 가능해야 한다 — logit lens의 ${\rho }_s^{\ast }(o)$ 분류가 인위적 이분법이 아님을 causal mediation의 AIE 분포라는 독립적 방법론적 증거로 뒷받침한다. 둘째, 내부 구분이 외부에서 관찰 가능한 결과를 낳아야 한다 — §4.3의 세 특징이 그 역할을 한다. “내부 분류 → 독립 인과 검증 → 외부 발현 → 처방”이라는 4단 논증은 mechanistic interpretability 연구가 단순 상관 관찰에 머물지 않으려면 어떤 형태를 갖춰야 하는지의 템플릿이다.

또 하나 주목할 지점은 enrichment 실패가 extraction 실패를 유도한다는 비대칭적 인과 구조다. Figure 3의 관찰 ②에 따르면 두 유형 모두 attention 단계에서 정답을 구별하지 못한다. 즉 관측된 “attention 고장”은 두 원인의 공통 증상이고 진짜 분기점은 그 앞 단계인 MLP에 있다.

Discussion Points

• 분류 임계값 $0.01|V|$는 원리에서 도출된 값이 아니라 관례적 선택이다. Figure 2의 바이올린 플롯에서 두 분포는 상당 부분 겹치며, 임계값을 0.5%나 2%로 옮기면 Table 1의 22.1%/77.9% 같은 숫자가 움직일 수밖에 없다. 민감도 분석의 부재가 가장 큰 방법론적 공백이다. 다만 GPT-J와 Llama-2의 비율 역전(67.3% vs 22.1%)은 임계값 이동으로 뒤집힐 규모가 아니라 정성적 결론은 견고해 보인다.
• 개입 층 $[20,25]$가 “하위층 MLP” 서사와 어긋난다. 논문은 enrichment 실패를 일관되게 “lower layer MLPs”로 부르는데, $L_m$은 32층 모델 기준 상위 중간대인 20~25층이며 28층 GPT-J에서는 거의 최상단이다. Figure 3에서 ${\mathcal{I}}_m^{(l)}(o)$가 그 부근에서 정점이라는 근거는 있으나, 그렇다면 “lower layer”라는 명명 자체가 오해를 부른다. 층 범위 ablation이 없어 이 선택의 결정성도 알 수 없다.
• 완화 결과가 유형별로 분해되지 않았다. 서사는 “두 유형이 다르니 두 항이 필요하다”인데 Table 3은 총합 정확도만 보여 준다. 손실 항 개별 ablation과 유형별 성능 분해가 있었다면 인과 사슬이 닫혔을 것이다. 현재는 “두 항 결합이 SFT보다 낫다”까지만 입증되고 “각 항이 대응 유형을 고친다”는 핵심 주장은 간접적이다.
• Table 2의 uncertainty 수치와 본문 해석이 반대다. §4.3은 “the model is less certain about its predictions when generating enrichment hallucinations”라며 선행 연구(Xiao & Wang, 2021)와 일치한다고 쓰는데, Table 2의 엔트로피는 enrichment 4.54 < extraction 4.76으로 enrichment 쪽이 덜 불확실하다. 어느 쪽이 오류든 “외부 특징으로 두 유형을 구별할 수 있다”는 주장에서 uncertainty 항목은 신뢰하기 어렵다.

---

실험 결과 상세

표 1 — ParaRel 진단 데이터셋 통계와 두 유형 비율 (Table 1)

항목	Llama-2-7B-chat	Pythia-6.9B	GPT-J-6B
층 수 / 파라미터	32 / 7B	32 / 6.9B	28 / 6B
factual 질의 수	25,204	10,277	8,646
hallucinating 질의 수	25,478	31,110	23,831
모델 정확도	0.497	0.248	0.266
enrichment hall. (%)	22.1	30.2	67.3
extraction hall. (%)	77.9	69.8	32.7
${\rho }_s^{\ast }(o)$ 임계값 (Figure 2)	320	502	502

표 2 — 두 유형의 외부 발현, 세 LM 평균 (Table 2)

통계량	Knowledge Enrichment	Answer Extraction	읽는 법
$s$-$o$ assoc.	0.47	1.17	주어–정답 임베딩 내적. enrichment형은 정답과의 연관 자체가 약함
$s$-$o^{\prime }$ assoc.	0.81	1.69	주어–오답 내적. extraction형에서 오답이 정답을 압도(1.69 > 1.17)
Robustness	0.86	0.45	노이즈 주입이 교정에 실패한 비율. 높을수록 고치기 어려움
Uncertainty	4.54	4.76	$p(o\Vert u)$의 엔트로피. 본문 해석과 방향이 어긋남(아래 §재현성 참조)

표 3 — 완화 성능, Eff./Spec. % (Table 3). 좌 3열 Natural Questions, 우 3열 TruthfulQA

방법	NQ Llama-2	NQ Pythia	NQ GPT-J	TQA Llama-2	TQA Pythia	TQA GPT-J
ICL (5-shot)	27.5 / 91.7	22.6 / 98.5	13.8 / 74.9	36.8 / 97.9	28.3 / 92.0	30.6 / 96.1
SFT	41.8 / 82.3	37.9 / 89.9	34.4 / 86.0	44.1 / 96.5	34.7 / 96.7	46.0 / 92.3
MEND	39.8 / 86.9	34.3 / 91.8	36.7 / 89.2	33.7 / 40.5	25.4 / 50.4	33.3 / 83.7
DoLa	27.0 / 69.6	23.8 / 66.5	16.8 / 71.7	43.4 / 81.0	46.6 / 88.4	37.9 / 90.0
MHM (제안)	47.6 / 95.5	46.9 / 92.4	43.8 / 89.4	48.2 / 95.6	45.9 / 93.5	49.7 / 95.8

표 4 — 두 메커니즘 대조 정리 (Figure 1·3·4, §4.1–4.3 종합)

축	Knowledge Enrichment Hallucination	Answer Extraction Hallucination
고장 단계 / 모듈	1단계 subject 지식 인출 — 하위·중간 층 MLP, subject 토큰 위치	2단계 속성 선택 — 상위 층 attention head, 마지막 토큰 위치
판별 기준	${\rho }_s^{\ast }(o)>0.01\Vert V\Vert$	${\rho }_s^{\ast }(o)\le 0.01\Vert V\Vert$
logit lens 신호	${\mathcal{I}}_m^{(l)}(o)$가 전 층에서 낮음	${\mathcal{I}}_m^{(l)}(o)$는 factual과 유사, ${\mathcal{I}}_a^{(l)}(o)$만 낮음
AIE 집중 위치	하위층 MLP (Figure 4 초록)	상위층 attention (Figure 4 주황)
오답의 성격	종종 무의미함, 주어가 상대적으로 무명	그럴듯함, 주어와 강하게 연관
섭동 robustness	0.86 (고치기 어려움)	0.45 (한 걸음 남음)
대응 손실 항	$-{\sum }_{l\in L_m}\log p_m^{(l)}(y\Vert x)$	$-{\sum }_{l\in L_a}\log \frac{p_a^{(l)}(y\Vert x)}{p_a^{(l)}(y^{\prime }\Vert x)}$
실패하는 baseline	DoLa (지식이 없어 디코딩 보정 무력)	MEND (distractor 구별에 가중치 편집 부적합)

프레임워크 다이어그램

flowchart TD
    A["ParaRel many-to-one 질의 약 80K"] --> B["모델별 greedy 예측 채점<br/>정답 prefix면 factual 아니면 hallucinating"]
    B --> C["Logit lens<br/>p z = softmax E LayerNorm z"]
    C --> D["MLP 지표 I_m<br/>subject 토큰 위치"]
    C --> E["Attention 지표 I_a<br/>마지막 토큰 위치"]
    D --> F["전 층 최소 랭킹 rho star of o"]
    F --> G{"rho star vs 0.01 V<br/>Llama 320 · Pythia GPT-J 502"}
    G -->|"초과"| H["Knowledge enrichment hall.<br/>22.1 · 30.2 · 67.3 퍼센트"]
    G -->|"이하"| I["Answer extraction hall.<br/>77.9 · 69.8 · 32.7 퍼센트"]
    E --> I
    H --> J["Causal mediation 3-run patching<br/>IE = y'' - y"]
    I --> J
    J --> K["AIE 히트맵 분리 확인<br/>enrich는 하위층 MLP · extract는 상위층 attention"]
    K --> L["외부 발현 검증<br/>연관강도 robustness 불확실성"]
    L --> M["MHM 손실<br/>MLP 항은 정답 인출 강화 attention 항은 오답 억제"]
    M --> N["총손실 = NLL + lambda x MHM<br/>lambda 1.0 · 층 20 to 25 · lr 1e-4 · 8 epoch"]
    N --> O["Natural Questions Llama 47.6 / 95.5<br/>TruthfulQA GPT-J 49.7 / 95.8"]

재현성 및 신뢰도 평가

종합등급: Evidence B / Reproducibility B

• 근거(Evidence B): 서로 다른 아키텍처의 세 모델에서 동일한 이분법이 재현되고, 무엇보다 분류(logit lens)와 검증(causal mediation)이 방법론적으로 독립이라는 점이 강하다. 여기에 외부 발현(§4.3)과 하류 완화 성능(§5)까지 붙여 네 겹의 수렴 증거를 만들었다. A를 주기 어려운 이유는 (1) 임계값 $0.01|V|$의 민감도 분석 부재, (2) AIE가 히트맵으로만 제시돼 층별 수치·유의성 검정 부재, (3) Table 2 uncertainty의 본문–수치 모순, (4) 완화 실험에 손실 항 개별 ablation·유형별 분해·다중 시드 분산이 모두 없음이다.
• 근거(Reproducibility B): 코드·데이터가 https://github.com/jadeleiyu/lm_hallucination_mechanisms에 공개돼 있고(각주 1), 세 모델 모두 open-weight, ParaRel도 공개, 데이터 구성 규칙이 문장 수준으로 명시되며, 완화 하이퍼파라미터($\lambda =1.0$, $L_m=L_a=[20,\dots ,25]$, lr $10^{-4}$, 8 epoch, batch 4/device)가 Appendix D에 있다. 감점 요인은 (1) 완화 학습/평가 세트의 문항 수 미기재, (2) GPT-4 패러프레이즈 프롬프트·검수 절차 부재, (3) causal mediation의 노이즈 표본 수·질의 수 미명시, (4) baseline 4종이 “공식 구현 기본 설정”이라고만 되어 있어 남는 튜닝 비대칭 가능성이다.

주장별 신뢰도

1. “non-factual hallucination이 enrichment형과 extraction형으로 구별된다” — 신뢰도 높음. logit lens 분류(Figure 2)와 독립적인 causal mediation AIE 분포(Figure 4)가 세 모델에서 일관되게 갈라지고, 외부 특징도 uncertainty를 제외하면 방향이 맞는다.
2. “GPT-J는 enrichment형 다수(67.3%), Llama-2는 extraction형 다수(77.9%)” — 신뢰도 중간. 수치는 명확하나 임계값 $0.01|V|$에 의존하는 파생량이고 민감도 분석이 없다. 다만 45%p 격차는 임계값 이동으로 부호가 뒤집힐 규모는 아니다.
3. “MHM이 두 벤치마크에서 baseline 대비 우수” — 신뢰도 중간~높음. 6개 설정 중 5개에서 effectiveness 1위, specificity도 대부분 92% 이상 유지. 단 Pythia-TruthfulQA는 DoLa 46.6 > MHM 45.9로 역전되고, 단일 런 점 추정이라 격차의 통계적 유의성은 [위치 미확인].
4. “MHM의 이득이 기계론적 표적화에서 온다” — 신뢰도 낮음. SFT 대비 비교(41.8 → 47.6)가 유일한 증거이며 손실 항·층 범위 ablation과 유형별 분해가 모두 없어, “보조 손실의 정규화 효과”라는 대안 설명을 배제하지 못한다.
5. “enrichment hallucination은 예측 불확실성이 더 높다”(§4.3) — 신뢰도 낮음. Table 2의 엔트로피는 enrichment 4.54 < extraction 4.76으로 본문 서술과 방향이 반대다.

추가 확인 사항

• Table 2 uncertainty의 본문–수치 불일치(위 5번): 논문 내부 모순이므로 이 항목은 인용하지 말 것.
• “lower layer MLPs” 명명과 개입 층 $[20,25]$의 괴리: §4.2 결론은 하위층 MLP를 지목하는데 §5의 $L_m$은 2025층이다. Figure 4에서 enrich·MLP 히트맵이 진한 구간은 대략 015층으로 보이므로, MHM이 개입하는 층은 진단이 지목한 층과 다르다. 설명이 논문에 없다.
• §4.2 2번 run의 조건 표기: 본문은 “take those noises with $y^{\prime }<1$ (i.e., … preferring $o$ over $o^{\prime }$)“라고 쓰는데, 괄호 안의 의미는 로그비 기준 $y^{\prime }<0$이다. $y^{\prime }<1$은 오식으로 보인다.
• $\sigma$ 값: 각주 4는 “입력 임베딩 경험적 표준편차의 3배”라고만 하고 절대값을 주지 않는다. 일부 2차 요약이 "$\sigma \approx 0.15$"를 인용하지만 원문 미확인이므로 [위치 미확인].
• 모델 표기: Table 3은 Llama-2-7B-chat을 명시하는데 §3은 “Llama-2 (32 layers, 7B, fine-tuned on instruction following)“로만 쓴다. 분석 대상은 base가 아니라 chat 버전으로 읽는 것이 안전하다.

---

관련 연구 비교 매트릭스

연구	분석 층위	hallucination을 무엇으로 보는가	개입 시점	핵심 차별점
본 논문 (Yu et al., 2024)	MLP·attention 모듈, 층별	fact recall pipeline 2단계 중 한 곳의 고장	학습(보조 손실)	logit lens 분류 + causal patching 검증 + 진단을 그대로 손실로 번역
Transformer Feed-Forward Layers Are Key-Value Memories	FFN 층	(미다룸) 사실 저장 구조	없음(분석)	MLP를 key-value 메모리로 규정 — 본 논문 1단계의 이론적 전제
Do I Know This Entity - Knowledge Awareness and Hallucinations in Language Models	SAE feature	엔티티 인지 여부의 self-knowledge 실패	추론(steering)	개별 feature 수준 인과, 본 논문은 모듈·층 수준
Empty Shelves or Lost Keys - Recall Is the Bottleneck for Parametric Factuality	저장 vs 인출 분리	지식 부재가 아니라 인출 병목	없음(분석)	“빈 선반 vs 잃어버린 열쇠”가 enrichment vs extraction과 직접 대응
How do language models learn facts - Dynamics curricula and hallucinations	학습 동역학	학습 과정에서 창발하는 현상	사전학습 커리큘럼	시간 축 설명, 본 논문은 고정 체크포인트의 공간 축 설명

원자적 인사이트 (Zettelkasten)

• Hallucination은 단일 현상이 아니라 최소 두 개의 기계론적 종(species)이다. 하위층 MLP의 지식 인출 실패(Llama-2 22.1%)와 상위층 attention의 속성 선택 실패(77.9%)는 인과가 서로 다른 층·모듈에 몰려 있고 외부 발현(연관 강도 0.47 vs 1.17, robustness 0.86 vs 0.45)도 다르다. “hallucination rate”라는 단일 지표로 모델을 비교하는 관행은 서로 다른 병목을 뭉개고 있을 가능성이 높다.
• 모델 세대가 올라가면 hallucination의 종 구성이 바뀐다. enrichment형 비율이 GPT-J 67.3%에서 Llama-2 22.1%로 역전된다. 사전학습이 개선되면서 “모르는 것”에서 오는 오류가 “알지만 못 고르는” 오류로 이동한다는 뜻이며, 프런티어 모델에서는 retrieval 보강보다 선택·구별 능력 개선이 더 큰 레버일 수 있다.
• 관측된 attention 고장은 두 원인의 공통 증상이라 진단 신호로 부적합하다. Figure 3은 두 유형 모두 attention의 정답 구별 능력이 factual 대비 낮음을 보인다 — enrichment 실패가 하류 attention 실패를 유발하기 때문이다. 따라서 분기는 반드시 앞 단계인 MLP 신호(${\rho }_s^{\ast }(o)$)에서 이루어져야 한다.
• 완화 방법의 실패 패턴은 그 방법이 겨냥한 병목으로 예측된다. DoLa는 지식 결핍이 지배적인 Natural Questions에서(27.0/69.6), MEND는 distractor 구별이 관건인 TruthfulQA에서 무너진다(33.7/40.5). 완화 기법 선택 시 벤치마크 평균 성적이 아니라 “표적 병목이 무엇인가”를 먼저 물어야 한다.
• effectiveness와 specificity는 반드시 함께 봐야 한다. ICL은 Pythia-NQ에서 specificity 98.5로 최고지만 effectiveness는 22.6이다 — 아무것도 안 고치면 아무것도 안 망가진다. 반대로 MEND는 Llama-2-TruthfulQA에서 specificity 40.5로 붕괴한다. 한 축만 보고하는 완화 논문은 이 trade-off를 숨기고 있을 수 있다.

핵심 용어 정리

용어	정의
non-factual hallucination	세계 지식과 어긋나는 LM 출력. 입력 문서와 어긋나는 unfaithful hallucination과 구별되며 이 논문의 유일한 대상
knowledge enrichment step	하위·중간 층 MLP가 subject 토큰 위치에 엔티티의 의미 속성을 축적하고 마지막 질의 토큰으로 전파하는 단계
answer extraction step	상위 층 self-attention이 축적된 속성 중 질의 관계에 맞는 객체를 선택하는 단계
${\mathcal{I}}_m^{(l)}(o)$ / ${\mathcal{I}}_a^{(l)}(o)$	층 $l$ MLP 출력이 담은 정답 정보량 / attention 출력이 정답을 비정답 평균 대비 부각시킨 정도
${\rho }_s^{\ast }(o)$	전 층 MLP logit lens 분포에서 정답 토큰이 얻은 최소 랭킹. 유형 분류의 기준량
AIE	$\mathrm{IE}=y^{\prime \prime }-y$(단일 hidden state를 정답 선호 상태로 patch했을 때 줄어드는 hallucination 정도)를 질의·노이즈에 평균한 값. Figure 4 히트맵
MHM	Mechanistic Hallucination Mitigation. $\mathcal{L}={\mathcal{L}}_{\mathrm{NLL}}+\lambda {\mathcal{L}}_{\mathrm{MHM}}$로 두 단계를 동시 복원하는 파인튜닝
effectiveness / specificity	학습 질문의 GPT-4 패러프레이즈 정확도 / 원래 맞혔던 남겨 둔 문항의 정답 유지 비율
ParaRel	subject-relation-object 삼항과 수작업 템플릿으로 만든 cloze형 사실 지식 질의 데이터셋(Elazar et al., 2021)
DoLa / MEND	후기–초기 층 로짓 대비 디코딩(Chuang et al., 2023) / 하이퍼네트워크 기반 표적 가중치 편집(Mitchell et al., 2021)

관련 연구

• Transformer Feed-Forward Layers Are Key-Value Memories — FFN을 key-value 메모리로 규정한 고전. knowledge enrichment 단계가 왜 MLP에서 일어나는지의 구조적 전제.
• Do I Know This Entity - Knowledge Awareness and Hallucinations in Language Models — SAE feature 수준에서 “이 엔티티를 아는가”라는 자기 인지 방향을 찾고 조작. enrichment 실패를 feature 해상도로 다시 본 후속 계열.
• Empty Shelves or Lost Keys - Recall Is the Bottleneck for Parametric Factuality — 사실 오류를 “지식 부재(빈 선반)“와 “인출 실패(잃어버린 열쇠)“로 나눈다. enrichment vs extraction 이분법과 거의 일대일 대응하는 독립 증거.
• How do language models learn facts - Dynamics curricula and hallucinations — 사실 지식 형성과 hallucination 발생을 학습 동역학으로 본다. 본 논문의 정적 해부에 시간 축을 더한다.
• The Geometry of Truth - Emergent Linear Structure in LLM Representations of True and False Statements — 진릿값이 표현 공간의 선형 방향으로 창발함을 보인다. logit lens 사영이 왜 의미 있는 신호를 주는지의 기하적 배경.
• Thinking Faithful and Stable - Mitigating Hallucinations in LLMs via Internal Consistency — 층 간 표현 일관성으로 hallucination을 완화. 내부 신호를 쓰지만 파이프라인 단계 구분 없이 전역 일관성에 의존하는 대조군.
• TruthfulQA - Measuring How Models Mimic Human Falsehoods — 본 논문 완화 실험의 두 벤치마크 중 하나. 그럴듯한 distractor 구조가 extraction형 오류를 집중 유발한다.
• Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations — 선형 feature 개입으로 확신에 찬 hallucination을 줄인다. MHM이 학습 시점 개입이라면 이쪽은 추론 시점 개입.

태그

mechanistic-interpretability hallucination logit-lens causal-mediation activation-patching fact-recall-pipeline knowledge-editing XAI LLM신뢰성 EMNLP2024

---

BibTeX

@inproceedings{yu-etal-2024-mechanistic,
    title     = "Mechanistic Understanding and Mitigation of Language Model Non-Factual Hallucinations",
    author    = "Yu, Lei and Cao, Meng and Cheung, Jackie Chi Kit and Dong, Yue",
    editor    = "Al-Onaizan, Yaser and Bansal, Mohit and Chen, Yun-Nung",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2024",
    month     = nov,
    year      = "2024",
    address   = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    url       = "https://aclanthology.org/2024.findings-emnlp.466/",
    doi       = "10.18653/v1/2024.findings-emnlp.466",
    pages     = "7943--7956",
    eprint    = "2403.18167",
    archivePrefix = "arXiv",
    primaryClass  = "cs.CL"
}