어텐션은 설명이 아니다 (Attention is not Explanation)

Digest: attention 가중치를 입력 위에 heatmap으로 얹어 “모델이 이 단어를 보고 판단했다”고 제시하는 관행이 NLP 전반에 퍼져 있지만, 그 관행의 암묵적 전제 — attention 가중치가 곧 입력 단위의 상대적 중요도 — 는 한 번도 정면으로 평가된 적이 없다는 것이 이 논문의 문제의식이다. 핵심 통찰은 “attention이 설명이다”라는 주장을 검증 가능한 두 개의 필요조건으로 번역한 것이다 — (i) attention은 gradient·leave-one-out 같은 대안적 feature importance와 상관해야 하고, (ii) 서로 다른 attention 분포는 서로 다른 예측을 낳아야 한다. 방법은 조건 (i)을 attention과 gradient/LOO 사이의 Kendall $τ$ 로, 조건 (ii)를 counterfactual attention 실험 — 100회 무작위 permutation과, 예측 변화를 TVD $\leq ϵ$ 로 묶은 채 JSD를 최대화하는 adversarial attention 최적화 — 으로 조작화한다. 실험은 SST·IMDB·ADR·20News·AG News·MIMIC Diabetes·MIMIC Anemia(이진 분류), CNN News QA·bAbI 1/2/3(QA), SNLI(NLI) 총 9개 코퍼스에서 BiLSTM·CNN·average 세 encoder와 additive·scaled dot-product 두 attention으로 수행된다. 핵심 수치로 BiLSTM attention과 gradient의 평균 $τ_{g}$ 는 대부분 0.2~~0.5에 머물고(20News class 0에서 0.07, bAbI Task 2에서 $- 0.02$ ), 통계적 유의 비율(Sig. Frac.)도 SST 0.48/0.49·SNLI 0.36~~0.38로 절반 이하다. 결정적 증거는 adversarial 실험이다 — 두 범주분포 사이 JSD의 상한이 0.69인데, 예측을 $ϵ = 0.01$ (QA는 0.05) 이내로 유지한 adversarial 분포의 $ϵ$ -max JSD 질량이 그 상한 근처에 몰린다(Figure 4). Figure 1의 예시에서는 원본이 waste에, adversary가 was에 주목하는데도 출력이 동일하게 0.01이다. 함의는 heatmap을 “이 입력이 출력에 책임이 있다”는 서사로 읽는 것이 최소한 RNN encoder에서는 정당화되지 않는다는 것이다. 한계는 비-순환 average encoder에서는 같은 상관이 0.5~0.79로 급등해 결론이 encoder 의존적이며, MIMIC Diabetes처럼 소수 고정밀 토큰이 존재하는 과제는 예외로 남고, 6개월 뒤 Wiegreffe & Pinter의 “Attention is not not Explanation”이 per-instance adversary의 해석을 정면 반박했다는 점이다.

먼저 이해하기

이 논문은 새 모델을 제안하지 않는다. 이미 널리 쓰이던 해석 관행 하나를 골라 “그 관행이 정당한가”를 실험으로 심문하는 연구다. 심문 대상은 attention heatmap이다. 감성 분석 모델이 리뷰를 “부정”으로 분류했을 때, 사람들은 attention 가중치가 큰 단어(예: waste)에 색을 칠해 보여주며 “모델이 이 단어 때문에 부정이라 판단했다”고 설명해 왔다. Jain & Wallace는 이 서사가 참이려면 무엇이 성립해야 하는지를 먼저 적어 내려간다.

두 가지다. 첫째, attention이 정말 중요도를 재는 것이라면 다른 방식으로 잰 중요도 — 입력에 대한 출력의 gradient, 또는 그 단어를 지웠을 때 출력이 얼마나 변하는가(leave-one-out) — 와 대체로 같은 순위를 매겨야 한다. 둘째, attention이 예측의 근거라면 attention을 전혀 다르게 바꿨을 때 예측도 달라져야 한다. 바꿔도 예측이 그대로라면 원래 heatmap은 “이 단어들 때문”이라는 설명을 독점할 자격이 없다. 논문은 두 번째 조건을 뒤집어 counterfactual 공격으로 만든다 — 예측을 사실상 고정한 채 attention만 최대한 멀리 밀어내는 최적화를 풀면, 원본과 완전히 다른 heatmap이 같은 출력을 내놓는 “동등하게 그럴듯한 설명”이 만들어진다.

결과는 두 조건 모두 일관되게 깨진다는 것이다. 다만 가장 오래 남은 대목은 실패 자체가 아니라 실패의 원인 후보다. BiLSTM encoder에서 $t$ 번째 hidden state $h_{t}$ 는 이미 문장 전체의 정보를 흡수한 벡터이므로, 그 위의 $α_{t}$ 는 “토큰 $t$ 의 중요도”가 아니라 “위치 $t$ 에 모인 혼합 표현의 중요도”에 가깝다. 실제로 문맥 혼합이 없는 average(단어별 projection + ReLU) encoder로 바꾸면 상관이 눈에 띄게 올라간다.

attention weight(어텐션 가중치): 입력 토큰들에 걸린 확률분포 $\overset{α}{^} \in R^{T}$ . 가중합 $h_{α} = \sum_{t} \overset{α}{^}_{t} h_{t}$ 로 문맥 벡터를 만든다.
feature importance(특성 중요도): 어떤 입력이 출력에 얼마나 기여했는지의 수치. 여기서는 gradient 크기 $g_{t}$ 와 leave-one-out 출력 변화 $Δ \overset{y}{^}_{t}$ 두 가지를 쓴다.
Kendall τ(켄달 타우): 두 순위 목록이 얼마나 같은 순서인지 재는 상관계수. 1이면 완전 일치, 0이면 무관.
counterfactual(반사실): “만약 모델이 다른 곳을 봤다면 예측이 달라졌을까”라는 가정법 질문. 이 논문의 두 번째 실험 전체가 여기에 해당한다.
TVD / JSD: 출력 분포 사이의 거리(Total Variation Distance)와 attention 분포 사이의 거리(Jensen-Shannon Divergence). 전자는 작게 묶고 후자는 크게 밀어내는 것이 adversarial 최적화의 목표다.
transparency(투명성): Lipton(2016)의 용어. 여기서는 “주목받은 특성이 출력에 실제로 책임이 있는가”라는 좁은 의미로 사용된다.

왜 중요한가: 이 논문 이전까지 attention heatmap은 논문 figure에서 사실상 무료 통행증이었다. 별도 검증 없이 “우리 모델은 해석 가능하다”의 증거로 쓰였고, 저자들 자신도 각주 1에서 공저자가 과거에 그런 논문을 썼음을 인정한다. 이 연구는 그 통행증을 회수하고, 해석 주장에는 반증 가능한 조작화가 따라붙어야 한다는 최소 기준을 세웠다. 이후 XAI에서 표준이 된 “faithfulness 테스트” 문법 — 대안 설명이 같은 출력을 내는가, 설명을 지우면 출력이 무너지는가 — 의 직접적 조상이다.

먼저 알아둘 용어 표

원 용어	쉬운 설명
attention as explanation	attention 가중치 큰 입력이 출력의 원인이라는 암묵적 해석
adversarial attention	예측은 거의 그대로 두면서 원본 attention과 최대한 다르게 만든 분포
leave-one-out (LOO)	토큰 하나를 지우고 출력이 얼마나 변하는지로 중요도를 재는 방법
Sig. Frac.	인스턴스 중 attention–중요도 상관이 통계적으로 유의한 비율
$ϵ$ -max JSD	출력 변화가 $ϵ$ 이내인 adversary 중 attention 거리가 최대인 값
additive attention	$ϕ (h, Q) = v^{⊤} tanh (W_{1} h + W_{2} Q)$ , Bahdanau 형식
average encoder	순환·합성곱 없이 토큰별 선형 projection + ReLU만 쓰는 비문맥 encoder
contextualized representation	BiLSTM처럼 이웃 정보를 섞어 만든 hidden state. 토큰 단위 귀속을 어렵게 만든다

섹션별 요약

Abstract

attention은 예측 성능 향상과 함께 투명성을 준다고 흔히 홍보된다 — 주목 대상 입력 위의 분포가 상대적 중요도를 전달한다는 것이다. 그러나 attention 가중치와 모델 출력 사이에 어떤 관계가 있는지는 불분명하다. 저자들은 여러 NLP 과제에 걸친 광범위한 실험으로 attention 가중치가 예측에 대한 의미 있는 “설명”을 제공하는 정도를 평가하고, 대체로 그렇지 않다는 결론을 얻는다. 학습된 attention 가중치는 gradient 기반 중요도와 자주 무상관이며, 전혀 다른 attention 분포가 동등한 예측을 산출하도록 만들 수 있다. 따라서 표준 attention 모듈은 의미 있는 설명을 제공하지 않으며 그렇게 취급되어서는 안 된다. 코드는 https://github.com/successar/AttentionExplanation 공개.

왜 이 연구를 하는가?

Bahdanau et al.(2014) 이후 attention은 신경망 NLP의 사실상 기본 부품이 되었고, Li et al.(2016)의 “attention은 신경망 모델의 작동을 설명하는 중요한 방법”이라는 요약이 통념을 대표한다. 저자들은 이 통념에 깔린 가정 — 높은 attention을 받은 입력 단위가 모델 출력에 책임이 있다 — 이 형식적으로 평가된 적이 없다고 지적한다. Lipton(2016)의 transparency 정의를 빌려, 이 논문은 “주목된 특성이 출력의 원인인가”라는 좁고 검증 가능한 질문으로 문제를 좁힌다. 곧 두 개의 경험적 질문이 세워진다.

유도된 attention 가중치는 feature importance 측정치 — 구체적으로 gradient와 leave-one-out — 와 어느 정도 상관하는가?
대안적 attention 가중치(따라서 다른 heatmap/“설명”)는 반드시 다른 예측을 낳는가?

답은 (1) 약하고 비일관적으로만, (2) 아니다 — 사실상 동등한 예측을 내는 adversarial attention 분포를 매우 자주 구성할 수 있다.

Introduction

Figure 1이 논문 전체의 축소판이다. 부정 영화 리뷰에 대해 표준 attentive BiLSTM이 만든 원본 attention $α$ 는 waste에 질량을 몰아준다. 여기서 “모델이 waste 때문에 부정이라 판단했다”고 읽고 싶어진다. 그러나 저자들은 was에 주목하는 전혀 다른 분포 $\tilde{α}$ 를 구성하는데, $f$ 와 $θ$ 를 그대로 둔 채 출력이 동일하게 $0.01$ 이 나온다. 같은 인스턴스에서 attention과 gradient 중요도의 상관은 $τ_{g} = 0.29$ 에 불과하고, $α$ 성분을 임의로 뒤섞으면 출력 차이의 중앙값이 $0.006$ 에 그친다.

저자들이 강조하는 논점은 인식론적이다. 이런 counterfactual 분포가 존재한다면, 원본 heatmap으로 예측을 설명하는 것은 오도적이다 — 대안 분포도 똑같이 그럴듯한 설명이 되어 버리므로, “왜 이 예측이 나왔는가”에 대해 heatmap이 말해 주는 이야기는 유일하지 않다. 결론적으로 저자들은 attention 가중치로 입력 토큰을 “책임이 있는” 것으로 강조하고 그 위에 사후 서사(just-so story)를 쌓는 관행에 대해, 특히 복잡한 encoder에서, 경고한다.

Methods

표기와 구조 (§2): 입력 $x \in R^{T \times ∣ V ∣}$ (위치별 one-hot) → embedding $E$ → encoder $Enc$ → hidden states $h \in R^{T \times m}$ . 유사도 $ϕ (h, Q)$ 가 hidden state와 쿼리(QA의 질문, NLI의 hypothesis 표현)를 스칼라로 사상하고 $\overset{α}{^} = softmax (ϕ (h, Q))$ , 최종 예측 $\overset{y}{^} = σ (θ \cdot h_{α})$ , $h_{α} = \sum_{t} \overset{α}{^}_{t} h_{t}$ .
변형축: encoder는 Bi-RNN(BiLSTM)이 주력이고 비교군으로 CNN과 순서를 무시하는 average 변형(선형 projection + ReLU)을 둔다. 유사도는 additive(Bahdanau)와 scaled dot-product(Vaswani et al., 2017). 본문 표는 additive 기준이며 scaled dot-product 결과는 “comparable”하다고 보고된다.
거리 척도 (§4): 출력 변화는 $TVD (\overset{y}{^}_{1}, \overset{y}{^}_{2}) = \frac{1}{2} \sum_{i} ∣ \overset{y}{^}_{1 i} - \overset{y}{^}_{2 i} ∣$ , attention 차이는 대칭화 KL인 JSD. JSD는 길이와 무관하게 $ln 2 \approx 0.69$ 가 상한이며, 이 상한이 결과 해석의 눈금 역할을 한다.
실험 1 — 상관 (Algorithm 1, §4.1): $g_{t} = \sum_{w} 1 [x_{tw} = 1] \frac{\partial y ^}{\partial x _{tw}}$ 로 gradient 중요도를, $Δ \overset{y}{^}_{t} = TVD (\overset{y}{^} (x_{- t}), \overset{y}{^} (x))$ 로 LOO 중요도를 계산해 $τ_{g}$ , $τ_{l oo}$ 를 잰다. 핵심 설계 결정: attention 모듈에서 계산 그래프를 끊어 gradient가 그 층을 통과하지 않게 한다. 부록 B의 논거는 “heatmap에 표시된 만큼의 attention을 유지한 채 입력을 흔들면 출력이 얼마나 변하는가”가 자연스러운 질문이라는 것이다.
실험 2a — permutation (Algorithm 2, §4.2.1): $\overset{α}{^}$ 성분을 임의 위치로 재배치한 $α^{p}$ 를 100회 만들어 $TVD (\overset{y}{^}^{p}, \overset{y}{^})$ 의 중앙값 $Δ \overset{y}{^}^{m e d}$ 를 취한다. $h$ 는 바꾸지 않는다 — encoder 출력은 고정하고 attention만 흔든다.
실험 2b — adversarial (Algorithm 3, §4.2.2): $k$ 개 분포를 동시에 찾는 제약 최적화. 목적 $f ({α^{(i)}}) = \sum_{i} JSD [α^{(i)}, \overset{α}{^}] + \frac{1}{k ( k - 1 )} \sum_{i < j} JSD [α^{(i)}, α^{(j)}]$ (원본과도 멀고 서로도 다양하게), 제약 $\forall i TVD [\overset{y}{^} (x, α^{(i)}), \overset{y}{^} (x, \overset{α}{^})] \leq ϵ$ . 실제로는 $λ = 500$ 의 hinge 벌점으로 완화해 Adam으로 푼다. 임계값은 분류 $ϵ = 0.01$ , QA $ϵ = 0.05$ (출력 공간이 커서 작은 섭동도 큰 TVD를 만들기 때문). 보고 지표는 $ϵ -max JSD = max_{i} 1 [Δ \overset{y}{^}^{(i)} \leq ϵ] Δ α^{(i)}$ .
모델 세부 (부록 A): embedding 300, BiLSTM hidden 128(bAbI 50/30), $ℓ_{2}$ $λ = 1 0^{- 5}$ , 이진은 sigmoid·나머지 softmax, MLE 손실, PyTorch 기본값 Adam. CNN은 kernel [1,3,5,7] × 64 filter로 hidden 256, average는 projection 256 + ReLU. 토큰화 spaCy, OOV <unk>, 숫자 포함 단어 qqq. 사전학습 embedding은 SST·IMDB·20News·CNN에 FastText, AG News·SNLI에 GloVe 840B, MIMIC은 discharge summary로 학습한 Gensim embedding.

발견 (Findings)

상관은 대체로 중간 이하다. BiRNN encoder 기준 관측 밀도의 중심이 대부분 코퍼스에서 0.5 언저리 또는 그 아래다(Figure 2). 유의 비율은 문서 길이의 함수여서, MIMIC(평균 1,858/2,188 토큰)과 CNN QA(761)에서 Sig. Frac.이 1.00에 가까운 것은 상관이 강해서가 아니라 표본이 커서다.
비교 기준선이 결정적이다. LOO와 gradient는 서로 간에는 BiLSTM attention과의 상관보다 각각 $> 0.2$ ( $τ_{l oo}$ ), $\sim 0.25$ ( $τ_{g}$ ) 더 높게 일치한다(Figure 6·7). “두 중요도 척도가 원래 서로 안 맞는다”는 반론이 성립하지 않으며, 유독 attention만 겉돈다.
encoder가 결론을 바꾼다. average(feedforward projection) encoder에서는 attention–LOO 상관이 코퍼스 평균 약 $0.375$ 포인트 더 높다(Figure 8). Table 2의 Grad(Average) 열은 0.50~0.79로 BiLSTM 열의 두 배 안팎이다. 저자들은 이를 “낮은 상관이 단순 잡음이 아니라는 증거”로 읽는다 — 잡음이라면 encoder를 바꾼다고 올라갈 이유가 없다.
permutation이 출력을 잘 흔들지 못한다. max attention이 큰(heatmap이 소수 토큰을 강하게 지목하는) 인스턴스 중에도 $Δ \overset{y}{^}^{m e d}$ 가 작은 사례가 많다(Figure 3). heatmap의 뾰족함은 그 토큰의 인과적 필요조건이 아니다. 뾰족하면 adversary를 찾기 어려울 것이라는 직관도 Figure 5에서 음의 추세로만 약하게 실현된다.
adversary는 상한 근처까지 간다. Figure 4에서 $ϵ$ -max JSD 질량이 상한 0.69 쪽으로 쏠린다 — 예측을 거의 건드리지 않으면서 “최대로 다른” attention을 자주 찾을 수 있다는 뜻이다. 부록 E 예시의 출력 변화는 0.001~0.006 수준이다.
예외는 소수 고정밀 토큰이 있는 과제다. MIMIC Diabetes 양성 클래스에서는 attention 섭동이 출력을 크게 바꾸고 adversarial JSD가 낮다. 저자 표현으로 “규칙이 아니라 예외(the exception rather than the rule)“이며, ADR에서도 비슷한 패턴이 나타난다.

Results

Table 1(구성·성능): 9개 코퍼스의 BiLSTM 기준 test 성능은 SST 0.81, IMDB 0.88, ADR 0.61, 20News 0.94, AG News 0.96, Diabetes 0.79, Anemia 0.92, CNN QA 0.64, bAbI 1/2/3 1.0/0.65/0.64, SNLI 0.78(분류 F1, QA accuracy, NLI micro-F1). 실패를 논하는 대상이 “제대로 작동하는 모델”임이 먼저 확보된다. CNN·average encoder는 분류에서는 비슷하나 QA에서는 현저히 나쁘다.
Table 2(상관): BiLSTM $τ_{g}$ 평균이 SST 0.34/0.36, IMDB 0.44/0.43, 20News 0.07/0.21, AG News 0.36/0.42, SNLI 0.31~~0.33, CNN 0.24, bAbI 2 $- 0.02$ . 같은 데이터셋의 Grad(Average)는 SST 0.61/0.60, 20News 0.79/0.75, AG News 0.78/0.76, SNLI 0.57~~0.59로 확연히 높다. $τ_{l oo}$ (BiLSTM)는 대체로 $τ_{g}$ 보다 더 낮다(SST 0.27/0.32, SNLI class 0에서 0.16). Sig. Frac.은 SST 0.48/0.49, 20News class 0 0.37, bAbI 2 0.27, SNLI 0.36~~0.38로 절반 이하인 반면 MIMIC 두 과제와 IMDB·CNN은 0.98~~1.00이다.
counterfactual: permutation(Figure 3)과 adversarial(Figure 4·5) 모두에서 예측 불변성과 attention 가변성이 광범위하게 공존하며, SNLI·SST·bAbI 1처럼 짧은 입력에서도 상한 근처 JSD가 관찰된다.
부록 C(척도 검증): gradient와 LOO의 상호 상관이 attention–LOO보다 일관되게 높다(SNLI가 유일한 예외). Kendall $τ$ 가 무관한 다수 토큰의 잡음을 포함한다는 한계를 저자들이 인정하되, 그 잡음은 gradient–LOO 상관도 똑같이 눌러야 하므로 attention만 낮게 나오는 현상을 설명하지 못한다고 반박한다.

Discussion

이론적 의의

이 논문의 이론적 기여는 결과가 아니라 문법이다. “X는 설명이다”라는 주장을 반증 가능한 형태로 바꾸는 두 템플릿을 제공한다. 하나는 수렴 타당도(convergent validity) — 독립적으로 정의된 다른 중요도 척도와 순위가 맞는가. 다른 하나는 반사실 유일성(counterfactual uniqueness) — 같은 출력을 내는 대안 설명이 존재하는가. 두 번째가 특히 강력한데, 대안 설명이 하나라도 존재하면 원래 설명은 “충분(sufficient)“할 수는 있어도 “필요”하거나 “유일”할 수 없기 때문이다. 저자들도 §6에서 이 구분을 언급하며, 여러 그럴듯한 설명이 공존한다면 모델은 그 전부를 강조해야 한다고 주장한다.

두 번째 함의는 문맥 혼합이 귀속을 파괴한다는 것이다. BiLSTM의 $h_{t}$ 는 위치 $t$ 의 토큰이 아니라 그 토큰을 중심으로 문장 전체가 섞인 표현이므로, $α_{t}$ 가 크다는 사실은 “ $t$ 번째 단어가 중요하다”가 아니라 “위치 $t$ 에 모인 혼합 정보가 중요하다”만을 말한다. average encoder에서 상관이 급등하는 것이 이 해석의 직접적 지지 증거다. 이 통찰은 Transformer 시대에도 살아남아 attention rollout·attribution 계열 연구의 출발점이 되었다.

Discussion Points

핵심 반박은 “adversary가 모델이 아니다”라는 점이다. Wiegreffe & Pinter(2019, arXiv 1908.04626, EMNLP)는 이 논문의 adversary가 학습된 모델의 산물이 아니라 인스턴스별로 사후 최적화된 벡터라고 지적한다. 그들은 네 개의 대안 테스트 — 균등 가중치 baseline, 다중 random seed 기반 분산 캘리브레이션, 사전학습 모델의 frozen weight를 쓰는 진단 프레임워크, end-to-end adversarial attention 학습 프로토콜 — 를 제안하고, “신뢰할 만한 adversarial 분포를 찾을 수 있는 경우조차 그것들이 단순 진단에서는 잘 작동하지 않는다”고 보고한다. 흥미롭게도 Jain & Wallace도 §6에서 이 반론을 선제적으로 인정한다(“these adversarial weights may themselves be unlikely under the attention module parameters”). 두 논문의 진짜 쟁점은 실험 결과가 아니라 “설명”의 정의 — 존재론적 가능성(가능한가)이냐, 모델 분포상의 실현 가능성(그 모델이 그렇게 할 법한가)이냐 — 이다.
attention이 설명이 아니다라는 제목은 결과보다 넓다. 실제로 확립된 것은 “BiRNN encoder 위의 단일 additive attention은 gradient/LOO 순위와 잘 안 맞고 per-instance counterfactual에 취약하다”이다. average encoder에서 $τ$ 가 0.79까지 올라가는 결과가 같은 표 안에 있는데도 제목에 반영되지 않는다. “attention은 문맥 혼합 encoder 위에서 토큰 귀속이 아니다”로 읽는 편이 정확하다.
비교 기준(gradient·LOO)의 지위가 미묘하다. 저자들도 §6에서 이들이 ground truth가 아님을 인정한다. 그렇다면 낮은 상관은 attention의 실패일 수도, 기준의 실패일 수도 있다. 논문이 이 딜레마를 넘는 방식은 “gradient와 LOO는 서로 잘 맞는데 attention만 겉돈다”는 삼각 측량(Figure 6·7)이며, 이 논증이 상관 실험 전체를 지탱한다 — 상관 파트는 counterfactual 파트보다 논증 강도가 한 단계 낮다. 더 근본적으로, “설명”의 소비자는 사람인데 이 논문의 지표는 전부 모델 내부 양(gradient, TVD, JSD)이다. “설명으로서 쓸모없다”와 “인과적 귀속이 아니다”는 다른 명제이며, 증명된 것은 후자다.
예외 사례가 처방을 담고 있다. MIMIC Diabetes 양성 클래스처럼 소수 고정밀 토큰이 라벨을 결정하는 구조에서는 attention 섭동이 출력을 실제로 무너뜨린다 — 즉 “attention이 설명이 되는 조건”은 증거가 희소하고 국소적일 때다. 하드/스파스 attention(Lei et al., 2016; Peters et al., 2018)이나 human rationale tying(Bao et al., 2018)이 §5에서 유망한 방향으로 언급되는 이유다.

실험 결과 상세

표 1 — 평가 코퍼스 구성과 BiLSTM 기준 성능 (Table 1)

데이터셋	과제	$∣ V ∣$	평균 길이	Train (클래스별)	Test (클래스별)	Test 성능
SST	이진 감성	16,175	19	3,034 / 3,321	863 / 862	0.81
IMDB	이진 감성	13,916	179	12,500 / 12,500	2,184 / 2,172	0.88
ADR Tweets	약물 부작용 언급 탐지	8,686	20	14,446 / 1,939	3,636 / 487	0.61
20 Newsgroups	Hockey vs Baseball	8,853	115	716 / 710	151 / 183	0.94
AG News	World vs Business	14,752	36	30,000 / 30,000	1,900 / 1,900	0.96
Diabetes (MIMIC)	ICD9 당뇨 라벨 유무	22,316	1,858	6,381 / 1,353	1,295 / 319	0.79
Anemia (MIMIC)	급성 vs 만성 빈혈	19,743	2,188	1,847 / 3,251	460 / 802	0.92
CNN News	cloze-style QA	74,790	761	380,298	3,198	0.64
bAbI Task 1 / 2 / 3	1·2·3개 supporting fact QA	40	8 / 67 / 421	10,000	1,000	1.0 / 0.65 / 0.64
SNLI	3-way NLI	20,982	14	182,764 / 183,187 / 183,416	3,219 / 3,237 / 3,368	0.78

지표는 분류 F1, QA accuracy, NLI micro-F1. 길이는 토큰 단위.

표 2 — attention과 feature importance의 Kendall $τ$ (Table 2, 평균 ± 표준편차 / 유의 비율)

데이터셋	클래스	Gradient (BiLSTM) $τ_{g}$	Sig. Frac.	Gradient (Average) $τ_{g}$	Sig. Frac.	LOO (BiLSTM) $τ_{l oo}$	Sig. Frac.
SST	0	0.34 ± 0.20	0.48	0.61 ± 0.20	0.87	0.27 ± 0.19	0.33
SST	1	0.36 ± 0.21	0.49	0.60 ± 0.21	0.83	0.32 ± 0.19	0.40
IMDB	0	0.44 ± 0.06	1.00	0.67 ± 0.05	1.00	0.34 ± 0.07	1.00
IMDB	1	0.43 ± 0.06	1.00	0.68 ± 0.05	1.00	0.34 ± 0.07	0.99
ADR Tweets	0	0.47 ± 0.18	0.76	0.73 ± 0.13	0.96	0.29 ± 0.20	0.44
ADR Tweets	1	0.49 ± 0.15	0.85	0.72 ± 0.12	0.97	0.44 ± 0.16	0.74
20News	0	0.07 ± 0.17	0.37	0.79 ± 0.07	1.00	0.06 ± 0.15	0.29
20News	1	0.21 ± 0.22	0.61	0.75 ± 0.08	1.00	0.20 ± 0.20	0.62
AG News	0	0.36 ± 0.13	0.82	0.78 ± 0.07	1.00	0.30 ± 0.13	0.69
AG News	1	0.42 ± 0.13	0.90	0.76 ± 0.07	1.00	0.43 ± 0.14	0.91
Diabetes	0	0.42 ± 0.05	1.00	0.75 ± 0.02	1.00	0.41 ± 0.05	1.00
Diabetes	1	0.40 ± 0.05	1.00	0.75 ± 0.02	1.00	0.45 ± 0.05	1.00
Anemia	0	0.47 ± 0.05	1.00	0.77 ± 0.02	1.00	0.46 ± 0.05	1.00
Anemia	1	0.46 ± 0.06	1.00	0.77 ± 0.03	1.00	0.47 ± 0.06	1.00
CNN QA	전체	0.24 ± 0.07	0.99	0.50 ± 0.10	1.00	0.20 ± 0.07	0.98
bAbI 1	전체	0.25 ± 0.16	0.55	0.72 ± 0.12	0.99	0.16 ± 0.14	0.28
bAbI 2	전체	−0.02 ± 0.14	0.27	0.68 ± 0.06	1.00	−0.01 ± 0.13	0.27
bAbI 3	전체	0.24 ± 0.11	0.87	0.61 ± 0.13	1.00	0.26 ± 0.10	0.89
SNLI	0	0.31 ± 0.23	0.36	0.59 ± 0.18	0.80	0.16 ± 0.26	0.20
SNLI	1	0.33 ± 0.21	0.38	0.58 ± 0.19	0.80	0.36 ± 0.19	0.44
SNLI	2	0.31 ± 0.21	0.36	0.57 ± 0.19	0.80	0.34 ± 0.20	0.40

표 3 — 삼각 측량: 무엇이 무엇과 더 잘 맞는가 (Figure 6·7·8 + §4.1)

비교 쌍	encoder	평균 상관 격차	함의
(LOO vs Gradient) − (Attention vs LOO)	BiLSTM + tanh attention	$> 0.2$ $τ_{l oo}$	두 중요도 척도는 서로 잘 맞는데 attention만 겉돈다
(LOO vs Gradient) − (Attention vs Gradient)	BiLSTM + tanh attention	$\sim 0.25$ $τ_{g}$	위와 같은 결론이 gradient 축에서도 재현
(Attention vs LOO, Average) − (Attention vs LOO, BiLSTM)	Average vs BiLSTM	$\sim 0.375$	낮은 상관은 잡음이 아니라 문맥 혼합의 결과

표 4 — adversarial attention 실제 예시와 출력 변화 (부록 E)

데이터셋	원본이 주목한 토큰	adversary가 주목한 토큰	$Δ \overset{y}{^}$
SST	`disappointing`	`that`	0.005
IMDB	`fantastic`, `best`, `great`	`everything`	0.004
20 Newsgroups	`important`	`runs`	0.001
AG News	`motors`, `daimlerchrysler`, `automakers`	`their`	0.006
SNLI	premise의 `standing`, `bike`	premise의 `shirt`	0.002
CNN QA	`@entity13`(전반부)	`@entity13`(후반부)	0.005

ADR 0.002, bAbI Task 1 0.003도 같은 부록에 있다. Figure 1의 대표 예시(부정 영화 리뷰)에서는 waste → was로 attention이 이동해도 출력이 동일하게 0.01이며, 해당 인스턴스의 $τ_{g}$ 는 0.29, 무작위 permutation의 출력 차이 중앙값은 0.006이다.

프레임워크 다이어그램

flowchart TD
    A["입력 x 원-핫 T x V<br/>embedding E 로 x_e 생성"] --> B["encoder Enc<br/>BiLSTM 또는 CNN 또는 Average"]
    B --> C["hidden states h in R T x m"]
    C --> D["유사도 phi h Q<br/>additive 또는 scaled dot-product"]
    D --> E["attention alpha-hat = softmax phi"]
    C --> F["가중합 h_alpha = sum alpha_t h_t"]
    E --> F
    F --> G["Dec theta<br/>예측 y-hat"]
    G --> H["검증 축 1<br/>상관"]
    G --> I["검증 축 2<br/>반사실"]
    H --> J["gradient 중요도 g_t<br/>attention 층에서 그래프 절단"]
    H --> K["leave-one-out 중요도<br/>TVD y x_-t vs y x"]
    J --> L["Kendall tau_g 측정"]
    K --> M["Kendall tau_loo 측정"]
    I --> N["permutation 100회<br/>h 고정 alpha 만 섞음"]
    I --> O["adversarial 최적화<br/>TVD 를 epsilon 이하로 묶고 JSD 최대화"]
    N --> P["중앙값 출력 변화 delta y med"]
    O --> Q["epsilon-max JSD<br/>상한 0.69 근처에 질량"]
    L --> R["결론 1<br/>BiLSTM 상관 약함 0.2 to 0.5<br/>Average 는 0.5 to 0.79"]
    M --> R
    P --> S["결론 2<br/>다른 heatmap 같은 예측<br/>설명의 유일성 붕괴"]
    Q --> S

재현성 및 신뢰도 평가

종합등급: Evidence B / Reproducibility A

근거(Evidence B): 9개 코퍼스 × 3개 encoder × 2개 유사도 × 2개 중요도 척도라는 넓은 매트릭스를 갖췄고 이진 분류·QA·NLI로 과제 유형도 분산했다. 특히 음성 결과 논문의 취약점(모델이 원래 나빴을 가능성)을 Table 1의 test 성능으로 미리 차단했고, “낮은 상관은 척도끼리 원래 안 맞기 때문”이라는 반론을 gradient–LOO 상호 상관(Figure 6·7)으로, “낮은 상관은 잡음”이라는 반론을 average encoder 대조(Figure 8)로 반박했다. 대조군 설계가 최대 강점이다. A가 아닌 이유는 셋이다. 첫째, adversarial 분포가 학습된 attention 모듈의 파라미터 분포에서 실현 가능한지 검증되지 않았고(저자들도 §6에서 인정), 이 공백이 곧 Wiegreffe & Pinter의 반박 지점이 되었다. 둘째, random seed에 따른 attention 자체의 분산이 측정되지 않아 “다른 attention이 같은 예측”이라는 관찰의 기준선이 없다. 셋째, 인간 평가가 전무해 “설명”이라는 용어의 사용 범위가 실험이 지지하는 범위보다 넓다.
근거(Reproducibility A): 코드가 https://github.com/successar/AttentionExplanation에 공개되었고, 모든 데이터셋·encoder·실험 유형의 그래프를 브라우징할 수 있는 인터랙티브 인터페이스(https://successar.github.io/AttentionExplanation/docs/)까지 제공한다. 부록 A에 embedding 300, hidden 128(bAbI 50/30), $ℓ_{2}$ $λ = 1 0^{- 5}$ , Adam 기본값, CNN kernel [1,3,5,7] × 64, 토큰화·OOV 처리, 데이터셋별 사전학습 embedding이 명시되고, 본문에 adversarial 완화 계수 $λ = 500$ 과 임계값 $ϵ = 0.01/0.05$ 가 있다. 감점 요인은 데이터 접근성 — MIMIC-III는 credentialed access가 필요하고 ADR Tweets는 트윗 재수집(hydration)에 의존해 원본 분할 복원이 어렵다. adversary 개수 $k$ 도 확인되지 않는다([위치 미확인]).

주장별 신뢰도

“BiRNN encoder에서 attention과 gradient/LOO 중요도의 상관은 약하고 비일관적이다” — 신뢰도 높음. Table 2에 21개 (데이터셋 × 클래스) 행 전체가 제시되고 20News class 0의 0.07, bAbI 2의 $- 0.02$ 같은 극단값이 포함되며 Sig. Frac.으로 유의성까지 병기했다.
“예측을 사실상 바꾸지 않으면서 전혀 다른 attention 분포를 구성할 수 있다” — 신뢰도 높음. 최적화 문제(식 1·2)와 알고리즘이 명시되고 $ϵ$ 임계값이 고정되며, 부록 E에 실제 문장·토큰 수준 예시와 $Δ \overset{y}{^}$ 가 8개 데이터셋에 대해 제시된다.
“결론이 encoder에 의존한다 — average encoder에서는 상관이 크게 높다” — 신뢰도 높음. Table 2의 Grad(Average) 열(0.50~0.79)과 Figure 8의 $\sim 0.375$ 격차가 같은 방향이다. 다만 함의(문맥 혼합이 원인이라는 인과 해석)는 상관적 증거이며 직접 개입 실험은 없다.
“따라서 표준 attention 모듈은 의미 있는 설명을 제공하지 않는다” — 신뢰도 중간. 실험이 지지하는 것은 “counterfactual 유일성이 없다”와 “gradient/LOO 순위와 안 맞는다”이며, “설명이 아니다”로 가려면 설명의 정의에 대한 규범적 전제가 추가로 필요하다. Wiegreffe & Pinter가 정확히 이 전제를 문제 삼았다.
“adversarial attention이 원본과 동등하게 그럴듯한 설명이다” — 신뢰도 낮음. 저자들도 §6에서 “these adversarial weights may themselves be unlikely under the attention module parameters”라고 유보하며 실현 가능성 척도가 없다. MIMIC Diabetes·ADR을 예외로 지목한 대목도 Figure 3·4의 정성적 서술에 의존하고 정량화 표는 없다([위치 미확인]).

추가 확인 사항

본문–표 불일치: §3은 ADR 데이터셋을 “약 8,000개 트윗”이라고 서술하지만, Table 1의 train(14,446 + 1,939)과 test(3,636 + 487)를 합하면 20,508이다. 원 데이터셋 규모와 실제 사용 분할이 다를 가능성이 크다.
§4.1 문장의 근거 어긋남: “gradients in ‘average’ embedding based models show very high degree of correspondence with attention weights”라는 문장이 곧바로 인용하는 수치( $\sim 0.375$ )는 gradient가 아니라 LOO 상관 격차다(Figure 8 캡션과 일치). 결론 방향은 같지만 문장 안에서 척도가 바뀐다.
**adversary 개수 $k$ **와 optimize 반복 횟수가 본문·부록에 없다([위치 미확인]). JSD 상한 0.69는 자연로그 기준 $ln 2$ 이므로 log base 2 구현과 축을 비교할 때 밑을 통일해야 한다.
본 노트의 표는 ACL Anthology PDF(N19-1357, pp. 3543–3556)를 페이지 이미지로 판독해 재구성한 것이다. Table 2는 21행 × 6열이라 셀 정렬 오류 여지가 있어 Grad(BiLSTM)·Grad(Average)·LOO 세 열을 각각 교차 확인했으며, 20 Newsgroups train 크기(716 / 710)는 폰트가 작아 판독 여유가 크지 않다.

연구	검증 대상	반사실 구성 방식	”설명” 판정 기준	핵심 차별점
Attention is not Explanation (본 논문)	BiRNN + additive attention	per-instance 최적화 adversary (모델 재학습 없음)	대안 설명의 부재(유일성)	attention–gradient/LOO 상관과 counterfactual 불변성을 동시에 측정, 9개 코퍼스
Attention is not not Explanation (Wiegreffe & Pinter, EMNLP 2019, arXiv 1908.04626)	동일 모델군	end-to-end 학습된 adversarial attention 모델 + frozen-weight 진단	모델 분포 하 실현 가능성 + 균등 가중치 대비 유용성	균등 baseline·seed 분산 캘리브레이션 추가, adversary가 진단 테스트를 통과하지 못함을 보임
LIME- “Why Should I Trust You”- Explaining the Predictions of Any Classifier	임의 분류기(모델 무관)	국소 섭동 샘플링 후 선형 대리모델 적합	국소 충실도(local fidelity)	내부 구조를 보지 않는 post hoc 설명. 본 논문은 그 반대편 — 모델 내부 양이 설명이라는 주장을 검증
SHAP - A Unified Approach to Interpreting Model Predictions	임의 모델	특성 부분집합 조합의 기여 배분	공리(국소 정확성·일관성) 만족	설명에 공리적 유일성을 부여. 본 논문이 지적한 “대안 설명 다수 존재” 문제를 정의 차원에서 회피
Language Models Don’t Always Say What They Think - Unfaithful Explanations in Chain-of-Thought Prompting	LLM의 CoT 자연어 설명	프롬프트에 편향 신호를 심는 개입	설명이 실제 결정 요인을 반영하는가	같은 faithfulness 문제를 attention이 아닌 생성된 설명으로 옮긴 후속 세대

원자적 인사이트 (Zettelkasten)

해석 주장은 반증 가능한 두 조건으로 번역될 수 있다. (i) 독립적으로 정의된 다른 중요도 척도와의 수렴, (ii) 같은 출력을 내는 대안 설명의 부재. 이 논문은 두 조건 모두에서 attention을 탈락시켰고, 이후 XAI 평가의 사실상 표준 문법이 되었다. 새로운 “설명” 방법을 볼 때마다 이 두 질문을 먼저 던지면 대부분의 과장이 걸러진다.
문맥을 섞는 encoder 위에서 토큰 단위 귀속은 원리적으로 불가능하다. BiLSTM $h_{t}$ 는 문장 전체가 혼합된 벡터이므로 $α_{t}$ 는 토큰 $t$ 가 아니라 위치 $t$ 의 혼합 표현에 걸린 가중치다. 실제로 비문맥 average encoder로 바꾸면 attention–LOO 상관이 코퍼스 평균 $\sim 0.375$ 포인트 올라간다. 이 논거는 Transformer의 다층 attention에도 그대로 적용되며, attention rollout·attribution 계열이 필요해진 이유다.
음성 결과 논문의 설득력은 “대조군을 몇 겹 쌓았는가”로 결정된다. 이 논문은 (a) 모델이 원래 나빴을 가능성을 Table 1 성능으로, (b) 척도끼리 원래 안 맞을 가능성을 gradient–LOO 상호 상관으로, (c) 상관이 잡음일 가능성을 average encoder 대조로 각각 차단했다. 세 겹의 선제 방어가 없었다면 “attention이 아니라 측정이 문제”로 반박당했을 것이다.
“가능하다”와 “일어날 법하다”는 다른 주장이며, 논쟁은 대개 그 틈에서 벌어진다. Jain & Wallace는 예측을 $ϵ$ 이내로 유지하는 adversarial attention이 존재함을 보였고, Wiegreffe & Pinter는 그것이 학습된 모델에서 나올 법한가를 물었다. adversarial robustness·jailbreak·red-teaming 논쟁이 반복적으로 이 축 위에서 갈린다 — 위협 모델을 존재론적으로 잡을지 분포적으로 잡을지 먼저 합의해야 한다.
설명이 성립하는 조건은 증거의 희소성과 국소성이다. MIMIC Diabetes 양성 클래스처럼 소수 고정밀 토큰이 라벨을 결정하는 구조에서만 attention 섭동이 출력을 실제로 무너뜨린다. 뒤집어 말하면, 증거가 문서 전체에 분산된 과제에서 heatmap을 설명으로 쓰는 것은 구조적으로 실패한다. 참고로 문서 길이가 19토큰(SST)에서 2,188토큰(Anemia)까지 흩어져 있어도 동일 축에서 비교할 수 있는 것은 JSD가 $ln 2$ 로 유계이기 때문이다.

핵심 용어 정리

용어	정의
attention weight $\overset{α}{^}$	$softmax (ϕ (h, Q)) \in R^{T}$ . 문맥 벡터 $h_{α} = \sum_{t} \overset{α}{^}_{t} h_{t}$ 를 만드는 입력 위 확률분포
additive attention	$ϕ (h, Q) = v^{⊤} tanh (W_{1} h + W_{2} Q)$ (Bahdanau et al., 2014). 본문 주 결과의 기본 설정
scaled dot-product attention	$ϕ (h, Q) = hQ / m$ (Vaswani et al., 2017). 결과가 additive와 comparable하다고 보고됨
$τ_{g}$ / $τ_{l oo}$	attention과 gradient 크기 / leave-one-out 출력 변화 사이의 Kendall $τ$ 상관
gradient 중요도 $g_{t}$	$∥ \sum_{w} 1 [x_{tw} = 1] \partial \overset{y}{^} / \partial x_{tw} ∥$ . attention 모듈에서 계산 그래프를 끊고 계산
leave-one-out $Δ \overset{y}{^}_{t}$	토큰 $t$ 를 제거한 입력 $x_{- t}$ 의 출력과 원본 출력 사이 TVD
TVD / JSD	출력 분포 변화량(adversarial 제약 $\leq ϵ$ 의 대상) / attention 분포 간 거리( $ln 2 \approx 0.69$ 상한)
$ϵ$ -max JSD	출력 변화가 $ϵ$ 이내인 adversary 중 최대 JSD. Figure 4·5의 주 지표
Sig. Frac.	인스턴스 중 attention–중요도 상관이 통계적으로 유의한 비율. 문서 길이에 강하게 의존
average encoder	순환·합성곱 없이 토큰별 선형 projection(256) + ReLU만 쓰는 비문맥 encoder. 대조군
transparency	Lipton(2016) 정의. 여기서는 “주목된 특성이 출력에 책임이 있는가”의 좁은 의미

BibTeX

@inproceedings{jain-wallace-2019-attention,
  title     = {Attention is not {E}xplanation},
  author    = {Jain, Sarthak and Wallace, Byron C.},
  booktitle = {Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)},
  month     = jun,
  year      = {2019},
  address   = {Minneapolis, Minnesota},
  publisher = {Association for Computational Linguistics},
  pages     = {3543--3556},
  doi       = {10.18653/v1/N19-1357},
  url       = {https://aclanthology.org/N19-1357},
  eprint    = {1902.10186},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CL}
}

어텐션은 설명이 아니다 (Attention is not Explanation)

어텐션은 설명이 아니다 (Attention is not Explanation)

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX