선형 표현 가설과 대규모 언어모델의 기하학 (Linear Representation Hypothesis / Causal Inner Product)

Digest: “고수준 개념은 표현 공간에서 방향으로 인코딩된다”는 linear representation hypothesis는 probing·steering 문헌 전체가 딛고 선 전제이지만, 정작 그 문장이 무엇을 주장하는지는 정의된 적이 없다. 저자들은 이 표현이 실제로는 세 가지 다른 의미 — 반사실 쌍의 차이가 공통 subspace를 이룬다, 개념 값이 linear probe로 측정된다, 벡터를 더해 개입할 수 있다 — 로 혼용된다고 지적하고, counterfactual 언어로 정의 두 개(출력 공간의 $\overset{γ}{ˉ}_{W}$ , 입력 공간의 $\overset{ˉ}{λ}_{W}$ )만 세우면 나머지 용법이 정리로 따라 나옴을 증명한다. 더 근본적인 문제는 기하 자체가 미결정이라는 점이다. $P (y ∣ x) \propto exp (λ^{⊤} γ)$ 는 $γ \leftarrow A γ + β, λ \leftarrow A^{- ⊤} λ$ 에 불변이므로 표현은 가역 아핀 변환까지만 식별되고, cosine similarity 같은 유클리드 기하는 근거가 없다. 저자들은 “인과적으로 분리 가능한 개념은 직교해야 한다”를 공리로 삼아 causal inner product를 정의하고, Assumption 3.3 아래 그것이 $⟨ \overset{γ}{ˉ}, \overset{γ}{ˉ}^{'} ⟩_{C} = \overset{γ}{ˉ}^{⊤} Cov (γ)^{- 1} \overset{γ}{ˉ}^{'}$ 형태의 대각행렬 $D$ 로 인덱싱된 족임을 보인다(Thm 3.4). 이 내적의 Riesz 동형사상이 $\overset{ˉ}{λ}_{W} = Cov (γ)^{- 1} \overset{γ}{ˉ}_{W}$ 이며, $A = Cov (γ)^{- 1/2}$ 로 whitening하면 두 표현이 같은 벡터가 된다(Thm 3.2). 실험은 LLaMA-2 7B에서 BATS 3.0 기반 22 + 언어쌍 4 + 빈도 1 = 27개 개념을 단일 토큰 counterfactual word pair로 구성한다. 반사실 쌍의 차이는 무작위 쌍보다 $\overset{γ}{ˉ}_{W}$ 에 잘 정렬되고(Fig 2), 개념쌍 내적 히트맵은 대부분 0 근처이며(Fig 3), French⇒Spanish 방향은 문맥 언어를 가르지만 off-target인 male⇒female 방향은 무예측력이고(Fig 4), $λ + α \overset{ˉ}{λ}_{C}$ 개입은 $lo g \frac{P ( queen )}{P ( king )}$ 만 선형으로 올리고 $lo g \frac{P ( King )}{P ( king )}$ 은 건드리지 않는다( $α \leq 0.4$ , Fig 5). 한계는 개념이 counterfactual pair 없이 정의되지 않고(thing⇒part는 선형 표현 미관측), 이진 개념 27개·단일 모델에 국한되며, 중간 층과 파라미터는 다루지 않고, causal inner product가 $D$ 선택만큼 비유일하다는 점이다.

먼저 이해하기

언어모델 안에서 “여성성”, “프랑스어”, “과거형” 같은 개념이 각각 하나의 화살표(방향 벡터)로 저장되어 있다는 믿음이 최근 해석가능성 연구의 거의 모든 도구를 떠받친다. probe로 내부 상태를 읽는 것도, steering vector로 모델을 미는 것도, word2vec 시절의 king − man + woman ≈ queen도 전부 이 믿음의 파생물이다. 이 논문은 단순한 질문을 던진다. “개념이 방향이다”는 정확히 무엇을 주장하는가?

문헌을 뜯어보면 사람들은 서로 다른 세 가지를 같은 말로 부르고 있었다. 여러 예시 쌍의 차이 벡터가 공통 부분공간에 놓인다는 주장(subspace), 어떤 방향으로 사영하면 개념 값의 확률이 읽힌다는 주장(measurement), 그 방향을 더하면 개념만 바뀐다는 주장(intervention)이다. 이 셋은 논리적으로 별개이며, 앞의 둘은 출력(단어) 공간에서, 셋째는 입력(문맥) 공간에서 성립하는 다른 대상이다. 논문은 이 둘만 정의로 세우고 나머지를 정리로 유도한다.

여기서 더 근본적인 문제가 나온다. 방향을 말하려면 각도와 길이가 있어야 하는데, 언어모델 표현 공간에는 그런 것이 원래 없다. 모델이 계산하는 것은 $P (y ∣ x) \propto exp (λ (x)^{⊤} γ (y))$ 뿐이고, 이 값은 $γ$ 를 아무 가역행렬 $A$ 로 비틀고 $λ$ 를 $A^{- ⊤}$ 로 반대로 비틀어도 똑같다. 표현 벡터는 가역 아핀 변환까지만 정해진다. 그러면 두 개념 방향의 cosine similarity를 재서 “관련이 있다”고 말하는 관행은 좌표계에 따라 답이 달라지는 무의미한 연산이 된다. 논문의 표현대로 고정된 아무 내적에 대해서도 $⟨ \overset{γ}{ˉ}_{W}, \overset{γ}{ˉ}_{Z} ⟩ \neq = ⟨ A \overset{γ}{ˉ}_{W}, A \overset{γ}{ˉ}_{Z} ⟩$ 이기 때문이다.

논문의 해법은 내적을 데이터에서 찾는 것이 아니라 의미론적 요구로부터 유도하는 것이다. 요구는 하나다 — “서로 자유롭게 값을 바꿀 수 있는 두 개념(예: 언어 = 영/불, 성별 = 남/녀)은 직교해야 한다.” 이 조건을 만족하는 내적을 causal inner product라 부르고, 그 형태가 어휘 전체 unembedding 벡터의 공분산 역행렬로 결정됨을 보인다. 실무 처방은 unembedding 행렬을 whitening하고 나서야 유클리드 기하를 써라는 것이다.

unembedding vector $\gamma(y)$: 마지막 층 출력 행렬에서 단어 $y$ 에 대응하는 행 벡터. 로짓 = 문맥 벡터와의 내적.
embedding vector $\lambda(x)$: 문맥 $x$ 가 만든 최종 은닉 표현. softmax 직전 벡터.
counterfactual pair(반사실 쌍): 목표 개념 값만 다르고 나머지는 같은 출력 쌍. 예: king↔queen, boy↔girl.
causal separability(인과적 분리 가능성): $Y (W = w, Z = z)$ 가 모든 조합에서 정의되는 관계. 언어(영/불)와 성별은 분리 가능하지만, 언어(영/불)와 문자체계(영/러)는 아니다.
causal inner product(인과 내적): 분리 가능한 개념들을 직교시키는 비유클리드 내적 $\overset{γ}{ˉ}^{⊤} Cov (γ)^{- 1} \overset{γ}{ˉ}^{'}$ .
Riesz isomorphism(리스 동형사상): 선형범함수 $⟨ v, \cdot ⟩$ 와 벡터 $v$ 를 동일시하는 표준 대응. 여기서는 unembedding 방향을 embedding 방향으로 옮기는 사전 역할.

왜 중요한가: 이 논문 이전에 “선형 표현”은 반증 가능한 명제가 아니라 분위기였다. 이 논문은 (1) 그 문장을 정의로 바꾸고, (2) probing과 steering이 서로 다른 공간의 다른 대상임을 분리한 뒤 하나의 동형사상으로 다시 잇고, (3) cosine similarity·직교성·projection이 좌표 선택에 의존하는 무근거 연산이었음을 지적하며 그 근거를 처음 제공했다. 이후 representation engineering·개념 기하 연구가 공통으로 인용하는 표준 형식화가 되었고, “steering vector를 만들 때 unembedding 공분산으로 whitening하라”는 구체적 처방을 남겼다.

먼저 알아둘 용어 표

원 용어	쉬운 설명
linear representation hypothesis	개념이 표현 공간의 방향으로 인코딩된다는 가설. 이 논문의 형식화 대상
unembedding representation $\overset{γ}{ˉ}_{W}$	출력 단어 공간에서 개념 $W$ 를 나타내는 방향. probing과 연결
embedding representation $\overset{ˉ}{λ}_{W}$	입력 문맥 공간에서 개념 $W$ 를 나타내는 방향. steering과 연결
Cone( $\overset{γ}{ˉ}$ )	$\overset{γ}{ˉ}$ 의 양의 스칼라배 집합. “크기 자유, 부호 포함 방향 고정”
logit-linear	확률의 로짓이 어떤 벡터와의 내적으로 선형. linear probe가 최적이 되는 조건
causal separability	두 개념이 서로를 제약하지 않고 자유롭게 조합될 수 있는 관계
whitening	공분산이 단위행렬이 되도록 좌표를 바꾸는 것. 여기서는 $A = Cov (γ)^{- 1/2}$
BATS 3.0	Bigger Analogy Test Set. 22개 개념의 counterfactual pair 출처
steering / intervention	은닉 표현에 벡터를 더해 출력 분포를 미는 조작

섹션별 요약

Abstract

비형식적으로 “linear representation hypothesis”는 고수준 개념이 표현 공간의 방향으로 선형 표현된다는 아이디어다. 이 논문은 두 질문에 답한다 — “선형 표현”은 실제로 무엇을 뜻하는가, 그리고 표현 공간에서 cosine similarity나 projection 같은 기하 개념을 어떻게 이해할 것인가. 답을 위해 counterfactual 언어로 두 개의 형식화를 준다(출력 단어 공간 하나, 입력 문장 공간 하나). 그리고 이 둘이 각각 linear probing과 model steering에 연결됨을 증명한다. 기하 개념을 위해서는, 형식화를 이용해 정확한 의미에서 언어 구조를 존중하는 특정한 (비유클리드) 내적을 식별한다. 이 causal inner product로 선형 표현의 모든 개념을 통일하며, 특히 counterfactual pair를 이용해 probe와 steering vector를 구성할 수 있게 된다. LLaMA-2 실험은 개념의 선형 표현의 존재, 해석·제어와의 연결, 그리고 내적 선택의 근본적 역할을 보인다. 코드는 github.com/KihoPark/linear_rep_geometry.

왜 이 연구를 하는가?

현대 해석가능성 실무는 전부 선형성 전제 위에 서 있다. 그런데 이 전제는 서로 다른 세 주장으로 흩어진 채 검증 없이 유통된다. 더 심각한 것은 기하 연산의 근거 부재다. softmax 파라미터화의 불변성 때문에 표현은 가역 아핀 변환까지만 식별되며, 어떤 고정된 내적도 좌표 변환 아래 보존되지 않는다. 즉 지금까지 문헌이 계산해 온 모든 각도·투영·직교성은 원리적으로 임의 좌표계의 산물이었다. 이 논문은 “무엇을 재는가”를 정의로, “어떤 자로 재는가”를 의미론적 요구로부터 유도해 두 구멍을 동시에 메우려 한다.

Introduction

세 갈래 용법의 구분에서 시작한다. Subspace는 여러 counterfactual 쌍의 차이 벡터가 공통 방향에 정렬된다는 관찰로, word embedding의 유추 구조가 원형이며 이후 cross-lingual embedding·sentence embedding·Transformer LLM 표현·vision-language 모델에서 반복 보고되었다. Measurement는 개념 값의 확률을 linear probe로 읽을 수 있다는 주장으로, 문맥이 달라져도 같은 방향이 통해야 한다는 강한 요구가 숨어 있다. Intervention은 벡터를 더하면 목표 개념 출력만 바뀌고 off-target은 불변이라는 주장으로, steering 실무의 근거다.

기여는 (1) 셋을 counterfactual 언어로 정리해 두 정의(Def 2.1 unembedding 표현, Def 2.3 embedding 표현)로 환원하고 나머지를 정리로 유도, (2) 표현 공간 내적의 미결정성을 명시하고 causal inner product를 제시, (3) Riesz 동형사상으로 두 공간을 통일해 counterfactual pair 하나로 probe와 steering vector를 동시에 구성, (4) LLaMA-2 7B에서 27개 개념으로 네 가지 예측을 검증한 것이다.

Methods

설정. 모델은 문맥 $x$ 를 임베딩 $λ (x) \in Λ ≃ R^{d}$ 로, 단어 $y$ 를 unembedding $γ (y) \in Γ ≃ R^{d}$ 로 보내고 $P (y ∣ x) \propto exp (λ (x)^{⊤} γ (y))$ . 개념 $W$ 는 문맥 $X$ 가 야기하고 $Y$ 에 영향을 주는 잠재 변수이며, 단순화를 위해 이진 개념을 순서화한다(예: male⇒female). 반사실 출력 ${Y (W = w)}$ 는 목표 개념 값만 다르다.

Definition 2.1 (unembedding representation). $γ (Y (1)) - γ (Y (0)) \in Cone (\overset{γ}{ˉ}_{W})$ 가 거의 확실히 성립하면 $\overset{γ}{ˉ}_{W}$ 가 $W$ 를 unembedding 공간에서 표현한다. subspace 용법의 형식화다.

Theorem 2.2 (measurement). Def 2.1이 성립하면 $Y \in {Y (0), Y (1)}$ 조건부로 $logit P (Y = Y (1) ∣ \cdot, λ) = α λ^{⊤} \overset{γ}{ˉ}_{W}$ ( $α > 0$ )가 되어 $\overset{γ}{ˉ}_{W}$ 방향 사영이 곧 최적 linear probe다. subspace가 measurement를 함의한다.

Definition 2.3 (embedding representation). 목표 개념에 대한 관련성(counterfactual 확률비 > 1)과 off-target 개념에 대한 독립성(인과적으로 분리 가능한 개념에 대해 확률비 동일)을 만족하는 문맥 표현 쌍의 차이 $λ_{1} - λ_{0}$ 가 공통 원뿔 $Cone (\overset{ˉ}{λ}_{W})$ 에 놓이는 것. 두 조건이 “목표만 움직이고 나머지는 안 움직인다”를 형식으로 옮긴 부분이다.

Theorem 2.5 (intervention). Def 2.3이 성립하면 $λ \mapsto λ + c \overset{ˉ}{λ}_{W}$ 개입이 목표 개념 확률만 바꾸고 off-target 개념 확률은 불변으로 둔다. embedding 표현이 steering의 정확한 조건이다.

내적의 미결정성. 변환 $g (y) \leftarrow A γ (y) + β$ , $l (x) \leftarrow A^{- ⊤} λ (x)$ (식 3.1)은 임의의 가역 $A$ 에 대해 softmax 분포를 보존한다. 따라서 고정 내적에 대해 $⟨ \overset{γ}{ˉ}_{W}, \overset{γ}{ˉ}_{Z} ⟩ \neq = ⟨ A \overset{γ}{ˉ}_{W}, A \overset{γ}{ˉ}_{Z} ⟩$ 가 일반적으로 성립하고, 유클리드 cosine similarity는 근거가 없다.

Definition 3.1 / Theorem 3.2. 인과적으로 분리 가능한 모든 개념쌍에 대해 $⟨ \overset{γ}{ˉ}_{W}, \overset{γ}{ˉ}_{Z} ⟩_{C} = 0$ 을 만족하는 내적이 causal inner product다. 이 내적 아래 Riesz 동형사상이 $⟨ \overset{γ}{ˉ}_{W}, \cdot ⟩_{C} = \overset{ˉ}{λ}_{W}^{⊤}$ 로 두 표현을 잇는다. 나아가 $A = M^{1/2}$ ( $M = Cov (γ)^{- 1}$ )로 식 (3.1)을 적용하면, 즉 unembedding을 whitening하고 embedding을 $Cov (γ)^{1/2}$ 로 보내면 변환된 공간에서 두 표현이 같은 벡터가 되고 유클리드 기하가 그대로 통한다.

Assumption 3.3 + Theorem 3.4. 가정은 “인과적으로 분리 가능한 $W, Z$ 에 대해 $γ$ 를 어휘에서 균등 추출했을 때 $\overset{ˉ}{λ}_{W}^{⊤} γ$ 와 $\overset{ˉ}{λ}_{Z}^{⊤} γ$ 가 독립”이다. 이 가정과 “상호 분리 가능한 개념들의 표준 표현이 기저를 이룬다”는 조건 아래, $⟨ \overset{γ}{ˉ}, \overset{γ}{ˉ}^{'} ⟩_{C} = \overset{γ}{ˉ}^{⊤} M \overset{γ}{ˉ}^{'}$ 형태는 $M^{- 1} = G G^{⊤}, G^{⊤} Cov (γ)^{- 1} G = D$ (양의 대각 $D$ )를 만족해야 한다. 즉 causal inner product는 유일하지 않고 $D$ 로 인덱싱된 족이다. 저자들은 $D = I_{d}$ 를 택해 $⟨ \overset{γ}{ˉ}, \overset{γ}{ˉ}^{'} ⟩_{C} := \overset{γ}{ˉ}^{⊤} Cov (γ)^{- 1} \overset{γ}{ˉ}^{'}$ (식 3.3)를 쓴다.

추정과 설정. counterfactual 쌍에서 $\tilde{γ}_{W} = \frac{1}{n _{W}} \sum_{i} [γ (y_{i} (1)) - γ (y_{i} (0))]$ , $\overset{γ}{ˉ}_{W} = \tilde{γ}_{W} / ⟨ \tilde{γ}_{W}, \tilde{γ}_{W} ⟩_{C}$ 로 정규화한다(유클리드 노름이 아니라 causal inner product인 것이 핵심). 개입 방향은 $\overset{ˉ}{λ}_{W} = Cov (γ)^{- 1} \overset{γ}{ˉ}_{W}$ . 모델은 LLaMA-2 7B(어휘 32K), 개념은 27개 — BATS 3.0에서 22개, 언어쌍 4개(En⇒Fr, Fr⇒De, Fr⇒Es, De⇒Es), 빈도 1개(흔한 vs 드문 동의어, 예 bad vs terrible). LLaMA-2에서 단일 토큰인 단어만 쓴다.

발견 (Findings)

선형성은 실재하지만 보편적이지 않다. leave-one-out으로 추정한 $\overset{γ}{ˉ}_{W}$ 에 사영하면 counterfactual 쌍이 무작위 단어쌍보다 뚜렷하게 우측으로 치우친다(Fig 2). 다만 27개 중 thing⇒part 하나는 식별 가능한 선형 표현을 보이지 않는다.
causal inner product 아래 개념들은 대체로 직교한다. $∣ ⟨ \overset{γ}{ˉ}_{W}, \overset{γ}{ˉ}_{Z} ⟩_{C} ∣$ 히트맵(Fig 3)에서 대부분의 쌍이 0 근처이고, 남은 비영 구조는 동사 개념 군집·언어쌍 군집 같은 의미론적 블록 대각 형태로 해석 가능하다. 유클리드 내적으로는 이 성질이 성립하지 않는다(§D.2).
측정은 목표 개념에만 반응한다. 프랑스어·스페인어 위키피디아에서 무작위 길이로 뽑은 문맥에 대해 $\overset{γ}{ˉ}_{f r \Rightarrow es}^{⊤} λ (x)$ 는 두 언어를 부호로 가르지만, off-target인 male⇒female 방향은 아무 예측력이 없다(Fig 4).
개입은 목표 개념만 움직인다. $λ_{C, α} (x) = λ (x) + α \overset{ˉ}{λ}_{C}$ 로 male⇒female에 개입하면 $lo g \frac{P ( queen )}{P ( king )}$ 은 $α$ 에 선형 증가하지만 대소문자 개념의 $lo g \frac{P ( King )}{P ( king )}$ 은 변하지 않는다. 직교 개념(French⇒Spanish) 방향 개입은 둘 다 불변으로 둔다(Fig 5).

Results

Fig 2 (subspace): 세 개념을 본문에, 23개를 §D.1에 제시. “보인 세 개념과 §D.1의 23개에서 counterfactual 쌍의 차이는 무작위 쌍보다 실질적으로 $\overset{γ}{ˉ}_{W}$ 에 더 잘 정렬된다”가 저자 요약이다.
Fig 3 (직교성): 27개 개념 전체의 쌍별 $∣ ⟨ \overset{γ}{ˉ}_{W}, \overset{γ}{ˉ}_{Z} ⟩_{C} ∣$ 히트맵. “이 내적에 대해 대부분의 개념쌍이 거의 직교”가 주 결과이며, 블록 대각 잔여 구조도 의미론적으로 납득 가능하다는 것이 저자 해석.
Fig 4 (measurement): 프랑스어 문맥은 $\overset{γ}{ˉ}_{W}^{⊤} λ (x^{f r}) < 0$ , 스페인어 문맥은 $> 0$ 로 분리되고 off-target 방향은 실패한다. 정량 정확도·AUROC는 [위치 미확인].
Fig 5 + Table 1 (intervention): $α \in {0, 0.1, 0.2, 0.3, 0.4}$ . Table 1은 "Long live the " 문맥의 top-5 완성 단어 순위 변화를 보여 준다 — $α = 0$ 에서 king이 1위, $α = 0.4$ 에서 queen이 1위로 올라온다. $α$ 가 커질수록 $P (Y (W = 1))$ 이 오르고 $P (Y (W = 0))$ 이 내려가는 패턴이 27개 개념 전반에서 일관된다.
§D.2 (내적 비교): $M = I_{d}$ 가 어떤 대각 $D$ 에 대해서도 조건 (3.2)를 만족하지 못하므로 유클리드 내적은 causal inner product가 아니다. 실증적으로 $Cov (γ)^{- 1}$ 은 분리 가능한 개념쌍에 0 근처 값을 주지만 유클리드 내적은 그렇지 못하다.

Discussion

이론적 의의

첫째 층은 개념 정리(taxonomy)의 붕괴와 재건이다. subspace·measurement·intervention은 문헌에서 상호 교환 가능한 것처럼 쓰였지만, 실은 서로 다른 공간(출력 vs 입력)에 사는 두 대상의 그림자였다. Def 2.1/2.3만 세우면 Thm 2.2/2.5가 나머지를 흡수한다. 이 작업의 실질적 가치는 “probe가 잘 작동한다 ⟹ steering도 작동할 것이다” 같은 무근거 추론을 차단하고, 두 성질이 언제 같은 것이 되는지를 조건부로 명시한 데 있다.

둘째 층은 기하의 근거 제공이다. 표현 공간에 내적이 없다는 사실은 원래부터 참이었지만 거의 무시되었다. 이 논문의 전략은 “데이터에서 자연스러운 내적을 찾자”가 아니라 “내적에 요구하는 의미론적 성질을 먼저 쓰고 그것을 만족하는 내적을 유도하자”이며, 이것이 causal inner product를 단순한 whitening 휴리스틱이 아니라 의미론적으로 유도된 좌표계로 만든다. Thm 3.2의 Riesz 동형사상은 이 좌표계에서 두 공간이 하나로 접히는 순간이고, 실무적으로는 “counterfactual pair 몇 개면 probe와 steering vector를 한꺼번에 얻는다”로 환금된다.

Discussion Points

개념의 정의가 counterfactual pair에 순환적으로 묶여 있다. 이 프레임워크에서 개념 $W$ 는 “반사실 쌍을 만들 수 있는 것”으로만 접근된다. king↔queen 같은 깔끔한 쌍이 있는 개념은 잘 작동하지만, truthfulness나 harmfulness처럼 단어 수준 반사실 짝을 지정하기 어려운 개념에는 곧바로 적용되지 않는다. thing⇒part가 실패한 것도 쌍 구성이 애매한 개념이라는 점과 무관해 보이지 않는다.
비유일성은 해결이 아니라 이동이다. Thm 3.4는 내적을 못 박지 않고 대각행렬 $D$ 의 족으로 좁힐 뿐이며, 저자들은 $D = I_{d}$ 를 원리적 근거 없이 실용적으로 택했다고 인정한다. 임의성이 제거된 것이 아니라 $d \times d$ 가역행렬의 자유도에서 $d$ 개 대각 성분으로 축소되었을 뿐이고, 후속 연구가 $D$ 를 정하는 기준을 세울 여지가 크다.
Assumption 3.3은 검정되지 않은 강한 가정이다. “무작위 어휘 벡터의 두 개념 방향 투영이 독립”이라는 가정이 Thm 3.4의 형태를 통째로 떠받치는데, 논문은 이 가정 자체를 데이터로 검정하지 않는다. Fig 3의 근사 직교성이 간접 증거이긴 하나, 가정이 결론을 만들고 결론이 가정을 지지하는 순환에 가깝다.
중간 층 부재가 mechanistic interpretability 관점에서 결정적 공백이다. 저자들은 “모델 파라미터의 해석가능성도, 중간 층 활성값의 해석가능성도 다루지 않는다”고 명시한다. 그런데 실무의 steering은 대부분 중간 층 residual stream에 개입한다. 결과가 그 층들로 옮겨 가는지는 열린 문제이며, 이후 개념 기하·SAE 계열 연구가 파고든 지점이 정확히 여기다.
정량 지표의 부재가 실증 강도를 제한한다. 네 실험이 모두 히스토그램·히트맵·라인플롯의 정성 판독으로 제시되고, “몇 %의 개념에서 성립했는가”, “probe 정확도는 얼마인가” 같은 집계 수치가 본문에 없다. 이론 논문의 예시 실험이라는 성격을 감안해도 후속 연구가 baseline으로 삼을 숫자가 부족하다.

실험 결과 상세

이론 논문이므로 성능표 대신 개념 정리표·정리 지도·실험 구성표·주장-근거 대응표로 정리한다.

표 1 — “선형 표현”의 세 용법과 논문의 형식화 (§1–§2)

통용 용법	비형식적 주장	논문의 형식 대응	성립 공간	연결되는 실무
Subspace	여러 예시 쌍의 차이 벡터가 공통 방향에 정렬	Def 2.1: $γ (Y (1)) - γ (Y (0)) \in Cone (\overset{γ}{ˉ}_{W})$	unembedding $Γ$	word analogy, 개념 벡터 추정
Measurement	개념 값이 linear probe로 읽힘	Thm 2.2: $logit P (\cdot) = α λ^{⊤} \overset{γ}{ˉ}_{W}$	unembedding $Γ$	linear probing
Intervention	벡터를 더하면 목표 개념만 바뀜	Def 2.3 + Thm 2.5: $λ \mapsto λ + c \overset{ˉ}{λ}_{W}$	embedding $Λ$	steering / activation addition
(통일)	—	Thm 3.2: $⟨ \overset{γ}{ˉ}_{W}, \cdot ⟩_{C} = \overset{ˉ}{λ}_{W}^{⊤}$ , 즉 $\overset{ˉ}{λ}_{W} = Cov (γ)^{- 1} \overset{γ}{ˉ}_{W}$	두 공간 연결	쌍 하나로 probe+steering 동시 구성

표 2 — 이론 구성 요소 지도 (§2–§3)

번호	종류	내용 요약	역할
Def 2.1	정의	unembedding 표현 (counterfactual 차이가 공통 cone)	subspace 용법의 형식화
Thm 2.2	정리	$\overset{γ}{ˉ}_{W}$ 가 logit-linear probe를 유도	subspace ⟹ measurement
Def 2.3	정의	embedding 표현 (관련성 + off-target 독립성)	intervention 용법의 형식화
Thm 2.5	정리	$\overset{ˉ}{λ}_{W}$ 덧셈 개입이 목표만 변화, off-target 불변	embedding ⟹ intervention
(3.1)	식	$g (y) \leftarrow A γ (y) + β$ , $l (x) \leftarrow A^{- ⊤} λ (x)$	softmax 불변 ⟹ 내적 미결정성
Def 3.1	정의	causal inner product: 분리 가능 개념은 직교	기하의 의미론적 요구
Thm 3.2	정리	Riesz 동형사상이 두 표현을 통일; $A = Cov (γ)^{- 1/2}$ whitening	통일 정리
Asm 3.3	가정	무작위 $γ$ 에 대해 $\overset{ˉ}{λ}_{W}^{⊤} γ$ 와 $\overset{ˉ}{λ}_{Z}^{⊤} γ$ 가 독립	Thm 3.4의 전제
Thm 3.4	정리	$M^{- 1} = G G^{⊤}$ , $G^{⊤} Cov (γ)^{- 1} G = D$ (양의 대각 $D$ )	causal inner product 족의 특성화
(3.3)	식	$⟨ \overset{γ}{ˉ}, \overset{γ}{ˉ}^{'} ⟩_{C} := \overset{γ}{ˉ}^{⊤} Cov (γ)^{- 1} \overset{γ}{ˉ}^{'}$	$D = I_{d}$ 선택 시의 구체형

표 3 — 실험 구성 (§4, LLaMA-2 7B)

항목	값
모델	LLaMA-2 7B (decoder-only Transformer, 어휘 32K)
총 개념 수	27 (= 22 + 4 + 1)
├ BATS 3.0 유래	22 (형태·의미 유추 쌍)
├ 언어 개념	4 (En⇒Fr, Fr⇒De, Fr⇒Es, De⇒Es; 단어 번역쌍)
└ 빈도 개념	1 (흔한 vs 드문 동의어, 예 `bad`/`terrible`)
단어 제약	LLaMA-2에서 단일 토큰인 단어만 사용
방향 추정	counterfactual 차이의 표본평균 → $⟨ \cdot, \cdot ⟩_{C}$ 노름으로 정규화
개입 방향	$\overset{ˉ}{λ}_{W} = Cov (γ)^{- 1} \overset{γ}{ˉ}_{W}$
측정 실험 문맥	프랑스어·스페인어 위키피디아에서 무작위 길이 샘플링
개입 강도	$α \in {0, 0.1, 0.2, 0.3, 0.4}$
코드	`github.com/KihoPark/linear_rep_geometry`

표 4 — 주장과 대응 근거 (§4)

#	주장	근거	관측된 신호	예외
1	개념은 unembedding 공간에서 선형 방향을 갖는다	Fig 2, §D.1	counterfactual 쌍 투영이 무작위 쌍보다 뚜렷이 우측 편향	`thing⇒part` 미관측
2	분리 가능한 개념은 causal inner product 아래 직교	Fig 3	27개 개념 쌍별 내적 대부분 0 근처	동사·언어 군집의 블록 대각 잔존
3	$\overset{γ}{ˉ}_{W}$ 는 실제 linear probe로 작동	Fig 4	Fr/Es 문맥이 부호로 분리; male⇒female은 무예측력	정량 정확도 미제시
4	$\overset{ˉ}{λ}_{W}$ 개입은 목표 개념만 바꾼다	Fig 5, Table 1	queen/king 로그비만 선형 증가, King/king 불변	$α \leq 0.4$ 좁은 구간
5	유클리드 내적은 causal inner product가 아니다	§D.2	$M = I_{d}$ 가 어떤 $D$ 에 대해서도 (3.2) 미충족	—

프레임워크 다이어그램

flowchart TD
    A["문제 1 - 선형 표현 가설이 정의된 적 없다"] --> B["세 갈래 용법 분해"]
    B --> B1["subspace - 반사실 쌍 차이가 공통 방향"]
    B --> B2["measurement - linear probe로 개념 값 읽기"]
    B --> B3["intervention - 벡터 덧셈으로 개념만 조작"]
    B1 --> C["Definition 2.1 unembedding 표현"]
    B2 --> C
    B3 --> D["Definition 2.3 embedding 표현"]
    C --> E["Theorem 2.2 logit-linear probe 유도"]
    D --> F["Theorem 2.5 목표만 변화 off-target 불변"]
    G["문제 2 - softmax 불변성으로<br/>표현이 아핀 변환까지만 식별"] --> H["식 3.1 gamma to A gamma plus beta<br/>lambda to A inverse transpose lambda"]
    H --> I["유클리드 cosine similarity는 무근거"]
    I --> J["Definition 3.1 causal inner product<br/>인과 분리 가능 개념은 직교"]
    J --> K["Assumption 3.3 무작위 어휘 투영의 독립성"]
    K --> L["Theorem 3.4 대각행렬 D로 인덱싱된 족<br/>D = I 선택"]
    L --> M["식 3.3 causal inner product<br/>= gamma Cov inverse gamma prime"]
    M --> N["Theorem 3.2 Riesz 동형사상<br/>lambda-bar = Cov inverse gamma-bar"]
    C --> N
    D --> N
    N --> O["whitening A = Cov to the minus half<br/>두 표현이 같은 벡터가 됨"]
    O --> P["LLaMA-2 7B 27개 개념 검증"]
    P --> Q["Fig 2 선형성 - thing-part 예외"]
    P --> R["Fig 3 근사 직교성 히트맵"]
    P --> S["Fig 4 측정 - Fr vs Es 분리"]
    P --> T["Fig 5 개입 - queen king 로그비만 상승"]

재현성 및 신뢰도 평가

종합등급: Evidence B / Reproducibility A

근거(Evidence B): 주 산출물이 증명이며, Def 2.1/2.3에서 Thm 2.2/2.5로 가는 논리와 Def 3.1 + Asm 3.3에서 Thm 3.4로 가는 특성화가 부록 B에 완전 증명으로 제시된다는 점에서 이론적 근거는 강하다. 실증도 27개 개념 × 4종 실험으로 주장별 대응이 깔끔하고, off-target 개념을 대조군으로 배치한 설계(Fig 4의 male⇒female, Fig 5의 대소문자·언어 방향)가 인과적 분리를 실제로 검정한다. A로 올리지 못하는 이유는 셋이다. 모든 실증 결과가 정성 판독이고 정확도·효과크기 같은 집계 수치가 본문에 없다. 검증 모델이 LLaMA-2 7B 단일 모델이라 다른 아키텍처·규모로의 일반화가 미확인이다. Thm 3.4의 전제인 Asm 3.3이 데이터로 검정되지 않은 채 결론(Fig 3)이 가정의 간접 증거로 재사용된다.
근거(Reproducibility A): 코드가 github.com/KihoPark/linear_rep_geometry로 공개되었고, 모델이 open-weight이며, 개념 데이터 출처(BATS 3.0 + 단어 번역쌍 + 동의어 빈도쌍)와 선별 규칙(“단일 토큰 단어만”)이 명시된다. 핵심 추정량이 표본평균과 공분산 역행렬이라는 닫힌 형태라 학습·샘플링에 따른 확률적 변동이 없고, 개입 강도 격자값까지 본문에 있다. 남는 마찰은 개념별 쌍 수 $n_{W}$ 의 구체 값과 $Cov (γ)$ 추정 시 정칙화 여부가 본문 추출본에서 확인되지 않는다는 정도이며 코드 열람으로 해소된다.

주장별 신뢰도

“‘선형 표현’의 세 용법은 두 정의로 환원되고 나머지는 정리로 따라 나온다” — 신뢰도 높음. Def 2.1→Thm 2.2, Def 2.3→Thm 2.5의 함의가 부록 B의 증명으로 뒷받침되며 논문의 가장 안전한 부분이다.
“표현 공간의 유클리드 기하는 근거가 없다” — 신뢰도 높음. 식 (3.1)의 softmax 불변성은 초등적으로 검증 가능하고, “고정 내적은 좌표 변환 아래 보존되지 않는다”는 결론에 반박 여지가 거의 없다.
“causal inner product는 $\overset{γ}{ˉ}^{⊤} Cov (γ)^{- 1} \overset{γ}{ˉ}^{'}$ 이다” — 신뢰도 중간. Thm 3.4가 주는 것은 유일성이 아니라 족이며, $D = I_{d}$ 선택이 원리적 근거 없이 이루어졌음을 저자들이 §5에서 인정한다. Asm 3.3도 독립 검정 없이 채택된다.
“인과적으로 분리 가능한 개념은 실제로 거의 직교한다” — 신뢰도 중간. Fig 3의 “대부분 0 근처”는 서술적 판정이고 직교성 임계값이나 유클리드 대비 정량 통계가 없다. §D.2 비교도 정성 기술에 그친다. 정량 수치는 [위치 미확인].
” $\overset{ˉ}{λ}_{W}$ 개입은 off-target 개념을 보존한다” — 신뢰도 중간. Fig 5의 대조 설계는 설득력 있으나 $α \leq 0.4$ 의 좁은 구간에서만 검증되었고, 개입이 문장 전체 품질(perplexity·유창성)에 미치는 영향은 측정되지 않았다.

추가 확인 사항

정리·정의 번호는 arXiv v2(ICML 2024 camera-ready) 기준이다. v1과 번호 체계가 다를 수 있으므로 인용 시 버전을 함께 표기하는 것이 안전하다.
Table 1의 $α = 0$ 시점 상위 완성 단어에 대해 추출본은 king이 1위, 대문자 Queen이 3위라고 보고했다. 대소문자 구분이 텍스트 변환 과정에서 흐트러졌을 여지가 있어 정확한 순위표는 원문 Table 1 확인을 권한다.
$Cov (γ)$ 가 어휘 전체(32K)에 대한 표본공분산인지 정칙화된 추정치인지는 본문 추출본에서 확정되지 않았다. $d = 4096$ , 어휘 32K이므로 표본 수가 차원의 8배 수준이라 역행렬 조건수가 실무적으로 문제될 수 있는 영역이다. [위치 미확인]
Fig 4의 문맥 표본 수·분류 성능 수치, Fig 2의 개념별 성공 판정 기준은 본문 추출본에서 확인되지 않았다. 부록 C·D에 있을 가능성이 높다.
초록·본문의 “27 concepts”는 22 + 4 + 1로 정확히 맞아 내부 정합성이 확인된다.

연구	다루는 공간	개념 방향의 근거	기하(내적) 처리	핵심 차별점
본 논문 (Park et al., ICML 2024)	unembedding + embedding (입출력 양끝)	counterfactual pair의 평균차	causal inner product $Cov (γ)^{- 1}$ 를 의미론적 요구에서 유도	세 용법을 두 정의로 환원하고 Riesz 동형사상으로 통일; 기하 자체를 정당화한 최초 작업
The Geometry of Truth - Emergent Linear Structure in LLM Representations of True and False Statements	중간 층 residual stream	참/거짓 라벨 데이터 + probe 학습	유클리드 (내적 문제 미제기)	특정 개념(진릿값)의 선형 구조를 경험적으로 확립. 본 논문이 형식화한 measurement 용법의 전형
Efficient Estimation of Word Representations in Vector Space	정적 word embedding	유추 쌍 (`king−man+woman`)	유클리드 cosine similarity	선형 유추 구조의 원류 관찰. 본 논문의 subspace 용법이 형식화하려는 원래 현상
Interpretability Beyond Feature Attribution- Quantitative Testing with Concept Activation Vectors (TCAV)	중간 층 활성	개념 예시 vs 무작위 예시의 선형 분류기 법선	유클리드, 방향미분	개념 벡터를 지도학습으로 뽑음. counterfactual 쌍 없이 개념을 정의한다는 점에서 정면 대비
Towards Steering without Sacrifice - Principled Training of Steering Vectors for Prompt-only Interventions	중간 층 활성	학습된 steering vector	유클리드, 학습 기반	본 논문 Thm 2.5의 “목표만 변화, off-target 불변” 조건을 학습으로 근사하는 실무 계열

원자적 인사이트 (Zettelkasten)

“개념이 방향이다”는 하나의 명제가 아니라 세 명제의 혼동이다. subspace(반사실 차이가 공통 cone), measurement(logit-linear probe 성립), intervention(덧셈 개입 시 off-target 불변)은 논리적으로 독립이며, 앞의 둘은 unembedding 공간에서 셋째는 embedding 공간에서 산다. probe가 잘 작동한다는 사실만으로 steering이 작동하리라 기대하는 추론은 두 공간을 잇는 내적 구조가 있을 때만 정당하다.
softmax 파라미터화의 불변성이 표현 기하를 통째로 무의미하게 만든다. $P (y ∣ x) \propto exp (λ^{⊤} γ)$ 는 $γ \leftarrow A γ + β$ , $λ \leftarrow A^{- ⊤} λ$ 에 불변이므로, 고정 좌표계에서 잰 cosine similarity는 $A$ 를 바꾸면 임의로 조작 가능하다. 표현 공간에서 각도를 재는 모든 연구는 자기가 어떤 내적을 왜 쓰는지 먼저 답해야 한다.
좋은 내적은 데이터에서 발견하는 것이 아니라 의미론적 요구에서 유도하는 것이다. 이 논문은 “인과적으로 분리 가능한 개념은 직교한다”는 한 줄을 공리로 세우고 거기서 $Cov (γ)^{- 1}$ 을 끌어냈다. 표현 공간에 구조를 부여해야 하는 모든 문제에 이식 가능한 설계 패턴이다 — 먼저 불변량을 정하고 그것을 만족하는 계량을 푼다.
Riesz 동형사상이 probing과 steering의 환율이다. $\overset{ˉ}{λ}_{W} = Cov (γ)^{- 1} \overset{γ}{ˉ}_{W}$ 한 줄 덕분에 counterfactual 단어쌍 몇 개만 모으면 probe와 steering vector가 동시에 나온다. 개념당 학습 데이터·분류기 학습·하이퍼파라미터 튜닝이 전부 사라지는 실무적 절약이다.
unembedding 공분산으로 whitening하기 전까지 표현 기하는 읽지 말 것. $A = Cov (γ)^{- 1/2}$ 변환 후에야 unembedding 표현과 embedding 표현이 같은 벡터가 되고 유클리드 연산이 의미를 갖는다. 이 논문이 남긴 가장 즉시 적용 가능한 처방이며 이후 개념 기하 연구의 표준 전처리가 되었다.
형식화의 대가는 개념 접근성의 제약이고, 비유일성은 사라지지 않는다. 개념은 counterfactual pair를 통해서만 존재하므로 truthfulness 같은 개념은 정의 자체가 적용되지 않으며(27개 중 thing⇒part 실패가 그 경계선), causal inner product도 대각행렬 $D$ 의 족으로만 좁혀져 “개념 축의 스케일을 얼마로 볼 것인가”는 열린 채 남는다.

핵심 용어 정리

용어	정의
linear representation hypothesis	고수준 개념이 표현 공간의 방향으로 선형 인코딩된다는 가설
unembedding representation $\overset{γ}{ˉ}_{W}$	모든 counterfactual 쌍에 대해 $γ (Y (1)) - γ (Y (0)) \in Cone (\overset{γ}{ˉ}_{W})$ 를 만족하는 출력 공간 방향 (Def 2.1)
embedding representation $\overset{ˉ}{λ}_{W}$	목표 개념 관련성과 off-target 독립성을 만족하는 문맥 표현 차이가 놓이는 입력 공간 방향 (Def 2.3)
logit-linear measurement	$logit P (Y = Y (1) ∣ \cdot) = α λ^{⊤} \overset{γ}{ˉ}_{W}$ . Thm 2.2가 보장하는 probing의 정확한 형태
causal separability	$Y (W = w, Z = z)$ 가 모든 조합에서 정의되는 개념 관계. 언어·성별은 분리 가능, 언어·문자체계는 불가
causal inner product $⟨ \cdot, \cdot ⟩_{C}$	분리 가능한 개념을 직교시키는 내적. Def 3.1이 조건, (3.3)이 $D = I_{d}$ 일 때의 구체형 $\overset{γ}{ˉ}^{⊤} Cov (γ)^{- 1} \overset{γ}{ˉ}^{'}$
Riesz isomorphism	$⟨ v, \cdot ⟩$ 와 $v$ 를 동일시하는 대응. 여기서 $\overset{ˉ}{λ}_{W} = Cov (γ)^{- 1} \overset{γ}{ˉ}_{W}$ 를 준다 (Thm 3.2)
$Cov (γ)$	어휘에서 균등 추출한 unembedding 벡터의 공분산. causal inner product의 계량을 정의
whitening transform	$γ \leftarrow A γ + β$ , $λ \leftarrow A^{- ⊤} λ$ 에서 $A = Cov (γ)^{- 1/2}$ 인 경우. 두 표현 공간을 일치시킴
Assumption 3.3	무작위 어휘 $γ$ 에 대해 $\overset{ˉ}{λ}_{W}^{⊤} γ ⊥ ⊥ \overset{ˉ}{λ}_{Z}^{⊤} γ$ 라는 가정. Thm 3.4의 전제
steering / intervention	$λ_{C, α} (x) = λ (x) + α \overset{ˉ}{λ}_{C}$ 형태의 표현 조작. Thm 2.5가 off-target 보존을 보장

BibTeX

@inproceedings{park2024linear,
  title     = {The Linear Representation Hypothesis and the Geometry of Large Language Models},
  author    = {Park, Kiho and Choe, Yo Joong and Veitch, Victor},
  booktitle = {Proceedings of the 41st International Conference on Machine Learning (ICML)},
  year      = {2024},
  eprint    = {2311.03658},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CL},
  doi       = {10.48550/arXiv.2311.03658},
  url       = {https://arxiv.org/abs/2311.03658}
}

선형 표현 가설과 대규모 언어모델의 기하학 (Linear Representation Hypothesis / Causal Inner Product)

선형 표현 가설과 대규모 언어모델의 기하학 (Linear Representation Hypothesis / Causal Inner Product)

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX