중첩의 장난감 모델 (Toy Models of Superposition)

Digest: 해석가능성의 가장 큰 실무적 장벽은 뉴런 하나가 무관한 여러 개념에 반응하는 polysemanticity인데, 이 논문은 그것이 왜 생기는지를 통제된 장난감 모델 안에서 처음으로 “정답을 알고” 재현한다. 핵심 통찰은 입력 feature가 충분히 희소하면 신경망이 차원 수보다 많은 feature를 비직교 방향에 겹쳐 저장하는 편이 손실 측면에서 이득이며, 이 superposition이 연속적 절충이 아니라 1차 상전이로 켜진다는 것이다. 방법은 극단적으로 단순하다. $n$ 차원 희소 벡터를 $m ≪ n$ 차원으로 눌렀다 되살리는 $h = W x$ , $x^{'} = ReLU (W^{⊤} h + b)$ 오토인코더를 중요도 $I_{i}$ 가중 MSE로 학습시키고, 각 feature가 확률 $S$ 로 0이 되는 희소도만 바꿔가며 관찰한다. 선형 모델은 언제나 상위 $m$ 개 주성분만 학습하지만 출력에 ReLU 하나를 붙이는 순간 해가 질적으로 달라진다. 결정적 증거는 feature당 차원 $D_{i} = ∥ W_{i} ∥^{2} / \sum_{j} (\hat{W_{i}} \cdot W_{j})^{2}$ 의 산점도가 $0$ , $3/8$ (정사각반프리즘), $2/5$ (오각형), $1/2$ (대척쌍), $2/3$ (삼각형), $3/4$ (정사면체)에 달라붙는 관찰로, superposition이 하나의 상태가 아니라 uniform polytope에 대응하는 여러 “상”의 집합임을 보인다. 나아가 $abs (x)$ 를 superposition 상태 그대로 계산할 수 있음을 $n = 100 \to m = 40$ 모델에서 확인해, 중첩이 저장 기법이 아니라 계산 기법임을 입증한다. 함의는 안전성 쪽이 더 크다. 저자들은 “모든 feature를 열거할 수 있는 능력”을 해석가능성의 핵심 원시연산으로 놓고, superposition을 푸는 세 경로(중첩 없는 모델 / overcomplete basis / 혼합) 중 두 번째가 곧 sparse coding·dictionary learning 문제임을 명시했는데 이것이 이후 SAE 연구 계보의 출발점이 된다. 한계는 전부 합성 데이터 위의 초소형 ReLU 망이라는 점, 기하·학습동역학 결과의 실모델 일반화를 저자 스스로 “매우 불확실”하다고 유보한 점이다.

먼저 이해하기

신경망을 이해하려는 사람에게 가장 편한 세계는 “뉴런 하나 = 개념 하나”인 세계다. 실제로 InceptionV1 초기 층에는 곡선 검출기처럼 깔끔한 뉴런이 있지만, 언어모델로 가면 이런 뉴런이 오히려 드물고 대부분은 서로 아무 관계도 없어 보이는 자극들에 뒤섞여 반응한다. 이 논문은 “왜 어떤 뉴런은 깨끗하고 어떤 뉴런은 지저분한가”를, 답을 미리 알고 있는 인공 문제로 축소해서 푼다.

축소된 문제는 이렇다. $n$ 개의 feature를 담은 벡터를 $m < n$ 개의 숫자로 압축했다가 복원하는 아주 작은 신경망을 만들고, 입력 feature는 대부분의 시간에 0이고 가끔만 켜지도록 생성한다. 선형 모델은 PCA와 같은 답, 즉 “가장 중요한 $m$ 개만 살리고 나머지는 버린다”를 내놓는다. 그런데 출력에 ReLU를 딱 하나 붙이면, 모델은 $m$ 개보다 훨씬 많은 feature를 서로 완전히 직교하지는 않은 방향들에 얹어서 동시에 담기 시작한다. 방향이 조금씩 겹치니 한 feature가 켜지면 다른 feature도 살짝 켜진 것처럼 보이는 오염(interference)이 생기지만, 애초에 feature가 희소해서 동시에 켜지는 일이 드물고 ReLU와 음의 편향이 그 작은 잡음을 잘라낸다. 이 거래가 이득이 되는 순간부터 모델은 중첩을 쓴다.

feature(특징): 입력의 해석 가능한 성질 하나. 이 논문은 “충분히 큰 모델이라면 결국 전용 뉴런을 할당하게 될 성질”이라는 실용적 정의를 쓴다.
linear representation(선형 표현): feature가 활성 공간의 방향으로 인코딩되어 선형 결합으로 합쳐진다는 가설.
privileged basis(특권 기저): 활성함수처럼 좌표축 대칭성을 깨는 요소가 있어 “기저 방향 = 뉴런”이 특별해지는 경우. word embedding·residual stream에는 없다.
superposition(중첩): 차원 수보다 많은 feature를 표현하는 것. 형식적으로 $W^{⊤} W$ 가 가역이 아닌 선형 표현.
polysemanticity(다의성): 뉴런 하나가 여러 무관한 feature에 반응하는 현상. 특권 기저가 있는데도 중첩이 일어날 때의 증상.
interference(간섭): 방향이 완전 직교가 아니어서 생기는 상호 오염. $\sum_{j \neq = i} (\hat{W_{i}} \cdot W_{j})^{2}$ 로 잰다.

물리적 직관은 두 수학적 사실에서 온다. $n$ 차원 공간에 완전 직교 벡터는 $n$ 개뿐이지만 “거의 직교”한 벡터는 $exp (n)$ 개까지 넣을 수 있고(Johnson–Lindenstrauss), 저차원 사영에서의 복원은 일반적으로 불가능하지만 원 벡터가 희소하면 가능하다(compressed sensing). 즉 작은 신경망이 훨씬 큰 희소 신경망을 잡음 섞어 “시뮬레이션”하고 있을 수 있다.

왜 중요한가: 중첩 가설은 이전에도 제기됐지만, 그것이 사후적으로 편리한 해석이 아니라 “실제 ground truth”임을 명확히 보인 연구는 없었다. 이 논문은 feature가 무엇인지 우리가 정확히 아는 인공 데이터로 그 간극을 메운다. 뉴런을 하나씩 읽는 접근이 실패하는 이유가 “아직 잘 못 읽어서”가 아니라 “모델이 구조적으로 뉴런보다 많은 개념을 담고 있어서”라면, 필요한 것은 더 나은 뉴런 해석이 아니라 중첩을 푸는 방법이다. 저자들이 제시한 세 경로 중 “overcomplete basis 찾기 = sparse coding/dictionary learning”이 곧바로 sparse autoencoder 노선으로 이어졌고, 논문 말미의 외부 코멘트(Sharkey·Braun·Millidge)가 이미 그 첫 시도를 보고한다.

먼저 알아둘 용어 표

원 용어	쉬운 설명
superposition	뉴런/차원 수보다 많은 개념을 겹쳐 저장하는 것
polysemantic / monosemantic neuron	여러 무관한 개념에 반응하는 뉴런 / 개념 하나에만 반응하는 깨끗한 뉴런
privileged basis	좌표축 자체가 의미를 갖는 경우. 활성함수가 만든다
sparsity $S$ / importance $I_{i}$	feature가 0일 확률 / 손실에서 그 feature 오차에 곱해지는 가중치
feature dimensionality $D_{i}$	한 feature가 차지하는 “차원의 분수”. 대척쌍이면 1/2
tegum product	두 폴리토프를 서로 직교하는 부분공간에 끼워 만든 합성 폴리토프
Thomson problem	구면 위에 점들을 반발 에너지 최소로 배치하는 고전 문제
overcomplete basis	차원보다 많은 기저 벡터 집합. 중첩을 풀어내는 목표물

섹션별 요약

Abstract

신경망은 서로 무관한 여러 개념을 한 뉴런에 몰아넣는데, 이 polysemanticity가 해석가능성을 크게 어렵게 만든다. 이 논문은 다의성을 완전히 이해할 수 있는 장난감 모델을 제시하고, 그것이 모델이 추가적인 희소 feature들을 superposition 상태로 저장한 결과로 발생함을 보인다. 상전이의 존재, uniform polytope 기하와의 뜻밖의 연결, 그리고 적대적 예제와의 연결 증거를 보이며, mechanistic interpretability에 대한 함의를 논의한다.

왜 이 연구를 하는가?

저자들의 출발 질문은 “왜 어떤 모델과 과제에는 깨끗한 뉴런이 많고, 다른 곳에서는 거의 없는가”다. 이들은 이 현상을 서로 반대로 작용하는 두 힘의 결과로 본다. privileged basis는 feature가 기저 방향(=뉴런)에 정렬되도록 밀고, superposition은 feature를 뉴런에서 떼어놓는다. 중첩이 실재한다면 해석가능성 연구에서 어떤 접근이 말이 되는지가 근본적으로 바뀌므로, 모호하지 않은 실증이 중요하다는 것이 연구의 명분이다. 논문은 먼저 표현이 가질 수 있는 성질을 4단계 위계로 정리한다 — decomposability(독립적으로 이해 가능한 feature로 분해됨), linearity(feature가 방향에 대응), non-superposition( $W^{⊤} W$ 가 가역), basis-aligned( $W_{i}$ 가 one-hot). 앞의 둘은 널리 성립한다고 가정하고, 뒤의 둘은 때때로만 성립한다고 본다.

Introduction

도입부의 대표 사례는 서로 다른 중요도를 가진 5개 feature를 2차원에 임베딩하는 모델이다. 밀집 상태에서는 PCA처럼 가장 중요한 2개만 직교 기저로 표현하고 나머지 3개를 버리지만, feature를 희소하게 만들면 버려졌던 것들이 비직교 방향에 얹혀 되살아난다. 저자들은 기여를 (1) 자연스러운 설정에서 인공 신경망에 중첩이 일어남을 직접 실증, (2) 언제·왜 일어나는지의 이론과 phase diagram 제시, (3) 중첩이 풍부한 기하 구조를 갖는다는 발견으로 정리하고, 부수적으로 적대적 예제·grokking·MoE 성능과의 예비적 연결까지 제안한다. 자기평가는 절제되어 있다 — “우리 toy model은 단순한 ReLU 망이므로 신경망이 적어도 어떤 영역에서는 이런 성질을 보인다고 말하는 것은 공정하지만, 실제 망으로 무엇을 일반화할 수 있는지는 매우 불분명하다.”

Methods

데이터 $x$ : 각 차원 $x_{i}$ 를 하나의 feature로 보고, 확률 $S_{i}$ 로 $x_{i} = 0$ , 아니면 $[0, 1]$ 균등분포로 둔다(실험은 대부분 $S_{i} = S$ ). 세 가정을 데이터에 심는다 — feature는 희소하다, feature 수가 뉴런 수보다 많다, feature마다 중요도가 다르다.
모델: Linear model $x^{'} = W^{⊤} W x + b$ 와 ReLU output model $x^{'} = ReLU (W^{⊤} W x + b)$ ( $h = W x$ 공통). 둘의 차이는 마지막 활성함수 하나뿐이다. 복원에 같은 행렬의 전치를 쓰는 이유는 “어떤 방향이 그 feature인가”의 모호성을 없애기 위해서이고, $W$ 가 정규직교면 $W^{⊤} = W^{- 1}$ 이라는 점에서 원리적이기도 하다. 편향은 표현하지 않는 feature를 기댓값에 놓게 해주고, 더 중요하게는 음의 편향이 작은 잡음을 잘라낸다.
손실과 측정량: 중요도 가중 MSE $L = \sum_{x} \sum_{i} I_{i} (x_{i} - x_{i}^{'})^{2}$ . feature가 표현되었는지는 $∥ W_{i} ∥$ 로, 차원 공유 정도는 $\sum_{j \neq = i} (\hat{W_{i}} \cdot W_{j})^{2}$ 로 잰다(0이면 직교, 1 이상이면 다른 feature 조합이 $W_{i}$ 를 자기 자신만큼 강하게 활성화시킬 수 있다는 뜻). 전체 규모는 $∥ W ∥_{F}^{2} \approx$ 표현된 feature 수, feature당 차원은 $D^{*} = m /∥ W ∥_{F}^{2}$ .
해석적 분석: 손실 적분을 이항 전개로 쪼개면 $L = (1 - S)^{n} L_{n} + \dots + (1 - S) S^{n - 1} L_{1} + S^{n} L_{0}$ 가 되고 $S \to 1$ 에서 $L_{1}$ (1-희소 입력)과 $L_{0}$ (양의 편향 벌점 $\sum_{i} ReLU (b_{i})^{2}$ )이 지배한다. $L_{1}$ 은 “feature benefit”과 “interference”로 분해되며, 균등 중요도· $∥ W_{i} ∥ = 1$ · $b_{i} = 0$ 을 가정하면 간섭 항이 일반화된 Thomson problem이 된다. 선형 모델에서는 Saxe et al.의 결과로부터 간섭 비용이 항상 이득을 넘어서 중첩이 결코 최적이 아님을 보일 수 있고, 반대로 ReLU는 1-희소 경우에 음의 간섭을 공짜로 만든다.

발견 (Findings)

활성함수 하나가 상을 바꾼다. $n = 20$ , $m = 5$ , $I_{i} = 0. 7^{i}$ 에서 선형 모델은 희소도와 무관하게 상위 5개만 학습한다. ReLU output 모델은 밀집에서는 동일하다가, 희소해지면 덜 중요한 feature부터 비직교 방향에 얹기 시작한다 — 처음에는 antipodal pair(한 feature의 표현 벡터가 다른 것의 정확한 음수)로, 점차 다른 기하로.
세 결과 사이의 전이는 급격하다. feature는 학습되지 않거나, 중첩으로 학습되거나, 전용 차원을 받는다. 2 feature/1 차원 상도에서 경험적 그림과 닫힌 형태 이론 그림이 모두 상전이를 보이고, 해들의 손실 곡선이 교차해 최적 손실의 도함수가 불연속이 되는 1차 상전이임을 해석적으로 확인할 수 있다.
superposition은 하나가 아니라 여러 상이다. $D^{*} = m /∥ W ∥_{F}^{2}$ 곡선이 1과 1/2에서 “끈적하게” 머무는데(저자들은 분수 양자 홀 효과에 비유한다), feature별로 쪼개 보면 훨씬 많은 고착점이 드러난다. 0과 1 사이의 모든 값이 중첩이다.
계산도 중첩 상태로 가능하다. $y = abs (x)$ 모델은 밀집에서는 뉴런 하나당 feature 하나를 쓰지만 희소해지면 뉴런 수보다 많은 feature를 중첩 처리한다. 여기서 asymmetric superposition 모티프가 나온다 — 대칭 저장( $W = [1, - 1]$ , 출력 $[1, 1]$ ) 대신 비대칭 저장( $W = [2, - \frac{1}{2}]$ , 역수 출력 $[\frac{1}{2}, 2]$ )으로 간섭을 한 방향으로만 흐르게 하고, 짝 뉴런이 양의 간섭을 억제해 출력 ReLU가 흡수하는 음의 간섭으로 바꾼다.
중첩은 적대적 취약성을 낳는다. 중첩 없는 모델의 종단 가중치 $(W^{⊤} W)_{0} = (1, 0, 0, \dots)$ 가 중첩 모델에서는 $(1, ϵ, - ϵ, \dots)$ 이 되고 이 $ϵ$ 들이 공격 표면이 된다. 평균 입력 노름의 0.1을 최대 $L^{2}$ 예산으로 두면 중첩 형성과 함께 취약성이 3배 이상 급증하며, 그 수준은 차원당 feature 수를 거의 그대로 따라간다.

Results

Uniform superposition의 기하: $n = 400$ , $m = 30$ , $I_{i} = 1$ 에서 $D^{*}$ 가 1과 1/2에 고착되고, feature별 $D_{i} = ∥ W_{i} ∥^{2} / \sum_{j} (\hat{W_{i}} \cdot W_{j})^{2}$ 로 분해하면 $3/4$ (정사면체), $2/3$ (삼각형), $1/2$ (대척쌍), $2/5$ (오각형), $3/8$ (정사각반프리즘), $0$ (미학습) 선이 나타난다. 여럿이 Thomson problem의 해다.
왜 uniform polytope인가: uniform polyhedron은 모든 꼭짓점의 기하가 같아 각 feature가 동일한 $D_{i}$ 를 갖는다. 비균일 해(삼각쌍뿔)가 기대되는 자리에 $3/5$ 대신 $2/3$ 와 $1/2$ 가 공존하는 것은, 많은 Thomson 해가 tegum product로 분해되고 tegum 인자 사이에는 간섭이 아예 없기 때문이다. 한편 $W$ 가 표현하지 않은 방향으로 해를 특징지으면 $W ⊥ (1, 1, 1, \dots)$ 가 정규 $n$ -simplex를 주며, 이것이 “최소 가능 중첩”이다.
Non-uniform superposition과 상관 구조: 중요도·희소도가 어긋나면 폴리토프가 변형되다 임계점에서 다른 폴리토프로 스냅한다( $n = 5$ , $m = 2$ , $1 - S = 0.05$ 의 정오각형 → 한 점만 희소화하면 digon 쌍으로 붕괴). 상관된 feature는 서로 직교하기를 선호하고, 그럴 수 없으면 나란히 붙어 양의 간섭을 택하며, 자리가 부족하면 아예 주성분 $(a + b) / 2$ 로 합쳐져 매우 밀집한 영역에서는 해가 PCA와 동등해진다. 반상관 feature는 반대로 같은 tegum 인자에서 음의 간섭을 선호한다. 큰 모델에서는 이 성향이 “local almost-orthogonal basis”를 만든다.
학습 동역학: 각 feature의 $D_{i}$ 가 값 사이를 점프하며 자리를 바꾸고 그때마다 손실 곡선이 갑자기 떨어진다. 저자들은 큰 모델의 매끄러워 보이는 손실 감소가 실은 수많은 작은 점프의 합일 수 있다고 본다. $m = 3$ , $n = 6$ (2개의 상관 3인조)에서는 궤적을 3D 폴리헤드론의 기하 변환 열로 볼 수 있는데, 모델은 먼저 선형 PCA 해를 배운 뒤 비선형 해로 옮겨가 팔면체로 수렴한다.
특권 기저와 뉴런 수준 전이: 은닉층에 ReLU를 붙인 모델( $n = 10$ , $m = 5$ )에서는 $W$ 를 직접 해석할 수 있고, 희소도가 올라감에 따라 단의미 뉴런에서 다의미 뉴런으로의 전이가 관측되며 둘이 같은 모델 안에 공존한다. abs 모델에서는 가장 중요한 feature를 담당하는 뉴런이 단의미로 남고 많은 뉴런이 큰 가중치의 “주 feature” 하나와 작은 가중치의 “부 feature” 여럿을 갖는데, 언어모델 뉴런이 최대 활성만 보면 해석 가능해 보이지만 낮은 활성에서는 다의적이라는 기존 관찰과 정확히 겹친다.

Discussion

이론적 의의

이 논문의 이론적 핵심은 “다의성은 관측의 실패가 아니라 최적화의 결과”라는 재정식화다. 뉴런이 지저분한 이유는 우리가 잘못 보고 있어서가 아니라, 희소한 세계에서 고정된 차원 예산으로 손실을 최소화하려면 겹쳐 담는 편이 실제로 이득이기 때문이다. 선형 모델에서는 간섭 비용이 항상 이득을 상회해 중첩이 결코 최적이 아님을 해석적으로 보일 수 있는 반면, ReLU가 붙는 순간 1-희소 항에서 음의 간섭이 공짜가 되어 절충의 부호가 뒤집힌다. 그리고 그 전이는 연속적 절충이 아니라 손실 곡선 교차에 따른 1차 상전이다.

두 번째 기여는 안전성 논변의 재구성이다. 저자들은 “모델이 특정 유해 행동을 하지 않는다”를 말하려면 모든 feature를 열거할 수 있는 능력이 필요하다고 놓고, 그 능력이 중첩 해결과 동치임을 보인다. 중첩이 없고 특권 기저가 있으면 뉴런을 세는 것이 곧 feature를 세는 것이고, 비특권 기저라도 중첩이 없으면 해석 가능한 방향을 하나씩 찾아 제거해나갈 수 있다. 그런데 중첩이 있으면 어떤 방향이 feature임을 알아도 그것을 “빼낼” 수가 없다. 역으로 feature를 열거할 수 있다면 compressed sensing으로 중첩 모델의 활성을 더 큰 비중첩 모델의 활성으로 펼칠(unfold) 수 있다. 그래서 저자들은 feature 열거 능력을 주는 임의의 방법을 “superposition의 해법”이라 부른다.

세 번째는 상한선이다. compressed sensing의 하한 $m = Ω (k lo g (n / k))$ 에 $k = O ((1 - S) n)$ 을 대입하면 $m = Ω (- n (1 - S) lo g (1 - S))$ 가 된다. feature 수는 $m$ 에 대해 지수가 아니라 선형이되 희소도가 그 계수를 조절한다는 뜻으로, 중첩을 없애려는 입장에서는 좋은 소식이지만 희소도가 극단으로 가면 중첩량이 극적으로 늘 수 있음도 허용한다.

Discussion Points

상전이는 저자들이 “희망의 근거”로 드는 지점이지만 양날이다. 중첩이 전혀 없는 영역이 원리적으로 존재한다는 뜻인 동시에, 그 영역으로 넘어가는 비용이 연속적으로 감소하지 않는다는 뜻이기도 하다. L1 정규화로 toy model의 중첩을 없애는 것은 쉽지만 손실이 오르고, 적대적 학습으로 없애려면 입력 $L^{2}$ 노름의 80%라는 비현실적 공격이 필요했다.
MoE 논변은 가장 사변적이면서 흥미롭다. “뉴런이 아니라 FLOP이 진짜 제약”이라는 관점에서는 비활성 뉴런의 연산을 회수하는 세계라면 다의미 뉴런을 전용 뉴런으로 쪼개도 비용이 같아지므로 중첩이 최적이 아닐 수 있다. 다만 이를 뒷받침하는 “활성 빈도당 손실 감소” 수치는 본문에 없어 검증할 수 없다([위치 미확인]).
기하 결과의 아름다움 자체가 경계 신호다. 저자들도 “사실이라기엔 너무 우아하고 toy model에 특이할 가능성이 크다”고 명시하며, 중첩·단의미/다의미 구분·적대적 예제 연결은 일반화 가능성이 높다고 보는 반면 기하와 학습동역학 결과는 훨씬 불확실하다고 선을 긋는다. 인용할 때 반드시 함께 옮겨야 할 유보다.
외부 코멘트로 실린 Fred Zhang의 leverage score 논의는 “효율적으로 packing되면 $D_{i}$ 의 합이 임베딩 차원과 같아진다”는 경험적 관찰에 이론적 근거를 준다. leverage score는 행렬의 rank로 합해지는데, 임베딩 벡터가 등방(isotropic)에 가까우면 $D_{i}$ 와 사실상 같아진다.

실험 결과 상세

이 논문은 벤치마크 점수표를 내는 종류의 연구가 아니므로, 아래는 모델 변형·기하 구조·실험 설정을 정리한 표로 대체한다.

표 1 — 네 가지 toy model 변형과 각각이 보여주는 것 (§Demonstrating Superposition, §Superposition in a Privileged Basis, §Computation in Superposition)

모델	정의	특권 기저	중첩	보여주는 것
Linear	$h = W x$ , $x^{'} = W^{⊤} W x + b$	없음	없음	희소도와 무관하게 상위 $m$ 개 주성분만 학습. 중첩 불가의 기준선
ReLU output	$h = W x$ , $x^{'} = ReLU (W^{⊤} W x + b)$	없음	있음	활성함수 하나로 해가 질적으로 바뀜. 상전이·폴리토프 기하의 무대
ReLU hidden layer	$h = ReLU (W x)$ , $x^{'} = ReLU (W^{⊤} h + b)$	있음	있음	단의미↔다의미 뉴런 전이를 직접 관찰. 은닉 ReLU를 우회하려는 결함 존재
Absolute value	$h = ReLU (W_{1} x)$ , $y^{'} = ReLU (W_{2} h + b)$ , 목표 $y = abs (x)$	있음	있음	계산이 중첩 상태로 가능함을 입증. asymmetric superposition 모티프

표 2 — feature dimensionality $D_{i}$ 의 고착점과 대응 기하 (§Feature Dimensionality)

$D_{i}$	기하 구조	의미
0	(미학습)	feature가 아예 표현되지 않음
3/8	square antiprism	Thomson 해. 정육면체보다 덜 알려졌으나 분자기하에서 등장
2/5	pentagon	2차원에 5개 feature
1/2	antipodal pair / digon	한 차원에 두 feature, 서로 정확한 음수. 가장 “끈적한” 고착점
2/3	triangle	2차원에 3개 feature. 정삼각형이 최적
3/4	tetrahedron	3차원에 4개 feature
1	dedicated dimension	중첩 없음. 밀집 영역에서는 기저 feature가 구별되지 않아 선으로 안 나타남

표 3 — 주요 실험 설정 요약 (본문 전반)

실험	$n$	$m$	중요도	비고
Basic Results	20 / 80	5 / 20	$0. 7^{i}$ / $0. 9^{i}$	두 규모가 질적으로 동일
Phase diagram	2 → 3	1 → 2	첫 feature 1.0, 추가 feature 0.1~10	$1 - S$ 1.0~0.01, 지점당 10회 학습 후 최고손실 1개 제외 평균
Uniform superposition	400	30	$I_{i} = 1$	$n ≫ m$ 이면 $n$ · $m$ 자체는 결과에 거의 무관
단일 feature 섭동	5	2	$I = 1$	$1 - S = 0.05$ 에서 정오각형, 한 점만 희소화하면 digon 쌍으로 붕괴
상관 feature / 학습 동역학	6	2 / 3	균등	3쌍이면 밀집에서 PCA로 붕괴, 2개 3인조면 팔면체로 수렴
ReLU hidden layer	10	5	$I^{i} = 0.7 5^{i}$	설정당 1000개 학습 후 최저 손실 해 시각화
Computation (abs)	3 → 100	6 → 40	균등 → $0. 8^{i}$	희소해지면 뉴런 수보다 많은 feature를 중첩 계산
적대적 예제	—	—	—	최대 $L^{2}$ 공격 = 평균 입력 노름의 0.1 → 취약성 3배 이상 증가. 적대적 학습으로 완전 제거하려면 노름의 80% 필요

표 4 — “superposition 해결”의 세 경로와 각각의 장애물 (§Three Ways Out)

접근	구체 수단	저자가 지적한 장애물
1. 중첩 없는 모델 만들기	은닉 활성 L1 정규화 $λ ∥ h ∥_{1}$ , 적대적 학습, 활성함수 변경, MoE	손실 증가가 큼. 언어모델 feature는 매우 희소해(저자 본인들이 100만 토큰당 1회 미만 등장) 중첩의 이득이 큼
2. Overcomplete basis 찾기	sparse coding / dictionary learning. $H \sim [d, m]$ 을 희소한 $A \sim [d, n]$ · $B \sim [n, m]$ 으로 분해	feature 개수를 모름. “virtual neuron”이 생김. 수백만×수십억 규모 초과완비 분해라는 공학 난제. 간섭이 우리 편이 아님
3. 혼합 접근	중첩을 줄인 모델을 만든 뒤 2번을 적용	어느 정도까지 줄일 수 있는지 불명

프레임워크 다이어그램

flowchart TD
    A["희소 합성 feature 벡터 x<br/>확률 S로 0, 아니면 0에서 1 균등"] --> B["압축 h = W x<br/>n차원에서 m차원으로"]
    B --> C{"출력 활성함수 유무"}
    C -->|"없음"| D["x' = W^T W x + b<br/>상위 m개 주성분만 학습<br/>중첩 발생 안 함"]
    C -->|"ReLU"| E["x' = ReLU of W^T W x + b<br/>음의 간섭이 공짜가 됨"]
    E --> F["feature benefit 와 interference 의 경쟁<br/>일반화된 Thomson problem"]
    F --> G{"희소도와 상대 중요도"}
    G -->|"밀집 또는 저중요도"| H["학습 안 함 - D = 0"]
    G -->|"중간"| I["중첩 - D 가 0과 1 사이 분수"]
    G -->|"희소하고 중요"| J["전용 차원 - D = 1"]
    I --> K["uniform polytope 기하<br/>3/8 · 2/5 · 1/2 · 2/3 · 3/4<br/>tegum product 로 분해"]
    I --> M["은닉층 ReLU 로 특권 기저 생성<br/>다의미 뉴런 관측"]
    I --> N["abs 계산을 중첩 상태로 수행<br/>asymmetric superposition"]
    I --> O["적대적 취약성 3배 이상 증가"]
    K --> P["해석가능성 목표<br/>모든 feature 열거 가능성"]
    M --> P
    N --> P
    P --> Q["경로 1 - 중첩 없는 모델<br/>L1 정규화 · MoE"]
    P --> R["경로 2 - overcomplete basis<br/>sparse coding · dictionary learning · SAE"]
    P --> S["경로 3 - 혼합"]

재현성 및 신뢰도 평가

종합등급: Evidence B / Reproducibility A

근거(Evidence B): 주장과 증거의 대응이 촘촘하다. 경험적 상도에 닫힌 형태 이론 모델을 나란히 놓아 1차 상전이임을 확인했고, 선형 모델에서 중첩이 최적이 아님은 증명 가능한 사실로 제시되며, 기하 결과는 Thomson problem·tegum product·leverage score라는 독립적 수학 구조와 맞물린다. 논문 말미의 6건 외부 코멘트 중 Marius Hobbhahn은 §Demonstrating Superposition의 Basic Results와 §Superposition in a Privileged Basis 전부를 독립 재현해 “모든 발견이 논문과 동일”하다고 보고한다. A가 아닌 이유는 명확하다. 모든 증거가 합성 데이터 위 초소형 ReLU 망에서 나왔고, 실모델 검증은 “InceptionV1의 다의미 뉴런 비율이 깊이에 따라 증가한다” 같은 정성적 정합성 확인에 그치며, 저자들 스스로 실모델 일반화가 “매우 불분명”하고 기하·학습동역학은 “훨씬 불확실”하다고 명시한다.
근거(Reproducibility A): 모델이 수십~수백 파라미터 규모라 노트북에서도 재현 가능하고, GitHub 저장소의 Colab 노트북으로 여러 그림을 재현할 수 있으며 상도의 닫힌 형태 손실 유도도 별도 노트북으로 공개됐다. 데이터 생성 규칙, 손실, 각 실험의 $n$ · $m$ ·중요도 곡선이 본문에 명시되고, 2차원 은닉 공간의 최적화 난이도나 설정당 1000개 학습 같은 실무 경고까지 담겨 있다. 다만 옵티마이저·학습률·스텝 수·배치 크기는 본문에 없어 코드 열람이 필요하다([위치 미확인]).

주장별 신뢰도

“출력 ReLU 하나를 붙이면 희소한 입력에서 차원 수보다 많은 feature가 표현된다” — 신뢰도 높음. 시각화· $∥ W ∥_{F}^{2}$ 측정·해석적 손실 분해가 모두 같은 방향을 가리키고 외부 재현이 존재한다.
“중첩/비중첩 전이는 1차 상전이다” — 신뢰도 높음(단 2 feature/1 차원, 3 feature/2 차원의 좁은 설정에서). 저자들은 “무한 크기 극한의 불연속”이라는 엄밀한 의미가 아니라 “불연속적 변화”라는 일반화된 의미로 phase change를 쓴다고 미리 못 박는다.
“feature dimensionality가 $3/8, 2/5, 1/2, 2/3, 3/4$ 에 고착되며 uniform polytope에 대응한다” — 신뢰도 중간. 산점도 판독에 의존하고 저자들이 스스로 유보하며, 각 분수 선에 몰린 feature 비율 같은 정량 통계는 없다([위치 미확인]).
“신경망이 중첩 상태에서 계산을 수행할 수 있다” — 신뢰도 중간. $abs$ 하나에 대한 사례 증명이고, 중첩량이 다른 모델은 서로 다른 과제의 손실이라 비교 불가하므로 정량화가 안 된다고 저자들도 인정한다. “abs가 중첩 계산 일반을 대표하는가”는 저자들 자신의 open question이다.
“중첩이 적대적 취약성을 3배 이상 늘린다” — 신뢰도 중간. 공격 예산(평균 입력 노름의 0.1)이라는 단일 설정의 값이고, 경사하강 공격이 gradient masking으로 실패해 해석적 최적 $L^{2}$ 공격으로 대체했다. 저자들도 실제 적대적 예제의 원인에 대한 추측은 삼가겠다고 명시한다.

추가 확인 사항

웹 버전의 Published는 2022년 9월 14일, arXiv 2209.10652의 submission은 9월 21일로 서로 다르다. 인용은 저자들이 제시한 형식(Transformer Circuits Thread, 2022)을 따르는 편이 안전하다. 동료심사 저널 논문이 아니라 Distill 계열 인터랙티브 아티클이며 DOI가 없고, “Comments & Replications” 절이 사후 공개 리뷰 역할을 한다.
저자 표기에서 Elhage·Hume·Olsson·Schiefer·Wattenberg·Olah에 core contributor(*), Olah에 교신(‡) 표시가 붙는다. 단순 1저자 관행으로 읽으면 기여 구조를 오독할 수 있다.
상도 절에서는 모델을 $ReLU (W^{⊤} W x - b)$ 로, 나머지 대부분에서는 $ReLU (W^{⊤} W x + b)$ 로 쓴다. 편향 부호 규약 차이로 보이며 결론에는 영향이 없으나 재현 시 확인이 필요하다.
결과 수치 대부분이 인터랙티브 그림 안에 있다. 표 3의 설정값은 본문 산문에서 추출한 것이고, 각 희소도에서의 $D^{*}$ 같은 곡선값은 텍스트 추출로 얻을 수 없어 원문 그림 또는 Colab 재현이 필요하다.

연구	다루는 층위	ground truth feature	중첩에 대한 입장	핵심 차별점
Toy Models of Superposition (본 논문)	합성 데이터 위 초소형 ReLU 망	있음	중첩을 실증하고 언제 켜지는지 상도로 설명	feature를 아는 상태에서 다의성의 원인을 인과적으로 분리
Ensembling Sparse Autoencoders	실제 LLM 활성	없음	중첩을 사후에 푸는 도구(SAE)의 개선	본 논문 “경로 2”의 직계 후속. dictionary를 앙상블로 안정화
On the Biology of a Large Language Model	프런티어 LLM의 회로	없음	중첩이 풀렸다고 전제하고 회로 추적	feature 열거가 가능해진 뒤의 도착점
The Geometry of Truth - Emergent Linear Structure in LLM Representations of True and False Statements	실제 LLM 표현 공간	없음	linear representation 가설을 실모델에서 검증	본 논문의 전제 “feature = 방향”을 진릿값으로 확인
Network Dissection- Quantifying Interpretability of Deep Visual Representations	CNN 뉴런	라벨된 개념 집합	뉴런 단위 해석을 정량화(중첩 미고려)	본 논문이 설명하려는 현상의 측정 도구

원자적 인사이트 (Zettelkasten)

다의성은 관측의 실패가 아니라 최적화의 결과다. feature가 희소한 세계에서 고정된 차원 예산으로 손실을 최소화하면 겹쳐 담는 편이 실제로 이득이다. “뉴런을 더 잘 읽으면 해결된다”는 접근은 원리적으로 상한이 있고, 필요한 것은 표현을 펼치는(unfold) 방법이다.
비선형성 하나가 표현의 상을 바꾼다. 같은 $h = W x$ 압축이라도 출력 ReLU가 없으면 PCA로 수렴하고 있으면 중첩이 나타나며, 기제는 ReLU가 1-희소 입력에서 음의 간섭을 공짜로 만들기 때문이다. 표현 기하를 논할 때 활성함수를 부차적 디테일로 취급하면 안 된다는 경고다.
superposition은 단일 상태가 아니라 분수 차원의 스펙트럼이다. $D_{i}$ 가 $3/8, 2/5, 1/2, 2/3, 3/4$ 같은 분수에 달라붙고 각각이 정사각반프리즘·오각형·대척쌍·삼각형·정사면체에 대응한다. “중첩을 쓴다/안 쓴다”는 이분법보다 “feature당 몇 분의 몇 차원인가”라는 연속 척도가 정보량이 훨씬 크다.
저장뿐 아니라 계산도 중첩 상태로 가능하다. $n = 100$ feature를 $m = 40$ 뉴런에서 $abs$ 로 계산하는 모델이 희소 영역에서 뉴런 수보다 많은 feature를 처리한다. “작은 망이 큰 희소 망을 시뮬레이션한다”는 그림이 저장 은유가 아니라 계산 은유라는 뜻이고, 회로 분석이 다의미 뉴런 앞에서 멈추는 이유이기도 하다.
feature 열거 능력과 중첩 해결은 동치다. 중첩이 없으면 뉴런을 세는 것이 곧 feature를 세는 것이고, feature를 열거할 수 있으면 compressed sensing으로 활성을 큰 비중첩 모델로 펼칠 수 있다. “모델이 X를 하지 않는다”는 안전성 주장에는 전칭 양화가 필요하고, 그 전제조건이 정확히 이 동치 관계다.
상관 구조는 PCA와 중첩 사이의 절충을 만든다. 두 feature가 상관되어 있고 자리가 하나뿐이면 모델은 주성분 $(a + b) / 2$ 를 저장한다. 상관될수록 PCA가, 희소할수록 중첩이 유리한 상보적 전략이다. 부수적으로 좁은 부분분포에서는 국소 직교 기저 덕에 PCA류를 정당하게 쓸 수 있지만, 안전성 주장은 전체 분포에서 성립해야 하므로 국소 기저는 최종 해답이 될 수 없다.

핵심 용어 정리

용어	정의
superposition	선형 표현이 차원 수보다 많은 feature를 담는 것. 형식적으로 $W^{⊤} W$ 가 가역이 아닌 상태
polysemanticity	한 뉴런이 여러 무관한 feature에 반응하는 현상. 특권 기저 위에서 중첩이 드러난 증상
privileged basis	활성함수 등으로 좌표 대칭이 깨져 기저 방향(“뉴런”)이 특별해진 표현
linear representation hypothesis	feature가 활성 공간의 방향으로 인코딩되고 선형 결합으로 합쳐진다는 가설. decomposability + linearity
feature dimensionality $D_{i}$	$∥ W_{i} ∥^{2} / \sum_{j} (\hat{W_{i}} \cdot W_{j})^{2}$ . 대척쌍이면 $1/2$ , 미학습이면 0. 모델 평균은 $D^{*} = m /∥ W ∥_{F}^{2}$
antipodal pair	두 feature 벡터가 서로 정확한 음수인 배치. 한 차원에 두 feature
tegum product	두 폴리토프를 직교 부분공간에 끼워 만든 폴리토프. 인자 사이에는 간섭이 없다
Thomson problem	구면 위 점들을 반발 에너지 최소로 배치하는 문제. 이 toy model의 간섭 항이 그 일반화다
asymmetric superposition	저장을 비대칭으로( $[2, - \frac{1}{2}]$ ), 출력을 역수로( $[\frac{1}{2}, 2]$ ) 두어 간섭을 한 방향으로만 흐르게 하는 모티프
overcomplete basis	차원보다 많은 기저 벡터 집합. 중첩된 활성을 펼치기 위한 목표이며 sparse coding/dictionary learning의 대상

BibTeX

@article{elhage2022superposition,
  title   = {Toy Models of Superposition},
  author  = {Elhage, Nelson and Hume, Tristan and Olsson, Catherine and Schiefer, Nicholas and Henighan, Tom and Kravec, Shauna and Hatfield-Dodds, Zac and Lasenby, Robert and Drain, Dawn and Chen, Carol and Grosse, Roger and McCandlish, Sam and Kaplan, Jared and Amodei, Dario and Wattenberg, Martin and Olah, Christopher},
  journal = {Transformer Circuits Thread},
  year    = {2022},
  eprint  = {2209.10652},
  archivePrefix = {arXiv},
  primaryClass  = {cs.LG},
  note    = {https://transformer-circuits.pub/2022/toy_model/index.html}
}

중첩의 장난감 모델 (Toy Models of Superposition)

중첩의 장난감 모델 (Toy Models of Superposition)

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX